💬 NLP

A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs

Dit artikel evalueert systematisch de positionele bias in multi-video samenvattingen bij negen MLLM's aan de hand van een nieuwe benchmark, waarbij wordt onthuld dat de kwaliteit van de samenvatting significant wordt beïnvloed door de invoervolgorde en het domein, terwijl huidige mitigatiestrategieën er niet in slagen deze biases volledig te elimineren.

Oorspronkelijke auteurs: Huangchen Xu, Yuan Wu, Yi Chang

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huangchen Xu, Yuan Wu, Yi Chang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die een proeverij bereidt met vier verschillende gerechten: een soep, een salade, een biefstuk en een dessert. Je vraagt een zeer slimme, maar ietwat afgeleide AI-assistent om een korte, perfecte beschrijving voor elk gerecht te schrijven.

Je zou kunnen denken dat de AI de biefstuk perfect beschrijft, ongeacht of het het eerste of het laatste gerecht op de menukaart is. Maar dit paper, getiteld "A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs," ontdekte dat de AI eigenlijk vrij kieskeurig is over waar een video in de rij staat.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het "Stoel aan de Tafel"-probleem

De onderzoekers ontdekten dat als je een AI vier video's tegelijk laat zien en vraagt om elke video samen te vatten, de kwaliteit van de samenvatting verandert afhankelijk van de positie van de video (1e, 2e, 3e of 4e).

Het "Middelste Kind"-syndroom: Net zoals een middelste kind misschien minder aandacht krijgt dan het eerstgeborene of de jongste, krijgen de video's in het midden van de lijst (posities 2 en 3) vaak slechtere samenvattingen. De AI heeft de neiging om details te vergeten of vagerere beschrijvingen te schrijven voor hen in vergelijking met de video's aan het begin of het einde.
De "Eerste Indruk" vs. de "Laatste Toonbeeld": Soms houdt de AI van de eerste video (het "Primacy"-effect), en soms houdt hij van de laatste video (het "Recency"-effect). Maar vaak negeert hij gewoon de middelste video's.

2. De "Tovertruc" van het Verbergen van Bias

Het paper wijst op een verraderlijk deel: je kunt niet naar de gemiddelde score kijken om te zien of de AI bevooroordeeld is.

De Analogie: Stel je een student voor die een A haalt voor de eerste toets, een F voor de tweede, een F voor de derde en een A voor de vierde. Hun gemiddelde cijfer ziet er prima uit (een B), maar ze hebben duidelijk een probleem met de middelste toetsen.
De onderzoekers ontdekten dat sommige AI-modellen een "neutrale" gemiddelde score hebben, maar als je beter kijkt, zijn ze eigenlijk slecht in de middelste video's terwijl ze uitstekend presteren bij de uiteinden. Ze hebben speciale instrumenten (metrieken) ontwikkeld om deze "Middelste Kind-Zwakheid" te vangen die standaardtests missen.

3. Het gaat niet alleen om "Meer Ogen"

Het team testte of het geven van meer middelen aan de AI het probleem zou oplossen.

Meer Frames: Ze lieten de AI meer afbeeldingen (frames) uit elke video zien.
Meer Woorden: Ze vertelden de AI dat hij langere samenvattingen mocht schrijven.
Het Resultaat: Het hielp niet veel. Zelfs wanneer de AI over een groter "visueel budget" beschikte of meer ruimte had om te schrijven, bleef hij de middelste video's negeren. Het is alsover het geven van een groter schrift aan een afgeleide student; ze zullen nog steeds niet over de middelste hoofdstukken schrijven.

4. Het "Volgorde Doet Er Toe"-experiment

Om te bewijzen dat dit geen toevalstreffer was, gebruikten ze een cyclische rotatie methode.

De Analogie: Stel je vier vrienden voor (Video A, B, C, D) die om de beurt in vier verschillende stoelen gaan zitten (1, 2, 3, 4).
- Ronde 1: A zit in Stoel 1, B in 2, C in 3, D in 4.
- Ronde 2: A zit in Stoel 2, B in 3, C in 4, D in 1.
- En zo verder.
Door dit te doen, zorgden ze ervoor dat elke video ook in elke stoel terechtkwam. Ze ontdekten dat Video A een geweldige samenvatting kreeg wanneer hij in Stoel 1 zat, maar een slechte samenvatting wanneer hij in Stoel 3 zat. De inhoud van de video veranderde niet, maar de stoel wel.

5. Proberen de AI met Prompts te "Corrigeren"

De onderzoekers probeerden de AI te "coachen" om eerlijk te zijn.

De "Wees Eerlijk"-instructie: Ze voegden een opmerking toe aan de instructies van de AI: "Let alsjeblieft evenveel aandacht aan elke video."
Het Resultaat: Het werkte niet echt. De AI gaf nog steeds de voorkeur aan de randen. Het is alsover een vermoeide student vertellen: "Bestudeer alle hoofdstukken evenveel," en hij eindigt er nog steeds mee om de middelste hoofdstukken te vluchtig te doornemen.
Eén voor één: Ze probeerden de AI om slechts één video tegelijk samen te vatten, ook al zag hij er alle vier. Dit hielp een beetje met de middelste video's, maar het was geen perfecte oplossing.

6. Het "Lekkage"-probleem

Ten slotte ontdekten ze dat de AI soms in de war raakt en de verhalen door elkaar haalt.

De Analogie: Als je de AI vraagt om de "Dessert"-video te beschrijven, kan hij per ongelage een detail uit de "Soep"-video beschrijven omdat hij in de war is geraakt over welke video welke was. Dit gebeurt vaker wanneer de video's in een lange rij worden gepresenteerd.

De Kernboodschap

Het paper concludeert dat huidige AI-modellen niet betrouwbaar zijn wanneer ze gevraagd worden om meerdere video's tegelijk samen te vatten. Ze zijn gevoelig voor de volgorde waarin de video's worden getoond. Als je een goede samenvatting wilt, kun je niet zomaar vier video's op een hoop gooien; de positie van elke video is van groot belang en de AI worstelt momenteel om ze allemaal evenveel aandacht te geven.

De onderzoekers hebben een nieuwe "testbaan" (benchmark) gebouwd om toekomstige AI-ontwikkelaars te helpen deze "positionele bias" op te lossen, zodat een AI op een dag een afspeellijst van video's kan samenvatten zonder de video's in het midden te vergeten.

Technische Samenvatting: Een Systematische Evaluatie van Positionele Bias in Multi-Video Samenvatting met MLLM's

Probleemdefinitie

Hoewel Multimodale Large Language Models (MLLM's) een toenemend vermogen hebben getoond in video-begrip, blijft hun betrouwbaarheid bij het gelijktijdig verwerken van meerdere video-inputs slecht begrepen. Dit paper onderzoekt positionele bias in de specifieke taak van multi-video samenvatting, waarbij een model een onderscheidende, uitgelijnde samenvatting moet genereren voor elke video binnen een enkele inputsequentie.

Het kernprobleem is dat de kwaliteit van een samenvatting per video kan fluctueren op basis van de positie van de video in de input-slot (bijv. eerste, middelste of laatste), zelfs wanneer de onderliggende visuele inhoud identiek blijft. In tegenstelling tot eerder werk in NLP of multi-image begrip dat zich richt op retrieval of "lost in the middle"-effecten in lange contexten, presenteert multi-video samenvatting een unieke uitdaging: het model moet niet alleen informatie ophalen, maar ook elke gegenereerde samenvatting koppelen aan de juiste videobron, terwijl het een beperkte generatiecapaciteit over meerdere input-slots moet balanceren.

Methodologie

Constructie van de Benchmark

De auteurs hebben een nieuwe benchmark geconstrueerd met behulp van twee publieke datasets: ActivityNet (dekking van de categorieën Cooking, Domestic en Leisure) en de News Video Dataset.

Scenario's: Vier categorieën (Cooking, Domestic, Leisure, News) met variërende video-duur (kort: 0–1 min; lang: 1–2 min).
Input-schalen: Experimenten werden uitgevoerd op pairwise (2 video's) en listwise (4 video's) inputs.
Ordening: Er werd een cyclische permutatie-ontwerp gehanteerd. Voor $P$ video's verschijnt elke video precies één keer op elke positie in de experimentele runs, wat een gebalanceerde analyse garandeert terwijl de kosten voor inferentie beheersbaar blijven.
Totale Data: 708 unieke video's die duizenden orde-gecontroleerde instanties opleveren.

Geëvalueerde Modellen

Negen MLLM's werden geëvalueerd, inclus\nclusief zowel propriëtaire als open-source modellen:

Propriëtair: Gemini-3.1-Pro, GPT-5.4.
Open-Source: InternVL3.5 (8B, 14B), Qwen3-VL (8B, 30B-A3B), MiniCPM-o-4.5, GLM-4.1V-9B-Thinking, MiMo-VL-7B-RL.

Evaluatiemetrieken

In het besef dat lexicale overlap-metrieken (bijv. ROUGE) onvoldoende zijn voor zeer abstractieve samenvattingen, stelden de auteurs drie complementaire metrieken voor:

Coverage (Dekking): Meet de preservatie van belangrijke informatie uit door mensen geschreven referenties.
- ActivityNet domeinen: Gebruikt een LLM-as-a-Judge (GPT-5.1) om te bepalen of referentie-zinnen worden gedekt (waarbij parafrasering is toegestaan).
- News domeinen: Gebruikt referentie-fragment dekking (geïnspireerd door NEWSROOM) om de proportie gematchte referentie-tokens te meten, aangezien nieuws-samenvattingen vaak kort en entiteit-rijk zijn.
Directional Positional Bias (DPB): Een gesigneerde metriek die voorkeur kwantificeert voor vroege (primacy) versus late (recency) posities.
- Formule: Een gewogen som van coverage-scores waarbij vroege posities negatieve gewichten hebben en late posities positieve gewichten.
Middle-Edge Gap (MEG): Specifiek voor 4-video inputs berekent deze metriek het verschil tussen de gemiddelde dekking van middelste posities (2 en 3) en randposities (1 en 4).
- Een negatieve MEG duidt op "middle-position weakness", een fenomeen dat gemaskeerd kan worden door een bijna nul-waarde DPB als vroege en late biases elkaar opheffen.

Uitlijningstrategie

Om ervoor te zorgen dat samenvattingen correct worden toegeschreven aan hun bronvideo's, werd een tweestaps uitlijningstrategie gebruikt:

Template-gebaseerd: Segmenten extraheren op basis van vaste markers (bijv. [video0], [video1]).
Semantische Fallback: Als de template faalt, worden zinnen gesplitst en toegewezen aan de video met de hoogste semantische gelijkenis.

Belangrijkste Resultaten

1. Heterogeniteit van Positionele Effecten

Positionele bias is geen universeel primacy of recency patroon; het is model- en domeinafhankelijk.

DPB vs. MEG: Verschillende instellingen vertoonden een bijna nul-DPB (wat suggereert dat er geen bias is) maar een significante negatieve MEG. Bijvoorbeeld, InternVL3.5-14B op Leisure-4 vertoonde een DPB van 0,07% maar een MEG van -2,65%, wat aangeeft dat middelste posities onderpresteerden ondanks een gebalanceerde prestatie op de randen.
Schaalafhankelijkheid: Pairwise (P=2) resultaten voorspelden het gedrag van listwise (P=4) niet betrouwbaar. Sommige modellen vertoonden sterke recency in P=2 die verdween of omkeerde in P=4, wat wijst op complexe positionele interacties in multi-video inputs.

2. Robuustheid en Sensitiviteit

Visueel Budget: Het verhogen van het aantal gesamplede frames of de resolutie elimineerde de positionele onbalans niet uniform. Negatieve MEG-patronen bleven aanwezig over verschillende visuele budget-configuraties.
Samenvattingslengte: Het verhogen van de gevraagde samenvattingslengte (bijv. van 2 naar 6 zinnen) verwijderde de middle-position weakness niet. In sommige gevallen maakten grotere budgetten de ongelijke allocatie van detail juist zichtbaarder, omdat randposities meer dekking kregen dan middelste posities.
Boundary Formats: Het veranderen van input-separatoren van zwarte frames naar tekstlabels veranderde de coverage-curve, maar bood geen consistente verbeteringen of elimineerde de middle-position weakness niet.

3. Mitigatie en Diagnostiek

Prompt Instructies: Het toevoegen van expliciete instructies voor "gebalanceerde aandacht" slaagde er niet in om een betrouwbare mitigatie te bieden. In sommige gevallen vlakt het de curve af door de dekking van de randposities te verlagen in plaats van de middelste posities te verbeteren.
Single-Target Generation: Het instrueren van het model om samenvattingen voor één video tegelijk te genereren (het verwijderen van autoregressieve prefix-interferentie) verbeterde de dekking voor zwakke posities in P=4 settings, maar degradeerde de prestaties in P=2 settings. Dit suggereert dat gezamenlijke generatie-compressie bijdraagt aan de bias in grotere inputs.
Prompt Plaatsing: Het plaatsen van de taakinstructie na de video's (video-first) verhoogde de mate van "cross-video leakage" (waarbij details van de ene video in de samenvatting van een andere verschijnen) vergeleken met de standaard prompt-first benadering.

Betekenis en Claims

Het paper claimt dat multi-video samenvatting gevoelig blijft voor input-protocollen en positie, wat de aanname uitdaagt dat MLLM's orde-invariant zijn.

Beperking van Bestaande Metrieken: De studie toont aan dat een gesigneerde directionele bias (DPB) alleen onvoldoende is voor het diagnosticeren van positionele problemen, omdat het niet-monotone effecten zoals middle-position weakness kan maskeren. De voorgestelde MEG-metriek is noodzakelijk om deze nuances te vangen.
Protocol Sensitiviteit: De resultaten geven aan dat huidige modellen niet robuust zijn tegen de volgorde van de input. Kleine wijzigingen in prompt-plaatsing of boundary-formattering kunnen de target binding en de leakage-ratio's aanzienlijk veranderen.
Fundament voor Toekomstig Werk: De auteurs bieden een benchmark, specifieke metrieken (Coverage, DPB, MEG) en diagnostische tools (single-target prompting, leakage audits) aan om als fundament te dienen voor het bestuderen en verbeteren van orde-robuustheid in multimodale systemen.

Het paper concludeert dat hoewel lichtgewicht interventies op prompt-niveau de positionele effecten gedeeltelijk kunnen herformuleren, zij het probleem niet volledig oplossen. Dit suggereert dat meer robuuste, orde-invariante multimodale systemen mogelijk architecturale of training-tijd interventies vereisen die verder gaan dan de huidige controles tijdens de inferentie.