🤖 AI

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

Dit artikel introduceert de Visual Dependency Gap (VDG) om aan te tonen dat een hoge benchmark-nauwkeurigheid in video large language models vaak voortkomt uit taalprioriteiten in plaats van echt visueel begrip, waarbij wordt onthuld dat de temporele volgorde minimaal bijdraagt aan de prestaties terwijl frame-diversiteit de meeste winst drijft.

Oorspronkelijke auteurs: Jae Joong Lee

Gepubliceerd 2026-07-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jae Joong Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe de wereld werkt. Je geeft het een camera en een brein, en je stelt het vragen over wat het ziet. Een lange tijd hebben wetenschappers gemeten hoe "slim" deze robots zijn door ze een test te geven: laat ze een video zien, stel een vraag, en kijk of ze het juiste antwoord geven. Als de robot een hoge score haalt, gaan we ervan uit dat hij de video echt "ziet" en begrijpt. Maar hier zit de crux: alleen omdat een robot het juiste antwoord geeft, betekent dat niet dat hij naar het plaatje heeft gekeken. Hij kan simpelweg geraden hebben op basis van de woorden in de vraag, zoals een leerling die weet dat de leraar op dinsdagen altijd vragen over "katten" stelt en dus gewoon "kat" antwoordt zonder naar het schoolbord te kijken. Dit artikel duikt in de rommelige, verwarrende wereld van "Video Large Language Models"—superintelligente computers die tekst kunnen lezen en video's kunnen bekijken—om een angstaanjagende vraag te stellen: zijn deze robots daadwerkelijk de films aan het kijken, of zijn ze gewoon heel goed in het raden van de antwoorden met behulp van alleen de tekst?

De onderzoekers besloten een klein trucje te spelen met twintig verschillende video-bekijkende robots, variërend van kleine tot enorme modellen met gigantische breinen. Ze namen een standaardtest genaamd MVBench, die honderden vragen over video's bevat, en draaiden de test twee keer voor elke vraag. De eerste keer lieten ze de robot de echte video zien. De tweede keer lieten ze de robot exact dezelfde vraag zien, maar werd de video vervangen door een zwart scherm. Als de robot echt zou "zien", zou zijn score bijna naar nul dalen wanneer de video verdwijnt. Als de robot de antwoorden zelfs met een zwart scherm bleef geven, betekende dit dat hij niet aan het kijken was; hij gebruikte dan slechts taaltrucs om te raden.

De resultaten waren een schok. Het team kwam erachter dat de robots voor veel vragen bijna exact hetzelfde presteerden, of ze nu een video bekeken of in een zwart gat staarden. Ze introduceerden een nieuwe manier om dit te meten, genaamd de "Visual Dependency Gap" (VDG), wat in feite het verschil is tussen hoe goed een robot presteert met een video versus zonder een video. Ze ontdekten dat voor sommige soorten vragen, zoals "Welke kleur heeft de auto?" (Attribute Perception), de robots de video echt nodig hadden om het goed te krijgen. Maar voor andere soorten, zoals "Wat gebeurt er hierna?" (Temporal Reasoning), gaven de robots de antwoorden zelfs correct als het scherm zwart was. Dit betekent dat de testvragen niet daadwerkelijk testten of de robots tijd of volgorde begrepen; ze testten alleen of de robots het antwoord konden raden op basis van de bewoording van de vraag.

De onderzoekers probeerden ook uit te zoeken waarom de robots deze antwoorden gaven. Ze braken de video af in verschillende delen: slechts één enkel frame, een heleboel frames die uit volgorde waren gehaald, en de volledige video waarbij de tijd vooruit liep. Ze ontdekten dat de robots totaal niet om de volgorde van gebeurtenissen gaven. Of de video nu vooruit werd afgespeeld, achterstevoren, of een rommelige verzameling van plaatjes was, de robots haalden dezelfde score. Het enige dat leek te helpen, was het zien van verschillende plaatjes (frame diversiteit), niet het zien van ze in de juiste volgorde. Sterker nog, voor sommige van de nieuwste, meest geavanceerde modellen leek de video-input hen zelfs te verwarren, waardoor ze iets slechter presteerden dan wanneer ze de video simpelweg hadden genegeerd en hadden gegokt op basis van de tekst.

Een van de meest interessante bevindingen was hoe deze robots omgaan met compressie. Normaal gesproken, als je een videobestand kleiner maakt om het minder ruimte in te nemen, wordt de kwaliteit slechter. De onderzoekers verwachtten dat als een robot echt zou "zien", een wazige, gecomprimeerde video hem zou laten falen. Maar de scores van de robots bleven vlak en stabiel, zelfs wanneer de video zwaar gecomprimeerd was. Het team realiseerde zich dat dit niet kwam omdat de robots super robuust waren; het kwam omdat de vragen zo makkelijk te raden waren vanuit de tekst dat de robots de visuele details helemaal niet nodig hadden. De "robuustheid" was een illusie gecreëerd door slechte testvragen.

Ten slotte keken ze naar hoe deze robots veranderden naarmate ze groter en slimmer werden. Ze vonden dat hoewel grotere modellen over het algemeen beter werden in het gebruiken van de video, sommige van de allernieuwste modellen juist slechter werden in het vertrouwen op visuele informatie. Eén model, Qwen3-VL, leek vergeten te zijn hoe het de videoframes effectief moet gebruiken, en vertrouwde bijna volledig op het raden vanuit de tekst, ook al zagen de algemene testscores er goed uit. Het artikel concludeert dat we de scores op de ranglijsten niet meer blind kunnen vertrouwen. Een hoge score betekent niet dat een robot een geweldige waarnemer is; het kan simpelweg betekenen dat het een geweldige gokker is. Om te weten of een robot echt ziet, moeten we controleren of hij faalt wanneer het scherm zwart wordt. Als hij niet faalt, was hij in eerste instantie niet aan het kijken.

Technische Samenvatting: Nauwkeurigheid zonder Gronding

Probleemstelling

De heersende aanname in de evaluatie van video large language models (LLM's) is dat een hogere benchmark-nauwkeurigheid gelijkstaat aan een sterker visueel begrip. Dit artikel daagt die aanname uit en stelt dat benchmark-nauwkeurigheid vaak genuanteerde visuele gronding verward met het exploiteren van taalprioriteiten (tekstuele oplosbaarheid). Hoewel eerder werk heeft vastgesteld dat sommige video-vragen zonder visie beantwoord kunnen worden, hebben deze studies de dit fenomeen niet per vraag gekwantificeerd of statistisch bewezen dat nauwkeurigheid en visuele afhankelijkheid afzonderlijke assen zijn. Gevolgelijk kunnen verbeteringen op leaderboards wijzen op betere taalmodellering in plaats van echte vooruitgang in spatio-temporele redenering.

Methodologie

De auteurs introduceren de Visual Dependency Gap (VDG), een diagnostische metriek per vraag gedefinieerd als het verschil in juistheid tussen een originele videoconditie en een zwart scherm (waarbij alle frames zijn vervangen door massieve zwarte afbeeldingen, waarbij tekst en opties behouden blijven).
$VDG(q) = \mathbb{1}[\text{correct}_{\text{original}}] - \mathbb{1}[\text{correct}_{\text{black}}]$
De studie evalueert 20 video-LLM's variërend van 2 tot 78 miljard parameters en 10 architectuurfamilies (inclusief open-weight modellen zoals Qwen, InternVL, LLaVA en propriëtaire API-modellen zoals GPT-4o en Gemini) over drie benchmarks: Video-MME, MVBench en EgoSchema.

Belangrijke experimentele protocollen omvatten:

McNemar Dissociatie Testen: Gepaarde McNemar-testen worden toegepast op binaire juistheidsuitkomsten om te bepalen of modellen verschillen in visuele afhankelijkheid onafhankelijk van de algehele nauwkeurigheid.
Vier-Conditie Diagnostische Ladder: Om visuele afhankelijkheid te deconstrueren, testen de auteurs modellen onder vier condities: (1) Zwart scherm, (2) Enkel frame (herhaald), (3) Geschudde frames (diverse inhoud, geen temporele volgorde), en (4) Originele video. Dit isoleert bijdragen van ruimtelijke herkenning, frame-diversiteit en temporele ordening.
Compressie-robuustheidsanalyse: Video's worden opnieuw gecodeerd met H.264 bij variërende CRF-niveaus (18–38) om te testen of de stabiliteit van de geaggregeerde nauwkeurigheid bidirectionele antwoordomklappingen maskeert.
FPS Ablatie: Frame rates worden gevarieerd van 0,5 tot 24 FPS om uit te sluiten dat frame-schaarsheid een oorzaak is van lage temporele redeneringsscores.

Belangrijkste Bijdragen

Statistische Dissociatie van Nauwkeurigheid en Gronding: Met behulp van gepaarde McNemar-testen bewijst het artikel dat nauwkeurigheid en visuele afhankelijkheid statistisch scheidbaar zijn. Zo presteert InternVL2-8B op MVBench bijvoorbeeld significant beter dan Qwen2-VL-7B op de originele video ( $p=0.0003$ ), maar is statistisch ononderscheidbaar op zwarte schermen ( $p=0.53$ ).
Taaktype VDG-spectrum: De auteurs stellen een stabiele hiërarchie van visuele afhankelijkheid vast over verschillende taaktypes. Attribute Perception (attribuutperceptie) is de meest visueel gegronde categorie (VDG $\approx$ 0,41), terwijl Temporal Reasoning (temporele redenering) de taal-alleen baseline nadert (VDG $\approx$ 0,06). Deze rangorde blijft consistent over 20 modellen en drie verschillende benchmarks.
Decompositie van Visuele Signalen: De diagnostische ladder laat zien dat frame-diversiteit (het observeren van meerdere verschillende frames) het merendeel van het visuele voordeel levert, terwijl temporele ordening bijna nul bijdrage levert aan de nauwkeurigheid bij 16 open-weight modellen.
Compressie-robuustheid Illusie: De studie toont aan dat vlakke nauwkeurigheidscurven onder H.264-compressie artefacten zijn van bidirectionele annulering (vragen die van correct naar incorrect springen, annuleren vragen die van incorrect naar correct springen), in plaats van echte modelrobuustheid. Vragen die gevoelig zijn voor compressie zijn disproportioneel visueel gegrond.

Belangrijkste Resultaten

Dissociatie: Modellen die het best presteren op de originele video, presteren niet noodzakelijkerwijs beter op zwarte schermen, wat aangeeft dat ranglijsten op leaderboards vaak de exploitatie van taalprioriteiten reflecteren in plaats van visuele capaciteit.
Temporele Redeneringsfout: Over alle modellen heen levert de temporele ordening verwaarloosbare nauwkeurigheidswinst op. De VDG voor taken met temporele redenering is bijna nul, wat suggereert dat huidige benchmarks de temporele begrijping niet effectief testen.
Dominantie van Frame-diversiteit: De "diversity delta" (winst in nauwkeurigheid van geschudde frames versus enkel frame) is het dominante visuele signaal (variërend van +0,075 tot +0,185), terwijl de "temporal delta" (originele video versus geschudde frames) nabij nul ligt.
Generationele Regressie: Hoewel schalen over het algemeen de VDG verbetert (bijv. de schaling van Qwen2.5-VL van 3B naar 7B verhoogt de VDG van 0,210 naar 0,297), vertoont de nieuwere Qwen3-VL serie een regressie in VDG (bijv. Qwen3-VL-8B VDG van 0,107 versus Qwen2.5-VL-7B's 0,297). Dit wordt toegeschreven aan een instorting in de extractie van frame-diversiteit ( $\Delta_{diversity} \approx 0,034$ ), ondanks een hogere zwart-scherm nauwkeurigheid (sterkere taalprioriteiten).
Kwantisatie-artefacten: Grote modellen (bijv. InternVL2.5-78B) onder 4-bit kwantisatie kunnen een negatieve of nul VDG vertonen, wat aangeeft dat hun benchmark-nauwkeurigheid volledig wordt gedreven door taalprioriteiten.
Cross-Benchmark Generalisatie: De VDG-tier taxonomie (Perceptie > Actie > Temporeel/Linguïstisch) voorspelt succesvol de prestaties van taaltypes op EgoSchema, een benchmark met nul overlap in video-bronnen met de trainingsdata, wat de generaliseerbaarheid van de metriek bevestigt.

Betekenis en Claims

Het artikel claimt dat benchmark-nauwkeurigheid een slechte proxy is voor visuele gronding. De auteurs stellen dat het veld het risico loopt te optimaliseren voor de exploitatie van taalprioriteiten in plaats van voor echt visueel begrip. Door VDG te introduceren als een standaard audit-instrument, beoogt het papier:

Te onderscheiden tussen modellen die werkelijk vertrouwen op visuele input en modellen die taken oplossen via tekst.
Bloot te leggen dat huidige "Temporele Redenering" benchmarks grotendeels falen in het testen van temporeel begrip, aangezien de temporele ordening een bijna nul bijdrage levert aan de nauwkeurigheid.
Te benadrukken dat "robuustheid" tegen compressie vaak een illusie is, veroorzaakt door de samenstelling van de benchmark in plaats van modelcapaciteit.

De auteurs positioneren VDG niet als een maatstaf voor modelcapaciteit, maar als een diagnose voor benchmark-validiteit. Zij concluderen dat voor video-benchmarks om visueel gegronde capaciteit te meten, ze verder moeten gaan dan geaggregeerde nauwkeurigheid en diagnostics zoals VDG moeten integreren om te waarborgen dat vragen visuele input vereisen. De code en annotaties worden publiekelijk beschikbaar gesteld om deze audit te faciliteren.