💻 computer science

How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA

Dit artikel introduceert een operatie-gecentreerd mechanistisch raamwerk om de fouten van Vision-Language Modellen in compositionele VQA te analyseren, waarbij vier verschillende foutmodi worden onthuld en wordt aangetoond dat deze zich voortplanten via specifieke, gedissocieerde computationele paden, waardoor een fundament wordt gelegd voor gerichte betrouwbaarheidsverbeteringen.

Oorspronkelijke auteurs: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Gepubliceerd 2026-07-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Detective, de Kaart en het Glitchy Brein

Stel je voor dat je een robot probeert te leren een detective te zijn. Je geeft het een foto van een rommelige kamer en een vraag zoals: "Zit de rode kat op de blauwe stoel?" Om dit te beantwoorden, kan de robot niet gewoon gokken; het moet een reeks mentale stappen doorlopen. Eerst moet het de kat vinden (objectselectie). Daarna moet het controleren of de kat rood is (attribuutverificatie). Ten slotte moet het naar de stoel kijken en de ruimtelijke relatie tussen hen ontdekken (redeneren). Dit studieveld wordt Vision-Language Modeling genoemd, waarbij computers proberen zowel afbeeldingen als tekst tegelijkertijd te begrijpen.

Lange tijd werden deze robots erg goed in het algemeen vragen beantwoorden. Maar er was een addertje onder het gras: ze waren soms aan het "valsspelen". In plaats van echt naar de afbeelding te kijken, gokten ze misschien het antwoord op basis van hoe woorden in menselijke taal meestal bij elkaar horen. Als er bijvoorbeeld wordt gevraagd: "Is de lucht meestal blauw?", kan de robot "ja" zeggen zonder zelfs naar de afbeelding te kijken. Wetenschappers wilden weten: wanneer deze robots het fout hebben, waarom falen ze dan? Is het omdat ze het object niet kunnen zien? Is het omdat ze de relatie niet kunnen begrijpen? Of negeren ze de afbeelding simpelweg volledig? Het begrijpen hiervan is cruciaal, want als we willen dat deze robots betrouwbare helpers zijn in de echte wereld, moeten we precies weten welk deel van hun brein een glitch heeft, zodat we het kunnen repareren.

De Operatie-gecentreerde Autopsie

In dit artikel besloten de onderzoekers te stoppen met alleen naar de eindscore te kijken en in plaats daarvan een "mechanische autopsie" uit te voeren op het brein van de robot. Ze gebruikten een specifieke dataset genaamd GQA, die vragen bevat die meerdere stappen achter elkaar vereisen, zoals een recept. Ze richtten zich op een model genaamd Qwen2.5-VL-3B, een groot taalmodel met een visuele component. In plaats van alleen te vragen: "Heeft hij het goed?", vroegen ze: "Hoe kwam hij daar, en waar brak het signaal?"

Ze ontwikkelden een slimme manier om de interne bedrading van de robot te testen. Stel je het brein van de robot voor als een fabriek met twee hoofdassemblagelijnen: één is de Attention Line (Aandachtslijn), waar de "ogen" van de robot de afbeelding scannen en beslissen op welke delen ze moeten focussen, en de andere is de MLP Line (Feedforward Netwerk), waar de robot die informatie verwerkt en transformeert tot een definitieve gedachte. De onderzoekers gebruikten "causale interventies", wat een chique manier is om te zeggen dat ze tijdelijk specifieke delen van het brein van de robot defect maakten om te zien wat er gebeurde. Ze blokkeerden het vermogen van de robot om naar een specifiek object te kijken, of stopten het processen van de details van dat object, en keken dan of het antwoord veranderde.

De Vier Manieren waarop Robots Falen

Door het brein van de robot op zeer specifieke manieren te breken, ontdekten de auteurs dat er niet alleen "goede" en "foute" antwoorden zijn. Er zijn eigenlijk vier verschillende manieren waarop de robot kan falen, en elke fout vindt plaats in een ander deel van de fabriek:

De "Blind Spot" Fout (Grounding Failure):
Dit gebeurt wanneer de robot het object simpelweg niet kan vinden in de afbeelding. Het is alsof proberen een specifieke rode auto te vinden op een parkeerplaats, maar de ogen van de robot zijn dicht. De onderzoekers ontdekten dat wanneer de robot dit fout heeft, het komt doordat hij nooit echt de visuele details van het object heeft vastgelegd. Deze fout wordt afgehandeld door de MLP Line (de verwerkingsfabriek). Als je de MLP blokkeert van het verwerken van het object, faalt de robot volledig. Het suggereert dat de robot moeite heeft om de ruwe beeldgegevens om te zetten in een herkenbaar "object" in zijn geest.
De "Over-Focus" Fout (Reasoning Failure):
Dit is de meest interessante en contra-intuïtieve fout. Hier ziet de robot het object perfect, maar raakt hij erdoor geobsedeerd. Stel je voor dat de robot een kat en een stoel ziet, maar in plaats van te denken: "De kat zit op de stoel", staart hij alleen maar gefixeerd naar de textuur van de vacht van de kat en vergeet de vergelijking met de stoel te maken. De robot is "over-grounded". De studie toonde aan dat deze specifieke fout door de Attention Line (het scansmechanisme) reist, specifief in de latere lagen van het brein. De robot kijkt naar het juiste ding, maar slaagt er niet in die blik te gebruiken om een logische verbinding te maken.
De "Wrong Property" Fout (Attribute Extraction Failure):
In dit scenario vindt de robot het object en weet hij precies waar het is, maar krijgt hij de details fout. Hij ziet een gouden kar maar noemt hem zilver. De robot heeft het visuele signaal, maar de laatste stap van het omzetten van dat signaal in een woord mislukt. Dit gebeurt ook in de MLP Line, maar specifiek aan het einde waar het antwoord wordt gegenereerd. Het is alsof de fabriek het juiste grondmateriaal heeft, maar de machine die het definitieve label stempelt kapot is.
De "Cheater" Fout (Language Prior Dominance):
Soms kijkt de robot niet eens naar de afbeelding. Als de vraag is: "Is de ketting zwart of geel?" en de robot weet uit zijn training dat kettingen meestal zwart zijn, gokt hij gewoon "zwart" zonder de afbeelding te controleren. De onderzoekers ontdekten dat voor dit soort vragen het visuele brein van de robot nauwelijks actief is. De robot vertrouwt volledig op zijn "taalbrein" om het antwoord te raden. Dit is een volledige bypass van het visuele systeem.

De Grote Wegpad-Splitsing

De belangrijkste ontdekking in het artikel is een "pathway dissociation" (wegpad-dissociatie). De onderzoekers lieten zien dat verschillende soorten fouten door verschillende draden in het brein van de robot reizen.

Als de robot het object niet kan vinden (Grounding) of het niet correct kan beschrijven (Attribute Extraction), ligt het probleem in de MLP-verwerkingslijn.
Als de robot niet kan redeneren over de relatie tussen objecten (Reasoning), ligt het probleem in de Attention-scanningslijn.

Dit is een grote zaak, want het betekent dat je niet alle robotfouten met één tool kunt oplossen. Als je probeert een "redeneerfout" te herstellen door de object-verwerkingslijn aan te passen, zul je niet slagen. Je moet de specifieke draad targeten waar de fout optreedt.

Gebeurt dit bij alle robots?

De onderzoekers controleerden ook of dit ook waar was voor een andere robot, LLaVA-1.5. Ze ontdekten dat de "Cheater" en "Wrong Property" fouten in beide robots voorkamen, wat suggereert dat dit fundamentele problemen zijn met hoe de robot antwoorden genereert. Echter, de "Blind Spot" en "Over-Focus" fouten kwamen alleen voor bij de eerste robot (Qwen2.5-VL). Waarom? Omdat de eerste robot een vision encoder heeft die zeer gedetailleerde, pixel-perfecte informatie behoudt over waar objecten zich bevinden. De tweede robot (LLaVA) gebruikt een vision encoder die de afbeelding meer breed samenvat, waardoor sommige fijne ruimtelijke details verloren gaan. Omdat de tweede robot niet over hetzelfde gedetailleerde "kaartmateriaal" beschikt, lijdt hij niet onder dezelfde specifieke "Blind Spot" of "Over-Focus" fouten. Dit suggereert dat sommige fouten alleen voorkomen wanneer de robot een hoogresolutie kaart heeft om in te verdwalen.

De Kern van het Verhaal

Het artikel concludeert dat we Vision-Language Models niet langer kunnen behandelen als een enkele "black box" die ofwel werkt of niet. Het zijn complexe machines met verschillende assemblagelijnen voor verschillende taken. Wanneer ze falen, falen ze op specifieke, voorspelbare manieren: soms kunnen ze niet zien, soms kunnen ze niet denken, en soms gokken ze gewoon. Door exact te identificeren welke "draad" kapot is voor elk type vraag, bieden de auteurs een routekaart voor het bouwen van betere, meer betrouwbare robots die daadwerkelijk naar de afbeelding kijken voordat ze spreken.

Technische Samenvatting: Hoe falen VLMs? Visie-Operatie Misalignement in Compositionele VQA

Probleemstelling

Compositioneel Visueel Question Answering (VQA) vereist dat Vision-Language Models (VLMs) ketenredeneringen uitvoeren—zoals objectselectie, ruimtelijke relatie-resolutie en attribuutverificatie—gebaseerd op gegronde visuele bewijslast. Hoewel moderne VLMs sterke geaggregeerde nauwkeurigheid rapporteren op benchmarks zoals GQA, maskeert deze prestatie systematische faalpatronen. Modellen slagen vaak via linguïstische shortcuts bij eenvoudige operaties, terwijl ze falen bij taken die echte visuele gronding en meerstapsinferentie vereisen.

Bestaande analyses richten zich grotendeels op brede fouttypen (bijv. objecthallucinatie) of cross-modale informatiestroom, maar missen een mechanistisch begrip van hoe en waar fouten optreden. Specifiek blijft het onduidelijk of verschillende compositionele operaties falen door verschillende interne computationele paden (bijv. aandachtmechanismen versus feedforward-netwerken) en hoe deze fouten gerelateerd zijn aan de specifieke redeneeroperaties die worden uitgevoerd.

Methodologie

De auteurs stellen een operatie-gecentreerd mechanistisch framework voor om VLM-fouten te deconstrueren op basis van de specifieke redeneeroperatie en het betrokken interne computationele pad. De studie maakt gebruik van de GQA-dataset, die functionele programmatieve annotaties en scene graphs biedt, waardoor de auteurs specifieke visuele tokens kunnen identificeren die causaal relevant zijn voor elke redeneerstap, in plaats van alle visuele tokens uniform te ableren.

De methodologie hanteert drie complementaire causale interventies toegepast over alle 36 lagen van het Qwen2.5-VL-3B-Instruct model:

Causale Gemiddelde Ablatie (Causal Mean Ablation): Vervangt de verborgen toestanden (hidden states) van specifieke grondingstokens (geassocieerd met een doelobject) door een neutrale baseline (het gemiddelde van de activatie van alle visuele tokens). Dit meet de totale causale afhankelijkheid van de visuele representatie van het object.
Attention Knockout: Zet de aandachtgewichten van het antwoordtoken naar de grondingstokens van het object op nul in specifieke lagen, om het cross-token aandachtspad te isoleren.
MLP Knockout: Zet de output van het Feed-Forward Netwerk (MLP) op nul bij specifieke tokenposities (ofwel de objectpositie of de antwoordpositie), om het within-token feedforward pad te isoleren.

De auteurs definiëren Grondingssterkte (Grounding Strength) als de piekdegradatie in de log-waarschijnlijkheid van het correcte antwoord onder gemiddelde ablatie. Ze berekenen verder de Grounding Specificity Shift (GSS) (Cohen's d) om het verschil in degradatie tussen correcte en incorrecte voorspellingen te kwantificeren, wat dient als de primaire metriek voor het classificeren van faalmodi.

Belangrijkste Bijdragen

1. Operatie-bewuste Faal-taxonomie

Het artikel identificeert vier mechanistisch onderscheidende faalmodi, elk gekenmerkt door een unieke relatie tussen visuele grondingssterkte en antwoordcorrectheid:

Grondingsfout (Grounding Failure): Treedt op wanneer correcte antwoorden een substantieel hogere grondingssterkte vertonen dan incorrecte antwoorden. Het model faalt omdat het nooit een causale afhankelijkheid heeft ontwikkend van de visuele regio van het doelobject (bijv. de select operatie).
Redeneerfout (Reasoning Failure): Treedt op wanneer de relatie omdraait; incorrecte antwoorden vertonen een hogere grondingssterkte dan correcte antwoorden. Het model lokaliseert het object, maar over-grondt op de visuele representatie tijdens stadia waar abstracte relationele inferentie zou moeten domineren (bijv. de relate operatie).
Attribuutextractiefout (Attribute Extraction Failure): Treedt op wanneer de grondingssterkte hoog is, ongeacht de correctheid. Het model grondt het object succesvol, maar de uiteindelijke computation die de gegronde representatie omzet in een antwoord faalt (bijv. verify, query, exist).
Dominantie van de Taalkundige Prior (Language Prior Dominance Failure): Treedt op wanneer de grondingssterkte laag is voor zowel correcte als incorrecte antwoorden. Het model vertrouwt op linguïstische patronen en wereldkennis in plaats van visuele computation (bijv. choose, filter).

2. Pad-dissociatie (Pathway Dissociation)

Een centrale bevinding is de dissociatie van computationele paden over de faalmodi:

Grondings- en Attribuutextractiefouten verlopen primair via het Feedforward Netwerk (MLP). Voor select ligt de fout in de verwerking van de representatie van het object; voor verify en query ligt de fout in het vermogen van de MLP op de antwoordpositie om het juiste attribuut uit een goed gegronde representatie te extraheren.
Redeneerfouten verlopen primair via Late-Layer Attention. Voor relate worden fouten gedreven door het feit dat het antwoordtoken aandacht schenkt aan de visuele tokens van het object in late lagen (28–35), wat wijst op een overmatige afhankelijkheid van visuele inhoud in plaats van relationele abstractie.

3. Cross-Architectuur en Cross-Benchmark Validatie

VSR Benchmark: Validatie op de Visual Spatial Reasoning (VSR) benchmark bevestigt dat ruimtelijke redeneerfouten MLP-gemedieerd zijn tijdens de objectcodering (specifiek bij het verwerken van bounding box tokens), en niet tijdens de antwoorddecodering. Dit onderscheidt ruimtelijke redeneerfouten van attribuutextractiefouten.
LLaVA-1.5-7B Analyse: Wanneer toegepast op LLaVA-1.5 (die een bevroren CLIP-encoder gebruikt), blijven de Attribuutextractie en Taalkundige Prior faalmodi consistent (architectuur-onafhankelijk). Echter, Grondings en Redeneer fouten verdwijnen. Dit suggereert dat deze modi encoder-afhankelijk zijn, en alleen ontstaan wanneer de visuele encoder voldoende ruimtelijke granulariteit behoudt zodat het taalmodel er bij de verwerking op kan falen.

Resultaten

Grondingsfout (select): Toont een sterke positieve associatie tussen grondingssterkte en correctheid ( $d = +0.75$ ). De fout is gelokaliseerd in de MLP op de antwoordpositie, wat aangeeft dat objectherkenning afhankelijk is van binnen-token transformaties in plaats van aandacht-routing.
Redeneerfout (relate): Toont een negatieve associatie ( $d = -0.17$ ), waarbij incorrecte antwoorden afhankelijker zijn van de visuele tokens van het object. Attention knockout versterkt dit effect, met fouten geconcentreerd in late lagen, wat bevestigt dat het model "over-grondt" op visuele inhoud wanneer het abstract moet redeneren.
Attribuutextractie (verify, query, exist): Toont een hoge absolute grondingssterkte maar geen significante correctheid-discriminatie bij attention knockout. Fouten zijn gelokaliseerd in de MLP op de antwoordpositie (voor verify) of objectposities (voor exist), wat duidt op een breuk in de conversie van gegronde representaties naar specifieke attributen.
Taalkundige Prior (choose, filter): Toont verwaarloosbare grondingssterkte en geen significante pad-specifieke effecten, wat bevestigt dat deze operaties visuele computation omzeilen.

Betekenis

Het artikel claimt een principieel fundament te bieden voor gerichte verbeteringen aan de betrouwbaarheid van VLMs in multimediaal redeneren. Door aan te tonen dat verschillende typen fouten fundamenteel andere corrigerende strategieën vereisen, betoogt het werk tegen "one-size-fits-all" oplossingen. Specifiek:

Interventies gericht op feedforward-verwerking zijn noodzakelijk voor grondings- en attribuutextractiefouten.
Interventies gericht op attention routing (met name in late lagen) zijn noodzakelijk voor redeneerfouten.
Het onderscheid tussen taak-niveau (architectuur-onafhankelijke) en encoder-afhankelijke faalmodi biedt een diagnostisch kader voor het begrijpen van de beperkingen van modellen op basis van hun visuele encodingscapaciteiten.

De auteurs benadrukken dat hun bijdrage diagnostisch is: het biedt een mechanische kaart van hoe VLMs falen, in plaats van een specifieke corrigerende interventie voor te stellen. Deze granulaire kennis wordt gepresenteerd als een noodzakelijke voorwaarde voor het ontwikkelen van robuustere en betrouwbaardere VLMs.