💬 NLP

Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models

Dit artikel stelt een verenigd framework voor dat pre-generatiesignalen uit visuele token-representaties en prompt-geconditioneerde verborgen toestanden gebruikt om te voorspellen en te ontrafelen of fouten in Vision-Language Models voortkomen uit perceptie-/herkenningsbottlenecks of kennisretrielefouten, wat gerichte interventies mogelijk maakt vóór de antwoordgeneratie.

Oorspronkelijke auteurs: Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

Gepubliceerd 2026-07-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robotvriend hebt die een foto kan bekijken en elke vraag erover kan beantwoorden. Als je hem een scherpe foto van een beroemde filmster laat zien en vraagt: "Wie is dit?", is hij meestal spot on. Maar als je vraagt: "Waar is deze acteur geboren?" of "Wat is de natuurlijke habitat van deze vreemde kever?", struikelt de robot soms. Hij raadt misschien het verkeerde land of zegt dat de kever in de oceaan leeft terwijl hij eigenlijk in een bos leeft.

Lange tijd behandelden onderzoekers deze foute antwoorden als één grote, rommelige bende van falen. Ze zeiden gewoon: "Oeps, de robot zat ernaast," en gingen door. Maar dit nieuwe artikel suggereert dat dat is alsof je zegt dat een auto kapot is zonder te controleren of het de motor, de banden of de brandstof was. De auteurs, een team van wetenschappers, wilden precies uitzoeken waar de robot over struikelt voordat hij zelfs maar zijn zin afmaakt.

De twee grote fouten: "Ik kan het niet zien" vs. "Ik weet het niet"

De onderzoekers bouwten een speciale diagnostische boom om fouten te sorteren in vier duidelijke categorieën. Denk aan een detective die een mysterie probeert op te lossen voordat de verdachte zelfs maar spreekt.

De Visuele Wazigheid: Soms is de foto gewoon te wazig, te donker of beschadigd. De robot kan de details letterlijk niet zien.
De Onbekende Vreemdeling: De foto is duidelijk, maar de robot heeft de persoon of het dier in de foto nog nooit ontmoet. Het is alsof de robot naar een beroemdheid kijkt uit een cultuur waar de robot nooit over is onderricht.
Het Vergeten Feit: De robot herkent de persoon perfect (bijv. "Dat is Tom Cruise!"), maar hij is het specifieke feit dat je vroeg vergeten (bijv. "Ik kan zijn geboortejaar niet herinneren").
De Ontbrekende Bibliotheek: De robot weet wie de persoon is, maar het feit dat je vroeg, bestaat simpelweg niet in zijn brein.

Het artikel spreek zich uit tegen het idee dat al deze fouten hetzelfde zijn. Ze laten expliciet zien dat je niet zomaar een generieke "onzekerheidsmeter" kunt gebruiken om ze allemaal te vangen. Een generieke meter kan je misschien vertellen dat de robot "onzeker" is, maar het zal je niet vertellen waarom.

De magie van "Pre-Generatie" signalen

Dit is het coolste deel: de auteurs ontdekten dat ze het type fout konden voorspellen voordat de robot zelfs begon met het typen van zijn antwoord. Ze hoefden niet te wachten tot de robot iets fout zei; ze hoefden alleen maar even in zijn interne "gedachten" te gluren direct nadat hij naar de foto had gekeken en de vraag had gelezen, maar voordat hij een enkel woord genereerde.

Ze ontdekten een fascinerende splitsing in hoe de robot denkt:

Voor Visuele en Herkenningsfouten: Als de robot moeite heeft met het zien van de afbeelding of het identificeren van het object, zit de aanwijzing verborgen in de visuele tokens. Zie dit als de "ogen" van de robot. Als de ogen in de war zijn, is het signaal het sterkst in dat visuele deel van het brein. Het artikel laat zien dat het kijken naar deze visuele signalen ongelooflijk effectief is, met nauwkeurigheidsscores die oplopen tot wel 97,0 (op een schaal waarbij 100 perfect is) voor het opsporen van fouten in visueel bewijs.
Voor Feitelijke Fouten: Zodra de robot het object succesvol heeft geïdentificeerd, verplaatsen de aanwijzingen voor feitelijke fouten zich naar een ander deel van het brein: de prompt-geconditioneerde verborgen toestanden (hidden states). Denk hierbij aan het "geheugencentrum" van de robot, waar hij de vraag en de naam van de entiteit bij elkaar houdt. Als de robot de kever kent maar niet weet waar hij leeft, bevindt het foutensignaal zich hier. Het artikel vond dat het kijken naar de laatste acht tokens van de prompt (een specifiek deel van het interne denkproces van de robot) de beste manier was om deze fouten te vangen, wat andere methoden versloeg.

Het artikel sluit expliciet de mogelijkheid uit dat wachten tot het antwoord wordt gegenereerd veel helpt. Ze testten methoden die naar de tekst kijken nadat de robot heeft gesproken, en die waren over het algemeen zwakker dan het controleren van de interne signalen voordat de robot spreekt.

Het "Reparatie-experiment"

Om te bewijzen dat dit idee werkt, richtte het team een "reparatiebedrijf" in. Ze gebruikten hun pre-generatie signalen om het probleem te diagnosticeren en stuurden de robot vervolgens naar de juiste monteur:

Als het signaal zei "Visuele Bewijsfout", gebruikten ze een hulpmiddel om de wazige afbeelding te "repareren", waardoor deze duidelijker werd, en vroegen ze de robot het opnieuw te proberen.
Als het signaal zei "Onbekende Entiteit", gaven ze de robot een hint over wie de persoon of het dier was.
Als het signaal zei "Ontbrekend Feit", voerden ze de robot een kort feitenblad over de entiteit.
Als het signaal zei "Onoproepbaar Feit", herschreven ze de vraag zodat de naam van de entiteit super duidelijk werd, wat de robot hielp bij het ophalen van de herinnering.

De resultaten waren indrukwekkend. Voor de iNaturalist-dataset (vragen over planten en dieren) hadden de robots een zeer lage nauwkeurigheid, rond de 4,8% tot 12,1%. Na dit gerichte reparatieproces sprong de nauwkeurigheid omhoog naar 39,6% tot 46,6%. Dit is een enorme verbetering, wat suggereert dat weten waarom een robot faalt, ons in staat stelt om het veel beter te repareren dan alleen maar hopen dat hij de volgende keer geluk heeft.

Wat dit betekent (en wat het niet betekent)

Het artikel suggereert dat de manier waarop deze Vision-Language Modellen falen gestructureerd en voorspelbaar is. Het is geen willekeurige chaos; het is een specifieke breuk in ofwel de ogen, de herkenning, of het geheugen.

De auteurs zijn echter voorzichtig om niet te beweren dat dit een perfect opgelost probleem is. Ze merken op dat hun "reparatie"-experiment een bewijs van concept was waarbij een krachtige tool manager (GPT-5) werd gebruikt om de reparatie uit te voeren. Ze erkennen dat dit extra kosten en mogelijke fouten in de tools met zich meebrengt, en dat een echt systeem gespecialiseerde, goedkopere tools nodig zou hebben om hetzelfde werk te doen. Ook zijn hun labels voor "falen" gebaseerd op specifieke tests die zij hebben ontworpen, en niet noodzakelijkerwijs op een perfect menselijk begrip van elke mogelijke fout.

Maar de kernboodschap is duidelijk en opwindend: we hoeven niet te wachten tot een robot een fout antwoord geeft om te weten dat hij in de problemen zit. Door te luisteren naar zijn interne signalen voordat hij spreekt, kunnen we zien of hij staat te knijpen tegen een wazige foto, naar een vreemde staart, of gewoon even zijn geheugen te binnen roept. En zodra we de oorzaak weten, kunnen we hem naar de juiste reparatiewerkplaats sturen om het juiste antwoord te krijgen.

Technische Samenvatting: Faalt het in het zien of faalt het in het weten? Toeschrijving van fouten in Vision-Language Modellen

Probleemstelling

Vision-Language Modellen (VLM's) vertonen een hoge bekwaamheid bij het beantwoorden van vragen op basis van hoogwaardige afbeeldingen, maar worstelen vaak wanneer queries kennis vereisen die verder gaat dan de directe visuele perceptie. In deze kennisintensieve Visual Question Answering (VQA) scenario's kan een enkel onjuist antwoord voortkomen uit verschillende faalmodi: gedegradeerd visueel bewijs, niet-erkende entiteiten, ontbrekende parametrische feiten of mislukte feitelijke herinnering ondanks entiteitsherkenning.

Eerder onderzoek heeft deze fouten grotendeels behandeld als monolithische fouten of individuele faalmodi (bijv. beelddegradatie of culturele bias) in isolatie onderzocht. Gevolgelijk bieden bestaande methoden voor onzekerheidskwantificatie doorgaans een binair signaal van "waarschijnlijke fout" zonder de specifieke bron van onzekerheid te diagnosticeren. Dit gebrek aan granulariteit verhindert gerichte interventies, zoals het onderscheid tussen een afbeelding die reparatie behoeft en een query die externe feitelijke ophaalprocessen vereist.

Methodologie

Attributie-taxonomie

De auteurs stellen een verenigd kader voor dat VQA-fouten deelt in vier wederzijds uitsluitende onzekerheidscomponenten, die een attributieboom vormen:

Visueel Bewijs Falen ( $Z_d$ ): De afbeelding is te gedegradeerd (bijv. ruis, onscherpte) om herkenning te ondersteunen.
Onbekende Entiteit ( $Z_u$ ): De entiteit is visueel herkenbaar maar onbekend voor het model (out-of-distribution of ondervertegenwoordigd).
Onbekend Feit ( $Z_f$ ): De entiteit is herkend, maar het vereiste feit ontbreekt in de parametrische kennis van het model.
Onherroepelijk Feit ( $Z_r$ ): De entiteit is herkend en het feit wordt als beschikbaar verondersteld, maar het model slaagt er niet in het correct op te halen of te gebruiken.

Datacuratie en Labeling

Om probes te trainen voor deze specifieke faalmodi, hebben de auteurs een dataset samengesteld uit PopVQA (beroemdheden, landmerken, logo's, schilderijen) en iNaturalist (plant- en diersoorten). Ze pasten een schaalbare, modelspecifieke labelingsprocedure toe:

Onbekende versus Gedegradeerde Entiteiten: Ze gebruikten een "verbaal herkenningsprobe" met afleidende prompts om onderscheid te maken tussen entiteiten die het model niet kan herkennen vanwege visuele degradatie (geïnduceerd via Gaussische vervaging, ruis, JPEG-compressie) versus entiteiten die het simpelweg niet kent.
Toegang tot Feiten: Om "Onbekend Feit" te scheiden van "Onherroepelijk Feit", gebruikten ze een twee-staps test. Als een model faalt bij de oorspronkelijke afbeelding-gebaseerde vraag, maar slaagt wanneer de naam van de entiteit expliciet in de prompt wordt gegeven, wordt de fout toegeschreven aan Onherroepelijk Feit (cross-modale toegangsfout). Als het bij beide faalt, wordt het feit als Onbekend beschouwd.

Kenmerkextractie vóór Generatie

De kern van het onderzoek richt zich op de vraag of interne modeltoestanden vóór decodering de bronnen van deze fouten kunnen voorspellen. De auteurs extraheerden kenmerken nadat de afbeelding-vraag prompt was verwerkt, maar voordat de antwoordgeneratie begon:

VIS: Verborgen toestanden van de laatste afbeeldingstoken (visuele-prompt kenmerken).
EOP: Verborgen toestand van de laatste prompttoken.
LAST8: Geconcateneerde verborgen toestanden van de laatste acht prompttokens.
ATTN: Afgevlakte aandachtsgewichten van de laatste acht tokens naar een lookback-venster.
ATTN+LAST8: Een combinatie van het bovenstaande.

Deze kenmerken werden gevoed aan lichtgewicht probes (lineaire koppen of kleine transformers) die getraind zijn om de specifieke faaltak in de attributieboom te voorspellen.

Belangrijkste Bijdragen

Attributie-boom Taxonomie: Het artikel introduceert een gestructureerde decompositie van kennisintensieve VQA-fouten in visueel bewijs, entiteitsherkenning, feitelijke herinnering en kennisbeschikbaarheid, waarmee het verder gaat dan binaire foutdetectie.
Schaalbare Labelingsprocedure: Een methode om specifieke faalmodi aan VQA-voorbeelden toe te wijzen met behulp van gecontroleerde probes (distractoren, entiteit-expliciete herschrijvingen en synthetische beelddegradatie) in plaats van te vertrouwen op dure menselijke annotatie.
Foutvoorspelling vóór Generatie: De demonstratie dat de interne representaties van VLM's de bronnen van fouten kunnen voorspellen voordat een antwoord wordt gegenereerd. Cruciaal is dat het artikel identificeert dat verschillende signalen optimaal zijn voor verschillende faaltypen:
- Visuele-token kenmerken (VIS) zijn de sterkste voorspellers voor herkenning en visuele bewijsfouten.
- Prompt-geconditioneerde verborgen toestanden (LAST8) zijn superieur voor het voorspellen van feitelijke fouten (onbekende versus onherroepelijke feiten) zodra de entiteit is herkend.

Experimentele Resultaten

De studie evalueerde vier VLM-families (Gemma-3, Llama-3.2, Qwen2.5-VL, Qwen3-VL) op PopVQA en iNaturalist.

Faalverdeling: "Onbekend Feit" was de dominante faalmodus (36–64% van de fouten), gevolgd door "Onbekende Entiteit" en "Onherroepelijk Feit". Dit bevestigt dat veel fouten optreden zelfs na succesvolle entiteitsherkenning.
Prestaties van Kenmerken:
- Voor Visueel Bewijs en Entiteitsherkenning bereikten VIS-kenmerken de hoogste PR-AUC (bijv. 97.0 voor visueel bewijs), wat aanzienlijk beter is dan prompt-gebaseerde kenmerken.
- Voor Antwoordsucces en Feitelijke Toegang, presteerden LAST8-kenmerken (met name met een Transformer-kop) beter dan VIS en EOP, waarbij ze respectievelijk gemiddelde PR-AUC's van 62.7 en 53.5 bereikten.
- Boom versus Plat Classificatie: Een boom-gecomponeerde aanpak (gebruikmakend van gespecialiseerde probes voor elke binaire beslissing) presteerde consequent beter dan een directe 5-label classifier (49.2 vs. 41.2 macro PR-AUC), wat suggereft dat het scheiden van beeld- en feitelijke beslissingen noodzakelijk is.
Cross-Dataset Generalisatie: Probes getraind op PopVQA werden goed overgedragen naar iNaturalist voor visuele en herkennings-taken (hoge PR-AUC), maar vertoonden lagere prestaties voor feitelijke taken, wat aangeeft dat feitelijke signalen meer domeinspecifiek zijn.
Probe-gestuurde Mitigatie: Het gebruik van de attributieboom om voorbeelden naar gerichte interventies te leiden (beeldreparatie, entiteitsidentificatie, vraagherschrijving of externe feitenverstrekking) verbeterde de uiteindelijke antwoordnauwkeurigheid met 30.8–39.3 procentpunten. Opvallend genoeg was "Onbekend Feit" de grootste bijdrage aan deze winsten, wat het nut van het vroegtijdig identificeren van ontbrekende kennis valideert.

Betekenis en Claims

Het artikel beweert dat VLM-fouten in kennisintensieve VQA gestructureerd zijn in plaats van willekeurig. Door de interne toestanden vóór generatie te analyseren, is het mogelijk om te diagnosticeren waarom een model onzeker is voordat het een antwoord genereert.

De auteurs stellen dat deze diagnostische capaciteit efficiënte, gerichte interventies mogelijk maakt. In plaats van een binaire "onthouden of antwoorden" beslissing, kunnen systemen onzekere gevallen naar specifieke reparatiemechanismen sturen:

Als het signaal wijst op visuele degradatie, kan de afbeelding worden gerepareerd.
Als het signa wijst op een onbekende entiteit, kan het systeem steun zoeken bij entiteitsherkenning.
Als het signaal wijst op ontbrekende kennis, kan het systeem externe retrieval activeren.

Het werk suggereert dat het "twee-staps" karakter van kennisintensieve VQA (visuele herkenning gevolgd door feitelijke herinnering) weerspiegeld wordt in de interne representaties van het model, waarbij visuele tokens de eerste stap coderen en prompt-geconditioneerde verborgen toestanden de tweede stap coderen. Deze bevinding ondersteunt de ontwikkeling van robuustere, zelfcorrigerende multimodale systemen die hun eigen specifieke beperkingen kunnen identificeren en aanpakken.