Technische Samenvatting: Het diagnosticeren van visuele onwetendheid in Vision-Language Modellen

Probleemstelling

Vision-Language Modellen (VLM's) vertonen frequent "visuele onwetendheid", een fenomeen waarbij modellen met vertrouwen antwoorden genereren op basis van diepgewortelde talige priors in plaats van visueel bewijs. Hoewel deze gedragstendens goed gedocumenteerd is, blijven de interne mechanismen die deze afhankelijkheid aansturen en de specifieke impact ervan op de validiteit van benchmarks onvoldoende begrepen. De huidige literatuur suggereert dat het simpelweg schalen van parameters het probleem niet oplost; modellen blijven illusoir detail synthetiseren zelfs wanneer afbeeldingen afwezig zijn (het "mirage effect"). Bovendien behouden vision encoders vaak geometrische primitieven, maar faalt de geïntegreerde VLM in het benutten hiervan, wat wijst op een bottleneck in de informatie-routing en onderdrukking binnen de taaldecoder-stack in plaats van een falen van de initiële visuele perceptie. Bestaande evaluatiemethoden slagen er vaak niet in om echt multimodale begrip te onderscheiden van de afhankelijkheid van tekstuele shortcuts, waardoor modellen onbedoeld worden beloond die visuele input negeren.

Methodologie

De auteurs stellen een tweeperspectief-framework voor om de afhankelijkheid van taal-priors te diagnosticeren, door zowel de interne mechanica van het model als de externe gedragsmanifestaties over standaard benchmarks te analyseren.

1. Interne Mechanistische Analyse

Om te traceren hoe ground-truth visuele semantiek concurreert met taal-prior semantiek, gebruiken de auteurs twee complementaire technieken:

• Counterfactual Layer Replacement: De auteurs finetunen een gedebiaste variant van de taaldecoder (met behulp van de VLMBias dataset) en vervangen systematisch lagen in het basismodel door die uit de gefinetunede versie. Dit isoleert de causale bijdragen van specifieia lagen (intermediair versus laat) aan de afhankelijkheid van taal-priors.
• Supervised Layer-wise MLP Probing: In tegen tegenstelling tot zero-shot vocabulaire projecties (zoals LogitLens), die instabiel kunnen zijn in vroege lagen, trainen de auteurs gesuperviseerde Multi-Layer Perceptron (MLP) classificatoren op de verborgen toestanden (hidden states) van elke decoderlaag. Met behulp van de Pixmo-Count dataset brengen deze probes de ruwe hidden states in kaart naar waarschijnlijkheidsverdelingen over ground-truth antwoorden versus taal-prior antwoorden, wat de dynamische evolutie van semantische competitie over de transformer-diepte onthult.

2. Externe Gedragsanalyse

Om de afhankelijkheid van taal-priors in standaard benchmarks te kwantificeren, introduceren de auteurs een Progressive Visual Decay Metric:

• Multi-Step Gaussian Blurring: Afbeeldingen worden gedegradeerd via een reeks Gaussische kernels (van $1\times1$ tot $61\times61$).
• Consecutively Identical Answer Indicator: De auteurs volgen of een antwoord invariant blijft over alle niveaus van degradatie. Deze metriek filtert de ruis van willekeurig gokken weg die inherent is aan beperkte antwoordruimtes (bijv. binair of multiple-choice), wat een statistisch betrouwbare ondergrens biedt voor gevallen waarin het model de visuele context volledig negeert.
• Benchmark Evaluatie: Dit framework wordt toegepast op twaalf visuele vraag-antwoord (VQA) benchmarks (waaronder RePOPE, HallusionBench, MMMU en MMStar) met behulp van drie representatieve VLMs (Qwen2.5-VL-3B/7B en LLaVA-v1.6-Mistral-7B).

Belangrijkste Bevindingen

Interne Routing-fouten

De analyse onthult een multi-stage coöperatieve bottleneck binnen de taaldecoder:

• Intermediaire Lagen: Deze lagen slagen er vaak niet in om fijnmazige, gelokaliseerde visuele informatie effectief op te halen uit de vision encoder.
• Late Lagen: Zelfs wanneer visuele signalen de intermediaire lagen overleven, onderdrukken de diepere lagen deze signalen actief ten gunste van biases in de tekstruimte.
• Dynamische Competitie: Probing-resultaten tonen aan dat hoewel ground-truth visuele signalen in specifieke intermediaire lagen de taal-prior waarschijnlijkheden kunnen evenaren of overtreffen, de waarschijnlijkheid van taal-prior antwoorden scherp toeneemt en domineert in het laatste 1/4 tot 1/3 deel van de decoder-stack. Dit geeft aan dat visuele onwetendheid geen enkelvoudig falen is, maar het result van cumulatieve routing-fouten en actieve onderdrukking.

Kwetsbaarheden van Benchmarks

De externe evaluatie laat zien dat huidige benchmarks vaak falen in het bestraffen van visuele onwetendheid:

• Hoge Invariantie-ratio's: Over de geëvalueerde datasets vertonen 20% tot 40% van de instanties volledig invariante antwoorden, zelfs onder zware of totale visuele obscuratie.
• Gebrek aan Prestatie-straf: Voor de subset van samples waar antwoorden consequent identiek blijven over alle blur-niveaus, blijft de modelaccuratesse vaak stabiel of neemt deze zelfs toe naarmate de afbeeldingen degraderen. Dit duidt erop dat deze benchmarks modellen onbedoeld belonen voor het vertrouwen op blinde linguïstische verwachtingen in plaats van visueel bewijs.
• Data Contaminatie: Modellen zoals LLaVA-v1.6-Mistral-7B vertonen hogere invariantie-ratio's en accuratesse op gedegradeerde afbeeldingen vergeleken met Qwen-modellen, wat wijst op mog르게 memorisatie van benchmark-antwoorden tijdens de pre-training.

Belangrijkste Bijdragen

1. Mechanistische Diagnose: Het paper levert de eerste laag-gewijze kaart van hoe taal-priors visuele signalen overnemen, waarbij wordt vastgesteld dat afhankelijkheid wordt gedreven door zowel ineffectieve extractie in intermediaire lagen als actieve onderdrukking in late lagen.
2. Nieuwe Evaluatiemetriek: De introductie van de progressive visual decay metric biedt een robuuste methode om willekeurig gokken te filteren en echte afhankelijkheid van taal-priors in standaard benchmarks te isoleren.
3. Empirisch Bewijs van Benchmark-gebreken: De studie demonstreert dat een aanzienlijk deel van de voorbeelden in prominente VQA-benchmarks oplosbaar is zonder visuele verwerking, wat de validiteit van huidige evaluatieprotocollen uitdaagt.

Betekenis en Implicaties

De auteurs stellen dat de afhankelijkheid van taal-priors een systematische routing-fout is die zowel de interne werking van het model als de validiteit van benchmarks beïnvloedt. De bevindingen suggereren dat:

• Huidige Trainingsparadigma's Onvoldoende Zijn: Het simpelweg overleggen van visuele kenmerken op tekst-dominante backbones creëert representationele conflicten waarbij het autoregressieve tekst-voorspellingsdoel domineert, waardoor representaties worden weggetrokken van visueel bewijs.
• Evaluatieprotocollen Herontworpen Moeten Worden: Standaard benchmarks slagen er niet in om visuele afhankelijkheid af te dwingen. De auteurs pleiten voor toekomstige evaluatie-frameworks gebouwd op structureel geïsoleerde of contrafactuele data waar statistieken in de tekstruimte fundamenteel niet-informatief zijn over de visuele staat.
• Training Distributie Shift: Om echte cross-modale gronding af te dwingen, moet toekomstig onderzoek training-distributies ontwerpen die spurieuze linguïstische correlaties tussen prompts en antwoorden doorbreken, waardoor modellen worden gedwongen te vertrouwen op visueel bewijs in plaats van gememoriseerde tekst-priors.

Het paper concludeert dat het aanpakken van visuele onwetendheid een fundamentele verschuiving vereist in zowel de manier waarop modellen worden getraind (het ontkoppelen van visuele en talige distributies) als de manier waarop ze worden geëvalueerd (het afdwingen van visuele afhankelijkheid door structurele isolatie).