Technische Samenvatting: Mirage Probes: Hoe Visiemodellen Visueel Begrip Simuleren

Probleemstelling

Visie-taalmodellen (VLMs) worden steeds vaker ingezet in kritieke domeinen zoals medische beeldvorming, documentanalyse en wetenschappelijke redenering, waar antwoorden geworteld moeten zijn in visuele input. Recente observaties van "mirage gedrag" (mirage behavior) dagen echter de aanname uit dat succes op benchmarks gelijkstaat aan getrouwe visuele redenering. Mirage gedrag treedt op wanneer VLMs met veel vertrouwen correcte antwoorden geven op afbeelding-gebaseerde vragen, zelfs wanneer de afbeelding afwezig is. Dit suggereert dat prestaties op multimodale benchmarks (bijv. MMMU, VQA-RAD) eerder een reflectie zijn van tekstuele priors, dataset-regulariteiten of shortcuts, dan van werkelijk gebruik van visueel bewijs.

Eerder werk beschouwt mirage gedrag grotendeels als één enkele foutmodus. De auteurs stellen dat dit een oversimplificatie is en suggereren dat hetzelfde output-niveau gedrag kan voortkomen uit twee verschillende interne mechanismen:

1. Tekstuele Biases: Het model beantwoordt vragen direct vanuit taal-priors zonder de visuele representaties te gebruiken.
2. Spurieuze Afbeeldingen: Het model construeert valse visuele inhoud in zijn latente ruimte en antwoordt alsof het gegrond is, waarbij het effectief een afbeelding "hallucineert" om het antwoord te ondersteunen.

Het onderscheiden tussen deze mechanismen is cruciaal omdat mitigatiestrategieën verschillen: het opschonen van de tekstdistributie pakt het eerste aan, maar kan het tweede niet bereiken, aangezien dat laatste in de visuele representaties van het model verblijft.

Methodologie

Mirage Probes Framework

De auteurs introduceren Mirage Probes, een contrastief probeer-framework ontworpen om mirage gedrag te detecteren en te analyseren op het niveau van de representatie.

1. Dataset Constructie:

   • De auteurs genereren datasets door modelresponsen met een afbeelding ($r_{img}$) te vergelijken met die zonder afbeelding ($r_{\emptyset}$).
   • Labeling Heuristiek: Een respons met afbeelding wordt gelabeld als "mirage-achtig" ($y=1$) als de generatie zonder afbeelding hetzelfde antwoord produceert met een hoge semantische gelijkenis (bag-of-words cosine similarity > 0.7). Het wordt gelabeld als "niet-mirage-achtig" ($y=0$) als de generatie zonder afbeelding expliciet onzekerheid uitdrukt of stelt dat de taak zonder de afbeelding onmogelijk is.
   • Contrastieve Paren: Om oppervlakkige tekstuele confounds (bijv. onderwerpwoorden, vraagstijl) te verminderen, gebruiken de auteurs GPT-4o-mini om vier geparafraseerde varianten van elke basisvraag te genereren. Ze construeren contrastieve paren waarbij de afbeelding en de onderliggende intentie vast blijven, maar de formulering van de vraag varieert, wat resulteert in verschillende mirage-labels. Dit zorgt ervoor dat de probes het mirage-mechanisme leren in plaats van oppervlakkige lexicale kenmerken.

2. Activatie Extractie:

   • De studie onderzoekt drie open-source VLMs: Ovis2.5-2B, GLM-4.6-flash, en Qwen3-32B-VL-Instruct.
   • Activaties worden geëxtraheerd uit vier locaties binnen de transformer-architectuur:
     • Residual stream states
     • MLP outputs
     • Post-attention outputs
     • Individuele attention-head outputs
   • Activaties worden geaggregeerd met drie pooling-strategieën: text-nonspecial-mean, vision-tail, en vision-text-mean.

3. Probe Training:

   • Vier families van probes worden getraind om het mirage-label te voorspellen vanuit de interne activaties:
     • Logistische Regressie (Lineair): Test of mirage gecodeerd is als een enkele lineaire richting.
     • Twee-laagse MLP: Test voor niet-lineaire codering.
     • Geconcateneerde Probes: Traint op activaties van alle lagen gelijktijdig.
     • Verschil Probes (Difference Probes): Traint op het elementgewijze verschil tussen met-afbeelding en zonder-afbeelding activaties ($\Delta h = h_{img} - h_{\emptyset}$).
   • Baseline: Een Naive Bayes classifier getraind op de tekstuele respons wordt gebruikt om oppervlakkige lexicale confounds uit te sluiten.
   • Metriek: Een nieuwe Prior Harnessing Index (PHI) wordt geïntroduceerd om te meten hoeveel informatie een model kan putten uit tekst alleen met betrekking tot een correct antwoord ($PHI = \log p(a^*|Q) - \log p(a^*|Q_{\emptyset})$).

Belangrijkste Resultaten

1. Lineaire Decodeerbaarheid van Mirage Gedrag

De studie demonstreert dat mirage gedrag lineair decodeerbaar is vanuit de interne activaties van afbeelding-aanwezige VLMs over alle vier de activatie-locaties (residual stream, MLP, post-attention, attention heads).

• Nauwkeurigheid: In contrastieve settings bereikten lineaire probes nauwkeurigheden tot 75% (Ovis) en 72% (Qwen) op de residual streams, en tot 85% op de attention heads.
• Lineariteit: Twee-laagse MLP-probes presteerden niet significant beter dan lineaire probes, wat suggereert dat mirage-informatie gecodeerd is langs herstelbare lineaire richtingen in plaats van complexe niet-lineaire extractie te vereisen.
• Contrastieve Superioriteit: Verschil-probes (getraind op activatieverschillen) behaalden de hoogste nauwkeurigheid (tot 98% in sommige settings), wat aangeeft dat de representatieve verschuiving veroorzaakt door het toevoegen van een afbeelding mirage effectief scheidt van niet-mirage responsen.

2. Reductie van Oppervlakkige Confounds

De vergelijking met de Naive Bayes tekst-baseline bevestigt dat de probes niet louter oppervlakkige lexicale kenmerken detecteren.

• In contrastieve settings overtrof de probe-nauwkeurigheid de Naive Bayes baseline aanzienlijk (bijv. 61.88% vs. 57.67% voor Ovis op VQA-RAD).
• In "all-examples" settings (zonder contrastieve pairing) was de probe-nauwkeurigheid hoger maar correleerde deze met een toegenomen oppervlakkige scheidbaarheid, wat suggereert dat deze probes waarschijnlijk tekstuele aanwijzingen oppikten in plaats van diepe mechanismen. Dit valideert de noodzaak van het contrastieve framework.

3. Twee Distincte Mirage Regimes

Patronen van cross-benchmark scheidbaarheid onthullen dat mirage gedrag geen monolithisch fenomeen is, maar waarschijnlijk bestaat uit twee verschillende regimes:

• Spurieuze Afbeeldingen: Dominant in VQA-RAD, waar vragen sterk afhankelijk zijn van de afbeelding (mensen kunnen de vragen niet beantwoorden zonder de afbeelding) en tekstuele priors zwak zijn (lage PHI). Hier construeert het model valse visuele inhoud.
• Tekstuele Biases: Meer aanwezig in MMMU-Pro en MedXpertQA, waar vragen vaak voldoende tekstuele context bevatten om zonder de afbeelding te kunnen antwoorden (hoge PHI).
• Bewijs: VQA-RAD vertoonde de hoogste probe-scheidbaarheid. Wanneer probes alleen werden getraind op "door mensen als beeld-afhankelijk ervaren" voorbeelden uit andere benchmarks, verbeterde de scheidbaarheid niet. Echter, het gebruik van de PHI metriek toonde aan dat VQA-RAD vragen de onzekerheid van het model zonder afbeeldingen uniek vergroten, wat sterk correleert met mirage gedrag. Dit suggereert dat wanneer tekstuele priors onvoldoende zijn, het model terugvalt op de constructie van spurieuze afbeeldingen; wanneer ze voldoende zijn, leunt het op tekstuele bias.

Betekenis en Claims

Het artikel claimt dat getrouwe visuele gronding interventies op representatieniveau vereist, en niet enkel op tekstniveau.

• Mechanistisch Inzicht: De auteurs leveren het eerste bewijs op representatieniveau dat mirage gedrag lineair gecodeerd en decomponeerbaar is in twee mechanismen.
• Implicaties voor Mitigatie: Het onderscheid heeft directe gevolgen voor veiligheid en alignment. Het opschonen van tekstdistributies (bijv. het verwijderen van dataset-shortcuts) kan mirage-gedrag door tekstuele bias verminderen, maar zal waarschijnlijk falen bij het aanpakken van mirage-gedrag door spurieuze afbeeldingen, aangezien dat laatste geworteld is in de interne visuele representaties van het model.
• Evaluatie: Het Mirage Probes framework biedt een diagnostisch instrument om te evalueren of een VLM zijn antwoorden werkelijk baseert op visueel bewijs of dat het dit simuleert via hallucinaties in de latente ruimte of tekstuele shortcuts.

De auteurs hanteren een bescheiden standpunt en merken op dat hun twee-mechanisme hypothese empirisch gemotiveerd is door scheidbaarheidspatronen en in toekomstig werk causale validatie (zo.v. steering of ablatie) vereist. Ze benadrukken dat hun labels berusten op heuristieken en dat de centrale claim correlationeel blijft, hoewel de uitsluiting van oppervlakkige confounds via contrastieve probing de validiteit van de bevindingen versterkt.