Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts

Deze studie toont aan dat Vision-Language-modellen visuele informatie wel degelijk correct coderen, maar dat hun falen bij het beantwoorden van vragen voortkomt uit een tekortkoming in de arbitrage tussen visuele signalen en taalkundige priors, wat opgelost kan worden door gerichte interventies in de vroege lagen van het model.

De kern

De Blauwe Banaan: Waarom AI's "zien" goed is, maar hun "denken" soms vastloopt

Stel je voor dat je een blauwe banaan op een bord legt. Vervolgens vraag je aan een slimme robot: "Wat voor kleur heeft deze banaan?"

Een mens zou zeggen: "Blauw, want ik zie een blauwe banaan."
Maar veel huidige AI-modellen (zogenoemde Vision-Language Models) zeggen vaak: "Geel." Waarom? Omdat ze in hun hoofd hebben opgeslagen dat bananen normaal geel zijn.

De vraag die deze paper stelt, is: Ziet de AI de blauwe banaan niet, of is het probleem dat hij besluit om zijn eigen kennis boven zijn ogen te stellen?

Het antwoord van de onderzoekers is verrassend: De AI ziet het perfect. Het probleem is niet dat hij blind is, maar dat hij de verkeerde beslissing neemt.

Hier is hoe ze dit ontdekten, vertaald in een verhaal:

1. De "Logistieke Keten" van de AI

Stel je de AI voor als een fabriek met 70 verdiepingen (de lagen van het model).

• Verdieping 1 tot 60: De AI kijkt naar de foto. Hij ziet de blauwe banaan. Hij slaat deze informatie op. Op dit moment is de AI perfect. Hij "weet" dat de banaan blauw is.
• Verdieping 60 tot 70: Hier gebeurt de "arbitrage" (de beslissing). De AI moet kiezen: "Kijk ik naar wat ik zie (blauw) of naar wat ik weet (bananen zijn geel)?"

De onderzoekers ontdekten dat bij de AI's die een fout maken, de informatie over de blauwe kleur nog steeds sterk aanwezig is in de eerste 60 verdiepingen. De "blauwe" signalen zijn net zo sterk als bij de AI's die het goed doen. Het probleem zit hem dus niet in de camera (het zien), maar in de manager op de bovenste verdieping die roept: "Nee, we doen het zoals in het boekje: geel!"

2. De "Wissel" in de Fabriek

De onderzoekers hebben een nieuwe manier bedacht om te kijken waar deze beslissing wordt genomen. Ze noemen dit de MAC-analyse (Multimodal Arbitration Crossover).

Stel je voor dat er twee treinrails door de fabriek lopen:

• Rail A (Visueel): "De banaan is blauw."
• Rail B (Kennis/Prior): "Bananen zijn geel."

In de beginverdiepingen rijden beide treinen naast elkaar. Maar ergens halverwege de fabriek moet er een wissel worden gelegd.

• Bij slimme AI's schakelt de wissel vroeg om naar Rail A (Blauw).
• Bij de AI's die fouten maken, blijft de trein lang op Rail B (Geel) rijden, of schakelt hij te laat om. Zelfs als de trein op Rail A rijdt, kan de bestuurder op de bovenste verdieping nog steeds de rem trekken en zeggen: "Nee, we gaan toch maar naar Geel."

3. De "Chirurgische" Test (Patching)

Om te bewijzen dat het een beslissingsprobleem is en geen kijkprobleem, deden de onderzoekers een soort chirurgische ingreep.

Stel je voor dat je een foutloze AI hebt die een blauwe banaan ziet en "blauw" zegt. Dan pak je de "geheugenblokken" (de interne gedachten) van die AI op het moment dat hij de beslissing maakt, en je plakt die in de AI die een fout maakt.

• Resultaat: De AI die eerst "geel" zei, begint plotseling "blauw" te zeggen!
• Bewijs: Dit betekent dat de informatie over de blauwe kleur er al was, maar dat de AI het gewoon niet gebruikte. Het was alsof de AI een boek had opengeslagen op de juiste pagina, maar besloot om toch de verkeerde zin voor te lezen.

4. De Oplossing: De "Stuurknuppel"

De vraag is nu: Kunnen we dit fixen zonder de AI opnieuw te leren (wat heel duur en langzaam is)?

Ja! De onderzoekers ontdekten dat ze de AI kunnen "sturen" door op de eerste verdiepingen van de fabriek een klein duwtje te geven.

• Ze gebruiken een techniek die ze "Activation Steering" noemen.
• Het is alsof je de stuurknuppel van de trein een beetje naar links duwt, net voordat de wissel wordt gelegd.
• Door dit te doen op de juiste momenten (in de vroege lagen), kunnen ze de AI dwingen om te kiezen voor wat hij echt ziet in plaats van wat hij weet.

Het resultaat: De AI's worden tot 3,8% beter in het correct beschrijven van de blauwe banaan, zonder dat ze opnieuw getraind hoeven te worden.

Conclusie in één zin

Deze AI's zijn niet blind; ze zien de blauwe banaan heel duidelijk. Het probleem is dat ze te veel vertrouwen op hun "boekenkennis" en vergeten om naar hun eigen ogen te kijken. Met een kleine, slimme ingreep kunnen we ze helpen om eindelijk te doen wat ze zien, in plaats van wat ze denken dat ze zouden moeten zien.

Technische samenvatting

1. Het Probleem

Vision-Language Models (VLM's) zoals LLaVA en Qwen2-VL presteren uitstekend op veel multimodale benchmarks, maar falen vaak wanneer visuele bewijslast in strijd is met sterke taalkundige vooroordelen (priors). Een klassiek voorbeeld is een blauwe banaan: als een model wordt gevraagd naar de kleur, antwoordt het vaak "geel" in plaats van "blauw", ondanks dat het de blauwe banaan ziet.

De heersende hypothese is perceptuele blindheid: het visuele encoder-deel van het model zou het belangrijke detail niet vastleggen, waardoor het taaldeel de juiste informatie mist. Dit paper daagt deze hypothese uit en stelt dat het probleem niet ligt in de waarneming, maar in de arbitrage (de beslissingsmechanismen) die de visuele informatie negeert ten gunste van de taalkundige prior.

2. Methodologie

De auteurs hebben een onderzoek uitgevoerd met tien verschillende VLM's (varierend van 7B tot 72B parameters) en een dataset met visuele contrafacten (bijv. blauwe bananen, omgekeerde grootteverhoudingen). Het onderzoek bestaat uit vier fasen:

• Multimodal Arbitration Crossover (MAC) Analyse:
  De auteurs gebruiken een "Logit Lens"-benadering om laag voor laag te analyseren welke antwoordtoken (visueel vs. prior) de voorkeur krijgt. Ze definiëren de MAC-layer als het punt waar de logit-waarde van het visuele token voor het eerst stabiel de logit-waarde van het prior-token overstijgt. Ze gebruiken een uitgebreid token-matching protocol (6 varianten per woord, inclusief hoofdletters en hex-codes) om nauwkeurige metingen te doen.

• Encoding–Grounding Dissociatie:
  Om te testen of falende modellen visuele informatie slechter coderen dan succesvolle modellen, vergelijken ze de L2-afstand tussen de verborgen staten van contrafactuele beelden (bijv. blauwe banaan) en standaard beelden (gele banaan) in de lagen vóór de MAC-crossover. Daarnaast trainen ze lineaire probes om te zien of visuele attributen lineair afscheidbaar zijn in de vroege lagen.

• Causale Validatie via Activering Patching:
  Om causaliteit te bewijzen, voeren ze full-sequence activation patching uit. Ze nemen de verborgen staten uit een standaard-afbeelding (gele banaan) op de geïdentificeerde MAC-lagen en injecteren deze in de verwerking van een contrafactuele afbeelding (blauwe banaan). Ze vergelijken dit met de standaard "last-token patching" (gebruikelijk bij LLM's) om te zien welke methode het outputgedrag beïnvloedt. Ze analyseren ook het effect per token-type (beeld-tokens vs. tekst-tokens).

• Interventie (Steering):
  Gebaseerd op de diagnose passen ze twee trainingsvrije methoden toe tijdens de inferentie om de grounding te verbeteren:

  1. Lineaire Activeringsadditie: Het toevoegen van een richtingvector (verschil tussen contrafactueel en standaard) aan de verborgen staten.
  2. SAE-geleide Steering: Het gebruik van een Sparse Autoencoder (SAE) om specifieke visuele en prior-features te identificeren en te manipuleren (versterken van visueel, onderdrukken van prior) met een residuale strategie om informatieverlies te voorkomen.

3. Belangrijkste Resultaten

• Perceptie is niet het probleem:
  De analyse toont aan dat VLM's visuele informatie correct coderen, zelfs wanneer ze het verkeerde antwoord geven. De L2-afstand tussen de staten van een blauwe en een gele banaan is statistisch niet significant verschillend tussen succesvolle en mislukte gevallen. Lineaire probes kunnen het visuele attribuut ("blauw") al in de vroege lagen (10% diepte) met hoge nauwkeurigheid (AUC > 0.86) decoderen, ongeacht of het model uiteindelijk "blauw" of "geel" zegt.

• De Bottleneck is Arbitrage:
  Het succes van de grounding wordt voorspeld door de logit-gap in de laatste laag (hoeveel de visuele logit de prior-logit overtreft), niet door de sterkte van de codering. Er is een sterke correlatie ($\rho = 0.847$) tussen de logit-gap en het succes, maar geen correlatie met de coderingssterkte.

• Full-Sequence Patching is Cruciaal:
  Traditionele "last-token patching" (waarbij alleen de laatste token wordt vervangen) werkt niet voor VLM's; dit resulteert in 0–1% flip-rate. Omdat visuele informatie verspreid is over alle beeld-tokens, is full-sequence patching noodzakelijk. Dit resulteert in een flip-rate van 60–84% van de outputs. Bovendien dragen beeld-tokens bijna alle causale impact, terwijl tekst-tokens verwaarloosbaar zijn.

• Schaling en Architectuur:
  Grotere modellen (bijv. 72B) coderen visuele informatie sterker en bereiken de crossover-punt eerder, maar de dissociatie tussen codering en grounding blijft bestaan. De diepte van de crossover varieert per model en per attribuut (kleur vs. grootte), wat wijst op specifieke arbitrage-paden.

• Interventie Succes:
  Door gerichte, trainingsvrije steering in de vroege lagen (voordat de arbitrage-regime zich vormt), kan de visuele grounding met +1.4% tot +3.8% worden verbeterd. SAE-geleide steering is preciezer dan lineaire steering en veroorzaakt minder degradatie.

4. Bijdragen en Significantie

• Paradigmaverschuiving: Het paper weerlegt de "perceptuele blindheid" als de primaire oorzaak van hallucinaties bij visuele tegenstrijdigheden. Het bewijst dat modellen "zien" wat er staat, maar kiezen om te luisteren naar hun trainingsdata (priors).
• Nieuwe Diagnose- en Interventietools: De auteurs introduceren de MAC-analyse als een standaardmethode om arbitrage-punten te lokaliseren en tonen aan dat full-sequence patching de enige effectieve methode is voor causale analyse in VLM's.
• Praktische Toepasbaarheid: Het toont aan dat hallucinaties kunnen worden verminderd zonder hertraining, door simpelweg de activeringen in de vroege lagen te sturen. Dit biedt een directe route naar veiligere en betrouwbaardere VLM's voor toepassingen waar feitelijke nauwkeurigheid cruciaal is.
• Architecturale Inzicht: De bevindingen suggereren dat het probleem structureel ligt in de connector-architectuur van huidige VLM's en niet slechts een kwestie van modelgrootte is.

Conclusie:
VLM's lijden niet aan blindheid, maar aan een gebrek aan discipline in het hanteren van wat ze zien. De uitdaging ligt in het "handelen" op de waarneming. Met gerichte, trainingsvrije interventies kan deze kloof worden overbrugd, waardoor modellen beter in staat zijn om hun visuele waarneming boven hun taalkundige aannames te laten wegen.