💻 computer science

Dual-Pathway Circuits of Object Hallucination in Vision-Language Models

Dit artikel introduceert Dual-Pathway Circuit Analysis om onderscheidende visuele grounding- en hallucinatiepaden in vision-language modellen te identificeren en te karakteriseren, en toont aan dat gerichte onderdrukking van het hallucinatiepad objecthallucinaties met tot 76% kan verminderen terwijl de nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Jiaxin Liu, Ding Zhong, Yue Wang, Zhidong Yang, Zhaolu Kang, Guangyuan Dong, Qishi Zhan, Pengcheng Fang, Aofan Liu

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaxin Liu, Ding Zhong, Yue Wang, Zhidong Yang, Zhaolu Kang, Guangyuan Dong, Qishi Zhan, Pengcheng Fang, Aofan Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slim robotassistent hebt die naar afbeeldingen kijkt en beschrijft wat het ziet. Soms is deze robot briljant. Op andere momenten wordt het iets te zelfverzekerd en begint het dingen te beschrijven die er eigenlijk niet zijn – zoals zeggen: "Ik zie een gouden adelaar die over het huis vliegt," terwijl de afbeelding slechts een rustige voorstadstraat is. Dit wordt hallucinatie genoemd.

Lange tijd behandelden wetenschappers deze robots als "black boxes". Ze zagen dat de robot een fout maakte, maar ze wisten niet waarom of hoe de fout binnenin het brein van de robot ontstond. Ze probeerden het te verhelpen door de training van de robot of de manier waarop het spreekt aan te passen, maar deze oplossingen waren vaak wisselvallig en werkten niet goed op verschillende soorten robots.

Dit artikel, "Dual-Pathway Circuits of Object Hallucination", is als het uit elkaar halen van de robot om naar de daadwerkelijke bedrading te kijken. De onderzoekers wilden de specifieke elektrische circuits binnenin de robot vinden die ervoor zorgen dat het liegt over wat het ziet.

Hier is het verhaal van wat ze vonden, eenvoudig uitgelegd:

1. Het Twee-Spoor Systeem (De Dual-Pathway)

De onderzoekers ontdekten dat er binnenin deze visueel-taalmodellen niet zomaar willekeurige draden zijn. Er zijn twee distincte "snelwegen" of paden waar de informatie over reist:

De Waarheidssnelweg (Visual Grounding Pathway): Dit is het team van neuronen dat naar de afbeelding kijkt en zegt: "Hé, er is hier geen adelaar. Het is gewoon een huis." Dit pad helpt de robot de waarheid te vertellen.
De Leugensnelweg (Hallucination Pathway): Dit is een ander team van neuronen dat opgewonden raakt en zegt: "Adelaar! Ik zie een adelaar!" zelfs als er geen één is. Dit pad drijft de fouten aan.

Het coole deel? Ze vonden dit zelfde twee-spoor systeem in vijf volledig verschillende soorten robotbreinen (verschillende architecturen). Het is alsof je ontdekt dat elke auto, of het nu een Ford of een Ferrari is, een motor en een transmissie heeft, zelfs als de onderdelen er iets anders uitzien. Dit suggereert dat de manier waarop deze robots leren te hallucineren een fundamenteel onderdeel is van hun training, en niet zomaar een eigenaardigheid van één specifiek ontwerp.

2. De "Polariteitsomkering" (De Schakelaar die Blijft Steken)

De onderzoekers deden iets slim. Ze gebruikten een techniek genaamd Activation Patching. Stel je voor dat je een video hebt van de robot die correct werkt. Dan neem je een video van het maken van een fout. Vervolgens wissel je specifieke draden uit de "correcte" video in de "foutieve" video om te zien of dit de fout verhelpt.

Ze vonden een vreemd gedrag in de Waarheidssnelweg:

Wanneer de robot correct is, zijn de draden van de Waarheidssnelweg actief en zeggen ze: "Geen adelaar!" (Positief signaal).
Wanneer de robot hallucineert, keren die zelfde draden hun teken om! Ze beginnen te zeggen: "Ja, adelaar!" (Negatief signaal).

Het is als een verkeerslicht dat meestal "Stop" (Rood) zegt om je veilig te houden. Maar wanneer de robot hallucineert, draait datzelfde licht om naar "Ga" (Groen) en vertelt het de robot om tegen een muur aan te rijden. De onderzoekers realiseerden zich dat de robot niet alleen het visuele bewijs "mist"; het gebruikt eigenlijk de circuits die bedoeld zijn om de waarheid te vinden, verkeerd om om zijn leugen te ondersteunen.

3. Het "Redundante Back-up" Probleem

Ze ontdekten ook dat de Waarheidssnelweg redundant is. Dit betekent dat er veel back-up draden zijn die hetzelfde werk doen. Als je één draad doorsnijdt, nemen de anderen het over. Dit is goed voor stabiliteit, maar het maakt het moeilijk om de robot te repareren door slechts één onderdeel aan te passen.

De Leugensnelweg is echter anders. Het is meer als een specifieke, geconcentreerde groep draden die, wanneer ze afvuren, de robot naar het verkeerde antwoord duwen.

4. De Oplossing: Het "Leugenteam" Dempen

Om te bewijzen dat ze het probleem begrepen, probeerden de onderzoekers een "chirurgische" oplossing. In plaats van de hele robot opnieuw te trainen, draaiden ze gewoon het volume lager (verkleinden ze de output) van de specifieke draden in de Leugensnelweg.

Het Resultaat: Ze verlaagden de hallucinaties van de robot met maximaal 76% (bijna het elimineren van de leugens) terwijl ze nauwelijks de vermogen van de robot om de waarheid te vertellen schaadden.
De Vangst: Ze probeerden het te verhelpen door de robot in één enkele "richting" te duwen (zoals een generiek "stop met liegen" commando), maar dat werkte niet zo goed. Dit bewees dat de "Leugensnelweg" geen enkele simpele schakelaar is; het is een complexe groep draden die op verschillende manieren samenwerken. Je moet de specifieke groep dempen, niet zomaar een generieke knop indrukken.

5. Werkt de Oplossing Overal?

De onderzoekers testten of deze "Leugensnelweg" hetzelfde was voor alle soorten leugens.

Bestaan van Objecten: "Is er een adelaar?" (Ja/Nee). De oplossing werkte uitstekend.
Relaties: "Is de adelaar bovenop het huis?" De oplossing werkte hier ook goed.
Eigenschappen: "Is de adelaar goudkleurig?" De oplossing werkte NIET.

Dit vertelt ons dat hoewel de robot een specifiek "hallucinatiecircuit" heeft om dingen te zeggen die bestaan terwijl ze dat niet doen, het beschrijven van details (zoals kleuren) misschien een heel ander soort probleem is.

Samenvatting

Kortom, dit artikel is als een monteur die ontdekt dat de motor van een auto een specifiek "stottercircuit" heeft dat ervoor zorgt dat hij misfiret. Ze ontdekten dat:

Al deze slimme robotbreinen dezelfde "Waarheid"- en "Leugen"-circuits hebben.
Het "Waarheid"-circuit soms wordt gekaapt om de "Leugen" te ondersteunen.
Door simpelweg het volume op het "Leugen"-circuit lager te draaien, kunnen ze voorkomen dat de robot dingen verzonnen die het niet ziet, zonder de hele motor te hoeven herbouwen.

Dit geeft ons een duidelijke kaart van hoe deze modellen falen, wat de eerste stap is naar het bouwen van robots die echt betrouwbaar zijn.

Technische Samenvatting: Dual-Pathway Circuits van Objecthallucinaties in Vision-Language Modellen

Probleemstelling

Vision-Language Modellen (VLMs) hebben opmerkelijke prestaties geboekt in het overbruggen van visuele perceptie en natuurlijk taalbegrip. Ze lijden echter vaak aan objecthallucinaties, waarbij modellen entiteiten, attributen of relaties beschrijven die afwezig zijn in de invoerafbeelding. Dit gedrag weerspiegelt een overmatige afhankelijkheid van tekstgerichte priors in plaats van visueel bewijs, wat de betrouwbaarheid en interpreteerbaarheid van het model beperkt.

Bestaande mitigatiestrategieën (bijvoorbeeld uitlijning tijdens het trainen, beperkingen bij het decoderen, correcties achteraf) behandelen VLMs grotendeels als black boxes, waarbij invoer of decoderingsprocedures worden aangepast zonder de interne berekeningen die hallucinaties veroorzaken, te onderzoeken. Bijgevolg zijn deze methoden vaak model-specifiek en falen ze in generalisatie over verschillende architecturen. Bovendien is de toepassing van mechanistische interpreteerbaarheid op VLMs uitdagend, hoewel deze reeds op taalmodellen is toegepast om circuits voor gedrag zoals feitelijke recall te identificeren. Dit komt door de integratie van visuele representaties en taalcomponenten, en de architecturale diversiteit van moderne VLMs.

Methodologie

De auteurs stellen Dual-Pathway Circuit Analysis voor, een raamwerk ontworpen om hallucinatie-gerelateerde circuits te identificeren en te karakteriseren over architecturaal diverse VLMs heen. De studie hanteert een drie-fasen analysestrategie op vijf VLMs (Qwen3-VL, LLaVA, Llama-3.2-Vision, InternVL3-8B en InternVL3-14B) met behulp van de POPE-adversarial benchmark.

1. Activatie Patching voor Circuitontdekking

De auteurs breiden activatie patching uit naar VLMs door visuele token-embeddings te corrumperen met Gaussisch ruis (3σ) op de invoerlaag, waardoor de nauwkeurigheid daalt tot kansniveaus. Vervolgens herstellen ze specifieke componenten (attention sublayers of MLP sublayers) uit een "schone" run in de "gecorrumpeerde" run.

Indirect Effect (IE): Berekend als het verschil in logit-verschillen tussen de gepatchte run en de gecorrumpeerde run.
Circuit Extractie: Componenten worden ingedeeld in twee pathways op basis van het teken van Cohens d (effectgrootte) bij vergelijking van correcte versus hallucinerende samples:
- Visuele Grounding Pathway ( $d > 0$ ): Componenten met grotere indirecte effecten op correcte samples.
- Hallucination Pathway ( $d < 0$ ): Componenten met grotere indirecte effecten tijdens hallucinatie.

2. Conditional Pathway Analysis (CPA)

Om verder te gaan dan analyse op enkelvoudige componenten, introduceren de auteurs CPA om interacties op pathway-niveau te karakteriseren.

Redundantie vs. Synergie: Door het gezamenlijke effect van het gelijktijdig herstellen van alle pathway-componenten te vergelijken met de som van individuele effecten, bepalen ze of componenten overlappende informatie dragen (redundantie) of complementaire fragmenten (synergie).
Polariteitsflip Detectie: CPA onderzoekt specifiek of de causale bijdrage van componenten van teken verandert tussen correcte en hallucinerende samples, een signatuur die onzichtbaar is voor standaard analyse op component-niveau.

3. Causale Validatie en Transfer

Gerichte Suppressie: De auteurs voeren causale interventies uit door de outputs van hallucination-pathway componenten te schalen ( $s \in \{0.0, 0.25, 0.5, 0.75\}$ ) tijdens inferentie zonder hertraining.
Basislijnen: Ze vergelijken schaling per component met statische-richting interventies (Mean-Difference Projection en Inference-Time Intervention [ITI]) en controles met willekeurige componenten.
Generalisatie: De geïdentificeerde circuits worden getest op verschillende POPE splits en de AMBER benchmark (dekkend bestaan, attribuut en relationele hallucinaties) om transferbaarheid te beoordelen.

Belangrijkste Resultaten

1. Ontdekking van een Gedeelde Dual-Pathway Organisatie

Over alle vijf diverse VLMs heen onthult de analyse een consistente dual-pathway structuur:

Visuele Grounding Pathway: Geconcentreerd in midden- tot late lagen.
Hallucination Pathway: Geconcentreerd in vroege lagen en op netwerkgrenzen.
Deze organisatie blijft bestaan over verschillende backbone-families, visuele integratiestrategieën (bijvoorbeeld cross-attention versus projector) en modelschalen heen, wat suggereert dat de structuur tijdens het trainen ontstaat in plaats van geërfd te worden van specifieke architecturen.

2. Polariteitsflip en Redundantie

CPA onthult twee cruciale bevindingen:

Grounding Pathway Polariteitsflip: Op correcte samples ondersteunen grounding componenten de ground truth ( $d > 0$ ). Op hallucinerende samples keren dezezelfde componenten van polariteit ( $d < 0$ ) en ondersteunen actief het gehallucineerde antwoord. Dit geeft aan dat de "grounding" representaties niet ontbreken, maar zijn ingeslepen op de niet-visuele output priors van het model.
Consistente Redundantie: Beide pathways vertonen sterke redundantie binnen de subset (de grootte van het gezamenlijke effect is significant kleiner dan de som van individuele effecten) bij zowel correcte als hallucinerende samples. De redundantie lost niet op tijdens hallucinatie; eerder worden de redundante kopieën omgeleid.

3. Efficiëntie van Causale Interventie

Succes Suppressie: Gerichte suppressie van hallucination-pathway componenten vermindert objecthallucinaties met 40% tot 76% (relatieve reductie) met minimale kosten voor nauwkeurigheid ( $\le 2$ procentpunten).
Superioriteit ten opzichte van Statische Richtingen: Schaling per component presteert beter dan statische-richting basislijnen (ITI en Mean-Difference Projection). De auteurs schrijven dit toe aan het feit dat het hallucinatie-signaal multidirectioneel is; de leidende singuliere richting vangt slechts 45–69% van de variantie op, wat de effectiviteit van interventies in één richting begrenst.
Specificiteit: Het onderdrukken van de grounding pathway doet de nauwkeurigheid instorten tot kansniveau, wat een dubbele dissociatie bevestigt: suppressie van de hallucination pathway vermindert fouten zonder taakprestaties te vernietigen, terwijl ablatie van de grounding pathway de taak vernietigt.

4. Selectieve Transfer

De geïdentificeerde circuits transfereren selectief over hallucinatietypes heen:

Relationele Hallucinatie: De interventie transferert goed naar relationele hallucinaties (36–47% reductie), wat gedeelde mechanismen suggereert met object-bestaans hallucinaties.
Attribuut Hallucinatie: De interventie faalt grotendeels om attribuuthallucinaties te verminderen, wat impliceert dat attribuutfouten verschillende circuits betreffen (bijvoorbeeld onnauwkeurige visuele feature extractie) die niet worden vastgelegd door de object-bestaans pathway.

Betekenis en Claims

Het artikel claimt de eerste mechanistische karakterisering van objecthallucinaties over diverse VLM-architecturen te bieden. De primaire bijdragen zijn:

Mechanistisch Inzicht: Het identificeert dat objecthallucinaties worden gedreven door een gedeelde dual-pathway structuur waarbij grounding componenten een polariteitsflip ondergaan, waardoor visueel bewijs tijdens fouten wordt omgeleid naar taal-priors.
Methodologische Vooruitgang: Het toont aan dat analyse op pathway-niveau (CPA) kritieke signatuur (polariteitsflips) onthult die patching op enkelvoudige componenten mist.
Causale Validatie: Het stelt vast dat gerichte suppressie van specifieke componenten hallucinaties causaal kan verminderen, wat de circuit-hypothese valideert.
Beperkingen en Scope: De auteurs merken bescheiden op dat hoewel hun circuitextractie en suppressie het mechanisme valideren, de voorgestelde schalingsmethode een causale sonde is in plaats van een inzetbare mitigatiestrategie. Ze benadrukken dat de selectieve transfer naar relationele maar niet naar attribuuthallucinaties aangeeft dat verschillende hallucinatietypes mogelijk verschillende circuitextracties vereisen.

Het werk concludeert dat objecthallucinaties in VLMs geen architecturaal artefact zijn, maar een geleerde mechanistische structuur, en dat effectieve interventie vereist dat men de multidirectionele aard van het hallucinatie-signaal aanpakt in plaats van te vertrouwen op statische lineaire richtingen.