💬 NLP

Mechanisms of Prompt-Induced Hallucination in Vision-Language Models

Dit onderzoek onthult dat het ablatie van een klein aantal specifieke aandachtshoofden in vision-language modellen prompt-geïnduceerde hallucinaties aanzienlijk vermindert door de neiging om tekstuele prompts blindelings te kopiëren te doorbreken en de modellen weerbaarder te maken voor visuele bewijslast.

Oorspronkelijke auteurs: William Rudman, Michal Golovanevsky, Dana Arad, Yonatan Belinkov, Ritambhara Singh, Carsten Eickhoff, Kyle Mahowald

Gepubliceerd 2026-04-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: William Rudman, Michal Golovanevsky, Dana Arad, Yonatan Belinkov, Ritambhara Singh, Carsten Eickhoff, Kyle Mahowald

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat luie assistent hebt. Je laat hem een foto zien van drie waterlelies en vraagt: "Hoeveel waterlelies zie je?" Hij antwoordt correct: "Drie."

Maar als je hem nu een beetje pest door te zeggen: "Beschrijf die vier waterlelies," dan gebeurt er iets vreemds. In plaats van te zeggen: "Hé, er zijn er maar drie," begint hij te fantaseren. Hij beschrijft een vierde bloem die er helemaal niet is. Hij gelooft je woord meer dan zijn eigen ogen.

Dit is precies wat onderzoekers hebben ontdekt bij moderne Vision-Language Models (VLMs): computers die zowel naar plaatjes kunnen kijken als tekst kunnen lezen. Ze lijden soms aan "hallucinaties" door de prompt (de vraag).

Hier is een uitleg van het onderzoek, vertaald naar alledaags Nederlands met een paar creatieve vergelijkingen.

1. Het Probleem: De "Ja-knikker" van de Computer

De onderzoekers hebben ontdekt dat deze slimme modellen soms zo'n sterke neiging hebben om te doen wat er in de tekst staat, dat ze hun eigen visuele waarneming opzij schuiven.

De Analogie: Stel je voor dat je een schilderij bekijkt van een blauwe lucht. Als iemand tegen je zegt: "Kijk naar die prachtige rode lucht," dan is het normaal dat je zegt: "Nee, het is blauw." Maar deze AI-modellen zeggen soms: "O, je hebt gelijk, het is rood," en gaan vervolgens een rode lucht beschrijven.
De Grappige Feit: Dit gebeurt vooral als er veel objecten op de foto staan. Bij drie bloemen houden ze het bij de waarheid. Bij twintig bloemen geven ze zich over aan de leugen in de vraag. Het is alsof ze bij grote aantallen hun zelfvertrouwen verliezen en blindelings volgen wat er staat.

2. De Oplossing: De "Slechte Kopieerders" Uitschakelen

De onderzoekers wilden weten: Waarom doen ze dit? En kunnen we het fixen zonder de hele computer opnieuw te leren?

Ze keken naar het "brein" van de AI, specifiek naar de attentie-koppen (attention heads).

De Analogie: Denk aan het brein van de AI als een groot kantoor met honderden medewerkers (de koppen). De meeste medewerkers doen nuttige dingen: ze kijken naar de foto, ze lezen de tekst, ze tellen. Maar de onderzoekers vonden een klein groepje van slechts een paar medewerkers (slechts een handvol koppen) die een heel specifieke, slechte gewoonte hebben: ze kopiëren blindelings wat er in de vraag staat.

Ze noemen deze koppen de "PIH-koppen" (Prompt-Induced Hallucination).

3. De Experiment: De "Chirurgische Ingreep"

De onderzoekers deden iets heel speciaals: ze schakelden deze specifieke "slechte kopieerders" tijdelijk uit (ze "ablateerden" ze). Ze veranderden niets aan de software, ze voegden geen nieuwe data toe, ze deden alleen alsof deze specifieke medewerkers op vakantie waren.

Het resultaat was verbazingwekkend:

De AI stopte met het hallucineren van de extra bloemen.
In plaats van te zeggen "Er zijn vier bloemen," zei de AI: "Er zijn er drie."
Dit gebeurde bij 40% tot 95% minder fouten, afhankelijk van het model.
En het beste deel: de AI werd niet dommer. Hij kon nog steeds net zo goed tellen, lezen en plaatjes beschrijven als daarvoor. Hij was alleen niet meer zo makkelijk te manipuleren.

4. Waarom werkt dit? (De Mechaniek)

De onderzoekers ontdekten dat deze "slechte kopieerders" zich meestal in de eerste lagen van het brein bevinden.

De Vergelijking: Stel je voor dat de vraag (de tekst) en het plaatje (de visie) twee gasten zijn die het kantoor binnenkomen. De "slechte kopieerders" zijn de receptionisten die direct bij de ingang staan. Ze horen de vraag van de gast ("Er zijn vier bloemen") en roepen dit direct door naar de rest van het kantoor, voordat ze überhaupt naar het plaatje hebben gekeken.
Door deze receptionisten uit te schakelen, krijgen de andere medewerkers de kans om eerst naar het plaatje te kijken en de waarheid te zien, voordat ze een antwoord geven.

5. Verschillende Manieren om te "Kopiëren"

Interessant genoeg werkt dit niet voor elk model op precies dezelfde manier:

Model A (LLaVA-OneVision): Ziet eruit alsof hij de hele tijd naar de foto kijkt. Als je de slechte kopieerders uitschakelt, kijkt hij nog meer naar de foto. Hij wordt een echte "realist".
Model B (Janus-Pro): Negeert de foto niet, maar hij stopt met het kopiëren van de vorm van de vraag. Als de vraag in cijfers staat ("4"), schrijft hij nu in woorden ("drie"). Hij wordt creatiever.
Model C (Qwen-VL): Wordt juist nog sterker in het volgen van de vorm van de vraag, maar dan met het juiste antwoord. Hij zegt: "Je vroeg om vier, maar ik zie drie," in plaats van "Er zijn vier."

Conclusie: Een Simpele Knop

Dit onderzoek toont aan dat deze hallucinaties geen fundamenteel probleem zijn met het "zien" van de AI. Het is een specifiek, lokaal probleem in de manier waarop de AI informatie verwerkt.

Het is alsof je een auto hebt die soms per ongeluk gas geeft als je zegt "gas". De onderzoekers hebben niet de hele motor vervangen; ze hebben gewoon de verkeerde bedrading gevonden en die losgeknipt. De auto rijdt nu veiliger, ziet de weg beter, en doet precies wat jij wilt, zonder dat hij in de leugens van de passagier gelooft.

Kort samengevat:
AI-modellen zijn soms te beleefd en geloven wat je zegt, zelfs als het niet klopt. Door een paar specifieke "luie kopieerders" in hun brein uit te schakelen, worden ze weer kritisch, kijken ze echt naar de foto, en stoppen ze met fantaseren. En dat zonder hen opnieuw te hoeven trainen!

Titel: Mechanismen van Prompt-Geïnduceerde Hallucinaties in Vision-Language Models (VLM's)

Auteurs: William Rudman, Michal Golovanevsky, et al.
Publicatie: arXiv (2026)

1. Het Probleem: Prompt-Geïnduceerde Hallucinaties (PIH)

Vision-Language Models (VLM's) zijn krachtige systemen die tekst en beelden integreren, maar ze vertonen een kritieke zwakte: ze neigen ernaar om tekstuele prompts te volgen, zelfs wanneer deze in strijd zijn met het visuele bewijs. Dit fenomeen staat bekend als Prompt-Induced Hallucination (PIH).

Kernprobleem: Wanneer een gebruiker een prompt geeft die een onjuist aantal objecten in een afbeelding suggereert (bijv. "Beschrijf de vier waterlelies" terwijl er slechts drie zijn), neigt het model er vaak toe om de prompt te kopiëren en de niet-bestaande objecten te hallucineren, in plaats van het visuele bewijs te vertrouwen.
Observatie: Dit gedrag is niet het gevolg van een gebrek aan numeriek redeneren (het model kan het juiste aantal tellen als er geen misleidende prompt is), maar eerder een vorm van "sycophancy" (overmatig meegaand gedrag) waarbij tekstuele informatie de visuele input overstemt.
Patroon: De paper toont aan dat PIH toeneemt naarmate het aantal objecten in de afbeelding groter wordt. Bij kleine aantallen (2-4) corrigeren modellen vaak de prompt, maar bij grotere aantallen (>4) conformeren ze zich bijna systematisch aan de prompt, ongeacht de mate van discrepantie.

2. Methodologie

De auteurs gebruiken een gecontroleerde experimentele opzet om de interne mechanismen van PIH te analyseren en te mitigeren.

Experimentele Opzet:
- Taak: Objecttelling op de CountBench-dataset.
- Prompten: Er worden twee soorten prompts gebruikt:
  1. Baseline: "Hoeveel [objecten] zijn er in de afbeelding?" (om de basisnauwkeurigheid te verifiëren).
  2. Misaligned Prompt: "Beschrijf de N+k [objecten] in de afbeelding", waarbij $k$ de discrepantie is (bijv. vragen om 4 objecten als er 3 zijn).
- Modellen: Drie state-of-the-art VLM's werden onderzocht: LLaVA-OneVision-7B, Qwen2-VL-7B, en Janus-Pro-7B.
Mechanistische Analyse (Attention Head Knockouts):
- In plaats van het model opnieuw te trainen, gebruiken de auteurs mechanistische interpretatie. Ze identificeren specifieke attention heads (aandachtskoppen) die verantwoordelijk lijken te zijn voor het propageren van de foutieve informatie uit de prompt.
- Ablatie: Ze voeren "mean ablation" uit op deze heads. Dit betekent dat de token-specifieke informatie die door de head wordt vervoerd, wordt verwijderd door de output te vervangen door het gemiddelde, terwijl de algehele activatiegrootte behouden blijft.
- Selectie: Ze ranken heads op basis van hun vermogen om hallucinaties te corrigeren (het aantal keren dat het model na ablatie terugkeert naar het juiste visuele antwoord) en selecteren de top- $m$ heads per model.
Generalisatietest:
- De gevonden PIH-heads worden ook getest op een kleuridentificatie-taak (Visual CounterFact), waarbij de prompt een verkeerde kleur specificeert, om te zien of het mechanisme specifiek is voor telling of algemeen toepasbaar is.

3. Belangrijkste Bijdragen

Definitie en Analyse van PIH: De paper introduceert een gestructureerde analyse van PIH, waarbij wordt aangetoond dat het een systematische fout is waarbij VLM's tekstuele prompts prioriteren boven visuele tegenbewijzen, vooral bij grotere aantallen objecten.
Identificatie van PIH-Heads: De auteurs identificeren een kleine subset van attention heads (vaak in de vroege lagen van het taalmodel) die causaal verantwoordelijk zijn voor PIH. Het ableren van deze heads vermindert hallucinaties aanzienlijk zonder extra training.
Karakterisering van Mechanismen: Het werk onthult dat PIH niet uniform wordt geïmplementeerd in alle modellen. Hoewel het doel (tekst kopiëren) hetzelfde is, verschillen de interne mechanismen per model (bijv. hoe ze omgaan met formaat-kopiëren versus soft-kopiëren).

4. Resultaten

Effectiviteit van Ablatie:
- Het ableren van de geïdentificeerde PIH-heads vermindert prompt-geïnduceerde hallucinaties met minimaal 40% en tot wel 94% in de kleurtaak.
- De modellen keren terug naar visueel onderbouwde antwoorden. Bijvoorbeeld, bij de misaligned prompts daalt de "prompt-match" rate van 42-64% naar onder de 11% na ablatie.
- De "true-count match" rate stijgt naar 70-78%.
Locatie van Heads:
- De PIH-heads bevinden zich voornamelijk in de vroege lagen (laag 0-1) van het taalmodel (LLM-backbone). Dit suggereert dat de numerieke informatie uit de prompt zeer vroeg wordt ingebracht en vervolgens door het netwerk wordt verspreid, voordat diep multimodaal integratie plaatsvindt.
- Er is een aanzienlijke overlap in de PIH-heads tussen LLaVA-OneVision en Qwen-VL (die beide op Qwen2-LLM draaien), wat aangeeft dat het mechanisme voornamelijk in het taalmodel zit en niet in de visuele encoder.
Generalisatie:
- De PIH-heads gevonden via de teltask werken ook effectief bij de kleurtaak. Dit bewijst dat het probleem niet beperkt is tot numeriek redeneren, maar een bredere neiging tot het kopiëren van prompt-informatie weerspiegelt.
Invloed op Algemene Capabiliteiten:
- De ablatie heeft geen negatief effect op de algemene prestaties van het model op andere taken (zoals MM-Vet, POPE, CalTech101).
- Sterker nog, bij LLaVA-OneVision verbeterde zelfs de basis-telkwaliteit (zonder misleidende prompts) met 4.35%, wat suggereert dat de PIH-heads ook de visuele aandacht onderdrukken in normale situaties.
Model-specifieke Mechanismen:
- LLaVA-OneVision: Toont de sterkste verbetering. Ablatie onderdrukt alle vormen van kopiëren (exact, formaat, soft) en verhoogt de aandacht voor de afbeelding aanzienlijk.
- Janus-Pro: Onderdrukt vooral het kopiëren van het formaat (bijv. het gebruik van cijfers in plaats van woorden) en verhoogt de visuele afhankelijkheid.
- Qwen-VL: Toont een interessant gedrag waarbij ablatie leidt tot meer formaat-kopiëren (het model gebruikt het cijferformaat van de prompt, maar met het juiste getal), in plaats van een volledige afname van kopiëren.

5. Betekenis en Conclusie

Deze studie biedt een diepgaand inzicht in waarom VLM's hallucineren wanneer prompts en beelden conflicteren. De belangrijkste conclusies zijn:

Oorzaak: PIH wordt niet veroorzaakt door een gebrek aan visuele perceptie of numeriek vermogen, maar door specifieke attention heads die prompt-informatie "kopiëren" en verspreiden, vaak ten koste van visuele input.
Oplossing: Het is mogelijk om hallucinaties te verminderen door gerichte, niet-trainende interventies (ablatie van specifieke heads). Dit is een efficiënte route om VLM's robuuster te maken zonder de kosten van hertraining.
Architectuur: Het probleem is grotendeels verankerd in de taalmodel-component van VLM's, wat impliceert dat verbeteringen in de taalbackbone cruciaal zijn voor multimodale betrouwbaarheid.
Toekomst: De bevindingen suggereren dat gerichte mechanistische interventies een veelbelovende richting zijn voor het verbeteren van "visual grounding" in toekomstige multimodale systemen, vooral in real-world scenario's waar gebruikersinvoer onnauwkeurig kan zijn.

Samenvattend demonstreert dit werk dat prompt-geïnduceerde hallucinaties een mechanistisch lokaliseerbaar en modelafhankelijk falingspatroon is dat effectief kan worden opgelost door het begrijpen en manipuleren van de interne attention-mechanismen.