💬 NLP

When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs

Deze paper introduceert HalluScope, een benchmark die aantoont dat hallucinaties in vision-language modellen vaak worden veroorzaakt door overmatige afhankelijkheid van tekstuele priors, en presenteert HalluVL-DPO, een framework dat deze fouten effectief vermindert door voorkeursoptimalisatie te gebruiken om de modellen visueel beter te laten grondigen.

Oorspronkelijke auteurs: Pegah Khayatan, Jayneel Parekh, Arnaud Dapogny, Mustafa Shukor, Alasdair Newson, Matthieu Cord

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pegah Khayatan, Jayneel Parekh, Arnaud Dapogny, Mustafa Shukor, Alasdair Newson, Matthieu Cord

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom slimme beeld-sprekers soms "uit hun hoofd" praten (en hoe we dat oplossen)

Stel je voor dat je een zeer intelligente robot hebt die zowel foto's kan zien als perfect kan praten. Je geeft hem een foto van een strand en vraagt: "Wat zie je hier?" Hij antwoordt: "Ik zie een strand, de zon en een ijsje."

Maar wacht even, er staat geen ijsje op de foto! De robot heeft het erbij verzonnen. Dit fenomeen noemen onderzoekers hallucineren. Het is alsof de robot meer luistert naar wat hij denkt dat er zou moeten zijn, dan naar wat hij echt ziet.

In dit nieuwe onderzoek, getiteld "When Prompts Override Vision" (Wanneer prompts de visie overrulen), kijken wetenschappers van de Sorbonne Universiteit in Parijs diep in de oorzaak van dit probleem en bieden ze een slimme oplossing.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Gokker" vs. De "Kijker"

Vroeger dachten mensen dat deze robots hallucineerden omdat hun "ogen" (de visuele software) slecht waren. Ze dachten: "Ah, de robot ziet de ijsje niet, dus hij raadt het maar."

Maar deze studie laat zien dat het probleem ergens anders zit. De "ogen" van de moderne robots zijn eigenlijk heel goed! Ze zien het strand en de zon perfect. Het probleem is dat de robot een gokker is geworden in plaats van een kijker.

De Analogie: Stel je voor dat je een vriend vraagt: "Wat is er op de foto?" terwijl je een foto van een lege tafel laat zien.
- Als je vriend zegt: "Ik zie een tafel," is hij een kijker.
- Als je vriend zegt: "Ik zie een tafel en een glas wijn," terwijl er geen glas is, dan is hij een gokker. Hij gokt op basis van zijn ervaring: "Op een tafel staat vaak een glas."

De onderzoekers ontdekten dat de robots vooral "gokken" op basis van twee dingen:

Geprogrammeerde gewoontes: Ze weten dat "tafels" vaak "stoelen" hebben. Zie je een tafel, dan gokt de robot dat er een stoel is, ook al is die er niet.
De "Vraag" zelf (De Prompt): Dit is het belangrijkste. Als jij vraagt: "Wat is de kleur van de stoel?", dan veronderstel je dat er een stoel is. De robot denkt dan: "Ah, de gebruiker vraagt naar de stoel, dus die moet er wel zijn!" en hij verzonnt een kleur. De vraag zelf "dwingt" de robot om te liegen.

2. De Oplossing: Een Nieuwe Test (HalluScope)

Om dit probleem echt te begrijpen, hebben ze een nieuwe test ontwikkeld, genaamd HalluScope.

Hoe werkt het? Stel je een spel voor waarbij je de robot foto's laat zien met drie soorten vragen:
1. "Zie je een bal?" (De bal is er wel -> Test of hij goed kijkt).
2. "Zie je een olifant?" (De olifant is er niet en heeft niets met de foto te maken -> Test of hij niet zomaar dingen verzonnt).
3. "Zie je een bal?" (De bal is er niet, maar de vraag doet alsof hij er wel is -> Test of hij de "gokker" is).

De test liet zien dat de robots de eerste twee vragen goed beantwoorden, maar bij de derde vraag (waar de vraag zelf de fout inleidt) volledig in de war raken. Ze laten zich leiden door de tekst van de vraag in plaats van de foto.

3. De Remedie: HalluVL-DPO (De "Trots" van de Robot)

Hoe maak je van een gokker weer een eerlijke kijker? De auteurs hebben een nieuwe trainingsmethode bedacht, HalluVL-DPO.

De Analogie: Stel je voor dat je een kind leert om eerlijk te zijn.
- De oude manier: Je zegt: "Zeg niet wat er niet is." (Te vaag).
- De nieuwe manier (HalluVL-DPO): Je speelt een spelletje met het kind. Je laat hem twee antwoorden zien op dezelfde vraag.
  - Antwoord A (De "Gekke" optie): "Ik zie een paard." (Terwijl er geen paard is).
  - Antwoord B (De "Eerlijke" optie): "Er is geen paard op deze foto."
- Je zegt dan tegen het kind: "Antwoord B is de goede keuze. Probeer meer van dit soort eerlijke antwoorden te geven."

Ze hebben een enorme database gemaakt met duizenden voorbeelden van "gokker-antwoorden" versus "kijker-antwoorden". Ze hebben de robot getraind om de eerlijke antwoorden te prefereren (te verkiezen) boven de verzonnen ones.

4. Het Resultaat

Na deze training gebeurde er iets magisch:

De robot stopte met het verzonnen van objecten die de vraag suggereerde.
Hij werd niet dommer; hij kon nog steeds net zo goed praten en redeneren als voorheen.
Hij werd gewoon eerlijker.

Samenvatting in één zin

Deze studie laat zien dat slimme beeld-robots vaak liegen omdat ze te veel luisteren naar wat er in de vraag staat in plaats van wat ze op de foto zien, en ze hebben een nieuwe trainingsmethode bedacht die hen leert om weer te vertrouwen op hun eigen ogen.

Het is alsof je een robot die altijd "ja" zegt als je iets vraagt, weer leert om "nee" te zeggen als het antwoord "nee" is, zelfs als de vraag suggereert dat het "ja" moet zijn.

1. Het Probleem: Prompt-Induced Hallucinaties

Grote Vision-Language Modellen (LVLMs) hebben indrukwekkende prestaties geleverd in taken zoals beeldbeschrijving en visuele redenering. Desondanks blijven ze vatbaar voor hallucinaties: het genereren van output die niet gebaseerd is op de visuele input.

Eerdere studies schreven hallucinaties toe aan beperkingen van de visuele backbone (de visuele encoder) of de dominantie van het taalkundige component. Dit paper stelt echter dat de aard van het probleem verschuift. Zelfs wanneer de visuele herkenning accuraat is, genereren moderne LVLMs vaak incorrecte antwoorden. De auteurs identificeren dat hallucinaties voornamelijk worden veroorzaakt door:

Overmatige afhankelijkheid van tekstuele priors: Het model vertrouwt meer op wat het "weet" over objectco-occurrences (bijv. een stoel staat vaak bij een tafel) dan op wat het daadwerkelijk ziet.
Presupposities in instructies: Wanneer een prompt impliciet de aanwezigheid van een object veronderstelt (bijv. "Wat is de kleur van de stoel?" in een afbeelding zonder stoel), negeert het model de visuele realiteit en hallucineert het een object.

Bestaande benchmarks (zoals POPE, CHAIR) onderscheiden deze oorzaken niet, waardoor het moeilijk is om de specifieke failure modes te diagnosticeren en te verhelpen.

2. Methodologie

Het paper introduceert twee hoofdcomponenten: een diagnostische benchmark en een nieuw trainingsframework.

A. HalluScope: Een Diagnostische Benchmark

Om de oorzaken van hallucinaties te isoleren, stellen de auteurs HalluScope voor. Deze benchmark test modellen op drie specifieke niveaus:

Visuele Perceptie: Vragen over objecten die wel aanwezig zijn (Positive Object Recognition) en objecten die duidelijk afwezig en irrelevant zijn (Random Object Recognition).
Gestudeerde Co-occurrence Priors: Vragen over objecten die semantisch plausibel zijn in de context, maar visueel afwezig (bijv. een honkbalhandschoen in een honkbalwedstrijd zonder handschoen). Dit meet of het model leert op basis van statistische kansen in plaats van visuele bewijzen.
Tekstuele Presupposities (Adversarial Presupposition): Vragen die een eigenschap vragen van een afwezig object, waarbij de vraag zelf de aanwezigheid veronderstelt. Dit is de strengste test voor "prompt-induced" hallucinaties.

De dataset wordt geconstrueerd door een diverse selectie van COCO-afbeeldingen te nemen, objecten te detecteren en verifiëren, en vervolgens "adversariële" objecten te selecteren op basis van Pointwise Mutual Information (PMI) met de aanwezige objecten.

B. HalluVL-DPO: Een Framework voor Fine-tuning

Om hallucinaties veroorzaakt door tekstuele presupposities te verminderen, stellen de auteurs HalluVL-DPO voor. Dit is een framework voor het fine-tunen van bestaande LVLMs (zoals LLaVA en Qwen2-VL) met behulp van Direct Preference Optimization (DPO).

Dataset Constructie: Ze bouwen een groot synthetisch dataset (27.4k afbeeldingen, >100k queries) met voorkeursparen: een "gewenst" (visueel gefundeerd) antwoord en een "verworpen" (gehallucineerd) antwoord.
Strategieën voor Data-Generatie: Om diverse en kwalitatief hoogwaardige paren te creëren, gebruiken ze:
- Unilateral Hint Augmentation: Het toevoegen van hints (juist of onjuist) aan de prompt.
- Contrastive Hint Augmentation: Hints toevoegen aan zowel het gewenste als het verworpen antwoord om lengte-bias te voorkomen.
- Post-Hoc Hallucination Injection: Het kunstmatig injecteren van hallucinaties in een correcte beschrijving.
- Model-Assisted Answer Inversion: Een extern LLM gebruiken om plausibele maar onjuiste antwoorden te genereren voor attributen.
Gewogen Loss (Sample-Informativeness): In tegenstelling tot standaard DPO, waar alle paren gelijk worden behandeld, introduceert HalluVL-DPO een weging ( $w$ $w$ ) gebaseerd op het semantische gat tussen het gewenste en verworpen antwoord.
- Score 1: Minimale verschillen (weinig leerkracht).
- Score 2: Verschillen in details, maar beide volgen een verkeerde veronderstelling.
- Score 3: Duidelijk contrast (bijv. het gewenste antwoord ontkent de aanwezigheid, het verworpen antwoord bevestigt deze).
  De loss-functie geeft zwaardere weging aan paren met een hoge informatieve waarde (Score 3), waardoor het model scherper leert onderscheid te maken tussen visuele realiteit en tekstuele priors.

3. Belangrijkste Resultaten

De auteurs evalueren hun methode op de HalluScope benchmark en andere bestaande benchmarks (POPE, CHAIR, HallusionBench, etc.).

Diagnostische Bevindingen: Op HalluScope presteren modellen goed op het herkennen van aanwezige objecten (>90% nauwkeurigheid), maar daalt de prestatie aanzienlijk bij adversariële objecten (door co-occurrence priors) en nog meer bij presuppositie-vragen. Dit bevestigt dat tekstuele instructies de visuele input overrulen.
Prestatieverbetering:
- Voor LLaVA-1.5-7B: De prestatie op Adversarial Presupposition (AdP) steeg van 5.85% naar >80%. De nauwkeurigheid bij het herkennen van afwezige objecten (Adversarial Recognition) steeg van 58.5% naar >75%.
- Voor Qwen2-VL-7B: De AdP-score steeg van ~58% naar >80%.
Behoud van Algemene Capabilities: In tegenstelling tot sommige eerdere methoden die de algemene prestaties ten koste gaan van hallucinatiemitigatie, behoudt HalluVL-DPO de prestaties op algemene multimodale benchmarks (zoals MME, ScienceQA, MM-Vet) en verbetert het zelfs op benchmarks zoals CHAIR en HallusionBench.
Ablatie Studies: Het tonen van het belang van de verschillende query-types in de trainingsdata. "Attribute pairs" (gegenereerd via Model-Assisted Answer Inversion) bleken het meest effectief voor het verbeteren van de prestaties over alle benchmarks heen.

4. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

HalluScope Benchmark: Een nieuw diagnostisch instrument dat hallucinaties ontmaskert in drie categorieën (perceptie, co-occurrence priors, en tekstuele presupposities), waardoor onderzoekers de specifieke oorzaken van fouten kunnen identificeren.
HalluVL-DPO Framework: Een effectieve fine-tuning methode die specifiek is ontworpen om de neiging van modellen om tekstuele instructies boven visuele feiten te stellen, te corrigeren. De introductie van sample-informativeness weighting in DPO is een belangrijke innovatie die de leerkracht van het trainingsproces maximaliseert.
Shift in Failure Modes: Het paper levert het bewijs dat de uitdaging bij LVLMs verschuift van "kan het model zien?" naar "kan het model de tekstuele prioren negeren?". Dit is cruciaal voor de ontwikkeling van veiligere AI-systemen voor toepassingen zoals medische diagnose en autonoom rijden.

Conclusie:
Het paper toont aan dat hallucinaties in moderne LVLMs voornamelijk worden gedreven door overmatige afhankelijkheid van tekstuele instructies en wereldkennis, in plaats van visuele beperkingen. Met HalluScope en HalluVL-DPO bieden de auteurs een robuuste oplossing om deze "prompt-induced" hallucinaties te mitigeren zonder in te leveren op de algemene visuele intelligentie van het model. Alle code, datasets en benchmarks worden open-source beschikbaar gesteld om reproduceerbaarheid en verdere research te stimuleren.