💻 computer science

Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration

Dit paper introduceert het CAAC-framework, een trainingsvrije methode die hallucinaties in grote visueel-taalmodellen vermindert door adaptieve aandacht-calibratie toe te passen om zowel ruimtelijke perceptie- als modale bias te corrigeren, wat leidt tot betere prestaties op benchmarks zoals CHAIR en POPE, vooral bij langere generaties.

Oorspronkelijke auteurs: Mehrdad Fazli, Bowen Wei, Ahmet Sari, Ziwei Zhu

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mehrdad Fazli, Bowen Wei, Ahmet Sari, Ziwei Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat dromerige assistent hebt die naar foto's kijkt en er verhalen over vertelt. Deze assistent is een Large Vision-Language Model (LVLM). Hij is geweldig in het beschrijven van wat hij ziet, maar hij heeft een vervelende gewoonte: hij hallucineert.

Dat betekent dat hij met grote zekerheid dingen beschrijft die er niet zijn. Bijvoorbeeld: hij ziet een foto van een lege kamer en zegt: "Wat een prachtige rode hond die op de bank ligt!" Terwijl er geen hond is.

Dit artikel introduceert een nieuwe methode, genaamd CAAC (Confidence-Aware Attention Calibration), om deze dromerige assistent te trainen om weer de realiteit te zien, zonder dat we hem opnieuw hoeven te leren (geen dure training nodig).

Hier is hoe het werkt, vertaald in alledaagse taal:

Het Probleem: Twee soorten "blindheid"

De onderzoekers ontdekten dat de assistent twee soorten fouten maakt:

De "Lente in de kamer"-fout (Ruimtelijke bias):
Stel je voor dat de assistent naar een foto kijkt, maar in plaats van de hele foto te bekijken, kijkt hij alleen naar één klein hoekje en negeert de rest. Alsof hij door een koker kijkt. Hij ziet dan misschien een vlekje dat op een hond lijkt, en concludeert daarop dat er een hele hond is, terwijl de rest van de foto (de lege kamer) wordt genegeerd.
De "Vergeetachtige verteller"-fout (Modality bias):
Als de assistent een lang verhaal begint te vertellen, begint hij langzaam zijn eigen fantasie te gebruiken in plaats van naar de foto te kijken. In het begin kijkt hij goed, maar naarmate het verhaal langer wordt, gaat hij meer vertrouwen op wat hij denkt dat er zou moeten zijn, en minder op wat er echt is. Hij raakt de visuele grond onder zijn voeten kwijt.

De Oplossing: CAAC (De "Realiteitscontroleur")

De CAAC-methode is als een slimme supervisor die de assistent bijstaat terwijl hij praat. Hij doet dit in twee stappen:

Stap 1: De "Evenwichtsbal" (Visual-Token Calibration)

De supervisor ziet dat de assistent te veel naar één klein stukje van de foto staart. Hij grijpt in en zegt: "Hé, kijk eens naar het hele plaatje, niet alleen naar dat ene hoekje!"

De analogie: Stel je voor dat je een groep mensen hebt die naar een schilderij kijken. Iedereen kijkt alleen naar de linkerbovenhoek. De supervisor zegt: "Verspreid jullie blik eens gelijk over het hele schilderij." Hierdoor krijgt de assistent een eerlijker beeld van wat er werkelijk op de foto staat, zonder dat hij iets verzint op basis van één vlekje.

Stap 2: De "Zelfvertrouwen-meter" (Adaptive Attention Re-Scaling)

Dit is het slimste deel. De supervisor kijkt continu naar het zelfvertrouwen van de assistent.

Als de assistent zegt: "Ik zie een hond" en hij is 100% zeker, dan laat de supervisor hem rustig praten.
Maar als de assistent begint te twijfelen (hij is niet zeker van zijn antwoord), zegt de supervisor: "Wacht even! Je bent niet zeker. Kijk dan weer naar de foto!"
De analogie: Stel je voor dat je een gids bent die een tocht geeft. Als je zeker weet dat er een waterval is, vertel je het verhaal. Maar als je begint te twijfelen ("Is dat nu een waterval of een muur?"), dan stop je, loop je terug naar de foto en kijkt je er nog eens goed naar voordat je verder praat. Je forceert je eigen aandacht terug naar het visuele bewijs, precies op het moment dat je het hardst nodig hebt.

Waarom is dit zo goed?

Veel andere methoden proberen dit probleem op te lossen, maar ze werken vaak slecht als het verhaal lang wordt. Ze worden snel "dronken" van hun eigen woorden.

CAAC werkt echter uitstekend, zelfs als de assistent een heel lang verhaal moet vertellen (bijvoorbeeld 512 woorden lang).

Het resultaat: De assistent maakt veel minder fouten. Hij beschrijft minder dingen die er niet zijn.
De prijs: Soms is het verhaal iets minder "volledig" (hij noemt misschien niet elk klein detail), maar wat hij wel zegt, is waar. In situaties zoals medische diagnoses of zelfrijdende auto's is "waarheid" veel belangrijker dan "veel details".

Samenvatting in één zin

CAAC is als een slimme coach die een dromerige AI-assistent continu terug naar de realiteit trekt door te zeggen: "Kijk niet alleen naar één puntje, en als je twijfelt, kijk dan weer naar de foto voordat je verder praat."

Hierdoor wordt de AI betrouwbaarder, vooral bij lange en complexe verhalen, zonder dat we hem opnieuw hoeven te trainen.

Probleemstelling

Grote Vision-Language Modellen (LVLMs) presteren indrukwekkend op multimodale taken, maar lijden vaak onder hallucinaties. Dit betekent dat ze zelfverzekerd objecten of attributen beschrijven die niet in de afbeelding aanwezig zijn. Hoewel er bestaande methoden zijn om dit aan te pakken (zoals fine-tuning of post-hoc correctie), hebben deze moeite om nauwkeurigheid te behouden in open-ended en langere generatiescenario's.

De auteurs identificeren twee fundamentele oorzaken van deze hallucinaties:

Ruimtelijke perceptie bias (Spatial Perception Bias): Het model verdeelt zijn aandacht onevenredig over beeldtokens, waarbij het zich concentreert op een klein aantal tokens (vaak "attention sinks") ongeacht de inhoud van de afbeelding. Dit leidt tot het negeren van relevante visuele aanwijzingen.
Modality bias: Naarmate de generatie vordert, verschuift de aandacht van het model steeds meer naar tekstuele input (taalpriors) ten koste van de visuele input. Dit resulteert in content die slecht verankerd is in de afbeelding, vooral bij langere generaties.

Bestaande trainingsvrije interventies falen vaak bij langere generaties (bijv. 512 tokens) omdat ze deze dynamische verschuivingen niet effectief kunnen compenseren.

Methodologie: CAAC Framework

De auteurs stellen Confidence-Aware Attention Calibration (CAAC) voor, een trainingsvrij raamwerk dat de aandacht van het model dynamisch herkalkuleert om hallucinaties te verminderen. CAAC bestaat uit twee hoofdcomponenten die beide werken op de multi-head self-attention (MSA) modules van de decoder:

1. Visual-Token Calibration (VTC)

Doel: Het tegengaan van de ruimtelijke perceptie bias.
Werking: VTC corrigeert de scheve aandachtverdeling over beeldtokens.
- Het bouwt een kalibratievector op basis van een referentie-invoer (een betekenisloze afbeelding en een algemene query). Dit vangen de inherente bias van het model op zonder beïnvloeding door specifieke inhoud.
- De aandachtsgewichten van de laatste query-token naar de beeldtokens worden geinverteerd en geschaald om een uniforme basis te creëren.
- Een smoothing parameter ( $\beta$ ) wordt gebruikt om een evenwicht te vinden tussen het corrigeren van de bias en het behoud van essentiële visuele informatie. Het resultaat is een uitgebalanceerde aandachtverdeling die voorkomt dat het model zich te sterk concentreert op willekeurige beeldtokens.

2. Adaptive Attention Re-Scaling (AAR)

Doel: Het tegengaan van de modality bias tijdens de autoregressieve generatie.
Werking: AAR versterkt de visuele verankering wanneer het model onzeker is.
- Het systeem bewaakt de vertrouwdheid (confidence) van het model bij het voorspellen van de volgende token (gebaseerd op de maximale logit-probabiliteit, $p_t$ ).
- Als de betrouwbaarheid onder een bepaalde drempelwaarde ( $p_{thr}$ ) zakt, wordt een schaalfactor ( $\lambda$ ) berekend. Hoe lager de betrouwbaarheid, hoe hoger de schaalfactor.
- Deze factor wordt toegepast op de aandachtsgewichten van de beeldtokens voordat de softmax-functie wordt toegepast. Hierdoor wordt de aandacht voor visuele input tijdelijk versterkt op momenten dat het risico op hallucinatie het grootst is.
- Als het model zeker is, blijft de natuurlijke gedraging behouden.

Belangrijkste Bijdragen

Nieuwe Analyse: De auteurs presenteren een analyse van hallucinaties met behulp van relevancy maps (in plaats van ruwe attention weights), wat twee fundamentele oorzaken blootlegt: de onevenredige aandacht voor beeldtokens en de afnemende visuele aandacht tijdens langere generaties.
CAAC Framework: Een uniek, trainingsvrij raamwerk dat zowel ruimtelijke als modale bias aanpakt via een adaptieve, betrouwbaarheids-gestuurde aanpak.
Prestatieverbetering: Het aantonen dat CAAC hallucinaties significant reduceert in open-ended beeldbeschrijvingen, met name in langere generaties, zonder de vloeiendheid van de tekst te offeren.

Resultaten

De methode is getest op drie 7B-parameter LVLMs (InstructBLIP, LLaVA-1.5, LLaVA-NeXT) en vergeleken met state-of-the-art baselines zoals OPERA, VCD, AvisC en M3ID.

CHAIR Benchmark: CAAC reduceerde de hallucinatiepercentages (CHAIRs en CHAIRi) aanzienlijk. Op de LLaVA-1.5 en InstructBLIP modellen werd een gemiddelde reductie van respectievelijk 4% en 1,8% in de hallucinatiegraad bereikt ten opzichte van de beste baseline.
AMBER Benchmark: CAAC behaalde de laagste hallucinatiepercentages (CHAIR en HAL) over alle instellingen (zowel korte als lange generaties tot 512 tokens). In tegenstelling tot contrastieve decoding-methoden (zoals VCD), die bij langere generaties sterk achteruitgaan, behield CAAC zijn effectiviteit.
POPE Benchmark: Hoewel CAAC primair voor generatieve taken is ontworpen, presteerde het ook uitstekend op deze discriminatieve taak, met nauwkeurigheids- en F1-scores die binnen 1% lagen van de beste baseline (OPERA).
Ablatie Studies: Zowel de VTC- als de AAR-componenten droegen individueel bij aan het verminderen van hallucinaties, maar de combinatie (volledig CAAC) bood de beste resultaten.
Efficiëntie: Hoewel CAAC een tweede pass vereist voor ongeveer 14% van de tokens (wanneer de betrouwbaarheid laag is), is de latency-overhead beperkt en vergelijkbaar met andere trainingsvrije methoden.

Betekenis en Conclusie

CAAC biedt een praktische oplossing voor het verbeteren van de betrouwbaarheid van LVLMs in veiligheidskritieke domeinen (zoals medische diagnose en autonoom rijden), waar feitelijke consistentie belangrijker is dan exhaustive details.

Het paper benadrukt dat er een afweging bestaat tussen trouwheid (faithfulness) en volledigheid (completeness). Hoewel sommige methoden een hogere dekking (COVER-score) bieden, doen ze dit ten koste van meer hallucinaties. CAAC slaagt erin om een sterk evenwicht te vinden: het onderdrukt hallucinaties aanzienlijk terwijl het een acceptabel niveau van volledigheid behoudt. De adaptieve aard van de methode maakt het bijzonder geschikt voor langere generatietaken, waar hallucinaties traditioneel het meest voorkomen.