Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben de capaciteit om visuele informatie te interpreteren, maar lijden vaak aan hallucinaties: ze genereren output die in strijd is met de werkelijke visuele inhoud van een afbeelding.

• Oorzaak: Hoewel MLLM's visuele semantiek kunnen extraheren uit visuele tokens, is hun lokaliseringsvermogen beperkt. De interne visuele aandacht (visual attention) van het model is vaak suboptimaal en faalt erin om zich te focussen op de meest relevante beeldregio's tijdens de inferentie.
• Beperkingen van bestaande oplossingen:
  • Trainingsgebaseerde methoden: Vereisen kostbare datasets en loss-functies, wat minder schaalbaar is gezien de snelle modeliteraties.
  • Externe tools: Voegen extra rekentijd en complexiteit toe.
  • Bestaande aandachtsoptimalisatie: Veel methoden vereisen extra forward passes (wat inefficiënt is) of zijn incompatibel met efficiënte implementaties zoals FlashAttention, omdat ze expliciete aandachtsgewichten nodig hebben die FlashAttention niet blootlegt.

Methodologie

De auteurs stellen Vision-Guided Attention (VGA) voor, een trainingsvrije methode die de aandacht van het model dynamisch stuurt zonder extra forward passes. De kern van de methode bestaat uit twee componenten:

1. Visuele Semantische Zekerheid (Visual Semantic Confidence - VSC)

In plaats van te vertrouwen op de inherente aandachtsgewichten, benutten de auteurs de logits (de ruwe scores voor het volgende token) die het model genereert.

• Concept: De auteurs observeren dat de logit-scores voor visuele tokens een maatstaf zijn voor de semantische consistentie tussen dat token en de huidige context.
• VSC Definitie: Voor een bepaald object $O$ wordt de zekerheid ($c_{v_i}(O)$) berekend als de softmax-score van de logit voor het eerste token van dat object, gekoppeld aan een visueel token $v_i$.
• Toepassing:
  • Object-gericht (VQA): VSC wordt gebruikt om te bepalen welke visuele tokens het meest relevant zijn voor een specifiek gevraagd object.
  • Object-onafhankelijk (Image Captioning): Een variant genaamd Visual Semantic Salience (VSS) wordt gebruikt, die de onzekerheid van de output meet om tokens met rijke visuele informatie te identificeren.

2. Vision-Guided Attention (VGA)

Deze methode gebruikt de VSC-afgeleide "grounding" (verankering) om de aandachtsgewichten van het model aan te passen.

• Mechanisme: De visuele grounding vector $\bm{G}$ wordt toegevoegd aan de bestaande aandachtsgewichten $\bm{\alpha}$:
  $$\hat{\bm{\alpha}} = \bm{\alpha} + \beta \cdot \bm{G}$$
  Hierbij is $\beta$ een hyperparameter. Dit zorgt ervoor dat het model meer aandacht besteedt aan de visuele tokens met hoge semantische zekerheid.
• Efficiëntie: Omdat de methode de visuele grounding gebruikt in plaats van de expliciete aandachtsgewichten zelf te berekenen, is VGA volledig compatibel met FlashAttention. Het vereist slechts één forward pass per token.
• Balans van Aandachtshoofden: Om de intrinsieke visuele capaciteiten van het model niet te verstoren, wordt de sterkte van de geleiding per attention-head gebalanceerd. Hoofden die al sterk visueel zijn, krijgen minder geleiding, terwijl andere hoofden meer geleiding krijgen.

3. Geprogrammeerde Visuele Geleiding (Programmed Vision-Guidance - PVG)

Specifiek voor image captioning (waarbij de vraag dynamisch verandert naarmate de beschrijving groeit):

• Dynamische Aanpassing: Tijdens het genereren van tekst worden regio's die al beschreven zijn, onderdrukt in de visuele grounding.
• Doel: Dit dwingt het model om zich te focussen op nog niet-beschreven, informatieve delen van de afbeelding, waardoor herhaling en hallucinaties worden verminderd.

Belangrijkste Bijdragen

1. Visual Semantic Confidence (VSC): Een nieuw mechanisme dat visuele grounding bereikt door de semantische features van visuele tokens te benutten, zonder externe tools.
2. Vision-Guided Attention (VGA): Een trainingsvrije, FlashAttention-gecompatibele methode die visuele grounding gebruikt om de aandacht van het model te sturen.
3. Programmed Vision-Guidance (PVG): Een dynamisch mechanisme voor image captioning dat de visuele focus aanpast tijdens de generatie om redundantie te voorkomen.
4. State-of-the-art Prestaties: Uitgebreide experimenten tonen aan dat VGA hallucinaties effectief onderdrukt terwijl de prestaties op andere taken behouden blijven.

Resultaten

De methode is getest op diverse MLLM's (LLaVA-1.5, LLaVA-Next, Qwen2.5-VL) en benchmarks:

• POPE (Visual Question Answering): VGA behaalde de beste resultaten in nauwkeurigheid (Acc.) en F1-score, met name in de "Adversarial" categorie waar hallucinaties vaak voorkomen. Bijvoorbeeld, op LLaVA-7B steeg de Acc. van 71.85% (Vanilla) naar 77.02% (VGA).
• CHAIR (Image Captioning): VGA bereikte de laagste hallucinatiepercentages ($C_s$ en $C_i$) over alle geteste modellen, terwijl de F1-score vergelijkbaar bleef.
• AMBER (Hybride Benchmark): VGA behaalde de beste algehele prestatie (AMBER-score), wat de effectiviteit bevestigt in gemengde taken.
• Latentie: De methode introduceert een verwaarloosbare overhead (ongeveer 4.36% toename in Time to First Token en 6.01% in Time Per Output Token), wat het zeer praktisch maakt voor real-time toepassingen.

Betekenis en Conclusie

Dit paper toont aan dat hallucinaties in MLLM's grotendeels kunnen worden opgelost door de interne visuele perceptie van het model te verbeteren zonder het model opnieuw te trainen.

• Inzicht: De auteurs tonen aan dat MLLM's vaak meer visuele informatie "weten" dan ze expliciet genereren. Door deze informatie (via VSC) te gebruiken om de aandacht te sturen, kan het model zijn eigen hallucinaties corrigeren.
• Praktische Impact: Omdat VGA trainingsvrij is, compatibel met FlashAttention en slechts minimale rekentijd kost, is het een directe, plug-and-play oplossing voor het verbeteren van de betrouwbaarheid van bestaande multimodale modellen in productieomgevingen.