Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

Technische Samenvatting: Capturing Gaze Shifts for Guidance (GIFT)

Probleemstelling
Vision Language Models (VLM's) lijden frequent aan hallucinaties, waarbij ze inhoud genereren die niet wordt ondersteund door visuele of tekstuele input. De huidige literatuur schrijft dit primair toe aan een te grote afhankelijkheid van linguïstische priors in plaats van visuele input. Bestaande strategieën voor mitigatie tijdens de inferentie proberen de aandacht voor visuele tokens te versterken, maar kampen met twee kritieke beperkingen:

1. Visuele Aandachtszink (Visual Attention Sink): Deze methoden slagen er vaak niet in om relevante van irrelevante visuele regio's te onderscheiden, waardoor ze onbedoeld de aandacht versterken naar taakirrelevante tokens (de "sink") die onevenredig hoge gewichten ontvangen.
2. Ongebalanceerde Cross-modale Fusie: Door uitsluitend te focussen op het verhogen van de visuele aandacht, verwaarlozen voorgaande methoden de noodzakelijke balans met de query-tokens van de gebruiker. Dit kan ertoe leiden dat het model weliswaar aandacht heeft voor relevante visuele regio's, maar tegelijkertijd de query van de gebruiker verkeerd interpreteert, wat resulteert in slecht geïntegreerde representaties.

Methodologie: Gaze Shift-Guided Cross-modal Fusion Enhancement (GIFT)
De auteurs stellen GIFT voor, een lichtgewicht methode tijdens de inferentie die hallucinaties mitigeert door de aandacht dynamisch aan te passen op basis van "gaze shifts" (blikverschuivingen) in plaats van statische aandachtsscores. De aanpak bestaat uit twee primaire fasen:

1. Berekening van de Visuele Saliëntiekaart via Gaze Shift Tracking:

   • In plaats van de aandacht te middelen over alle query-tokens (statische blik), volgt GIFT de positieve veranderingen in de visuele token-aandacht terwijl het model informatierijke woorden (bijv. zelfstandige naamwoorden, werkwoorden, bijvoeglijke naamwoorden) in de query van de gebruiker verwerkt.
   • Dit "gaze shift"-mechanisme identificeert waar het model zijn focus dynamisch heralloceert naar relevante visuele regio's. Irrelevante regio's (aandachts sinks) vertonen doorgaans minimale of geen positieve verschuivingen, waardoor de methode ruis op natuurlijke wijze kan wegfilteren.
   • Een holistische visuele saliëntiekaart wordt vooraf berekend op een specifieke laag (geïdentificeerd als het piekpunt van positieve aandachtverschuivingen, doorgaans in de vroege tot middelste lagen) voordat de decodering begint.

2. Cross-modale Fusie Versterking:

   • Visuele Aandachtssturing (Visual Attention Steering): Tijdens de decodering wordt de vooraf berekende saliëntiekaart gebruikt om de aandacht naar saillante visuele tokens proportioneel te versterken in cruciale cross-modale fusielagen.
   • Gebalanceerde Fusie: Cruciaal is dat GIFT niet enkel de visuele tokens versterkt. Het schaalt tegelijkertijd de aandacht naar de query-tokens op basis van de algehele visuele aandacht-amplificatieratio. Dit behoudt de balans tussen de visuele en tekstuele modaliteiten, waardoor het model de query correct interpreteert terwijl het deze in de afbeelding verankert.
   • De methode werkt rechtstreeks op de intermediaire aandachtmatrices zonder dat extra forward passes of gewijzigde inputs vereist zijn.

Belangrijkste Bijdragen

• Nieuw Mechanisme: Introductie van een mechanisme dat een holistisch beeld vangt van saillante visuele regio's door positieve aandachtverschuivingen ("gaze shifts") over informatie-rijke query-tokens te volgen, wat het probleem van de visuele aandachtszink effectief mitigeert.
• Gebalanceerde Versterking: Voorstel van GIFT, een methode die de vooraf berekende saliëntiekaart gebruikt om de visuele aandacht te versterken terwijl de aandacht voor query-tokens proportioneel wordt geschaald om de balans in de cross-modale fusie te behouden.
• Empirische Validatie: Demonstratie dat GIFT consistent hallucinaties vermindert over diverse VLM-architecturen (LLaVA-1.5, Qwen2-VL, Qwen3-VL) en modelgroottes, waarbij significante verbeteringen op hallucinatie-benchmarks worden behaald terwijl de algemene redeneercapaciteiten behouden blijven met een lage computationele overhead.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op vier modellen (LLaVA-1.5 7B/13B, Qwen2-VL 7B, Qwen3-VL 8B) over meerdere benchmarks:

• Mitigatie van Hallucinaties: GIFT behaalde tot wel 20,7% verbetering op CHAIR (image captioning), 15,9% op MMHal-Bench (VQA), en 3,0% op POPE (objectdetectie) vergeleken met greedy decoding. Het presteerde consistent beter dan baselines zoals VAF (Visual Attention Fusion), VAR (Visual Attention Recalibration) en VCD (Visual Contrastive Decoding).
• Algemene Prestaties: Op algemene visie-taal benchmarks (MME, SEED-Bench) behield GIFT prestaties die vergelijkbaar zijn met greedy decoding, wat aantoont dat de mitigatie van hallucinaties niet ten koste gaat van de redeneercapaciteiten.
• Efficiëntie: GIFT veroorzaakte een lage computationele overhead, met slechts 1,13× de latentie van greedy decoding, aanzienlijk sneller dan contrastive decoding (1,99×) of token-reductiemethoden (11,10×).

Betekenis en Claims
Het artikel claimt dat GIFT de gelijktijdige beperkingen van bestaande methoden aanpakt: de visuele aandachtszink en ongebalanceerde cross-modale fusie. Door de menselijke visuele blikverschuivingen na te bootsen, biedt de methode een robuuster en taakrelevant visueel verankeringssignaal. De auteurs stellen dat GIFT een sterke afweging biedt tussen efficiëntie en prestaties, waardoor het een praktische oplossing is voor het verminderen van hallucinaties in kritieke domeinen zoals biomedische wetenschappen, autonoom rijden en robotica, waar feitelijke nauwkeurigheid essentieel is. Het werk wordt gepresenteerd als een stap naar veiligere en betrouwbaardere VLM-implementaties zonder de hoge computationele kosten van hertraining of complexe contrastive decoding-strategieën.