Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

Riepilogo Tecnico: Capturing Gaze Shifts for Guidance (GIFT)

Definizione del Problema
I modelli linguistici visivi (VLM) soffrono frequentemente di allucinazioni, generando contenuti non supportati dagli input visivi o testuali. La letteratura attuale attribuisce ciò principalmente a un'eccessiva dipendenza dai pregiudizi linguistici (linguistic priors) piuttosto che dagli input visivi. Le strategie esistenti di mitigazione durante l'inferenza tentano di amplificare l'attenzione dei token visivi, ma soffrono di due criticità fondamentali:

1. Visual Attention Sink (Pozzo di Attenzione Visiva): Questi metodi spesso non riescono a distinguere tra regioni visive rilevanti e irrilevanti, amplificando involontariamente l'attenzione verso token non pertinenti al compito (il "sink") che ricevono pesi sproporzionatamente elevati.
2. Fusione Cross-Modale Sbilanciata: Concentrandosi esclusivamente sull'aumento dell'attenzione visiva, i metodi precedenti trascurano il necessario equilibrio con i token della query dell'utente. Ciò può portare il modello ad attendere alle regioni visive rilevanti, ma interpretando erroneamente la query dell'utente, con conseguente una rappresentazione scarsamente integrata.

Metodologia: Gaze Shift-Guided Cross-modal Fusion Enhancement (GISM - GIFT)
Gli autori propongono GIFT, un metodo leggero, applicabile durante l'inferenza, che mitiga le allucinazioni regolando dinamicamente l'attenzione basandosi sugli "scorrimenti dello sguardo" (gaze shifts) anziché su punteggi di attenzione statici. L'approccio consiste in due fasi primarie:

1. Computazione della Mappa di Salienza Visiva tramite Tracciamento dello Scorrimento dello Sguardo:

   • Invece di mediare l'attenzione su tutti i token della query (sguardo statico), GIFT traccia i cambiamenti positivi nell'attenzione dei token visivi mentre il modello elabora parole ricche di informazioni (ad es. sostantivi, verbi, aggettivi) nella query dell'utente.
   • Questo meccanismo di "scorrimento dello sguardo" identifica dove il modello rialloca dinamicamente il focus verso regioni visive rilevanti. Le regioni irrilevanti (attention sinks) mostrano tipicamente scorrimenti positivi minimi o nulli, permettendo al metodo di filtrare naturalmente il rumore.
   • Una mappa di salienza visiva olistica viene pre-computata in uno specifico livello (identificato come il picco degli scorrimenti positivi dell'attenzione, tipicamente nei livelli iniziali o intermedi) prima dell'inizio della decodifica.

2. Potenziamento della Fusione Cross-Modale:

   • Guida dell'Attenzione Visiva: Durante la decodifica, la mappa di salienza pre-computata viene utilizzata per amplificare proporzionalmente l'attenzione verso i token visivi salienti nei livelli critici di fusione cross-modale.
   • Fusione Bilanciata: Fondamentalmente, GIFT non si limita a potenziare i token visivi. Esso scala simultaneamente l'attenzione verso i token della query in base al rapporto complessivo di amplificazione dell'attenzione visiva. Ciò preserva l'equilibrio tra le modalità visiva e testuale, garantendo che il modello interpreti correttamente la query ancorandola all'immagine.
   • Il metodo opera direttamente sulle matrici di attenzione intermedie senza richiedere passaggi in avanti aggiuntivi o input modificati.

Contributi Chiave

• Meccanismo Novellativo: Introduzione di un meccanismo che cattura una visione olistica delle regioni visive salienti tracciando gli scorrimenti positivi dell'attenzione (gaze shifts) su query ricche di informazioni, mitigando efficacemente il problema del visual attention sink.
• Potenziamento Bilanciato: Proposta di GIFT, un metodo che sfrutta la mappa di salienza pre-computata per potenziare l'attenzione visiva, scalando proporzionalmente l'attenzione dei token della query per mantenere l'equilibrio della fusione cross-modale.
• Validazione Empirica: Dimostrazione che GIFT riduce costantemente le allucinazioni in varie architetture VLM (LLaVA-1.5, Qwen2-VL, Qwen3-VL), ottenendo miglioramenti significativi nei benchmark delle allucinazioni pur preservando le capacità di ragionamento generale con un basso overhead computazionale.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su quattro modelli (LLaVA-1.5 7B/13B, Qwen2-VL 7B, Qwen3-VL 8B) attraverso molteplici benchmark:

• Mitigazione delle Allucinazioni: GIFT ha ottenuto un miglioramento fino al 20,7% su CHAIR (image captioning), il 15,9% su MMHal-Bench (VQA) e il 3,0% su POPE (object detection) rispetto alla decodifica greedy. Ha superato costantemente i baseline come VAF (Visual Attention Fusion), VAR (Visual Attention Recalibration) e VCD (Visual Contrastive Decoding).
• Prestazioni Generali: Nei benchmark generali di visione-linguaggio (MME, SEED-Bench), GIFT ha mantenuto prestazioni comparabili alla decodifica greedy, dimostrando che la mitigazione delle allucinazioni non avviene a scapito delle capacità di ragionamento.
• Efficienza: GIFT ha comportato un basso overhead computazionale, operando a soli 1,13× la latenza della decodifica greedy, significativamente più veloce della decodifica contrastiva (1,99×) o dei metodi di riduzione dei token (11,10×).

Significatività e Rivendicazioni
L'articolo sostiene che GIFT affronti simultaneamente i limiti dei metodi esistenti: i visual attention sinks e la fusione cross-modale sbilanciata. Mimando gli scorrimenti della visione umana, il metodo fornisce un segnale di ancoraggio visivo più robusto e pertinente al compito. Gli autori affermano che GIFT offre un forte compromesso tra efficienza e prestazioni, rendendolo una soluzione pratica per ridurre le allucinazioni in domini ad alto rischio come la biomedicina, la guida autonoma e la robotica, dove l'accuratezza fattuale è critica. Il lavoro è presentato come un passo verso un dispiegamento dei VLM più sicuro e affidabile, senza gli alti costi computazionali del riaddestramento o di complesse strategie di decodifica contrastiva.