See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment

1. Il Problema: Allucinazione di Oggetti e Squilibrio nell'Attenzione

I Modelli Linguistici Multimodali (MLLM) hanno raggiunto risultati eccezionali nella comprensione visione-linguaggio, ma soffrono ancora di un problema critico: l'allucinazione di oggetti. Questo fenomeno si verifica quando il modello genera descrizioni contenenti oggetti assenti nell'immagine o omette oggetti visivamente presenti.

Gli autori identificano la causa radice non come un fallimento della percezione (il codificatore visivo rileva correttamente gli oggetti), ma come un squilibrio strutturale nell'allocazione dell'attenzione durante la fase di decodifica.

• Dominanza Visiva: Gli oggetti grandi, salienti o frequenti tendono a "rubare" l'attenzione, consumando la capacità rappresentativa del modello.
• Collasso dell'Attenzione: Man mano che la generazione procede, l'attenzione si concentra eccessivamente su pochi token dominanti, sopprimendo gli oggetti periferici, piccoli o rari (coda lunga).
• Conseguenza: Il modello non riesce a "radicare" (grounding) la generazione nell'intera scena visiva, portando a descrizioni incomplete o inaccurate.

2. Metodologia: DOP-OBC

Per risolvere questo problema, gli autori propongono DOP-OBC, una strategia di decodifica senza addestramento (training-free) e agnostica rispetto all'architettura. Il metodo opera esclusivamente al momento dell'inferenza, modificando i logit dell'attenzione senza aggiornare i pesi del modello.

Il sistema si basa su tre componenti principali:

A. Registri di Attenzione Triangolari Superiori

Per mitigare il collasso dell'attenzione, viene introdotto un registro che assorbe la massa di attenzione in eccesso destinata alle posizioni future. Viene applicata una decadimento posizionale (linear decay) sui logit futuri, stabilizzando la generazione a lungo termine e preservando la causalità autoregressiva.

B. Controlli Consapevoli degli Oggetti (DOP & OBC)

Due segnali complementari vengono iniettati come modulazioni riga-per-riga sui logit pre-SoftMax:

1. Dominant Object Penalty (DOP):

   • Funzione: Sopprime dolcemente l'attenzione eccessiva sugli oggetti visivamente dominanti.
   • Meccanismo: Calcola un punteggio di dominanza basato su tre fattori normalizzati: dimensione dell'oggetto, persistenza temporale e quota di attenzione già ricevuta. Applica una penalità esponenziale ($w_{pen} = \exp(-\lambda D(o))$) per ridurre l'amplificazione di questi oggetti, liberando capacità rappresentativa.

2. Outlier Boost Coefficient (OBC):

   • Funzione: Amplifica l'attenzione verso oggetti rari ma rilevanti.
   • Meccanismo: Stimata una "rarity score" basata sulla distanza delle caratteristiche dell'oggetto rispetto alla distribuzione media della scena (usando una distanza di Mahalanobis su una distribuzione EMA). L'amplificazione viene applicata solo se l'oggetto è raro e ha un'alta confidenza di rilevamento ($b(o) = \gamma \cdot r(o) \cdot \mathbb{1}[p(o) \ge \tau_p]$).

C. Integrazione

Questi segnali modulano l'ampiezza dei logit e la pendenza del registro di decadimento per ogni riga dell'attenzione, creando una matrice di attenzione "equa" che bilancia la distribuzione delle risorse tra oggetti dominanti e periferici.

3. Contributi Chiave

• Identificazione del Problema: Dimostrano che l'allucinazione è guidata da uno squilibrio nell'allocazione dell'attenzione durante la decodifica, non da una mancanza di capacità di rappresentazione visiva.
• Soluzione Innovativa: Progettazione di DOP-OBC, un metodo plug-and-play che non richiede riaddestramento, modelli ausiliari o modifiche architetturali.
• Principio di Equità: Introdurre il concetto di "attenzione equa" (equitable attention), dove ogni oggetto, indipendentemente dalla sua salienza, riceve un'opportunità rappresentativa adeguata durante la generazione.
• Validazione Estensiva: Test su modelli sia per immagini che per video, dimostrando l'efficacia trasversale.

4. Risultati Sperimentali

Il metodo è stato valutato su una vasta gamma di benchmark (MMBench, LLaVA-W, MM-Vet, VizWiz, SQA) e metriche specifiche per l'allucinazione (CHAIR, POPE).

• Riduzione delle Allucinazioni:

  • Su LLaVA-1.5, DOP-OBC riduce il punteggio CHAIRS (allucinazioni a livello di frase) del 17.3% e CHAIRI (a livello di istanza) del 19.4% rispetto alla baseline.
  • Migliora significativamente i punteggi POPE (Precision, Recall, Accuracy), indicando un grounding visivo più forte.
  • Su Video-LLaVA, si osservano riduzioni simili nell'errore di allucinazione e miglioramenti nella precisione delle risposte a domande video.

• Miglioramento della Qualità Generale:

  • A differenza di alcuni metodi che migliorano il grounding a scapito della fluidità, DOP-OBC migliora anche le metriche generali di ragionamento e descrizione.
  • Nella generazione di didascalie video, valutata tramite GPT-4o, si registrano miglioramenti in tutte e cinque le dimensioni: Correttezza, Coerenza, Dettaglio, Contesto e Comprensione Temporale.

• Analisi Qualitativa:

  • Le mappe di attenzione mostrano che DOP-OBC previene il collasso precoce, mantenendo un'attenzione stabile e distribuita su oggetti periferici (es. segnali stradali, veicoli rossi in secondo piano) che le baseline ignorano.

5. Significato e Impatto

Questo lavoro cambia la prospettiva sulla gestione delle allucinazioni nei MLLM:

1. Efficienza: Dimostra che è possibile ottenere modelli più affidabili senza i costi computazionali e i dati necessari per il riaddestramento (fine-tuning).
2. Meccanismo Causale: Stabilisce che l'allocazione delle risorse durante la decodifica è un fattore determinante per la fedeltà visiva.
3. Applicabilità Pratica: Essendo un metodo "drop-in" compatibile con qualsiasi modello basato su Transformer, è immediatamente applicabile nei sistemi di produzione esistenti per migliorare l'affidabilità delle descrizioni visive e la comprensione video.

In sintesi, DOP-OBC trasforma il principio di equità in un meccanismo tecnico concreto, garantendo che i modelli multimodali "vedano" e "parlino" della realtà in modo più completo e veritiero, riducendo drasticamente gli errori di allucinazione.