Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration

1. Il Problema: Allucinazioni nei Modelli Vision-Language (LVLM)

I Large Vision-Language Models (LVLM) hanno ottenuto risultati eccezionali in compiti multimodali, ma soffrono di un problema critico: le allucinazioni. Questo fenomeno si verifica quando il modello genera contenuti non radicati nell'input visivo, descrivendo oggetti o attributi assenti nell'immagine con grande sicurezza.

Il paper identifica due meccanismi fondamentali che causano queste allucinazioni, specialmente nelle generazioni lunghe e a contenuto aperto:

1. Bias di Percezione Spaziale (Spatial Perception Bias): Il modello distribuisce l'attenzione in modo sproporzionato su un piccolo sottoinsieme di token visivi (spesso indipendentemente dal contenuto reale dell'immagine), ignorando altre regioni rilevanti.
2. Bias di Modalità (Modality Bias): Man mano che la generazione procede (specialmente in sequenze lunghe), il modello tende a spostare progressivamente la sua attenzione dalle informazioni visive ai precedenti testuali (priors linguistici), portando a contenuti slegati dall'immagine.

Le soluzioni esistenti (come il fine-tuning o le correzioni post-hoc) spesso falliscono nelle generazioni lunghe o richiedono risorse computazionali elevate. Le tecniche di intervento al momento dell'inferenza (inference-time) senza addestramento (training-free) sono promettenti ma faticano a mantenere l'efficacia su sequenze estese.

2. Metodologia: Il Framework CAAC

Gli autori propongono CAAC (Confidence-Aware Attention Calibration), un approccio unificato e training-free che corregge dinamicamente la distribuzione dell'attenzione del modello durante la generazione. CAAC agisce in due fasi distinte per contrastare i due bias identificati:

A. Calibrazione dei Token Visivi (Visual-Token Calibration - VTC)

• Obiettivo: Mitigare il bias di percezione spaziale.
• Meccanismo: VTC mira a livellare la distribuzione dell'attenzione sui token dell'immagine per evitare che il modello si concentri eccessivamente su poche regioni.
• Implementazione:
  1. Viene costruita una vettoria di calibrazione utilizzando un input di riferimento (un'immagine "senza senso" e una query generica) per catturare il comportamento di base distorto del modello.
  2. Viene calcolato un vettore inverso per contrastare i picchi di attenzione.
  3. Viene applicato un parametro di smoothing ($\beta$) per bilanciare la correzione del bias con la preservazione delle informazioni visive originali. Il vettore di attenzione finale è una media ponderata tra l'attenzione originale e quella calibrata.

B. Ridimensionamento Adattivo dell'Attenzione (Adaptive Attention Re-Scaling - AAR)

• Obiettivo: Mitigare il bias di modalità e mantenere il grounding visivo durante la generazione.
• Meccanismo: AAR aumenta dinamicamente l'attenzione sui token visivi quando il modello mostra incertezza.
• Implementazione:
  1. Il sistema monitora la confidenza del modello (probabilità massima del logit) ad ogni passo di generazione.
  2. Se la confidenza scende sotto una soglia predefinita ($p_{thr}$), viene calcolato un fattore di ridimensionamento ($\lambda$).
  3. Più bassa è la confidenza, più alto è il fattore $\lambda$, che amplifica l'attenzione sui token visivi prima dell'applicazione della funzione softmax.
  4. Questo meccanismo forza il modello a "guardare" di nuovo l'immagine quando sta per generare contenuti incerti, riducendo la deriva verso i soli priors linguistici.

3. Contributi Chiave

1. Analisi delle Allucinazioni: Gli autori forniscono una nuova analisi basata su relevancy maps (mappe di rilevanza) che dimostra come le allucinazioni siano correlate a una bassa rilevanza visiva e a una bassa confidenza del modello, specialmente nei token successivi della sequenza.
2. Framework CAAC: Introduzione di un metodo training-free che combina calibrazione statica (VTC) e adattamento dinamico basato sulla confidenza (AAR).
3. Performance Superiori: Il metodo dimostra di superare gli stati dell'arte (SOTA) riducendo significativamente i tassi di allucinazione, specialmente in scenari di generazione lunga, senza sacrificare eccessivamente la fluidità del testo.

4. Risultati Sperimentali

Il framework è stato valutato su tre modelli LVLM (InstructBLIP, LLaVA-1.5, LLaVA-NeXT) e su tre benchmark principali:

• CHAIR (Captioning): CAAC riduce il tasso di allucinazione di oggetti (CHAIRi) e di frasi (CHAIRs) in modo significativo rispetto ai baseline (OPERA, VCD, M3ID, AvisC). Ad esempio, su LLaVA-1.5, CAAC riduce CHAIRi da 17.6 a 10.4.
• AMBER (Generazione Lunga e Breve):
  • CAAC ottiene i tassi di allucinazione più bassi (CHAIR e HAL) in tutte le configurazioni, inclusi i test con 512 token (generazione lunga), dove i metodi basati su contrastive decoding mostrano un degrado delle prestazioni.
  • Mantiene un punteggio di copertura (COVER) alto, bilanciando fedeltà e completezza meglio di altri metodi che riducono le allucinazioni ma perdono dettagli.
• POPE (Discriminazione): Sebbene progettato per la generazione, CAAC performa eccellentemente anche in compiti discriminativi (verifica della presenza di oggetti), ottenendo punteggi di accuratezza e F1 comparabili o superiori ai migliori baseline.

Analisi di Ablazione: Gli esperimenti confermano che sia VTC che AAR contribuiscono individualmente alla riduzione delle allucinazioni, ma la loro combinazione offre il miglioramento maggiore.

5. Significato e Implicazioni

Il lavoro di CAAC è significativo per diversi motivi:

• Affidabilità in Applicazioni Critiche: Offrendo un metodo efficace per ridurre le allucinazioni senza riaddestramento, CAAC rende gli LVLM più sicuri per applicazioni in settori sensibili come la diagnosi medica, la navigazione autonoma e l'analisi legale, dove la fedeltà fattuale è prioritaria rispetto alla mera generazione di testo dettagliato.
• Gestione delle Generazioni Lunghe: A differenza delle tecniche esistenti che falliscono nelle sequenze lunghe, l'approccio adattivo di CAAC (AAR) è specificamente progettato per correggere la deriva dell'attenzione che si verifica nei token successivi, rendendolo ideale per descrizioni dettagliate e complesse.
• Efficienza: Sebbene introduca una leggera latenza (dovuta al calcolo della confidenza e al possibile secondo passaggio di attenzione), è computazionalmente efficiente rispetto ad altri metodi che richiedono due passaggi completi per ogni token.

In sintesi, CAAC rappresenta un avanzamento fondamentale nel rendere i modelli visione-linguaggio più affidabili, intervenendo direttamente sui meccanismi di attenzione per garantire che la generazione rimanga ancorata alla realtà visiva.