Riepilogo Tecnico: CAST – Mitigazione delle Allucinazioni di Oggetti nei Modelli Visione-Linguaggio di Grandi Dimensioni tramite Steering dell'Attenzione Visiva Guidata da Didascalie

1. Enunciato del Problema

I Modelli Visione-Linguaggio di Grandi Dimensioni (LVLM) hanno raggiunto prestazioni notevoli nelle attività a valle, ma soffrono frequentemente di allucinazioni di oggetti, ovvero il modello genera contenuti che si discostano o contraddicono l'input visivo. Le strategie di mitigazione esistenti rientrano generalmente in due categorie, entrambe con limitazioni significative:

• Metodi basati sull'addestramento: Questi si affidano a dataset accuratamente curati e a costose annotazioni manuali o apprendimento per rinforzo (ad es. RLHF), sostenendo elevati costi computazionali e dei dati.
• Strategie di decodifica senza addestramento: Metodi come la decodifica contrastiva (ad es. VCD, OPERA) spesso aumentano significativamente la latenza di inferenza, rendendoli meno pratici per applicazioni in tempo reale.

Inoltre, gli studi sull'interpretabilità suggeriscono che un'attenzione insufficiente alle informazioni visive è una causa radice delle allucinazioni. Tuttavia, pochi metodi affrontano esplicitamente questo aspetto potenziando la percezione visiva senza modificare i parametri del modello o introdurre un sovraccarico di inferenza pesante.

2. Metodologia: Steering dell'Attenzione Visiva Guidata da Didascalie (CAST)

Gli autori propongono CAST, un metodo senza addestramento, plug-and-play, che mitiga le allucinazioni di oggetti guidando i meccanismi di attenzione del modello durante l'inferenza. L'idea centrale che guida CAST è l'osservazione che le query di didascalia (ad es. "Descrivi questa immagine in dettaglio") attivano un'attenzione visiva significativamente potenziata in specifiche teste di attenzione rispetto alle query non di didascalia (ad es. "C'è un casco nell'immagine?").

CAST opera in tre fasi distinte:

A. Sonda delle Teste di Attenzione Guidate da Didascalie

Il metodo identifica inizialmente le "teste di attenzione guidate da didascalie", ovvero specifiche teste all'interno dei livelli Transformer che mostrano una forte sensibilità alle query di didascalia.

• Meccanismo: Utilizzando un dataset di coppie immagine-query, gli autori mascherano l'attenzione sui token testuali per isolare i pattern di attenzione visiva.
• Classificazione: Un classificatore binario (ad es. SVM) viene addestrato sugli output di attenzione dell'ultimo token di input per distinguere tra query di didascalia e query non di didascalia.
• Selezione: Le prime $K$ teste di attenzione con la massima accuratezza di classificazione vengono selezionate come target per lo steering. Queste teste risultano concentrate principalmente nei livelli intermedi del modello.

B. Stima dei Vettori di Percezione Raffinata

Una volta identificate le teste target, il metodo calcola i vettori di spostamento che rappresentano la differenza nell'output di attenzione tra query di didascalia e query non di didascalia.

• Calcolo: Per ogni testa selezionata, il vettore di spostamento $S^{(l,h)}$ è calcolato come la differenza media tra l'output di attenzione quando alimentato con una query di didascalia ($O^{(l,h)}$) e una query non di didascalia ($O'^{(l,h)}$):
  $$S^{(l,h)} = \frac{1}{B} \sum_{b=1}^{B} (O^{(l,h)}_b - O'^{(l,h)}_b)$$
• Scopo: Questi vettori quantificano la "direzione di percezione fine", catturando efficacemente lo stato di attenzione visiva sufficiente indotto dalle query di didascalia.

C. Steering al Momento dell'Inferenza

Durante l'inferenza di una query non di didascalia (lo scenario tipico in cui si verificano le allucinazioni), i vettori di spostamento precalcolati vengono applicati alle teste di attenzione selezionate.

• Regola di Aggiornamento: Lo stato nascosto viene aggiornato aggiungendo una versione scalata del vettore di spostamento all'output di attenzione delle teste guidate da didascalie:
  $$H_{l+1} = H_l + \sum_{h=1}^{H} (O^{(l,h)} + I^{(l,h)} \alpha S^{(l,h)}) \cdot W^l_o$$
  Dove $I^{(l,h)}$ è una funzione di gating (1 per le teste selezionate, 0 altrimenti) e $\alpha$ controlla l'intensità dello steering.
• Effetto: Questo sposta l'attenzione del modello da uno stato "insufficiente" (propenso alle allucinazioni) a uno stato "sufficiente" (percezione visiva potenziata), mitigando efficacemente le allucinazioni di oggetti senza riaddestrare il modello.

3. Contributi Chiave

1. Nuova Intuizione: Questo lavoro è il primo a rivelare e quantificare esplicitamente l'impatto delle query di didascalia rispetto alle query non di didascalia sui pattern di attivazione dell'attenzione degli LVLM, identificando specifiche teste di attenzione responsabili della percezione visiva fine.
2. Metodo CAST: Un approccio senza addestramento, plug-and-play, che rifinisce gli output delle teste di attenzione guidate da didascalie durante l'inferenza. Non richiede aggiornamenti dei parametri del modello e aggiunge un costo di inferenza minimo.
3. Valutazione Completa: Esperimenti estensivi dimostrano che CAST mitiga efficacemente le allucinazioni preservando le capacità fondamentali del modello (ad es. ragionamento, OCR) e generalizzando su diverse architetture di modelli (LLaVA, Qwen-VL, LLaVA-NeXT).

4. Risultati Sperimentali

Gli autori hanno valutato CAST su cinque benchmark ampiamente utilizzati (POPE, CHAIR, MMHal-Bench, MME, MHumanEval) e cinque diversi LVLM.

• Mitigazione delle Allucinazioni:
  • POPE: CAST ha migliorato l'accuratezza di una media del 5,64% e il punteggio F1 del 5,50% tra i modelli.
  • CHAIR: Ha ridotto le metriche medie di allucinazione (CS e CI) di 6,43 punti.
  • MMHal-Bench: Ha ridotto il tasso di allucinazione (VH.%) del 2,95% e migliorato il punteggio di informatività.
  • Prestazioni Generali: In media, CAST ha ridotto le allucinazioni di oggetti del 6,03% su cinque LVLM e cinque benchmark.
• Efficienza: A differenza dei metodi di decodifica contrastiva che aumentano significativamente il tempo di inferenza (ad es. VCD aumenta il TPOT di 2,7 volte), CAST aggiunge una latenza trascurabile (comparabile alla baseline, ~1,0x).
• Preservazione delle Capacità: CAST ha migliorato le prestazioni sul benchmark MME in tutti i compiti di percezione e cognizione, dimostrando che non degrada le altre capacità fondamentali del modello.
• Generalizzazione: Il metodo si è rivelato efficace su modelli avanzati (Qwen2-VL, InternVL2) e su compiti specifici di dominio (Medical VQA-RAD, OCR), confermandone la robustezza.

5. Significato e Affermazioni

Il documento afferma che CAST offre una soluzione state-of-the-art (SOTA) per mitigare le allucinazioni di oggetti negli LVLM sfruttando i pattern di attenzione intrinseci indotti dalle query di didascalia. Il suo significato risiede in:

• Economicità: Elimina la necessità di costose annotazioni manuali o riaddestramento.
• Efficienza: Evita l'elevata latenza di inferenza associata alle strategie di decodifica contrastiva.
• Intuizione Meccanicistica: Fornisce un meccanismo chiaro e interpretabile per la mitigazione delle allucinazioni, colpendo direttamente le teste di attenzione responsabili della percezione visiva.

Gli autori concludono che CAST potenzia efficacemente la capacità di percezione visiva fine degli LVLM, offrendo una via pratica ed efficiente per ridurre le allucinazioni senza compromettere l'utilità del modello.