Riepilogo Tecnico: Mitigazione delle Allucinazioni nei Modelli Linguistici Visivi di Grandi Dimensioni tramite Causal Route Gating

1. Enunciato del Problema

I Modelli Linguistici Visivi di Grandi Dimensioni (LVLM) soffrono frequentemente di allucinazioni, generando contenuti fluidi e plausibili che mancano di supporto dall'immagine di input. Questo problema mina l'affidabilità degli LVLM nel deployment reale, in particolare in contesti critici per la sicurezza o di supporto alle decisioni.

Il documento identifica una specifica modalità di fallimento: la competizione di percorsi. Anche quando i token visivi ricevono attenzione, la decisione del token finale può essere dominata dal percorso testuale. Di conseguenza, il decoder segue i prior linguistici (ciò che è plausibile) piuttosto che le evidenze visive (ciò che è visibile). Le strategie di mitigazione senza addestramento esistenti spesso si basano su proxy basati sull'attenzione (ad esempio, Visual Attention Ratio, VAR) o sul ridimensionamento grossolano delle testate. Gli autori sostengono che questi siano insufficienti perché:

• Un'alta massa di attenzione non si traduce necessariamente in un contributo causale all'output.
• La normalizzazione softmax può gonfiare spuriamante le quote di attenzione visiva indebolendo la competizione testuale senza effettivamente ancorare la decisione.
• Il ridimensionamento grossolano sopprime sia i percorsi visivi che quelli testuali, potenzialmente danneggiando un ragionamento genuinamente ancorato.

2. Metodologia: Causal Route Gating (CRG)

Il metodo proposto, Causal Route Gating (CRG), è un'intervento senza addestramento, eseguito al momento dell'inferenza, che opera a livello di token decomponendo le testate di attenzione in percorsi visivi e testuali distinti.

2.1. Decomposizione del Percorso Interna alla Testata

Gli autori sfruttano la linearità delle operazioni Transformer per decomporre l'output di ciascuna testata di attenzione $h$ nello strato $l$ in due componenti additive:

• Percorso Visivo ($O^{vis}_{l,h}$): Il contributo derivato dai token visivi.
• Percorso Testuale ($O^{txt}_{l,h}$): Il contributo derivato dai token testuali.
  L'output totale della testata è $O_{l,h} = O^{vis}_{l,h} + O^{txt}_{l,h}$.

2.2. Effetti Causali del Percorso Allineati alla Decisione (CRE)

Invece di fare affidamento sui pesi di attenzione, CRG misura l'effetto causale di ciascun percorso sul punteggio di decisione del token corrente $\ell$ (ad esempio, log-probabilità del token generato o margine di log-odds per QA binario). Utilizzando interventi do, gli effetti sono definiti come:

• $\Delta^{vis}_{l,h} = \ell(1, 1) - \ell(0, 1)$: La variazione del punteggio quando il percorso visivo viene rimosso.
• $\Delta^{txt}_{l,h} = \ell(1, 1) - \ell(1, 0)$: La variazione del punteggio quando il percorso testuale viene rimosso.

Un $\Delta$ positivo indica che il percorso supporta la decisione; un $\Delta$ negativo indica che si oppone alla decisione.

2.3. Identificazione dei Conflitti e Indice di Affidamento Visivo (VRI)

Il metodo identifica conflitti di percorso in cui i percorsi visivo e testuale spingono la decisione in direzioni opposte (i segni di $\Delta^{vis}$ e $\Delta^{txt}$ differiscono).

• Conflitto-A (+, -): Il visivo supporta, il testuale si oppone.
• Conflitto-B (-, +): Il visivo si oppone, il testuale supporta (il marchio di fabbrica dell'allucinazione dove i prior linguistici sovrascrivono le evidenze visive).

Per dare priorità all'intervento, gli autori definiscono l'Indice di Affidamento Visivo (VRI):
$$VRI_{l,h} = \frac{|\Delta^{vis}_{l,h}|}{|\Delta^{vis}_{l,h}| + |\Delta^{txt}_{l,h}| + \epsilon}$$
Un VRI basso indica che una testata è guidata dal testo (dominante per i prior).

2.4. Stima Efficiente e Intervento

• Approssimazione Uno-Forward/Uno-Gradiente: Il calcolo esatto degli effetti do richiede molteplici passaggi in avanti. CRG utilizza un'approssimazione del primo ordine che richiede solo un passaggio in avanti e una query di gradiente per token. Le stime sono derivate dal prodotto interno degli output del percorso e del gradiente del punteggio di decisione ($\nabla \ell$).
• Gating Consapevole del Conflitto:
  1. Selezionare le prime $k$ testate con il VRI più basso all'interno degli insiemi di conflitto.
  2. Applicare un gate del percorso testuale ($g^{txt}_{l,h}$) per sopprimere il contributo testuale mantenendo intatto il percorso visivo ($g^{vis}_{l,h} = 1$).
  3. Soppressione Differenziata:
     • Conflitto-A: Soppressione lieve (intervallo del gate [0.5, 1.0]) per stabilizzare il rumore.
     • Conflitto-B: Soppressione forte (intervallo del gate [0, 0.5]) per tagliare i prior linguistici che contraddicono le evidenze visive.

3. Contributi Chiave

1. Effetti Causali a Livello di Percorso: Introduzione di effetti causali allineati alla decisione per i percorsi visivo e testuale all'interno delle testate di attenzione, andando oltre i proxy di attenzione correlazionali.
2. Indice di Affidamento Visivo (VRI): Una metrica normalizzata per identificare le testate dominanti per i prior che guidano le allucinazioni.
3. Stimatore Efficiente: Uno stimatore del primo ordine che consente la selezione delle testate per passo con un sovraccarico computazionale minimo (un forward, un gradiente).
4. Intervento Consapevole del Conflitto: Un meccanismo di gating selettivo che sopprime solo il percorso testuale nelle testate in conflitto, preservando l'ancoraggio visivo.
5. Analisi Teorica: Dimostrazione che la massa di attenzione (VAR) non è un proxy sufficiente per l'ancoraggio visivo rilevante per la decisione a causa del contenuto dei valori e degli effetti di competizione softmax.

4. Risultati Sperimentali

Il metodo è stato valutato su cinque benchmark che coprono setting discriminativi (POPE, AMBER) e generativi (CHAIR, MMHal-Bench, MME) su tre modelli (LLaVA-1.5-7B, Qwen-VL-Chat, Qwen2.5-VL-7B-Instruct).

• Riduzione delle Allucinazioni: CRG ha ridotto costantemente gli errori correlati alle allucinazioni. Sul benchmark POPE, ha migliorato l'accuratezza del 6,3% al 7,0% rispetto alla decodifica regolare e ha superato basi solide come VCD, OPERA e VTI.
• Prestazioni Generative: Su CHAIR, CRG ha raggiunto i tassi di allucinazione più bassi (CS/CI) mantenendo un alto richiamo e solo un modesto aumento della lunghezza di generazione.
• Capacità Multimodale: Su MME, il metodo ha migliorato le prestazioni in tutte le categorie sensibili all'ancoraggio (Esistenza, Conteggio, Posizione, Colore) e nei compiti di ragionamento di livello superiore, indicando che la riduzione delle allucinazioni non è avvenuta a scapito delle prestazioni multimodali generali.
• Efficienza: CRG ha comportato un sovraccarico di latenza di 2,27 volte (circa 139ms/passo) rispetto alla decodifica regolare, paragonabile alla Visual Contrastive Decoding (VCD) e significativamente più veloce di OPERA (7,12 volte). Crucialmente, non ha introdotto alcun sovraccarico aggiuntivo di memoria GPU di picco (1,00x).

5. Significato e Affermazioni

Il documento afferma che l'allucinazione negli LVLM è spesso il risultato di una competizione di percorsi non corrispondente in cui i prior linguistici sovrascrivono le evidenze visive. Esponendo e intervenendo su questi percorsi interni, CRG offre una soluzione mirata che:

• Ripristina l'Ancoraggio Visivo: Permette al modello di affidarsi alle evidenze visive anche quando i prior linguistici suggeriscono una risposta diversa.
• Evita la Soppressione Indiscriminata: A differenza dei metodi che ridimensionano intere testate, CRG sopprime selettivamente solo il percorso testuale nelle testate in conflitto, preservando il percorso visivo.
• Fornisce Interpretabilità: L'uso di effetti causali e VRI offre una diagnosi più chiara del perché un modello allucina (cioè, specifiche testate dove i prior testuali dominano le evidenze visive) rispetto ai proxy di massa di attenzione.

6. Limitazioni

Gli autori notano esplicitamente diverse limitazioni:

• Ambito: CRG mira alle allucinazioni mediate da conflitti. Non può correggere errori in cui entrambi i percorsi visivo e testuale condividono lo stesso bias (ad esempio, una "banana rosa" dove il codificatore visivo stesso è distorto) o errori dominati da fallimenti di percezione/OCR.
• Evidenza Debole: In casi di evidenze visive ambigue, il metodo può diventare eccessivamente conservativo, sopprimendo prior linguistici utili che potrebbero aiutare nell'indovinare.
• Requisito White-Box: Il metodo richiede l'accesso ad attivazioni interne e gradienti, rendendolo inadatto per API closed-source senza modifiche.
• Sovraccarico: Sebbene modesto, il calcolo del gradiente per token aggiunge latenza, che può essere significativa per la generazione di testi molto lunghi.