Riepilogo Tecnico: SAVAA – Mitigazione delle Allucinazioni nei LVLM tramite Amplificazione Adattiva dell'Attenzione Visiva Step-by-Step

1. Enunciato del Problema

I Modelli Linguistici-Visionari di Grande Dimensione (LVLM) soffrono frequentemente di allucinazioni, generando contenuti incoerenti con l'input visivo. Una causa primaria durante la generazione autoregressiva è l'eccessiva dipendenza del modello dai prior linguistici, in particolare quando le evidenze visive sono sottoutilizzate.

I recenti approcci senza addestramento, collettivamente denominati Amplificazione dell'Attenzione Visiva (VAA), tentano di mitigare questo problema amplificando i pesi dell'attenzione assegnati ai token visivi durante un singolo passaggio in avanti. Tuttavia, i metodi VAA esistenti impiegano un fattore di amplificazione fisso attraverso tutti i passaggi di generazione. Gli autori identificano un doppio pattern di fallimento intrinseco in questo approccio statico:

1. Sotto-amplificazione: In certi passaggi, il fattore fisso è troppo debole per risolvere le allucinazioni esistenti.
2. Sovra-amplificazione: In altri passaggi, lo stesso fattore è troppo forte, introducendo nuove allucinazioni non presenti nell'output originale.

Questo fenomeno si verifica perché il livello appropriato di attenzione visiva varia dinamicamente in base al token specifico che viene generato e allo stato attuale di incertezza e ancoraggio del modello.

2. Metodologia: SAVAA

Il documento propone l'Amplificazione Adattiva dell'Attenzione Visiva Step-by-Step (SAVAA), un framework che calibra dinamicamente il fattore di amplificazione visiva a ogni passaggio di generazione basandosi su una stima del rischio di allucinazione.

2.1 Entropia di Ancoraggio Visivo (VGE)

Per abilitare una calibrazione guidata dal rischio, SAVAA richiede un stimatore leggero del rischio di allucinazione. Gli autori introducono l'Entropia di Ancoraggio Visivo (VGE), che potenzia l'entropia predittiva standard con segnali di ancoraggio visivo.

• Entropia Predittiva ($\bar{H}_t$): Misura l'incertezza del modello basata sui logit di output. Tuttavia, l'entropia da sola fallisce quando il modello è altamente sicuro ma debolmente ancorato all'immagine (cioè, "allucinazioni sicure").
• Punteggio di Ancoraggio Visivo ($G_t$): Calcolato durante la fase di prefilling, un vettore di ancoraggio $G$ è costruito raggruppando i logit del vocabolario dei token visivi. Per un token previsto $v^*_t$, il punteggio di ancoraggio $G_t$ rappresenta la forza dell'evidenza visiva a supporto di quel token.
• Calcolo VGE: Il punteggio di rischio è definito come una combinazione ponderata:
  $$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$$
  dove $\alpha$ bilancia incertezza e ancoraggio. Un VGE più alto indica che un token è incerto, debolmente ancorato o entrambi.

2.2 Calibrazione Adattiva Step-by-Step del Fattore VAA

SAVAA utilizza un meccanismo di calibrazione con un passo di ritardo. Il rischio $r_t$ è calcolato dai logit del passaggio corrente $t$, ma viene utilizzato per calibrare il fattore di amplificazione per il passaggio successivo $t+1$.

• Normalizzazione del Rischio: Il VGE è normalizzato in un punteggio di rischio $r_t \in [0, 1]$.
• Calibrazione del Fattore: Il fattore di amplificazione visiva $m_t$ per il passaggio $t$ è calcolato come:
  $$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$$
  Se il passaggio precedente aveva un rischio basso, $m_t \approx 1$ (nessun intervento). Se il passaggio precedente aveva un rischio alto, $m_t$ aumenta, applicando un'amplificazione visiva più forte al passaggio corrente.

2.3 Soppressione dell'Attenzione al Testo

Per affrontare le allucinazioni residue che persistono anche sotto una forte amplificazione visiva (spesso dovute ai prior linguistici), SAVAA incorpora un meccanismo complementare di Soppressione dell'Attenzione al Testo.

• Questo meccanismo sopprime i punteggi di attenzione pre-softmax assegnati ai token di testo di input di un fattore fisso $m_{txt}^{max}$.
• A differenza del fattore visivo adattivo, questa soppressione è statica e leggera, progettata per ridurre l'influenza relativa dei prior linguistici senza richiedere una stima del rischio passo-passo.

2.4 Flusso di Lavoro Complessivo

1. Prefilling: Calcolare il vettore di ancoraggio visivo $G$ una sola volta.
2. Ciclo di Generazione:
   • Calcolare il fattore VAA $m_t$ e il fattore di soppressione del testo basandosi sul rischio $r_{t-1}$ dal passaggio precedente.
   • Modulare i punteggi di attenzione pre-softmax: amplificare i token visivi di $m_t$ e sopprimere i token di testo di $1/m_{txt}^{max}$.
   • Generare il token successivo.
   • Calcolare il nuovo rischio $r_t$ utilizzando VGE per la prossima iterazione.

3. Contributi Chiave

1. Identificazione del Doppio Pattern di Fallimento: Il documento dimostra che i fattori di amplificazione fissi nei metodi VAA esistenti portano sia a sotto-amplificazione (lasciando le allucinazioni irrisolte) sia a sovra-amplificazione (introducendo nuove allucinazioni), variando attraverso i passaggi di generazione e le architetture dei modelli.
2. Framework SAVAA: Un nuovo framework VAA che stima il rischio di allucinazione passo-passo utilizzando l'Entropia di Ancoraggio Visivo (VGE) e calibra adattivamente il fattore di amplificazione.
3. Soppressione del Testo Complementare: L'introduzione di un meccanismo leggero di soppressione dell'attenzione al testo per affrontare il dominio residuo dei prior linguistici, lavorando in tandem con l'amplificazione visiva.
4. Validazione Empirica: Valutazione completa su tre LVLM diversi (LLaVA-NeXT-7B, Qwen3-VL-8B, InternVL3.5-8B) e su molteplici benchmark (CHAIR, SHR, AMBER, POPE), mostrando miglioramenti coerenti rispetto ai baseline dello stato dell'arte.

4. Risultati Sperimentali

SAVAA è stato valutato su benchmark standard di allucinazione:

• CHAIR: SAVAA ha ottenuto i migliori punteggi CHAIRs (a livello di frase) e CHAIRi (a livello di istanza) su tutti e tre i modelli, riducendo le allucinazioni con margini significativi (ad esempio, riducendo CHAIRs di 7,00 punti su InternVL3.5-8B) senza sacrificare la qualità della generazione (i punteggi F1 sono rimasti comparabili ai modelli vanilla).
• SHR: SAVAA ha superato i baseline su tutti e quattro i metrici (HSR, HWR, HSPI, HWPI), dimostrando efficacia nella riduzione sia delle allucinazioni a livello di frase che a livello di parola.
• AMBER: SAVAA ha ottenuto i tassi di allucinazione più bassi (Hal) mantenendo un'alta copertura dei contenuti (Cover), indicando un compromesso favorevole tra mitigazione e completezza semantica.
• POPE: Su compiti discriminativi, SAVAA ha preservato l'utilità del modello originale, ottenendo punteggi di accuratezza e F1 comparabili ai baseline vanilla, sebbene i guadagni siano stati modesti rispetto ai compiti generativi.
• Efficienza: SAVAA comporta solo un sovraccarico marginale al momento dell'inferenza rispetto ai modelli vanilla, poiché VGE non richiede passaggi in avanti aggiuntivi (il vettore di ancoraggio è calcolato una sola volta) e la logica di calibrazione è leggera.

5. Significato e Affermazioni

Il documento afferma che SAVAA rappresenta un passaggio dall'amplificazione visiva statica e basata su euristiche a una calibrazione dell'attenzione passo-passo guidata dal rischio. Modellando esplicitamente la necessità variabile di ancoraggio visivo attraverso diversi passaggi di generazione, SAVAA affronta i limiti dei metodi a fattore fisso.

Gli autori posizionano SAVAA come una soluzione pratica, senza addestramento, che può essere distribuita al momento dell'inferenza per migliorare l'affidabilità fattuale degli LVLM in compiti di generazione aperta. Riconoscono i limiti, notando che il metodo dipende da iperparametri specifici del modello e produce guadagni più modesti su compiti discriminativi a singolo token rispetto alla generazione aperta. Il lavoro suggerisce che le direzioni future potrebbero coinvolgere strategie di calibrazione più adattive e l'estensione dell'approccio a contesti di predizione a forma chiusa.