Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

1. Il Problema: Allucinazioni nei Modelli Vision-Language (LVLM)

I Large Vision-Language Models (LVLM) hanno ottenuto risultati eccezionali in compiti multimodali, ma soffrono di un problema critico: le allucinazioni. Queste si definiscono come contenuti generati che sono grammaticalmente e sintatticamente coerenti, ma non corrispondono o non sono direttamente rilevanti rispetto all'input visivo.

Il paper identifica la causa principale di questo fenomeno come il "Language-Prior Hallucination" (Allucinazione da Priori Linguistici). Durante la generazione sequenziale, il modello tende a farsi guidare sempre più dalle sue conoscenze linguistiche pre-addestrate (priors) piuttosto che dal contesto visivo. Man mano che il modello genera token di risposta, il contesto visivo si affievolisce, portando il modello a produrre contenuti plausibili linguisticamente ma visivamente infondati.

Le soluzioni esistenti presentano limiti significativi:

• Metodi basati sull'addestramento: Richiedono ri-addestramento costoso, annotazioni aggiuntive e dati di preferenza.
• Metodi "Training-free" esistenti: Spesso richiedono tempi di inferenza raddoppiati (es. decoding contrastivo), aumentano l'overhead di memoria GPU o modificano l'architettura interna del modello, riducendo l'efficienza e la generalizzabilità.

2. Metodologia: Residual Decoding (ResDec)

Gli autori propongono ResDec, una strategia di decoding training-free (senza ri-addestramento), plug-and-play e a basso costo computazionale. L'idea centrale si basa sull'osservazione che i segnali della risposta corretta sono già implicitamente presenti nelle distribuzioni di logit dei token storici prima che il modello decodi esplicitamente la risposta finale.

Analisi Temporale e Fasi di Decoding

Gli autori analizzano l'evoluzione temporale delle distribuzioni di probabilità dei token candidati utilizzando la Divergenza di Jensen-Shannon (JSD) su una finestra storica. Hanno scoperto un pattern a forma di "U" che divide il processo di generazione in tre fasi:

1. Fase Pre-Semantic Clarity (PSAP): La distribuzione è caotica e fluttuante mentre il modello naviga le ambiguità.
2. Fase Semantic Anchoring (SAP): La JSD scende verso zero, indicando che la distribuzione dei token si stabilizza e il modello "ancora" il significato core. Questa è la fase più stabile e affidabile.
3. Fase Expressive Divergence (EDP): La JSD risale mentre il modello cerca di allinearsi a template conversazionali o espressioni diverse, diventando nuovamente suscettibile ai prior linguistici.

Il Meccanismo di ResDec

ResDec sfrutta le informazioni delle fasi SAP e EDP (dove il significato è chiaro ma le espressioni sono diverse) per guidare la decodifica corrente:

1. Aggregazione delle Informazioni Storiche: Vengono selezionati i token ad alta probabilità (top-k) dalla finestra storica.
2. Ponderazione basata sulla Confidenza: Viene calcolata una metrica di confidenza ($C_i$) per ogni passo temporale storico basata sull'entropia della distribuzione dei token. I passi con bassa entropia (alta certezza) ricevono un peso maggiore.
3. Guida Residuale: I logit dei token storici vengono aggregati pesati per la confidenza per creare un "segnale residuo" ($\text{logit}^\text{res}$).
4. Fusione: Il logit finale per il token corrente viene ottenuto combinando il logit originale del modello con il segnale residuo storico:
   $$\text{logit}_\text{final} = (1-\alpha) \cdot \text{logit}_\text{orig} + \alpha \cdot \text{logit}^\text{res}$$
   Dove $\alpha$ è un iperparametro di bilanciamento.

Questo approccio corregge i bias linguistici utilizzando la "memoria" interna stabile del modello, senza richiedere un secondo passaggio di inferenza o modelli esterni.

3. Contributi Chiave

• Scoperta del Meccanismo di Allucinazione: Gli autori dimostrano che le allucinazioni emergono quando i token allucinati superano i token genuini nella distribuzione dei logit durante la decodifica, spesso a causa dell'instabilità nelle fasi iniziali e della divergenza nelle fasi finali.
• ResDec (Residual Decoding): Un metodo innovativo che utilizza la guida residua basata sulla storia per stabilizzare la decodifica. È training-free, richiede un solo passaggio forward e ha un costo di inferenza quasi identico al decoding standard.
• Generalizzazione: Il metodo non modifica l'architettura del modello, rendendolo applicabile a qualsiasi LVLM esistente senza costi aggiuntivi di addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre LVLM moderni (LLaVA-1.5, InstructBLIP, Qwen2.5-VL) e undici benchmark diversi.

• Riduzione delle Allucinazioni:

  • Su POPE (benchmark per allucinazioni di oggetti), ResDec ha migliorato l'accuratezza media del 7.84% e lo F1-score dell'8.01% rispetto al decoding standard ("Regular"), superando tutti gli stati dell'arte (SOTA) come VCD, ICD, OPERA e MemVR.
  • Su CHAIR (valutazione delle allucinazioni nelle didascalie), ha mostrato riduzioni significative degli errori (CHAIRS e CHAIRI) su tutti i modelli.
  • Su HallusionBench, ha ottenuto prestazioni SOTA, dimostrando una maggiore robustezza contro indizi visivi ingannevoli.

• Prestazioni Comprehensive:

  • ResDec non solo riduce le allucinazioni, ma migliora anche le prestazioni su benchmark generali come MME, MMBench, ScienceQA e MMVP. Ad esempio, su MME ha ottenuto un miglioramento del 2.87% rispetto al baseline.

• Efficienza:

  • A differenza di metodi come OPERA o VCD che raddoppiano il tempo di inferenza, ResDec ha un overhead di latenza trascurabile (solo 0.02x più lento del decoding Greedy) e un uso della memoria quasi identico al baseline.

5. Significato e Impatto

Questo lavoro è significativo perché offre una soluzione pratica ed efficiente al problema delle allucinazioni, che è uno dei principali ostacoli all'affidabilità degli LVLM in scenari reali.

• Praticità: Essendo un metodo training-free e a basso costo computazionale, può essere integrato immediatamente in sistemi di produzione esistenti senza bisogno di ri-addestrare modelli costosi o di aumentare le risorse hardware.
• Comprensione Teorica: Fornisce nuove intuizioni sul processo di decodifica, rivelando come l'informazione semantica corretta sia già presente e stabilizzabile attraverso l'analisi della storia dei logit.
• Versatilità: Dimostra che è possibile migliorare la "grounding" visiva (l'ancoraggio al contenuto dell'immagine) semplicemente intervenendo sulla strategia di decodifica, aprendo la strada a future ricerche su metodi di inferenza più intelligenti ed efficienti.

In sintesi, ResDec rappresenta un passo avanti fondamentale verso LVLM più affidabili, capaci di generare contenuti coerenti sia linguisticamente che visivamente, con un impatto minimo sulle risorse computazionali.