Sintesi Tecnica: Filtraggio tramite Rappresentazione di Wiener per la Soppressione delle Allucinazioni nei VLM

Definizione del Problema

I modelli vision-language (VLM) eccellono in compiti come la descrizione di immagini e il visual question answering, ma soffrono frequentemente di allucinazione di oggetti (OH). Questo fenomeno consiste nella generazione di descrizioni plausibili ma fattualmente errate, come l'invenzione di oggetti, attributi o relazioni spaziali assenti nell'immagine di input. Le strategie di mitigazione esistenti rientrano generalmente in due categorie:

1. Metodi al momento della decodifica (decoding-time): Tecniche come la ricerca a fascio vincolata (constrained beam search) o il debiasing dei logit che modulano la generazione, ma spesso comportano un overhead di inferenza significativo (rallentamenti di 5–10x).
2. Raffinamenti post-hoc: Metodi come Woodpecker o HALC che richiedono adattamenti specifici per il compito o risorse esterne.
3. Metodi basati sull'addestramento: Approcci che richiedono il riaddestramento o il fine-tuning con loss focalizzate sulle allucinazioni, che sono computazionalmente costosi.

Rimane un vuoto per una correzione senza addestramento (training-free) ed efficiente in fase di inferenza che operi senza modificare l'architettura del modello o aumentare i costi di runtime.

Metodologia

Gli autori propongono un framework di Filtraggio tramite Rappresentazione di Wiener, una tecnica di editing post-hoc che opera nello spazio delle rappresentazioni del backbone linguistico. Il metodo tratta l'allucinazione come una distorsione spettrale strutturata e la corregge tramite un problema di stima lineare dell'errore quadratico medio minimo (MMSE).

1. Formulazione Teorica

L'ipotesi centrale è che gli stati nascosti ($h$) in un VLM possano essere modellati come la sovrapposizione di una componente veritiera ($s$) e una distorsione associata all'allucinazione ($n$):
$$h = s + n$$
Assumendo che $s$ e $n$ abbiano media nulla e siano mutuamente non correlati, la covarianza della rappresentazione osservata si decompone nella somma della covarianza veritiera ($\Sigma_T$) e della covarianza dell'allucinazione ($\Sigma_H$).

L'estimatore lineare ottimale per recuperare $s$ da $h$ è l'operatore di Wiener:
$$A^* = \Sigma_T (\Sigma_T + \Sigma_H)^{-1}$$

2. Calibrazione e Stima

Il metodo richiede una calibrazione offline una tantum su un dataset accoppiato modesto (es. LURE) contenente:

• $c^-$: Didascalie veritiere verificate dall'uomo.
• $c^+$: Didascalie allucinate generate dal modello per la stessa immagine.

Per determinati strati profondi, gli autori estraggono rappresentazioni mediate sulla sequenza ($x^-$ e $x^+$) per stimare:

• $\Sigma_T$: La covarianza delle rappresentazioni veritiere.
• $\Sigma_H$: La covarianza della distorsione ($d = x^+ - x^-$).

L'analisi empirica rivela che l'allucinazione si manifesta come una distorsione anisotropa concentrata in un sottospazio a basso rango (pochi autovettori dominanti), piuttosto che come rumore isotropo.

3. Filtraggio Spettrale

Per garantire stabilità e interpretabilità, l'operatore di Wiener viene approssimato nella base degli autovettori di $\Sigma_H$. Sia $\{q_j\}$ l'insieme degli autovettori di $\Sigma_H$ con autovalori $\lambda_j$. La varianza del segnale nel modo $j$ è $\tau_j^2 = q_j^\top \Sigma_T q_j$.
Il rapporto distorsione-segnale è definito come $\nu_j = \lambda_j / \tau_j^2$.
Il guadagno di Wiener per modo è:
$$\gamma_j = \frac{1}{1 + \nu_j}$$
Per consentire una nitidezza regolabile e compensare gli errori di stima, viene introdotto un esponente di nitidezza $\alpha$:
$$\tilde{\gamma}_j = (1 + \nu_j)^{-\alpha} = \left( \frac{\tau_j^2}{\tau_j^2 + \lambda_j} \right)^\alpha$$
Il filtro finale $F_\alpha$ è costruito come $Q \text{diag}(\tilde{\gamma}_1, \dots, \tilde{\gamma}_d) Q^\top$.

4. Implementazione

Il filtro viene applicato modificando le proiezioni di output della rete feed-forward (FFN) ($W_{out}$) di selezionati strati profondi:
$$\tilde{W}_{out} = F_\alpha W_{out}$$
Poiché $F_\alpha$ è precomputato e assorbito direttamente nei pesi esistenti, l'architettura, il numero di parametri e la velocità di inferenza rimangono invariati. Non vengono eseguiti aggiornamenti del gradiente o fine-tuning durante l'implementazione.

Contributi Chiave

• Correzione Senza Addestramento: Un metodo post-hoc che non richiede riaddestramento, fine-tuning o aggiornamenti del gradiente.
• Efficienza di Inferenza: La correzione è assorbita nei pesi del modello, comportando zero latenza aggiuntiva o overhead di memoria durante l'inferenza.
• Fondamento Teorico: Formula la mitigazione delle allucinazioni come un problema MMSE lineare, derivando un estimatore di Wiener a forma chiusa che rispetta i criteri di stabilità (continuità operator-Lipschitz).
• Analisi Spettrale: Dimostra che le allucinazioni occupano un sottospazio a bassa dimensione e anisotropo, permettendo un'attenuazione mirata senza distruggere l'informazione semantica.

Risultati Sperimentali

Il metodo è stato valutato su LLaVA-1.5, MiniGPT-4, mPLUG-Owl2 e Gemma3 attraverso molteplici benchmark:

• CHAIR (Allucinazione delle Didascalie): Il metodo ha ottenuto costantemente i tassi di allucinazione più bassi (CHAIRS e CHAIR) in tutti i modelli, superando i baseline basati sulla decodifica (OPERA, VCD, HALC) e i baseline di editing della rappresentazione (Nullu). Ad esempio, su LLaVA-1.5, CHAIRS è stato ridotto da 18.87 (Greedy) a 14.93.
• POPE (Presenza di Oggetti): Ha migliorato l'ancoraggio fattuale (Accuratezza, Precisione, F1) in contesti Random, Popular e Adversarial, ottenendo spesso i punteggi più alti tra i metodi confrontati.
• MME (Valutazione Multimodale): Ha dimostrato una prestazione superiore su 10 sottoinsiemi di grounding visivo (es. Conteggio, Opere d'arte, Celebrità) rispetto alle strategie concorrenti.
• Generalizzazione:
  • Comprensione Video: Ha ridotto con successo le allucinazioni nel benchmark TempCompass (ragionamento temporale) nonostante sia stato calibrato su immagini statiche.
  • Modelli di Diffusione Discreta: Applicato a Dream-v0-Instruct-7B per il dialogo ancorato (FaithDial), riducendo significativamente i tassi di allucinazione (es. dal 92% al 74% tramite FaithCritic) migliorando al contempo le metriche di grounding.
  • Trasferimento Cross-Domain: Ha mostrato che i filtri appresi su un dataset (es. LURE) possono ridurre efficacemente le allucinazioni su dataset non visti (es. TruthfulQA, CHAIR) senza ri-calibrazione.

Significato e Rivendicazioni

Il documento afferma che, modellando l'allucinazione come una distorsione spettrale strutturata piuttosto che come rumore casuale, è possibile derivare una correzione fondata e stabile che sopprime i modi dominati dalle allucinazioni preservando al contempo le direzioni semanticamente ancorate.

Le principali rivendicazioni riguardanti l'impatto del metodo includono:

1. Stabilità: La formulazione continua garantisce che piccoli errori nella stima della covarianza inducano solo cambiamenti proporzionalmente limitati nell'operatore, evitando l'instabilità della troncatura rigida del rango.
2. Preservazione della Fluidità: A differenza dei metodi che eliminano aggressivamente le rappresentazioni, il filtro di Wiener attenua i modi in base al loro rapporto distorsione-segnale, mantenendo la fluidità delle didascalie e la qualità complessiva della risposta (i punteggi BLEU rimangono competitivi).
3. Generalità: L'approccio non è limitato a specifiche architetture VLM o strategie di fusione (early, bridging, mid-fusion) ed è estendibile al ragionamento temporale nei video e ai modelli linguistici basati sulla diffusione.
4. Efficienza: Offre una soluzione "plug-and-play" che elimina i rallentamenti dell'inferenza associati alle interazioni durante la decodifica e il costo computazionale dei metodi basati sull'addestramento.

Gli autori concludono che questo lavoro fornisce un meccanismo fondato per la soppressione delle allucinazioni che allinea la generazione con l'evidenza visiva senza compromettere l'integrità della rappresentazione interna del modello o l'efficienza dell'inferenza.