VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing

1. Il Problema: Allucinazione degli Oggetti (Object Hallucination)

I Large Vision-Language Models (LVLM) soffrono frequentemente di un fenomeno noto come allucinazione degli oggetti. Questo si verifica quando il modello genera descrizioni che includono oggetti non presenti nell'immagine di input.

• Causa Radice: Il paper identifica che questo problema deriva principalmente dai priors linguistici (bias appresi durante il pre-addestramento). Il modello tende a generare parole basandosi sulla loro co-occorrenza statistica (es. associare "piatto" a "forchetta") piuttosto che sull'evidenza visiva reale.
• Impatto: In settori critici come la diagnostica medica e la guida autonoma, queste allucinazioni possono portare a diagnosi errate o azioni insicure.
• Limiti delle Soluzioni Esistenti: I metodi attuali spesso richiedono dati etichettati, ri-addestramento (fine-tuning), o introducono un sovraccarico computazionale significativo durante l'inferenza, rendendoli poco pratici per scenari con risorse limitate.

2. Metodologia: Visual Contrastive Editing (VCE)

Il paper propone VCE, un metodo post-hoc (dopo l'addestramento) e zero-cost che non richiede dati etichettati né ri-addestramento del modello. La metodologia si articola in tre fasi principali:

A. Costruzione di Coppie Contrastive

Invece di usare dati annotati manualmente, VCE genera automaticamente coppie di immagini contrastive:

1. Immagine Originale ($I$): L'input standard.
2. Immagine Perturbata ($I'$): Viene creata applicando un processo di diffusione inverso (forward diffusion) per aggiungere rumore controllato all'immagine originale, alterando le caratteristiche visive localizzate ma preservando la semantica globale.
3. Confronto: Il modello elabora entrambe le immagini con lo stesso prompt testuale. Si analizzano gli stati nascosti (hidden states) e i logit (probabilità dei token) per identificare dove il modello diventa incerto o cambia drasticamente la sua previsione a causa della perturbazione visiva.

B. Identificazione dello Spazio delle Allucinazioni (HalluSpace)

Il metodo calcola la differenza negli stati nascosti tra l'immagine originale e quella perturbata per ogni token:

• Viene calcolato lo shift dei logit ($\Delta_t$) per misurare la sensibilità del token alla perturbazione.
• Vengono assegnati pesi ($w_i$) ai token basandosi su un metodo di z-scoring robusto: i token con grandi differenze nei logit (indicativi di forti bias linguistici o allucinazioni potenziali) ricevono pesi più alti.
• Viene costruita una matrice di differenze pesate ($V_l$) che rappresenta le direzioni nello spazio delle feature dove il modello tende ad allucinare.

C. Editing del Modello tramite SVD

Per correggere il modello senza ri-addestrarlo:

1. Decomposizione SVD: Viene applicata la Scomposizione ai Valori Singolari (SVD) alla matrice delle differenze per isolare le direzioni dominanti dell'allucinazione.
2. Sottospazio a Basso Rango: Si identifica un sottospazio a basso rango ($S_k$) che cattura le componenti principali delle allucinazioni.
3. Proiezione sui Null-Spazio: I pesi del modello ($W_l$) vengono modificati proiettandoli sullo spazio nullo di questo sottospazio di allucinazione. La formula di editing è:
   $$W^{edited}_l = W_l (I - S_k S_k^\top)$$
   Questa operazione elimina le componenti "allucinogene" dai pesi del modello in modo offline, senza aggiungere costi durante l'inferenza.

3. Contributi Chiave

1. Framework senza Etichette (Label-free): Dimostra che perturbazioni visive controllate possono esporre le firme delle allucinazioni, eliminando la necessità di costosi dataset annotati.
2. Editing del Modello nello Spazio Sottospaziale: Sviluppa un metodo leggero basato su SVD per modificare i parametri del modello, riducendo le allucinazioni senza post-training.
3. Efficacia Pratica e Zero-Cost: Il metodo non introduce alcun overhead computazionale durante l'inferenza (tempo di risposta identico al modello originale) ed è scalabile.

4. Risultati Sperimentali

Il metodo è stato valutato su tre modelli LVLM popolari (LLaVA-1.5, MiniGPT-4, mPLUG-Owl2) utilizzando benchmark standard come CHAIR (misura delle allucinazioni) e POPE (valutazione della presenza di oggetti).

• Riduzione delle Allucinazioni (CHAIR): VCE ha ottenuto i risultati migliori in tutti i modelli testati, riducendo significativamente i punteggi CHAIRS e CHAIRI (dove valori più bassi sono migliori) rispetto a metodi come DoLa, OPERA e Woodpecker.
• Qualità della Generazione: Ha mantenuto o migliorato i punteggi BLEU, dimostrando che la soppressione delle allucinazioni non compromette la qualità linguistica o la coerenza della descrizione.
• Precisione nella Rilevazione (POPE): VCE ha mostrato la massima accuratezza, precisione e F1-score nella rilevazione della presenza di oggetti, confermando una migliore comprensione visiva.
• Efficienza Computazionale: A differenza di metodi come VCD che richiedono due passaggi di inferenza (complessità $O(2n^2)$), VCE mantiene la complessità originale $O(n^2)$, offrendo un tempo di inferenza identico al modello base (es. 7.2s per LLaVA-1.5).

5. Significato e Conclusione

Il lavoro di VCE rappresenta un passo significativo verso LVLM più affidabili e sicuri.

• Sostenibilità: Essendo un metodo post-hoc che non richiede dati aggiuntivi o ri-addestramento, è estremamente efficiente in termini di risorse energetiche e computazionali.
• Generalizzabilità: L'approccio è agnostico rispetto al modello e può essere applicato a diverse architetture LVLM.
• Impatto Reale: Fornisce una soluzione pratica per mitigare i rischi di sicurezza in applicazioni reali (medicina, guida autonoma) dove l'accuratezza è fondamentale, colmando il divario tra le prestazioni teoriche dei modelli e la loro affidabilità operativa.

In sintesi, VCE risolve il problema delle allucinazioni agendo direttamente sulla meccanica interna del modello (bias linguistici) attraverso un'analisi contrastiva visiva e un editing matematico preciso, offrendo un compromesso ottimale tra sicurezza, qualità e efficienza.