Riepilogo Tecnico: GHOST – Generazione di Immagini Inducenti Allucinazioni per MLLM Multimodali

Problematica

I Modelli Linguistici Multimodali (MLLM) soffrono di allucinazione di oggetti, una modalità di errore in cui il modello predice erroneamente la presenza di un oggetto assente nell'immagine di input. Gli attuali metodi di valutazione si affidano a benchmark statici con scenari visivi fissi e set di immagini curati. Questi approcci limitano l'analisi a scenari noti, fallendo nel far emergere vulnerabilità specifiche del modello o pattern di allucinazione imprevisti. Inoltre, i metodi esistenti per la scoperta delle allucinazioni spesso mancano di un modo sistematico per valutare quali tipi di immagini inneschino gli errori o si affidano a pipeline ad alta intensità di risorse che non riescono a disaccoppiare efficacemente l'ottimizzazione dalla generazione dell'immagine.

Metodologia: GHOST

Gli autori introducono GHOST (Generating Hallucinations via Optimizing Stealth Tokens), una pipeline completamente automatica e non supervisionata progettata per sottoporre a stress-test gli MLLM attraverso la sintesi di immagini che inducono allucinazioni senza inserire l'oggetto target.

Architettura Core

GHOST opera ottimizzando nello spazio dei vettori di embedding dell'immagine piuttosto che nello spazio dei pixel, utilizzando un modello di diffusione per generare l'immagine finale. La pipeline consiste in tre componenti principali:

1. Mappatore dello Spazio di Embedding ($\Pi$):
   Per colmare il divario tra l'encoder visivo del target MLLM ($V_M$) e lo spazio di embedding CLIP utilizzato dal modello di diffusione, GHOST impiega un Multi-Layer Perceptron (MLP) leggero. Questo mappatore è addestrato per allineare gli embedding CLIP con i token visivi del MLLM utilizzando una perdita MSE (Mean Squared Error). Questo disaccoppiamento permette un'ottimizzazione efficiente senza dover retropropagare attraverso l'intero MLLM e la pipeline di diffusione simultaneamente.

2. Obiettivo di Ottimizzazione:
   Data un'immagine di input $X_v$ (priva dell'oggetto target $t$) e un prompt di query $X_q$ (ad esempio, "Vedi un $t$?"), GHOST ottimizza un embedding CLIP $c$ per soddisfare tre vincoli:

   • Prossimità: L'embedding ottimizzato $c$ deve rimanere vicino all'embedding dell'immagine originale $c_0$ (regolarizzato tramite penalità $\ell_2$) per preservare la semantica di alto livello.
   • Assenza di Semantica dell'Oggetto: L'embedding non deve codificare l'oggetto target stesso. Ciò è garantito penalizzando la similarità del coseno tra $c$ e un "embedding composizionale" derivato da diverse descrizioni testuali dell'oggetto target (incluse descrizioni dirette, template generici e didascalie COCO estratte).
   • Induzione dell'Allucinazione: L'embedding deve massimizzare la probabilità che l'output del MLLM sia un token "Sì". La perdita avversaria è definita come $-\log p(y^* | X_q, \Pi(c))$, dove $y^*$ è il token target.

3. Diffusione Guidata:
   Una volta che un embedding $c$ soddisfa la soglia di allucinazione, esso condiziona un Modello di Diffusione Latente (specificamente Stable Diffusion unCLIP). A differenza della generazione standard dal rumore, GHOST parte da un latente parzialmente rumoroso dell'immagine originale. Ciò assicura che l'immagine generata mantenga l'integrità strutturale dell'input pur introducendo segnali semantici sottili e fuorvianti.

   • Filtraggio: Un rilevatore di oggetti open-vocabulary rigoroso (OWLv2) filtra le immagini generate. Se il rilevatore identifica l'oggetto target, il campione viene scartato. Il successo è definito solo quando l'MLLM allucina l'oggetto mentre il rilevatore ne conferma l'assenza.

Contributi Chiave

• Generazione Attiva di Casi di Errore: A differenza dei benchmark statici, GHOST sintetizza attivamente immagini che espongono specifici punti ciechi del modello, rivelando nuovi e imprevisti trigger visivi per l'allucinazione.
• Ottimizzazione Disaccoppiata: Mappando gli embedding CLIP allo spazio visivo del MLLM, GHOST evita i colli di bottiglia computazionali dell'ottimizzazione end-to-end nello spazio dei pixel, ottenendo un'accelerazione di 5x rispetto ai metodi precedenti come DASH.
• Perturbazioni a Livello Semantico: Il metodo introduce sottili indizi a livello semantico (ad esempio, modificando un picciolo di banana per farlo somigliare al bordo di un coltello) che sono percepibili dagli umani come variazioni naturali ma sufficienti a spingere il modello oltre il confine decisionale.
• Trasferibilità: Il metodo dimostra che le immagini che inducono allucinazioni ottimizzate per un modello spesso si trasferiscono ad altri, rivelando vulnerabilità sistemiche attraverso diverse architetture MLLM.

Risultati Sperimentali

Gli autori hanno valutato GHOST su tre MLLM open-source: Qwen2.5-VL, LLaVA-v1.6 e GLM-4.1V-Thinking.

• Tasso di Successo: GHOST ha raggiunto tassi di successo di allucinazione compresi tra il 28,1% e il 32,4% nei modelli testati. Al contrario, il precedente stato dell'arte DASH ha ottenuto solo lo 0,1% sullo stesso dataset basato su COCO.
• Trasferibilità: Le immagini ottimizzate per Qwen2.5-VL hanno indotto allucinazioni in GPT-4o con un tasso del 66,5%, e in altri modelli (LLaMA3.2, Aya, Gemini) con tassi compresi tra il 42% e il 72%, indicando modalità di fallimento condivise.
• Qualità dell'Immagine: Le metriche quantitative (FID) e la valutazione umana hanno confermato che le immagini generate sono di alta qualità e visivamente naturali. Gli annotatori umani hanno concordato che l'oggetto target era assente nell'86–89% delle immagini GHOST, in linea con i metodi di diffusione di base.
• Mitigazione: Il fine-tuning di Qwen2.5-VL sulle immagini sintetiche generate da GHOST ha migliorato la robustezza sui benchmark di allucinazione a valle (POPE e CHAIR) mantenendo al contempo le capacità visuo-linguistiche generali (VQAv2, COCO Captioning).

Significato e Rivendicazioni

Il paper posiziona GHOST sia come uno strumento diagnostico che correttivo per costruire sistemi multimodali affidabili.

• Diagnostico: Rivela che gli MLLM si affidano a correlazioni spurie e sottili indizi visivi piuttosto che a un rilevamento robusto degli oggetti, esponendo vulnerabilità che i benchmark statici non colgono.
• Correttivo: Gli autori dimostrano che l'addestramento su questi casi di errore sintetici può mitigare le allucinazioni, suggerendo una via per migliorare la robustezza del modello.
• Scalabilità: Disaccoppiando l'ottimizzazione dal generatore di immagini, GHOST offre un framework scalabile per lo stress-test di futuri MLLM, inclusi i modelli basati sul ragionamento come GLM-4.1V-Thinking, dove ha spostato con successo la traiettoria di ragionamento del modello per giustificare oggetti inesistenti.

Gli autori riconoscono i limiti, notando la dipendenza del metodo da modelli di diffusione capaci di condizionamento tramite embedding dell'immagine (come unCLIP) e l'attuale focalizzazione principalmente sulle allucinazioni centrate sugli oggetti, sebbene esperimenti preliminari suggeriscano l'applicabilità anche alle allucinazioni di attributi e relazioni.