Mechanisms of Prompt-Induced Hallucination in Vision-Language Models

1. Il Problema: Allucinazioni Indotte dal Prompt (PIH)

I modelli Vision-Language (VLM) sono altamente capaci, ma soffrono di un fallimento specifico noto come allucinazione indotta dal prompt (Prompt-Induced Hallucination - PIH). In questo scenario, il modello privilegia le informazioni testuali fornite nel prompt rispetto all'evidenza visiva, anche quando le due sono in conflitto.

• Contesto dello studio: Gli autori analizzano questo fenomeno in un ambiente controllato di conteggio di oggetti. Vengono presentate immagini con un numero reale di oggetti $N$ e prompt che esagerano intenzionalmente questo numero (es. "Descrivi le 4 ninfee" quando nell'immagine ce ne sono solo 3).
• Osservazione chiave: A bassi conteggi di oggetti (2-4), i modelli tendono a correggere l'errore del prompt. Tuttavia, all'aumentare del numero di oggetti (superiore a 4), i modelli conformano sempre più spesso la risposta al prompt, ignorando l'evidenza visiva e "hallucinando" oggetti inesistenti. Questo comportamento non è dovuto a una mancanza di capacità di ragionamento numerico (poiché i modelli contano correttamente in assenza di prompt fuorvianti), ma a una tendenza a fidarsi eccessivamente del testo.

2. Metodologia

Lo studio si basa su un'analisi meccanicistica (mechanistic interpretability) di tre VLM all'avanguardia: LLaVA-OneVision-7B, Qwen2-VL-7B e Janus-Pro-7B.

• Setup Sperimentale:
  • Utilizzo del benchmark CountBench per il conteggio e Visual CounterFact per l'identificazione dei colori.
  • Creazione di prompt "non allineati" (misaligned) che introducono un offset $k$ tra il numero reale e quello richiesto ($N+k$).
• Analisi Causale (Ablazione delle Teste di Attenzione):
  • Gli autori ipotizzano che specifiche teste di attenzione (attention heads) siano responsabili della propagazione delle informazioni errate dal prompt.
  • Viene utilizzata una tecnica di ablazione media (mean ablation): le attivazioni delle teste di attenzione candidate vengono sostituite con la loro media, rimuovendo le informazioni specifiche dei token ma preservando la magnitudine dell'attivazione.
  • Vengono identificate le teste che, se rimosse, causano il maggior numero di correzioni verso il conteggio reale (switch da $N+k$ a $N$).
• Validazione:
  • Le teste identificate (chiamate "PIH-heads") vengono rimosse e testate su compiti di conteggio e di identificazione del colore.
  • Viene verificato che l'intervento non degradi le capacità generali del modello (es. su benchmark come MM-Vet o POPE).

3. Risultati Chiave

Identificazione delle "PIH-heads"

• È stato identificato un piccolo insieme di teste di attenzione (spesso meno di 10 per modello) la cui ablazione riduce drasticamente le allucinazioni indotte dal prompt (fino al 40-95% di riduzione a seconda del modello e del task).
• Localizzazione: Queste teste si trovano prevalentemente nei livelli iniziali e intermedi della rete (specialmente nel livello 0 o 1). Questo suggerisce che l'informazione numerica errata viene iniettata e propagata molto presto, prima dell'integrazione multimodale profonda.
• Origine Linguistica: C'è una significativa sovrapposizione delle PIH-heads tra modelli che condividono lo stesso backbone linguistico (es. Qwen2), indicando che il meccanismo è radicato nel componente linguistico del modello piuttosto che in quello visivo.

Efficacia dell'Ablazione

• Riduzione delle Allucinazioni: Dopo l'ablazione, la percentuale di risposte che seguono il prompt errato crolla (es. da ~60% a <10% per alcuni modelli), mentre le risposte basate sull'evidenza visiva aumentano notevolmente (fino al 70-78%).
• Generalizzazione: Le stesse teste identificate sul task di conteggio funzionano anche sul task di identificazione del colore, riducendo le allucinazioni cromatiche fino al 94,25%. Ciò dimostra che il fenomeno non è limitato al ragionamento numerico.
• Nessun Danno Collaterale: L'ablazione non degrida le capacità generali di ragionamento multimodale o il rispetto delle istruzioni in contesti non conflittuali. In alcuni casi (LLaVA-OneVision), l'accuratezza di base sul conteggio migliora.

Meccanismi di Funzionamento

L'analisi rivela che l'ablazione delle PIH-heads agisce attraverso due meccanismi principali, che variano da modello a modello:

1. Inibizione della Copia: Riduce la tendenza del modello a copiare esattamente il formato e il contenuto del prompt (es. scrivere "3" quando il prompt dice "4").
2. Spostamento dell'Attenzione: Aumenta la massa di attenzione dedicata ai token dell'immagine, spostando il focus dal testo alla visione.
   • LLaVA-OneVision: Mostra la riduzione più forte di tutte le forme di copia e il maggiore aumento dell'attenzione visiva.
   • Janus-Pro: Inibisce la copia del formato ma non aumenta significativamente l'attenzione visiva.
   • Qwen-VL: Sposta la copia da "soft" (contenuto corretto, formato errato) a "formato" (mantenendo il formato del prompt ma correggendo il contenuto).

4. Contributi Principali

1. Definizione e Analisi della PIH: Il paper introduce e caratterizza sistematicamente le allucinazioni indotte dal prompt come un fallimento specifico in cui i VLM danno priorità al testo rispetto alla visione, isolando questo comportamento in un setting di conteggio controllato.
2. Identificazione Meccanicistica: Si identifica un sottoinsieme piccolo e specifico di teste di attenzione (localizzate nei livelli iniziali) la cui rimozione risolve il problema senza bisogno di ri-addestramento (training-free).
3. Caratterizzazione dei Meccanismi: Si dimostra che l'ablazione di queste teste non solo riduce le allucinazioni, ma sposta il comportamento del modello verso una maggiore affidabilità visiva, rivelando differenze architetturali su come i diversi modelli gestiscono il conflitto testo-immagine.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Sfata il mito dell'incapacità numerica: Dimostra che le allucinazioni non sono dovute a una scarsa capacità di contare, ma a un meccanismo di routing delle informazioni che favorisce il prompt.
• Intervento Mirato ed Efficiente: Offre una soluzione pratica (ablazione di poche teste) che non richiede dati aggiuntivi o fine-tuning, rendendo i modelli più robusti in scenari reali dove gli input utente possono essere imprecisi.
• Comprensione Interna: Fornisce una finestra sui meccanismi interni dei VLM, mostrando come l'informazione errata venga propagata attraverso i livelli iniziali del componente linguistico e come l'interferenza selettiva possa ripristinare l'allineamento visivo.
• Implicazioni per la Sicurezza: Comprendere e mitigare la PIH è cruciale per il dispiegamento sicuro dei VLM in ambiti critici (es. medicina, guida autonoma), dove la fiducia eccessiva nelle istruzioni testuali errate potrebbe portare a errori gravi.

In sintesi, il paper dimostra che le allucinazioni indotte dal prompt sono un fenomeno localizzabile e mitigabile a livello meccanicistico, offrendo nuove strade per migliorare l'affidabilità dei modelli multimodali.