When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs

1. Il Problema: Allucinazioni Indotte dal Prompt

Nonostante i progressi significativi nei Large Vision-Language Models (LVLM), questi sistemi rimangono vulnerabili alle allucinazioni, ovvero la generazione di output non fondati sull'input visivo.
La ricerca precedente ha spesso attribuito le allucinazioni a limiti del "backbone" visivo o alla dominanza del componente linguistico. Tuttavia, l'articolo identifica un cambiamento critico nel modo in cui falliscono i modelli moderni:

• Il nuovo paradigma: Man mano che i backbones visivi migliorano, le allucinazioni non derivano più principalmente da errori percettivi (non vedere un oggetto), ma da un'eccessiva dipendenza dai priors testuali (conoscenza pregressa sulle co-occorrenze di oggetti) e dalle presunzioni introdotte dalle istruzioni testuali.
• Il meccanismo di fallimento: Quando un prompt presuppone implicitamente la presenza di un oggetto (es. "Di che colore è la sedia?" in un'immagine senza sedie), il modello tende a ignorare l'evidenza visiva e ad allucinare l'oggetto basandosi sulla probabilità statistica del linguaggio o sull'istruzione stessa.

2. Metodologia

A. HalluScope: Un Benchmark Diagnostico

Per isolare le cause delle allucinazioni, gli autori introducono HalluScope, un benchmark che non tratta l'allucinazione come un fenomeno monolitico, ma la scompone in tre categorie distinte:

1. Limiti Percettivi: Riconoscimento di oggetti presenti (Positive) o assenti e non correlati (Random).
2. Priors di Co-occorrenza: Riconoscimento di oggetti semanticamente plausibili ma visivamente assenti (Adversarial), basati su statistiche di co-occorrenza apprese (es. un tavolo senza sedia).
3. Presunzioni dell'Istruzione (Adversarial Presupposition): Domande che chiedono attributi di un oggetto assente, presupponendone l'esistenza (es. "Qual è il logo sulla baseball cap?" quando non c'è).

Costruzione del Benchmark:

• Utilizza un subset semanticamente diversificato di immagini COCO.
• Identifica oggetti presenti tramite rilevamento e grounding (Florence-2, Grounding-DINO).
• Genera oggetti "avversari" calcolando il Pointwise Mutual Information (PMI) tra gli oggetti presenti e quelli assenti per trovare le combinazioni più plausibili ma inesistenti.
• Genera domande che testano specificamente la capacità del modello di rifiutare le presunzioni false.

B. HalluVL-DPO: Framework di Ottimizzazione

Per mitigare le allucinazioni causate dalle presunzioni testuali, gli autori propongono HalluVL-DPO, un framework di fine-tuning basato su Direct Preference Optimization (DPO) con pesatura basata sull'informatività del campione.

Componenti Chiave:

1. Dataset di Preferenza: Un dataset su larga scala (27.4k immagini, >100k query) costruito generando coppie di risposte:
   • Scelta (Chosen): Risposta visivamente fondata.
   • Rifiutata (Rejected): Risposta allucinata.
   • Le risposte sono generate usando strategie di hint augmentation (aggiunta di indizi corretti o errati) e tecniche avanzate come Contrastive Hint Augmentation e Post-Hoc Hallucination Injection per evitare bias di lunghezza e garantire diversità.
2. Loss Funzione Ponderata: A differenza del DPO standard che tratta tutte le coppie allo stesso modo, HalluVL-DPO introduce un peso $w(x, y_w, y_l)$ basato sul gap semantico tra la risposta scelta e quella rifiutata:
   • Bassa Informatività (Peso 1): Risposte quasi identiche o semplici riformulazioni.
   • Media Informatività (Peso 2): Entrambe seguono una presunzione errata ma differiscono nei dettagli.
   • Alta Informatività (Peso 3): Contrasto chiaro (es. una risposta nega correttamente l'oggetto, l'altra lo assume).
   • Un LLM esterno valuta questo gap per assegnare i pesi, focalizzando l'ottimizzazione sui campioni più informativi.

3. Risultati Chiave

Analisi con HalluScope

L'analisi dei modelli esistenti (LLaVA-1.5, Qwen2-VL, ecc.) rivela:

• Alta accuratezza percettiva: I modelli riconoscono correttamente oggetti presenti e assenti casuali (>85%).
• Crollo sulle presunzioni: L'accuratezza crolla drasticamente quando si tratta di oggetti avversari (Adversarial Recognition) e, ancor più, quando l'istruzione presuppone la loro presenza (Adversarial Presupposition - AdP).
  • Esempio: Su LLaVA-1.5, l'AdP scende al 5.85%, indicando che il modello accetta quasi sempre la presunzione del prompt.
• Conclusione: Le allucinazioni sono guidate principalmente dai priors testuali e dalle istruzioni, non dalla percezione visiva.

Performance di HalluVL-DPO

Il modello ottimizzato con HalluVL-DPO dimostra miglioramenti sostanziali:

• Mitigazione delle Allucinazioni:
  • Su LLaVA-1.5, l'AdP sale da 5.85% a 83.54%.
  • Su Qwen2-VL, l'AdP sale da 57.96% a 80.40%.
  • Miglioramenti significativi anche nel benchmark CP-Bench (Counterfactual Presupposition).
• Preservazione delle Capacità Generali: Il modello mantiene o migliora le performance su benchmark generali (MME, ScienceQA, MM-Vet) e su altri task di allucinazione (CHAIR, POPE), dimostrando che la mitigazione è specifica e non danneggia le capacità multimodali di base.
• Robustezza: Il modello impara a rifiutare attivamente le presunzioni false senza diventare eccessivamente scettico verso oggetti realmente presenti.

4. Contributi Principali

1. HalluScope: Il primo benchmark diagnostico in grado di disentanglare le cause delle allucinazioni (percezione vs. priors semantici vs. presunzioni del prompt), rivelando che le istruzioni testuali sono il fattore dominante nei modelli moderni.
2. HalluVL-DPO: Un framework di fine-tuning efficace che utilizza l'ottimizzazione delle preferenze pesata per l'informatività, guidando i modelli a preferire risposte visivamente fondate rispetto a quelle allucinate indotte dal prompt.
3. Dataset e Pipeline: Rilascio pubblico del benchmark, della pipeline di costruzione del dataset di preferenza (inclusi dati sintetici e strategie di generazione avanzate) e dei checkpoint dei modelli.

5. Significato e Impatto

Questo lavoro sposta il focus della ricerca sulle allucinazioni LVLM: non è più solo un problema di "vedere meglio", ma di allineamento tra modalità.

• Diagnosi: Fornisce agli ricercatori uno strumento per capire perché un modello allucina, distinguendo tra errori di visione e errori di ragionamento linguistico.
• Soluzione Pratica: Dimostra che è possibile correggere specificamente la tendenza a seguire ciecamente le istruzioni testuali (anche se errate) senza sacrificare la comprensione visiva, un passo cruciale per applicazioni critiche come la diagnostica medica o i sistemi autonomi.
• Riproducibilità: La disponibilità di dati sintetici di alta qualità e del codice facilita la ricerca futura sulla mitigazione delle allucinazioni.

In sintesi, il paper dimostra che per rendere gli LVLM affidabili, è necessario addestrarli a mettere in discussione le presunzioni contenute nei prompt e a dare priorità all'evidenza visiva, anche quando questa contraddice le aspettative linguistiche.