Revealing Multi-View Hallucination in Large Vision-Language Models

1. Il Problema: Allucinazione Multi-Vista (MVH)

I Large Vision-Language Models (LVLM) stanno diventando sempre più capaci di elaborare input visivi complessi, inclusi scenari multi-vista (immagini catturate da diversi punti di vista, come viste in prima e terza persona). Tuttavia, il paper identifica un nuovo tipo di errore sistematico chiamato Allucinazione Multi-Vista (MVH).

A differenza delle allucinazioni convenzionali (dove il modello si basa su conoscenze pregresse errate, es. "le banane sono gialle"), l'MVH si verifica quando il modello confonde o mescola informazioni visive provenienti da istanze diverse o punti di vista diversi all'interno dello stesso set di input.

Il fenomeno è categorizzato in due tipi principali:

• Allucinazione Cross-Istanza (Cross-Instance): Il modello risponde a una domanda su un'istanza specifica (es. "Cosa sta facendo la persona con la maglietta bianca?") basandosi erroneamente sulle informazioni di un'altra istanza presente nella scena (es. la persona con la maglietta nera).
• Allucinazione Cross-Vista (Cross-View): Il modello risponde a una domanda relativa a una specifica vista (es. "Nella vista 1, dove punta il annaffiatoio?") ignorando la vista richiesta e attingendo invece a informazioni provenienti da un'altra vista (es. la vista 2).

2. Metodologia e Proposte

Per affrontare questo problema, gli autori hanno sviluppato un approccio sistematico composto da un nuovo benchmark e una nuova tecnica di decoding.

A. MVH-Bench: Un Nuovo Benchmark

Per valutare quantitativamente l'MVH, gli autori hanno creato MVH-Bench, un dataset composto da 4.800 coppie domanda-risposta.

• Origine dei dati: Derivato da dataset sincronizzati multi-vista come Ego-Exo4D e LEMMA, che contengono interazioni umane da prospettive diverse.
• Struttura: Per ogni coppia di immagini multi-vista, il benchmark genera:
  • Coppie di domande binarie (Sì/No).
  • Domande a scelta multipla.
• Categorie: Le domande coprono quattro sottocategorie: Azione, Oggetto, Numerico e Spaziale.
• Metriche: Sono state introdotte metriche specifiche per misurare la coerenza tra le viste:
  • p-Acc (Pair Accuracy): Misura se il modello risponde correttamente a entrambe le domande di una coppia (es. Sì/No per la stessa istanza).
  • q-Acc (Quadruplet Accuracy): Misura se il modello risponde correttamente a tutte e quattro le domande associate a un set di immagini (due per vista).
  • YER e AER: Rapporti di errore per valutare la tendenza a rispondere "Sì" indiscriminatamente o a scegliere distrattori avversari.

B. Analisi del Contesto della Query

Gli autori hanno condotto un'analisi approfondita su come i LVLM formano il contesto della query. Hanno scoperto che:

• L'interazione tra i token di testo all'interno degli strati intermedi del decoder è cruciale per comprendere il contesto completo della domanda.
• Bloccando l'attenzione tra i token di testo in questi strati intermedi (13-20 in modelli come LLaVA-OneVision), il modello perde la capacità di ancorare correttamente la risposta alla vista o all'istanza corretta, spostando la sua attenzione su segnali visivi fuorvianti.

C. RSCD: Reference Shift Contrastive Decoding

Per mitigare l'MVH senza riaddestrare il modello, gli autori propongono RSCD, una tecnica di decoding training-free.

• Concetto Chiave: L'idea è amplificare la differenza tra la previsione originale (basata su una comprensione completa) e una previsione "negativa" ottenuta disturbando la comprensione del testo.
• Meccanismo:
  1. Si applica una maschera specifica (Reference Shift Mask) che blocca selettivamente le connessioni di attenzione tra i token di testo negli strati intermedi critici (identificati come $\Lambda^*$).
  2. Questo genera dei logit negativi che riflettono una comprensione parziale o errata della query, portando il modello a fare affidamento su segnali visivi non pertinenti.
  3. I logit originali vengono poi aggiustati sottraendo i logit negativi pesati:
     $$\text{logit}_{rscd} = (1 + \alpha) \cdot \text{logit}_{base} - \alpha \cdot \text{logit}_{masked}$$
  4. Questo processo sopprime le previsioni basate su interferenze visive non target, forzando il modello a concentrarsi sull'evidenza visiva corretta.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli LVLM all'avanguardia (sia closed-source come GPT-4o, sia open-source come Qwen2.5-VL e LLaVA-OneVision).

• Performance Baseline: Tutti i modelli testati hanno mostrato prestazioni basse su MVH-Bench, con un'alta incidenza di errori di allineamento tra istanza/vista e risposta. I modelli open-source hanno mostrato una maggiore tendenza a scegliere distrattori avversari (AER alto).
• Efficacia di RSCD:
  • RSCD ha superato sistematicamente i metodi di mitigazione delle allucinazioni esistenti (VCD, ICD, AvisC).
  • Miglioramenti: Su LLaVA-OneVision-7B, RSCD ha migliorato il punteggio complessivo (MVH-Score) di 34.6 punti rispetto al metodo precedente migliore (AvisC). Su Qwen2.5-VL-7B, il miglioramento è stato di 21.1 punti.
  • I miglioramenti sono stati osservati in tutte le categorie (Cross-Instance e Cross-View) e in tutte le metriche (Acc, p-Acc, q-Acc).
• Efficienza: A differenza di altri metodi che richiedono la manipolazione dell'input visivo o il ricalcolo delle rappresentazioni, RSCD riutilizza gli stati chiave-valore cache delle immagini, rendendolo computazionalmente efficiente (tempo di inferenza quasi identico al modello base).

4. Contributi Chiave

1. Definizione del Problema: Identificazione e categorizzazione formale dell'Allucinazione Multi-Vista come un errore distinto causato dall'interferenza visiva tra istanze e viste multiple.
2. MVH-Bench: Creazione di un benchmark standardizzato con 4.8k campioni e metriche dedicate (p-Acc, q-Acc) per valutare la robustezza dei modelli in scenari multi-vista.
3. Analisi Meccanicistica: Dimostrazione empirica che la formazione del contesto testuale negli strati intermedi è fondamentale per il grounding visivo corretto.
4. RSCD: Proposta di una tecnica di decoding semplice, efficace e senza riaddestramento che risolve l'MVH migliorando significativamente le prestazioni dei modelli esistenti.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Riempie un vuoto nella ricerca: Mentre le allucinazioni in LVLM sono state studiate ampiamente, la specifica interferenza causata da input multi-vista era stata trascurata, nonostante sia cruciale per applicazioni reali come robotica, sistemi di sorveglianza e gemelli digitali.
• Offre una soluzione pratica: RSCD dimostra che è possibile correggere errori complessi di grounding visivo intervenendo solo sul processo di decoding, senza costi di addestramento.
• Fornisce uno strumento di valutazione: MVH-Bench diventa lo standard per testare la capacità dei modelli di distinguere tra diverse prospettive e istanze, guidando lo sviluppo di futuri modelli più robusti.

In sintesi, il paper evidenzia che la capacità di un LVLM di "vedere" non è sufficiente se non è accompagnata dalla capacità di "comprendere" quale parte della scena visiva (e quale vista) è rilevante per la domanda specifica, e propone un metodo efficace per colmare questo divario.