Revealing Multi-View Hallucination in Large Vision-Language Models

1. Problemstellung: Multi-View Halluzination (MVH)

Obwohl Large Vision-Language Models (LVLMs) zunehmend für Eingaben mit mehreren Ansichten (Multi-View) eingesetzt werden, um Szenen umfassender zu verstehen, leiden sie unter einem spezifischen Fehlerphänomen, das die Autoren als Multi-View Halluzination (MVH) bezeichnen.

Das Kernproblem besteht darin, dass LVLMs visuelle Informationen aus verschiedenen Instanzen (Objekten/Personen) oder verschiedenen Blickwinkeln (Views) verwechseln oder falsch zuordnen. Die Autoren unterscheiden zwei Hauptkategorien dieser Halluzination:

• Cross-Instance Halluzination: Das Modell verwechselt die angefragte Instanz mit einer anderen Instanz im Bild und liefert eine Antwort basierend auf den Merkmalen der falschen Person oder des falschen Objekts.
• Cross-View Halluzination: Das Modell ignoriert den spezifisch angefragten Blickwinkel und zieht stattdessen Informationen aus einem anderen, nicht relevanten Blickwinkel heran, um die Antwort zu generieren.

Im Gegensatz zu herkömmlichen Halluzinationen, bei denen Modelle oft auf Vorwissen (z. B. „Bananen sind gelb") zurückgreifen, entsteht MVH durch eine Ablenkung durch irreführende visuelle Hinweise in den zusätzlichen Ansichten.

2. Methodik

Um dieses Problem systematisch zu analysieren und zu lösen, verfolgen die Autoren einen dreistufigen Ansatz:

A. Entwicklung von MVH-Bench (Benchmark)

Da es bisher keine geeigneten Evaluierungsdaten gab, stellten die Autoren MVH-Bench zusammen.

• Datenbasis: Das Dataset nutzt synchronisierte Multi-View-Videos aus den Datensätzen Ego-Exo4D (Ego-zentrisch/Exo-zentrisch) und LEMMA.
• Struktur: Es enthält 4.800 Frage-Antwort-Paare, die aus vier Unterkategorien stammen: Aktionen, Objekte, Numerische Werte und Räumliche Beziehungen.
• Generierungsprozess:
  1. Extraktion von Instanz-Beschreiber-Paaren (z. B. „Person in weißem Shirt" + „hält eine Gießkanne") aus jedem Blickwinkel mittels GPT-4o.
  2. Automatische Generierung von Binär- und Multiple-Choice-Fragen durch das gezielte Vertauschen von Instanzen und Ansichten, um Halluzinationen zu provozieren.
  3. Menschliche Verifizierung zur Sicherstellung der Korrektheit.
• Metriken: Neben der durchschnittlichen Genauigkeit (Acc) wurden spezialisierte Metriken eingeführt:
  • p-Acc (Pair Accuracy): Misst, ob das Modell sowohl die Ja- als auch die Nein-Fragen für ein Paar korrekt beantwortet.
  • q-Acc (Quadruplet Accuracy): Misst die Konsistenz über alle vier Fragen eines Bildpaares hinweg.
  • YER (Yes-Error Ratio) & AER (Adversarial Error Ratio): Analysieren die Tendenz zu falschen „Ja"-Antworten oder zur Auswahl von adversarialen Distraktoren.

B. Analyse der Ursachen

Die Autoren untersuchten, wie LVLMs den Kontext einer Anfrage bilden. Durch das Blockieren der Text-zu-Text-Aufmerksamkeit in den mittleren Schichten des Transformers (eine Technik, die als „Reference Shift Mask" bezeichnet wird), zeigten sie, dass die Fähigkeit des Modells, die visuelle Referenz korrekt zu verankern, in diesen Schichten kritisch ist. Wenn diese Kommunikation unterbrochen wird, verlagert sich die Aufmerksamkeit des Modells auf falsche visuelle Bereiche.

C. Lösung: Reference Shift Contrastive Decoding (RSCD)

Um MVH zu bekämpfen, schlugen die Autoren RSCD vor, eine trainingsfreie Decodierungstechnik.

• Prinzip: RSCD nutzt das Konzept des kontrastiven Decodings, indem es die ursprünglichen Logits (Wahrscheinlichkeiten) mit „negativen Logits" vergleicht, die durch eine absichtliche Störung des Textkontexts erzeugt werden.
• Mechanismus:
  1. In den identifizierten kritischen Schichten (mittlere Layer) wird eine Maske ($M_{rs}$) angewendet, die die Aufmerksamkeit der Text-Token auf die Top-% der Text-Token unterdrückt. Dies simuliert ein unvollständiges Verständnis der Anfrage.
  2. Dies führt dazu, dass das Modell auf nicht-zielgerichtete visuelle Hinweise reagiert (negative Logits).
  3. Die endgültigen Logits werden durch Subtraktion dieser negativen Logits von den ursprünglichen Logits angepasst:
     $$\text{logit}_{rscd} = (1 + \alpha) \cdot \text{logit}_{orig} - \alpha \cdot \text{logit}_{neg}$$
• Ziel: Durch diese Subtraktion werden Vorhersagen, die auf irreführenden visuellen Hinweisen basieren, unterdrückt, während die korrekte visuelle Verankerung verstärkt wird.

3. Wichtige Beiträge

1. Definition und Kategorisierung: Die erste systematische Definition von Multi-View Halluzinationen in LVLMs, unterteilt in Cross-Instance und Cross-View Fehler.
2. MVH-Bench: Ein umfassender Benchmark mit 4.8k Paaren und spezialisierten Metriken (p-Acc, q-Acc), der 15 State-of-the-Art (SOTA) Modelle (sowohl Closed- als auch Open-Source) evaluiert.
3. RSCD-Algorithmus: Eine effiziente, trainingsfreie Methode, die ohne Modifikation der Modellgewichte auskommt und speziell auf die Unterdrückung visueller Interferenzen in Multi-View-Szenarien ausgelegt ist.
4. Analyse der Schichtdynamik: Der Nachweis, dass mittlere Transformer-Schichten entscheidend für die korrekte visuelle Verankerung sind und dass das gezielte Stören dieser Schichten zur Verbesserung der Decodierung genutzt werden kann.

4. Ergebnisse

Die Experimente wurden auf MVH-Bench mit zwei führenden Modellen durchgeführt: Qwen2.5-VL-7B und LLaVA-OneVision-7B.

• Leistungsbasis: Alle getesteten Modelle zeigten auf MVH-Bench eine signifikante Schwäche, insbesondere bei den p-Acc und q-Acc Metriken, was auf eine hohe Anfälligkeit für visuelle Ablenkungen hindeutet.
• Vergleich mit SOTA: RSCD übertraf bestehende Methoden zur Halluzinationsminderung (wie VCD, ICD und AvisC) deutlich:
  • Bei Qwen2.5-VL verbesserte sich der Gesamtscore (MVH-Score) um 21,1 Punkte.
  • Bei LLaVA-OneVision betrug die Verbesserung 34,6 Punkte.
• Effizienz: Im Gegensatz zu anderen kontrastiven Methoden, die oft zusätzliche Inferenzschritte für Bildmanipulationen erfordern, ist RSCD effizienter, da es die bereits berechneten Key-Value-Caches der Bild-Token wiederverwenden kann.
• Qualitative Analyse: Visualisierungen der Aufmerksamkeitskarten zeigten, dass RSCD die Aufmerksamkeit des Modells erfolgreich von distraktiven Regionen (z. B. einem Objekt im falschen Bild) auf die korrekte Zielregion lenkt.

5. Bedeutung und Ausblick

Diese Arbeit hebt ein bisher vernachlässigtes, aber kritisches Problem in der Entwicklung von LVLMs für komplexe Anwendungen wie Robotik, Überwachung und digitale Zwillinge hervor. Die Fähigkeit, Informationen aus mehreren Ansichten korrekt zu trennen, ist essenziell für zuverlässige visuelle Assistenzsysteme.

Die vorgestellte Methode RSCD bietet einen vielversprechenden, ressourcenschonenden Weg, um die Robustheit von LVLMs zu erhöhen, ohne auf aufwendiges Fine-Tuning zurückgreifen zu müssen. Als Limitierung wird angemerkt, dass der Benchmark derzeit auf Paare von Ansichten beschränkt ist und zukünftige Arbeiten komplexere Szenarien mit mehr als zwei Ansichten sowie andere Architekturen untersuchen sollten. Dennoch stellt MVH-Bench einen wichtigen Meilenstein für die Evaluierung und Verbesserung von Multi-View-Verständnis in der KI dar.