Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention

1. Problemstellung

Multimodale Large Language Models (MLLMs) sind zwar leistungsfähig, neigen jedoch zu Halluzinationen (d. h. sie generieren Inhalte, die im Widerspruch zum visuellen Eingabebild stehen). Dies liegt oft daran, dass die visuelle Aufmerksamkeit des Modells nicht präzise genug ist, um kritische Bildregionen zu lokalisieren.
Bisherige Ansätze zur Reduzierung von Halluzinationen haben folgende Nachteile:

• Training-basierte Methoden: Erfordern teures Fine-Tuning und skalieren schlecht mit schnellen Architekturänderungen.
• Externe Tools: Erhöhen die Systemkomplexität und Latenz.
• Bestehende Attention-Optimierungen: Oft inkompatibel mit effizienten Implementierungen wie FlashAttention (da diese keine expliziten Attention-Gewichte ausgeben) oder erfordern zusätzliche Forward-Passes, was die Latenz erhöht.

Das Paper identifiziert, dass MLLMs visuelle Semantik zwar korrekt aus visuellen Tokens extrahieren können, diese Information aber im Inferenzprozess nicht optimal nutzen.

2. Methodik: Vision-Guided Attention (VGA)

Die Autoren schlagen Vision-Guided Attention (VGA) vor, eine training-freie Methode, die die Aufmerksamkeit des Modells dynamisch auf relevante visuelle Regionen lenkt. Der Kernansatz besteht aus zwei Hauptkomponenten:

A. Visual Semantic Confidence (VSC)

VSC ist ein neuartiger Mechanismus, der die semantischen Features der visuellen Tokens nutzt, um eine präzise visuelle Verankerung (Grounding) zu erstellen, ohne externe Tools.

• Prinzip: Die Logits (Ausgabewahrscheinlichkeiten) des Modells für visuelle Tokens enthalten bereits semantische Informationen. Ein Token, das ein Objekt darstellt, weist hohe Wahrscheinlichkeiten für die entsprechenden Wort-Tokens auf.
• Berechnung: Für ein gegebenes Objekt $O$ wird die semantische Sicherheit $c_{v_i}(O)$ eines visuellen Tokens $v_i$ als Softmax-Wert des entsprechenden Logits berechnet.
• Grounding: Durch Aggregation (z. B. Max-Pooling) über alle visuellen Tokens entsteht eine Grounding-Karte $G$, die angibt, welche Bildregionen für ein Objekt relevant sind.
• Vorteil: VSC ist genauer als die native visuelle Aufmerksamkeit des Modells, insbesondere bei großen Objekten, und vermeidet das „Sink"-Phänomen (wo Aufmerksamkeit auf irrelevante Bereiche driftet).

B. Der VGA-Mechanismus

VGA nutzt die aus VSC abgeleitete Grounding-Karte, um die Attention-Gewichte des Modells zu modifizieren:

1. Einmaliger Forward-Pass: Die visuellen Logits werden einmalig berechnet (während des ersten Durchlaufs), um die Grounding-Karte zu erstellen.
2. Attention-Modifikation: Die Attention-Gewichte $\alpha$ werden durch Addition der Grounding-Karte $G$ (skaliert mit einem Hyperparameter $\beta$) aktualisiert:
   $$\hat{\alpha} = \alpha + \beta \cdot G$$
3. FlashAttention-Kompatibilität: Da VGA keine expliziten Attention-Gewichte berechnen muss, sondern die Ausgabe der Self-Attention ($z$) direkt modifiziert (unter Ausnutzung der Assoziativität der Addition), ist die Methode vollständig kompatibel mit FlashAttention.
4. Attention Heads Balancing: Um die intrinsischen Fähigkeiten des Modells nicht zu stören, wird die Stärke der Führung für verschiedene Attention-Heads angepasst. Heads, die bereits stark visuelle Funktionen haben, erhalten eine schwächere Führung, während andere stärker gelenkt werden.

C. Programmed Vision-Guidance (PVG) für Bildbeschriftung

Für Aufgaben wie Image Captioning, bei denen sich die visuellen Anforderungen während der Generierung ändern, wird ein dynamischer Mechanismus eingeführt:

• Dynamische Anpassung: Sobald ein Bildbereich im Text beschrieben wurde, wird die Aufmerksamkeit für diesen Bereich unterdrückt.
• Mechanismus: Die Grounding-Karte wird bei jedem Generierungsschritt aktualisiert, um bereits beschriebene Regionen zu „löschen" und den Fokus auf noch nicht beschriebene, informative Bereiche zu lenken. Dies verhindert redundante Beschreibungen und fördert eine umfassende Bildanalyse.

3. Schlüsselbeiträge

1. Visual Semantic Confidence (VSC): Ein neuer Mechanismus, der die inhärenten semantischen Informationen in den visuellen Logits nutzt, um präzise Token-Level-Verankerung zu erreichen.
2. Vision-Guided Attention (VGA): Eine training-freie, FlashAttention-kompatible Methode, die VSC nutzt, um die visuelle Aufmerksamkeit zu steuern.
3. Programmed Vision-Guidance (PVG): Ein dynamischer Ansatz für Bildbeschriftung, der die Aufmerksamkeit während der Generierung an den Fortschritt des Textes anpasst.
4. Effizienz: Die Methode erfordert nur einen einzigen Forward-Pass pro Token und fügt eine vernachlässigbare Latenz hinzu.

4. Ergebnisse

Die Methode wurde auf verschiedenen MLLMs (LLaVA-1.5, LLaVA-Next, Qwen2.5-VL) und Benchmarks getestet:

• POPE (VQA): VGA erzielt State-of-the-Art-Ergebnisse bei der Reduzierung von Objekt-Halluzinationen. Die Genauigkeit (Accuracy) und der F1-Score liegen deutlich über Baseline-Modellen und anderen De-Halluzinations-Methoden (wie PAI, VAF, TARAC).
• CHAIR (Image Captioning): VGA erreicht die niedrigste Halluzinationsrate ($C_s$ und $C_i$) bei gleichzeitigem Erhalt eines hohen F1-Scores.
• AMBER (Hybrid-Benchmark): VGA zeigt die beste Gesamtleistung.
• Analyse: Experimente zeigen, dass VSC auch bei fehlenden Objekten (negative Samples) effektiv ist, indem es die Aufmerksamkeit auf niedrig-semantische (Hintergrund-)Bereiche lenkt, was dem Modell hilft, das Fehlen eines Objekts korrekt zu erkennen.

5. Bedeutung und Fazit

Das Paper demonstriert, dass Halluzinationen in MLLMs oft auf eine suboptimale Nutzung der bereits vorhandenen visuellen Informationen zurückzuführen sind, nicht auf einen Mangel an visuellen Features.

• Praktische Relevanz: Da VGA training-frei ist und mit FlashAttention kompatibel ist, kann es sofort in bestehenden Produktions-MLLMs eingesetzt werden, ohne Rechenkosten für das Training oder signifikante Latenzverluste.
• Wissenschaftlicher Beitrag: Es wird gezeigt, dass die explizite Nutzung von „Visual Semantic Confidence" als Prior für die visuelle Aufmerksamkeit ein entscheidender Hebel ist, um das Verständnis von MLLMs zu verbessern und deren Zuverlässigkeit zu erhöhen.

Zusammenfassend bietet VGA einen effizienten und effektiven Weg, MLLMs zu „sagen, wo sie hinschauen müssen", um Halluzinationen zu minimieren.