See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment

1. Problemstellung

Multimodale Large Language Models (MLLMs) leiden häufig unter dem Phänomen der Objekt-Halluzination. Dabei generieren Modelle Objekte, die im visuellen Eingabebild gar nicht vorhanden sind, oder sie übersehen deutlich sichtbare Objekte.

Die Autoren identifizieren die Ursache nicht primär in einer mangelhaften Wahrnehmung durch den Vision-Encoder, sondern in einem strukturellen Ungleichgewicht während des Decodierungsprozesses (Attention Allocation):

• Dominanz-Bias: Die Aufmerksamkeit des Modells konzentriert sich unverhältnismäßig stark auf visuell dominante, große oder häufig vorkommende Objekte (z. B. ein Motorrad in einer Szene).
• Unterrepräsentation: Seltene, kleine oder periphere Objekte (z. B. ein kleines Kind oder ein Fahrrad im Hintergrund) erhalten zu wenig Aufmerksamkeit.
• Folge: Dies führt zu einem „Attention Collapse", bei dem die Modellkapazität frühzeitig auf dominante Elemente gebündelt wird und die Generierung nicht mehr den gesamten visuellen Kontext widerspiegelt. Herkömmliche Ansätze, die einfach eine gleichmäßige Verteilung erzwingen, lösen dieses Problem nicht, da sie die inhärenten Diskrepanzen in Größe und Häufigkeit der Objekte ignorieren.

2. Methodik: DOP-OBC

Die vorgeschlagene Lösung ist DOP-OBC (Dominant Object Penalty – Outlier Boost Coefficient). Es handelt sich um eine training-freie, architekturunabhängige Decodierungsstrategie, die zur Inferenzzeit angewendet wird, ohne die Modellgewichte zu ändern.

Das Kernkonzept ist „Equitable Attention" (gerechte Aufmerksamkeitsverteilung), die nicht Gleichheit, sondern einen Ausgleich für Ungleichheiten schafft. Die Methode integriert zwei komplementäre Signale direkt in die Attention-Matrix des Transformers:

A. Upper-Triangular Attention Registers

Um den „Attention Collapse" zu verhindern, wird ein oberes dreieckiges Register eingeführt, das überschüssige Aufmerksamkeit für zukünftige Positionen absorbiert. Dies geschieht durch eine lineare Abklingrate ($\sigma$) für zukünftige Token, was die autoregressive Kausalität bewahrt und die Langzeitstabilität verbessert.

B. Objektbewusste Kontrollsignale

Für jede Zeile der Attention-Matrix (die einem Objektvorschlag zugeordnet ist) werden zwei Modulationen berechnet:

1. Dominant Object Penalty (DOP):

   • Ziel: Unterdrückung von Objekten, die bereits übermäßig viel Aufmerksamkeit erhalten.
   • Mechanismus: Ein normalisierter Dominanz-Score $D(o)$ wird basierend auf Objektgröße, temporaler Persistenz und bereits erhaltenem Attention-Anteil berechnet.
   • Wirkung: Ein weicher Penalty-Faktor $w_{pen}(o) = \exp(-\lambda D(o))$ reduziert die Logit-Amplitude für diese Zeilen, um Kapazität für andere Objekte freizugeben.

2. Outlier Boost Coefficient (OBC):

   • Ziel: Verstärkung seltener, aber konfidenter erkannter Objekte.
   • Mechanismus: Ein Seltenheits-Score $r(o)$ wird basierend auf der Distanz der Objektmerkmale zu einer exponentiell gleitenden Durchschnittsverteilung der Szene berechnet.
   • Wirkung: Nur Objekte mit hoher Konfidenz ($p(o) \ge \tau_p$) erhalten einen Boost-Faktor $b(o) = \gamma \cdot r(o)$. Dieser Faktor erhöht die Logit-Amplitude ($\alpha_i$) und verlangsamt die Abklingrate ($\sigma_i$) im Register, sodass diese Objekte über mehr Decodierschritte hinweg beachtet werden.

Diese Modulationen werden als zeilenweise Skalierung der Pre-SoftMax-Logits und als Anpassung der Register-Steigung implementiert.

3. Hauptbeiträge

• Diagnose: Identifikation des systematischen Attention-Ungleichgewichts als Hauptursache für Objekt-Halluzinationen in MLLMs, das durch reine Repräsentationsverbesserungen nicht gelöst wird.
• Innovation: Entwicklung von DOP-OBC als Plug-in-Strategie, die ohne Nachtraining, zusätzliche Modelle oder Architekturänderungen auskommt.
• Mechanismus: Einführung eines dualen Ansatzes (Unterdrückung von Dominanz + Verstärkung von Ausreißern), der innerhalb eines kausalen Attention-Registers operiert.
• Validierung: Umfassende experimentelle Bestätigung über verschiedene Bild- und Video-MLLMs hinweg.

4. Ergebnisse

Die Methode wurde auf einer Vielzahl von Benchmarks für Bilder und Videos getestet:

• Halluzinationsreduktion:
  • Auf den CHAIR-Benchmarks (Messung von Halluzinationen) wurden signifikante Verbesserungen erzielt (z. B. Reduktion von CHAIRS um ~8,3% bei LLaVA-1.5).
  • Auf POPE (Precision, Recall, Accuracy für Objekte) wurden die Werte für alle Metriken erhöht, was auf eine stärkere visuelle Verankerung hindeutet.
• Allgemeine Leistung:
  • Verbesserungen bei allgemeinen Multimodal-Benchmarks wie MMBench, LLaVA-W, MM-Vet und VizWiz.
  • Bei Video-QA (MSVD-QA, ActivityNet-QA) und Video-Captioning (evaluiert durch GPT-4o) zeigten sich Steigerungen in Korrektheit, Konsistenz, Detailreichtum und zeitlichem Verständnis.
• Qualitative Analyse:
  • Visuelle Vergleiche zeigen, dass DOP-OBC im Gegensatz zu Baseline-Modellen (wie LLaVA-1.5) auch periphere Objekte korrekt beschreibt und den „Attention Collapse" verhindert.
  • Die Methode definiert eine neue empirische Grenze (Frontier) im Trade-off zwischen Genauigkeit und Halluzinationsrate.

5. Bedeutung und Ausblick

Die Arbeit unterstreicht, dass Fairness in der Aufmerksamkeitsverteilung kein rein ethisches Designprinzip, sondern eine praktische Notwendigkeit für zuverlässige multimodale Generierung ist.

• Praktische Relevanz: Da die Methode training-frei ist und als „Drop-in"-Plug-in funktioniert, kann sie sofort in bestehenden, eingesetzten MLLMs verwendet werden, um die Zuverlässigkeit zu erhöhen.
• Paradigmenwechsel: Sie verschiebt den Fokus von der Verbesserung der visuellen Encoder hin zur Optimierung der Decodierungsmechanik.
• Limitationen: Die Methode ist abhängig von der Qualität der Objektvorschläge (Object Proposals). In sehr überfüllten Szenen oder bei verrauschten Detektionen kann die Selektivität leiden. Zukünftige Arbeiten könnten Unsicherheitsmodellierung und Proposal-Kalibrierung integrieren.

Zusammenfassend demonstriert DOP-OBC, dass eine gezielte, faire Umverteilung der Repräsentationskapazität während der Inferenz Halluzinationen effektiv reduziert und die visuelle Verankerung von Sprachmodellen signifikant verbessert.