TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection

1. Problemstellung

Large Vision-Language Models (LVLMs) wie LLaVA oder Qwen-VL haben beeindruckende Fähigkeiten in der Bild-Sprache-Verständnis gezeigt, leiden jedoch unter dem Phänomen der Halluzination. Dabei generieren die Modelle Inhalte, die nicht mit dem visuellen Input übereinstimmen (z. B. das Erfinden von Objekten oder Details, die im Bild nicht vorhanden sind).

Die Autoren identifizieren eine spezifische Ursache für dieses Problem: Der Abbau der visuellen Aufmerksamkeit während des Generierungsprozesses.

• Beobachtung: Während ein LVLM einen Text generiert (Token für Token), nimmt die Aufmerksamkeit des Modells auf die Bild-Token im Laufe der Zeit ab.
• Folge: Sobald die visuelle Aufmerksamkeit sinkt, beginnt das Modell, sich stärker auf sprachliche Priors (Vorwissen, statistische Wahrscheinlichkeiten von Wortfolgen) zu verlassen, was zu Halluzinationen führt.
• Herausforderung bestehender Lösungen: Bestehende Methoden zur Bekämpfung von Halluzinationen sind entweder rechenintensiv (z. B. kontrastives Decodieren, Backtracking) oder erfordern ein aufwändiges Nach-Training (Fine-Tuning), was ihre praktische Anwendbarkeit einschränkt.

2. Methodik: TARAC

Die Autoren schlagen TARAC (Temporal Attention Real-time Accumulative Connection) vor, ein training-freies, leichtgewichtiges Framework, das als Plug-and-Play-Modul funktioniert. Inspiriert von kognitiven Verstärkungsmechanismen und der Ebbinghaus'schen Vergessenskurve, zielt TARAC darauf ab, den visuellen Fokus des Modells während der Generierung aufrechtzuerhalten.

Der Prozess läuft in drei Schritten pro generiertem Token ab:

1. Akkumulation der Aufmerksamkeit (Accumulate Attention):

   • TARAC überwacht die Aufmerksamkeit des aktuell generierten Tokens auf die Bild-Token.
   • Es wird eine kumulative Aufmerksamkeitsverteilung ($\hat{A}_t$) erstellt. Für den ersten Token wird die aktuelle Aufmerksamkeit gespeichert. Für folgende Token wird eine Aktualisierungsformel verwendet:
     $$\hat{A}_t = \alpha \cdot \bar{A}_t + (1 - \alpha) \cdot \hat{A}_{t-1}$$
   • Dabei ist $\alpha$ ein Gedächtnis-Faktor (Memory Update Factor), der verhindert, dass die akkumulierte Aufmerksamkeit zu stark anwächst und sicherstellt, dass neuere visuelle Hinweise priorisiert werden, während alte Informationen langsam verfallen (ähnlich der Vergessenskurve).

2. Einspeisung der Akkumulation (Inject Attention):

   • Die akkumulierte Aufmerksamkeit wird in den aktuellen Generierungsprozess des Modells zurückgespeist.
   • Die ursprüngliche Aufmerksamkeit auf die Bild-Token wird um einen Skalierungsfaktor $\beta$ verstärkt:
     $$A_t[:, -1, \text{image}] = A_t[:, -1, \text{image}] + \beta \cdot \hat{A}_t$$
   • Dies zwingt das Modell, sich wieder stärker auf die visuellen Informationen zu konzentrieren.

3. Renormierung (Re-normalization):

   • Da die Manipulation der Aufmerksamkeitswerte die Normalisierungseigenschaft der Softmax-Funktion stören würde, wird die letzte Zeile der Aufmerksamkeitsmatrix neu normalisiert (Reihen-Summen-Normalisierung). Dies stellt sicher, dass die Verteilung erhalten bleibt, während der Fokus auf die Bild-Token erhöht wird.

Anwendungsbereich: Die Methode wird nicht auf allen Schichten des Transformers angewendet, sondern gezielt in einem spezifischen Bereich mittlerer Schichten (z. B. Layer 10–16 bei LLaVA-1.5), da dort die visuelle Wahrnehmung am stärksten ist.

3. Wichtige Beiträge

1. Neues Training-freies Framework: TARAC ist eine innovative Lösung, die Halluzinationen durch dynamische Akkumulation und Re-Injektion historischer Aufmerksamkeitsgewichte bekämpft, ohne das Modell neu trainieren zu müssen.
2. Hohe Effizienz und geringe Latenz: Im Gegensatz zu konkurrierenden Methoden (die oft 2x bis 7x längere Inferenzzeiten benötigen), verursacht TARAC nur einen minimalen Overhead von ca. 4% mehr Zeit pro Token (TPOT) und vernachlässigbare Speicherkosten.
3. Breite Anwendbarkeit: Als Plug-and-Play-Modul funktioniert es plattformübergreifend auf verschiedenen Architekturen (LLaVA-1.5, Qwen2-VL, InternVL2) ohne architekturspezifische Anpassungen.
4. Umfassende Evaluation: Die Arbeit liefert detaillierte Analysen zu Hyperparametern, Schichtauswahl und Generalisierbarkeit.

4. Ergebnisse

Die Evaluation erfolgte auf mehreren Benchmarks (CHAIR, AMBER, SHR, MME) und zeigt deutliche Verbesserungen:

• Reduktion von Halluzinationen:
  • Auf dem CHAIR-Benchmark reduzierte TARAC den Anteil halluzinierter Sätze (CS) um 25,2% im Vergleich zum Baseline-Modell.
  • Im Vergleich zu State-of-the-Art-Methoden wie VCD, AGLA und OPERA erzielte TARAC konsistent die besten Ergebnisse.
• Verbesserung der Wahrnehmung (Perception):
  • Auf dem MME-Benchmark verbesserte sich der Perception-Score um +10,65 Punkte (bei Qwen2-VL sogar +10,65, bei LLaVA-1.5 +14,18).
• Textqualität:
  • Trotz der Reduktion von Halluzinationen blieb die sprachliche Flüssigkeit erhalten. Die Perplexity-Werte (Maß für Textqualität) waren besser als bei anderen Korrekturmethoden und näherten sich sogar denen von Beam-Search-Methoden an.
• Effizienz:
  • TPOT-Erhöhung: Nur ~4% (im Vergleich zu ~7,79x bei OPERA oder ~2,2x bei VCD).
  • GPU-Speicher: Praktisch kein zusätzlicher Verbrauch (0,02 MB).

5. Bedeutung und Fazit

TARAC adressiert ein fundamentales Problem der LVLMs – den Verlust des visuellen Bezugs während der Generierung – mit einer eleganten und extrem effizienten Lösung.

• Praktische Relevanz: Da die Methode kaum Rechenaufwand erfordert und keine Neukonfiguration des Modells braucht, ist sie ideal für den Einsatz in Echtzeitanwendungen und auf ressourcenbeschränkten Hardware-Plattformen.
• Paradigmenwechsel: Statt komplexe Decodierungsstrategien oder teures Nach-Training zu nutzen, nutzt TARAC die interne Dynamik des Aufmerksamkeitsmechanismus des Modells selbst, um die visuelle Grounding zu stabilisieren.
• Zukunftsausblick: Die Autoren sehen als Limitierung die Abhängigkeit von festen Hyperparametern ($\alpha, \beta$) und planen zukünftige Arbeiten zur adaptiven Parametereinstellung und Integration mit trainingsbasierten Alignments.

Zusammenfassend bietet TARAC einen signifikanten Schritt vorwärts in Richtung zuverlässigerer und praktisch einsetzbarer Vision-Language-Modelle.