Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow

1. Problemstellung

Vision-Language Models (VLMs) haben zwar beeindruckende Fähigkeiten in Aufgaben wie visueller Erkennung, Dokumentenanalyse und visuellem Grounding entwickelt. Dennoch zeigt sich ein kritisches Missverhältnis zwischen dem „Sehen" (der Fähigkeit, relevante Bildregionen zu identifizieren) und dem „Wahrnehmen" (der Fähigkeit, basierend auf diesen Regionen korrekte Antworten zu generieren).

• Das Kernproblem: Oft lenken Text-Token (die Frage oder der Prompt) ihre Aufmerksamkeit (Cross-Attention) auf irrelevante visuelle Token (z. B. Hintergrund oder störende Objekte), anstatt sich auf die für die Antwort entscheidenden Regionen zu konzentrieren.
• Folge: Diese suboptimale Informationsfluss-Verteilung führt zu Rauschen im Dekodierpfad und verursacht falsche Antworten oder Halluzinationen, selbst wenn das Modell das relevante Objekt im Bild „sieht".
• Bestehende Lösungen: Bisherige Ansätze wie visuelles Zuschneiden (Visual Cropping) erhöhen die Inferenzzeit erheblich, oder das Nachtrainieren des Modells erfordert enorme Rechenressourcen.

2. Methodik: Adaptive Information Flow (AIF)

Die Autoren schlagen eine training-freie Methode vor, die den Informationsfluss während der Inferenz (Testzeit) moduliert, indem sie die Interaktion zwischen Text-Token und unwichtigen visuellen Token blockiert.

A. Analyse der Token-Dynamik

Die Studie zeigt, dass visuelle Token, die wichtigen Objektregionen entsprechen, in bestimmten Schichten des Large Language Models (LLM) charakteristische Aktivierungsmuster aufweisen. Im Gegensatz dazu zeigen irrelevante Token (Hintergrund) unregelmäßige oder zufällige Aktivierungsmuster über die verschiedenen LLM-Schichten hinweg.

B. Messung der Wichtigkeit (Token Entropy)

Um zu bestimmen, welche Token maskiert werden sollen, wird eine Entropie-Messung basierend auf Token-Dynamik eingeführt:

1. Token-Dynamik ($D_{v_i}$): Erfasst die maximale Aufmerksamkeit, die ein visueller Token $v_i$ über alle LLM-Schichten hinweg auf Text-Token lenkt.
2. Entropie-Berechnung: Die Variabilität dieser Aufmerksamkeit über die Schichten hinweg wird als Entropie ($Ent_{v_i}$) berechnet.
   • Hohe Entropie: Deutet auf zufällige, inkonsistente Aktivierung hin $\rightarrow$ Unwichtige Token (werden maskiert).
   • Niedrige Entropie: Deutet auf konsistente, starke Aktivierung hin $\rightarrow$ Wichtige Token (bleiben erhalten).

C. Adaptive Maskierung über Causal Masks

Der Kern der Methode ist die Modulation des Causal Mask (der Maske, die steuert, welche Token auf welche anderen Token achten dürfen):

1. Ein-Schritt-Inferenz: Zuerst wird eine kurze Inferenz durchgeführt, um die Token-Dynamik und die Entropie aller visuellen Token zu sammeln.
2. Selektive Maskierung: Basierend auf der Entropie werden die unwichtigsten visuellen Token identifiziert.
3. Blockierung: Im Causal Mask werden die Verbindungen zwischen den Text-Token und diesen unwichtigen visuellen Token blockiert (auf $-\infty$ gesetzt).
4. Erneute Inferenz: Das Modell führt die eigentliche Antwortgenerierung mit dieser modifizierten Maske durch.

• Wichtig: Die Informationsflüsse innerhalb der visuellen Token bleiben erhalten, sodass keine Bildinformationen verloren gehen, nur die Ablenkung durch irrelevante Regionen wird unterbunden.

3. Hauptbeiträge

• Nachweis des Missverhältnisses: Es wird gezeigt, dass die Diskrepanz zwischen Sehen und Wahrnehmen durch suboptimalen Informationsfluss während der Dekodierung verursacht wird.
• Training-freie Lösung: Entwicklung der Adaptive Information Flow (AIF)-Methode, die keine Nachtrainierung des Modells erfordert und keine zusätzlichen Module hinzufügt.
• Token-Dynamik als Indikator: Einführung einer Entropie-basierten Metrik, die zuverlässiger als reine Aufmerksamkeitswerte ist, um die Wichtigkeit von visuellen Token zu bestimmen.
• Verbesserung der Wahrnehmung: Demonstration, dass das gezielte Unterbrechen von Verbindungen zu irrelevanten Regionen die Leistung signifikant steigert.

4. Ergebnisse

Die Methode wurde auf zwei repräsentativen Open-Source-VLMs (LLaVA-1.5 und Qwen2.5-VL) und einer Vielzahl von Datensätzen evaluiert:

• Visuelle Fragebeantwortung (VQA): Deutliche Verbesserungen auf Benchmarks wie RealWorldQA, MMStar und V (z. B. +7,9 Punkte bei LLaVA-1.5 auf V*).
• OCR und Feinabstimmung: Bessere Leistung bei TextVQA und SeedBench2-Plus, was zeigt, dass das Modell nun präziser auf kleine Textstellen fokussieren kann.
• Visuelles Grounding & Zählen: Signifikante Steigerungen bei RefCOCO (Grounding) und CountBench. Die Methode übertrifft sogar spezialisierte Grounding-Methoden wie Grounding-DINO in einigen Szenarien.
• Halluzinationen: Die Methode reduziert Objekt-Halluzinationen (evaluiert auf POPE-Datensatz), da das Modell gezwungen wird, sich auf relevante Regionen zu konzentrieren.
• Vergleich: AIF übertrifft sowohl training-freie Methoden (wie ViCrop) als auch nachtrainierte Methoden (wie CCA) in der Gesamtleistung, ohne zusätzliche Trainingskosten.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen neuen Einblick in die Funktionsweise von VLMs: Die Qualität des Informationsflusses ist genauso entscheidend wie die reine Anwesenheit visueller Daten.

• Paradigmenwechsel: Statt mehr Daten zu sammeln oder die Architektur zu vergrößern, kann die Leistung durch die gezielte Steuerung der internen Verbindungen (Attention) während der Inferenz verbessert werden.
• Effizienz: Da nur ein zusätzlicher Dekodierschritt für die Maskengenerierung benötigt wird, ist der Overhead minimal (ähnlich der Generierung eines Tokens).
• Generalisierung: Die Methode ist modellagnostisch und funktioniert über verschiedene Aufgaben hinweg, was sie zu einem universellen Werkzeug zur Verbesserung der Wahrnehmungsfähigkeit von multimodalen Modellen macht.

Zusammenfassend zeigt das Paper, dass VLMs durch das „Stummschalten" von Ablenkungen im Bild (durch Modulation des Causal Mask) deutlich präzisere und korrektere Antworten liefern können.