Information Router for Mitigating Modality Dominance in Vision-Language Models

Titel: Information Router zur Minderung der Modalitätsdominanz in Vision-Language-Modellen (MOIR)

Autoren: Seulgi Kim, Mohit Prabhushankar, Ghassan AlRegib (Georgia Institute of Technology)

1. Das Problem: Modalitätsdominanz und Informationsungleichgewicht

Vision-Language-Modelle (VLMs) erzielen zwar hohe Leistungen auf vielen Benchmarks, leiden jedoch unter dem Phänomen der Modalitätsdominanz. Dabei stützen sich die Modelle unverhältnismäßig stark auf eine einzige Modalität (meist Text), während andere (z. B. Bilder oder Videos) ignoriert werden.

• Herausforderung bestehender Ansätze: Bisherige Methoden versuchen, dieses Problem zu lösen, indem sie die Aufmerksamkeitsverteilung (Attention Allocation) des Modells steuern. Diese Ansätze gehen implizit davon aus, dass alle Eingabemodalitäten bereits ausreichend Informationen enthalten und das Problem lediglich in einer falschen Gewichtung durch das Modell liegt.
• Die Realität: In der Praxis variieren Modalitäten stark in ihrer Informationsdichte und ihrem Signal-zu-Rausch-Verhältnis. Beispielsweise können visuelle Tokens aufgrund von Perspektiven oder Unschärfe spärlich oder mehrdeutig sein, während Texttokens oft semantisch dicht und explizit sind.
• Kernproblem: Wenn das Modell lediglich die Aufmerksamkeit umverteilt, ohne die zugrundeliegende Informationslücke zu füllen, führt dies nicht zu einer echten multimodalen Reasoning-Fähigkeit. Das Modell nutzt weiterhin Text-„Shortcuts", selbst wenn visuelle Informationen notwendig wären.

2. Methodik: MOIR (Multi-modal Information Router)

Die Autoren schlagen MOIR vor, eine informationsbasierte Fusionsmethode, die die Informationsdisparität vor der Fusion explizit reduziert. MOIR operiert zwischen den modality-spezifischen Encodern und dem LLM-Decoder.

Der Prozess läuft in drei Schritten ab:

1. Identifikation weniger informativer Tokens:

   • MOIR analysiert die Token-Repräsentationen beider Modalitäten.
   • Es wird ein Informativitäts-Score für jeden Kanal (Dimension) eines Tokens berechnet, basierend auf der Singulärwertzerlegung (SVD) der Token-Matrix. Kanäle mit niedrigen Singulärwerten und geringem Beitrag zu den Hauptkomponenten gelten als „wenig informativ" (rauschanfällig oder redundant).
   • Die $k'$ Kanäle mit den niedrigsten Scores werden als Kandidaten für den Informationsaustausch identifiziert.

2. Selektives Routing komplementärer Informationen:

   • Anstatt die Aufmerksamkeit nur umzuleiten, ersetzt MOIR die schwachen Kanäle eines Tokens durch komplementäre Informationen aus der stärkeren Modalität.
   • Dies geschieht durch eine gewichtete Kombination:
     $$\bar{F} = \alpha \cdot F_{\text{andere Modalität}} + (1 - \alpha) \cdot F_{\text{eigene Modalität}}$$
   • Der Parameter $\alpha$ (ein lernbarer Routing-Gate) steuert, wie viel Information injiziert wird. Ziel ist es, „informationsdichte" Token-Repräsentationen zu konstruieren, bevor sie in den LLM-Decoder eingespeist werden.

3. Integration:

   • Die so aufbereiteten Token-Sequenzen werden an den LLM-Decoder weitergegeben. Da die Informationsverfügbarkeit nun ausgeglichener ist, kann das Modell natürlicher und zuverlässiger auf beide Modalitäten zurückgreifen, ohne auf Text-Shortcuts angewiesen zu sein.

3. Schlüsselbeiträge

1. Neuer Ansatz (MOIR): Einführung einer Fusionsmethode, die den Informationsfluss zwischen Modalitäten aktiv steuert, indem sie komplementäre Informationen routet, um die Informationsdisparität zu verringern.
2. Neubewertung der Modalitätsdominanz: Die Autoren zeigen, dass eine reine Umverteilung der Modalitätsnutzung ohne Berücksichtigung des „Evidenz-Status" (Informationsgehalt) jeder Modalität unzuverlässig ist, insbesondere wenn eine Modalität verrauscht oder uninformative ist.
3. Umfassende empirische Validierung: Nachweis, dass MOIR die Modalitätsbeiträge konsistent ausgleicht und die Robustheit sowie die Downstream-Leistung über verschiedene Datensätze und Modell-Architekturen hinweg verbessert.

4. Ergebnisse

Die Evaluation erfolgte auf drei Benchmarks: ScienceQA (Bild-Text), VizWiz (Bild-Text) und MMBench-Video (Video-Audio-Text) unter Verwendung von Backbones wie LLaVA-1.5 und Qwen2.5-VL.

• Downstream-Leistung: MOIR behält die Genauigkeit bei oder verbessert sie signifikant, insbesondere bei Aufgaben, die starke visuelle Verankerung erfordern (z. B. MMBench-Video). Auf ScienceQA waren die Gewinne moderater, da Multiple-Choice-Fragen oft auch durch Text-Shortcuts lösbar sind.
• Ausgewogenheit der Modalitäten:
  • MDI (Modality Dominance Index) & AEI (Attention Efficiency Index): MOIR senkte diese Werte in fast allen Konfigurationen erheblich, was auf eine ausgeglichenere Aufmerksamkeit hindeutet.
  • Effektiver Rang (Rank $\Delta$): Sowohl für Bild- als auch für Text-Token nahm der effektive Rang zu. Dies beweist, dass MOIR nicht einfach eine Modalität unterdrückt, sondern den Informationsaustausch verbessert und die Repräsentationen beider Modalitäten informativer macht.
• Robustheit gegen Korruption: In einem Test, bei dem Bilder durch Gaußsches Rauschen ersetzt wurden, zeigte das Baseline-Modell eine hohe „Unveränderlichkeitsrate" (es antwortete gleich, egal ob Bild da war oder nicht). MOIR reduzierte diese Rate drastisch, was beweist, dass das Modell nun tatsächlich auf visuelle Eingaben reagiert und nicht mehr blind auf Text priorisiert.
• Qualitative Ergebnisse: Bei Video-Fragen generierte das Baseline-Modell oft halluzinierte oder generische Antworten. MOIR lieferte hingegen präzise, visuell fundierte Beschreibungen (z. B. korrekte Identifizierung von Plugins in Videos).

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Bekämpfung der Modalitätsdominanz nicht nur durch die Manipulation der Aufmerksamkeitsmechanismen, sondern durch die explizite Modifikation der Informationsverfügbarkeit auf Token-Ebene erreicht werden kann.

• Paradigmenwechsel: Statt zu versuchen, das Modell zu zwingen, auf schwache Signale zu achten, werden diese Signale durch komplementäre Informationen aus anderen Modalitäten gestärkt.
• Praktische Relevanz: MOIR erhöht die Zuverlässigkeit von VLMs in realen Szenarien, in denen Eingabedaten oft unvollständig oder verrauscht sind. Es stellt eine komplementäre Strategie dar, die die Robustheit und das multimodale Reasoning fundamental verbessert, indem es die Informationsbasis für die Entscheidungsfindung des Modells optimiert.