💬 NLP

Evaluating and Steering Modality Preferences in Multimodal Large Language Model

Dieses Paper führt den MC²-Benchmark ein, um Modalitätspräferenzen in multimodalen großen Sprachmodellen (MLLMs) systematisch zu evaluieren, wobei aufgezeigt wird, dass diese Präferenzen mit der Aufgabenleistung korrelieren und mithilfe einer auf Representation Engineering basierenden Methode ohne zusätzliches Fine-Tuning effektiv in gewünschte Richtungen gesteuert werden können.

Ursprüngliche Autoren: Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

Veröffentlicht 2026-02-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten Assistenten, der Bilder sehen und gleichzeitig Text lesen kann. Man könnte annehmen, dass dieser Assistent sowohl das Bild als auch den Text gleichermaßen betrachtet, um die Antwort zu finden. Aber was wäre, wenn der Assistent insgeheim einen Favoriten hätte? Was wäre, wenn der Assistent, wenn das Bild „Rot“ sagt und der Text „Blau“, dem Text jedes Mal blind vertraut und das Bild völlig ignoriert?

In diesem Paper geht es darum, aufzudecken, dass Multi-modale Large Language Models (MLLMs) – die KI-Gehirne, die sowohl Bilder als auch Wörter verarbeiten – oft solche geheimen Favoriten haben, die als „Modalitätspräferenzen“ bekannt sind.

Hier ist eine Aufschlüsselung dessen, was die Forscher herausgefunden und getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Der „voreingenommene Richter“

Den Forschern fiel auf, dass diese KIs zwar bei vielen Dingen großartig sind, aber niemand wirklich getestet hat, wie sie damit umgehen, wenn das Bild und der Text sich widersprechen.

Die Analogie: Stellen Sie sich einen Gerichtssaal vor, in dem ein Richter einen Fall entscheiden muss, basierend auf zwei Zeugen. Zeuge A (das Bild) sagt: „Ich habe ein rotes Auto gesehen.“ Zeuge B (der Text) sagt: „Ich habe ein blaues Auto gesehen.“
Der alte Weg: Frühere Tests baten den Richter, nur auf Zeugen A zu hören, dann nur auf Zeugen B. Dies sagte uns nicht, wem der Richter mehr vertraut, wenn beide gleichzeitig schreien.
Der neue Weg (MC2-Benchmark): Die Forscher entwickelten einen speziellen Test namens MC2. Sie entwarfen 2.000 Szenarien, in denen sich das Bild und der Text explizit widersprechen.
- Beispiel: Das Bild zeigt vier Jungen, die Frisbee spielen. Die Textbeschreibung sagt: „Es sind fünf Jungen, von denen einer sich die Schuhe bindet.“
- Die KI wird gefragt: „Wie viele Personen sind da?“
- Wenn die KI „Vier“ sagt, bevorzugt sie die Vision (das Bild).
- Wenn die KI „Fünf“ sagt, bevorzugt sie den Text.

2. Die Entdeckung: Die meisten KIs sind „Text-Snobs“

Als sie diesen Test mit 20 KI-Modellen durchführten, fanden sie einige überraschende Dinge heraus:

Jeder hat einen Favoriten: Jedes getestete Modell zeigte eine klare Präferenz. Keines von ihnen war wirklich neutral.
Text ist König: Die meisten Modelle (wie das populäre LLaVA) bevorzugten den Text massiv. Selbst wenn das Bild eindeutig etwas anderes zeigte, ignorierte die KI oft das Bild und las stattdessen nur die Wörter. Es ist wie ein Schüler, der die Grafik in einem Lehrbuch ignoriert und nur die Bildunterschrift liest, selbst wenn die Bildunterschrift falsch ist.
Größer ist nicht immer ausgewogener: Interessanterweise begannen einige der Modelle, wenn sie größer wurden (mehr „Gehirnleistung“), den Bildern mehr zu vertrauen, aber viele hielten dennoch an ihren Text-Gewohnheiten fest.
Das „Vision-Verhältnis“: Sie entwickelten einen Score namens Vision Ratio. Wenn ein Modell einen hohen Score hat, ist es ein „visueller Denker“. Wenn es niedrig ist, ist es ein „Text-Leser“. Sie fanden heraus, dass dieser Score ein guter Prädiktor dafür ist, wie gut ein Modell in Aufgaben ist, die tatsächlich das Sehen erfordern.

3. Die Lösung: Die „Fernbedienung“ für KI-Gehirne

Der spannendste Teil des Papers ist, dass sie nicht nur das Problem fanden, sondern es lösten, ohne die KI neu trainieren zu müssen (was so wäre, als müsste man einen Erwachsenen neu erziehen).

Die Analogie: Stellen Sie sich das interne Gehirn der KI wie einen riesigen Raum voller unsichtbarer Schalter vor. Die Forscher entdeckten, dass die „Präferenz für Text“ und die „Präferenz für Bilder“ wie zwei spezifische Richtungen in diesem Raum sind.
Die Methode (Representation Engineering):
1. Probing (Sondierung): Sie stellten der KI einige Fragen, um die exakte „Richtung“ in ihrem Gehirn zu finden, in der sie zu Text neigt.
2. Steering (Steuerung): Sie erstellten einen mathematischen „Druck“ (einen Steering Vector), der wie eine Fernbedienung wirkt.
3. Das Ergebnis: Wenn sie diesen Druck anwandten, konnten sie das KI-Gehirn physisch dazu bewegen, dem Bild mehr zu vertrauen oder dem Text mehr zu vertrauen – und zwar sofort.
- Beispiel: Wenn ein Modell normalerweise ein Bild ignoriert und basierend auf dem Text Halluzinationen (Erfindungen) erzeugt, können sie die KI so „steuern“, dass sie stattdessen auf das Bild achtet.

4. Warum das wichtig ist

Die Forscher zeigten, dass sie durch die Nutzung dieser „Fernbedienung“ die Leistung der KI bei schwierigen Aufgaben erheblich verbessern konnten:

Mathematik & Logik: Wenn der Text eine Ablenkung darstellte, half das Steuern der KI, dem Bild zu vertrauen, ihr dabei, mathematische Probleme korrekt zu lösen.
Übersetzung: Bei Übersetzungen konnten sie die KI so steuern, dass sie sich auf den Text konzentriert, um nicht durch das Bild verwirrt zu werden.

Zusammenfassung

Kurz gesagt offenbart dieses Paper, dass KI-Modelle oft einen „bevorzugten Sinn“ haben (meistens das Lesen gegenüber dem Sehen), der sie voreingenommen macht, wenn Informationen kollidieren. Die Autoren entwickelten einen Test, um diese Voreingenommenheit zu messen, und erfanden ein trainingsfreies „Steuerrad“, mit dem Menschen den Fokus der KI manuell anpassen können, was sie zuverlässiger und genauer macht, ohne das Modell von Grund auf neu bauen zu müssen.

Technisches Resümee: Evaluierung und Steuerung von Modalitätspräferenzen in multimodalen LLMs

Problemstellung

Multimodale Large Language Models (MLLMs) haben außergewöhnliche Fähigkeiten bei der Verarbeitung heterogener Daten (Text, Bild, Video) demonstriert. Es bleibt jedoch eine kritische Lücke im Verständnis darüber, ob diese Modelle eine Modalitätspräferenz aufweisen – eine systematische Tendenz, eine Modalität gegenüber einer anderen zu bevorzugen, wenn sie mit widersprüchlichen multimodalen Kontexten konfrontiert werden. Bestehende Evaluierungsmethoden isolieren oft Modalitäten (z. B. das Testen von reinem Text- vs. reinem Bild-Input) oder verlassen sich auf Shapley-Werte, die jedoch nicht in der Lage sind, realistische Szenarien abzubilden, in denen Modalitäten gemeinsam auftreten und potenziell miteinander in Konflikt stehen. Zudem ist unklar, ob diese intrinsischen Präferenzen steuerbar sind oder ob sie mit der Leistung bei Downstream-Aufgaben korrelieren.

Methodik

1. Der MC2-Benchmark

Um die Modalitätspräferenz rigoros zu evaluieren, führen die Autoren MC2 (Modality Context Conflict) ein, einen Benchmark, der darauf ausgelegt ist, kontrollierte Evidenz-Konflikt-Szenarien zu erzeugen.

Datenerstellung: Der Datensatz umfasst 2.000 Stichproben über acht Aufgaben hinweg (z. B. Zählen, Attributerkennung, Sentiment-Analyse). Er leitet sich aus TDIUC und MS-COCO ab.
Konfliktmechanismus: Für jede Stichprobe werden ein visueller Kontext ( $c_v$ ) und ein textueller Kontext ( $c_t$ ) konstruiert, um widersprüchliche Belege bezüglich einer spezifischen Frage ( $q$ ) zu liefern.
Validierung: Die Konstruktionspipeline stellt sicher, dass Modelle beide Modalitäten isoliert korrekt erfassen können (mit einer Genauigkeit von >95 % bei Single-Modality-Tests), bevor sie auf den Konflikt getestet werden. Dies eliminiert Störfaktoren wie mangelnde visuelle Erkennung oder interne Wissens-Biases.
Annotation: Ein halbautomatisches Framework unter Verwendung von LLMs (DeepSeekV3, GPT-4o-mini) generiert Distraktoren-Antworten und widersprüchlichen Text, gefolgt von einer menschlichen Verifizierung, um die semantische Inkonsistenz zwischen den Modalitäten sicherzustellen.

2. Evaluierungsmetrik: Vision Ratio

Die Autoren definieren die Vision Ratio, um die Präferenz zu quantifizieren:
$\text{Vision Ratio} = \frac{S_{\text{vision}}}{S_{\text{vision}} + S_{\text{text}}}$
Wobei $S$ den Anteil der Stichproben darstellt, bei denen die Antwort des Modells mit dem visuellen bzw. dem textuellen Kontext übereinstimmt. Ein Verhältnis > 0,5 deutet auf eine Präferenz für Vision hin; < 0,5 deutet auf eine Präferenz für Text hin.

3. Analyse der Einflussfaktoren

Die Studie untersucht Faktoren, die diese Präferenzen antreiben:

Attention-Muster: Die Autoren korrelieren die Vision Ratio mit der Attention Ratio (visuelle Aufmerksamkeit vs. Gesamt-Aufmerksamkeit) und stellen fest, dass eine ungleiche Aufmerksamkeitsverteilung die Präferenz treibt.
Skalierung und Training: Experimente zeigen, dass größere Modelle im Allgemeinen eine stärkere visuelle Präferenz aufweisen. Zudem verschiebt das Fine-Tuning mit multimodalen Konfliktdaten die Präferenzen, was darauf hindeutet, dass die Exposition gegenüber widersprüchlichen Kontexten während des Trainings diese Biases beeinflusst.

4. Representation Engineering zur Steuerung

Basierend auf der Erkenntnis, dass die Modalitätspräferenz in den latenten Repräsentationen kodiert ist, schlagen die Autoren eine trainingsfreie Steuerungsmethode vor:

Probing: Das Modell wird mit Instruktionen abgefragt, entweder Vision oder Text zu priorisieren. Die Differenz der Hidden States ( $x^t_{i,\ell} - x^v_{i,\ell}$ ) am letzten Token über die Layer hinweg wird berechnet, um den Modalitätspräferenz-Richtungsvektor ( $u^\ell_t$ ) zu identifizieren.
Layer-Selektion: Die Analyse zeigt, dass die Layer 20–23 (in Modellen wie Qwen2.5VL) die stabilsten und signifikantesten Präferenzsignale aufweisen.
Steuerung (Steering): Während der Inferenz wird ein skalierter Steering-Vektor ( $s^\ell = w \cdot u^\ell$ ) zu den Hidden States am ausgewählten Layer hinzugefügt. Das Gewicht $w$ wird so berechnet, dass der Mittelwert der geprobten Richtung mit der ursprünglichen Verteilung übereinstimmt, um sicherzustellen, dass die Intervention effektiv ist, ohne die Sprachfähigkeiten zu beeinträchtigen.

Zentrale Ergebnisse

Modalitätspräferenzen in MLLMs

Prävalenz: Alle 20 getesteten MLLMs weisen klare Modalitätspräferenzen auf.
Text-Bias: Die meisten Modelle (z. B. LLaVA1.5-7B) zeigen eine starke Text-Präferenz (Vision Ratio ~13,4 %), was die Hypothese des „Language Prior“ stützt.
Visuelle Präferenz: Modelle wie Qwen2.5VL und InternVL3 zeigen eine stärkere visuelle Präferenz, die mit der Modellgröße zunimmt.
Korrelation: Es besteht eine starke positive Korrelation ( $\rho = 0,964$ ) zwischen der Vision Ratio und der visuellen Verständnisleistung auf Downstream-Benchmarks (z. B. MathVista, TallyQA), was darauf hindeutet, dass die Präferenz ein zuverlässiger Indikator für die Fähigkeit ist.

Effektivität der Steuerung

Die vorgeschlagene Representation-Engineering-Methode steuert Modelle erfolgreich in Richtung einer gewünschten Modalität, ohne ein Fine-Tuning zu benötigen:

MC2-Leistung: Die Methode übertrifft Baselines (Zero-shot, Instruction Design, Chain-of-Thought, Few-shot) bei der Anpassung der Vision Ratio. Beispielsweise erhöhte die Steuerung von Qwen2.5VL-7B in Richtung Text den Text-Alignment-Score von 35,4 % auf 63,6 %.
Downstream-Aufgaben:
- Reasoning: Verbesserte Genauigkeit auf MathVista (62,3 % vs. 59,0 % Baseline) und TallyQA (76,6 % vs. 74,4 %).
- Halluzinationsminderung: Beim PhD-Benchmark (speziell beim Teilbereich mit irreführendem Text) reduzierte die Steuerung in Richtung Vision die durch widersprüchlichen Text verursachten Halluzinationen signifikant.
- Übersetzung: Bei AmbigCaps (multimodale maschinelle Übersetzung) verbesserte die Steuerung in Richtung Text die BLEU-Scores, indem sie die Abhängigkeit von spuriösen visuellen Hinweisen reduzierte.

Interner Mechanismus

Die Attention-Analyse bestätigt, dass die Steuerungsmethode die Aufmerksamkeitsverteilung des Modells erfolgreich verändert. Wenn das Modell in Richtung Text gesteuert wird, steigt das Attention-Gewicht auf Text-Token signifikant an (z. B. von ~55 % auf ~83 %), während die visuelle Aufmerksamkeit abnimmt, was validiert, dass die Intervention auf der Ebene der Repräsentation operiert.

Bedeutung und Ansprüche

Das Paper beansprucht drei primäre Beiträge:

Evaluierungs-Framework: Die Einführung von MC2 bietet den ersten kontrollierten, groß angelegten Benchmark, um die Modalitätspräferenz in MLLMs systematisch zu evaluieren und die Präferenz von den Verständnisfähigkeiten zu entkoppeln.
Einblick in den latenten Raum: Die Studie zeigt auf, dass Modalitätspräferenzen innerhalb der latenten Repräsentationen von MLLMs steuerbar und identifizierbar sind, was eine neue Perspektive auf multimodale Reasoning-Mechanismen eröffnet.
Trainingsfreie Kontrolle: Die vorgeschlagene Probing- und Steering-Methode ermöglicht eine explizite, kontrollierbare Anpassung der Modalitätspräferenz ohne zusätzliche Daten oder Fine-Tuning. Dies verbessert die Leistung bei Downstream-Aufgaben, bei denen eine spezifische Modalitätsabhängigkeit entscheidend ist (z. B. Vermeidung von textinduzierten Halluzinationen beim visuellen Reasoning).

Die Autoren kommen zu dem Schluss, dass das Verständnis und die Kontrolle der Modalitätspräferenz essenziell für die Entwicklung zuverlässigerer und robusterer multimodaler Systeme sind, insbesondere in Szenarien, in denen widersprüchliche Informationen vorliegen.