🤖 AI

Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition

Dieses Paper führt die Partielle Informationszerlegung als Framework auf Entscheidungsebene ein, um Modalitätsinteraktionen in multimodalen Sprachmodellen zu analysieren, wodurch distinkte Synergie- und Reliance-Profile über verschiedene Aufgaben hinweg aufgedeckt, ein visuell dominiertes Flaschenhals-Phänomen in tri-modalen Systemen identifiziert und nachgewiesen wird, dass eine durch PID-gesteuerte Gewichtung die Modellleistung steigern kann.

Ursprüngliche Autoren: Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Teammeeting“-Problem

Stellen Sie sich vor, Sie haben ein Team von Experten, die versuchen, ein Rätsel zu lösen. Sie haben einen Detektiv (der die Hinweise/Texte liest), einen Fotografen (der den Tatort/die Bilder sieht) und einen Toningenieur (der das Audio hört).

In der Welt der KI werden diese als Multimodale Large Language Models (MLLMs) bezeichnet. Sie sollen Text, Bilder und Ton kombinieren, um Ihnen die richtige Antwort zu geben.

Das Problem: Wir wissen, dass diese KI-Teams gut darin sind, Fragen zu beantworten (hohe Genauigkeit), aber wir wissen nicht wirklich, wie sie zusammenarbeiten.

Macht der Detektiv die ganze Arbeit und wirft nur einen Blick auf die Fotos?
Ruft der Fotograf die Antwort heraus, während der Detektiv ihn ignoriert?
Oder arbeiten sie tatsächlich zusammen, sodass die Antwort erst entsteht, wenn sie ihre Notizen kombinieren?

Aktuelle Tests sagen uns nur, ob das Team die richtige Antwort gefunden hat. Dieses Paper führt einen neuen Weg ein, um bei dem Teammeeting zuzuhören, um genau zu sehen, wie sie zusammenarbeiten.

Das neue Werkzeug: „Partial Information Decomposition“ (PID)

Die Autoren haben ein Werkzeug namens Partial Information Decomposition (PID) entwickelt. Denken Sie an PID als einen Mischpult-Regler für das Gehirn der KI.

Wenn die KI eine Entscheidung trifft, bricht PID die „Lautstärke“ dieser Entscheidung in drei spezifische Kanäle auf:

Der Solokünstler (Einzigartige Information): Dies ist eine Information, die nur eine Person hat.
- Beispiel: Der Detektiv weiß eine Tatsache, die nicht im Bild steht. Der Fotograf sieht ein Detail, das der Detektiv übersehen hat.
Das Echo (Redundante Information): Dies ist der Fall, wenn alle dasselbe sagen.
- Beispiel: Sowohl der Detektiv als auch der Fotograf sehen ein rotes Auto. Sie wiederholen lediglich dieselbe Tatsache.
Der magische Funke (Synergie): Dies ist der wichtigste Teil. Es ist eine Information, die nur existiert, wenn sie miteinander sprechen.
- Beispiel: Der Detektiv liest: „Der Mann hält einen Stock.“ Der Fotograf sieht: „Der Mann schwingt einen Stock.“ Alleine wissen beide nicht, dass es sich um ein Baseballspiel handelt. Aber zusammen realisieren sie: „Es ist ein Baseballspiel!“ Dieser „Aha!“-Moment ist Synergie.

Was sie herausgefunden haben

Die Forscher haben diesen „Mischpult“ an 20 verschiedenen KI-Modellen in 6 verschiedenen Arten von Aufgaben getestet. Hier ist, was sie fanden:

1. Unterschiedliche Aufgaben brauchen unterschiedliche Teams

Genau wie eine Baustelle anders arbeitet als ein chirurgisches Team, nutzen verschiedene KI-Aufgaben unterschiedliche Kollaborationsstile.

Reasoning- & Grounding-Aufgaben (z. B. „Wo ist die Katze?“): Diese Aufgaben sind wie eine Jazzband. Die KI verlässt sich stark auf Synergie. Text und Bild müssen sich vermischen, um die Antwort zu erzeugen. Wenn man das Bild entfernt, bricht die Musik zusammen.
Aufgaben mit Expertenwissen (z. B. „Was ist die chemische Formel?“): Diese Aufgaben sind wie ein Vortrag. Die KI verlässt sich hauptsächlich auf den Detektiv (Text). Sie liest die Frage und zieht die Antwort aus ihrem Gedächtnis, wobei sie das Bild kaum beachtet. Das Bild ist oft nur Dekoration.

2. Der „Visuelle Dominanz“-Engpass

Die Forscher untersuchten auch „Omni-modale“ Modelle (KI, die sieht, hört und liest). Sie erwarteten, dass diese Modelle Video und Audio gut mischen können.

Das Ergebnis: Sie fanden einen Engpass (Bottleneck). Selbst wenn eine Aufgabe das Mischen von Ton und Video erfordert (wie das Identifizieren eines Instruments in einem Musikvideo), verlässt sich die KI immer noch hauptsächlich auf die Visuellen Reize.
Die Analogie: Stellen Sie sich einen Filmregisseur vor, der sowohl das Skript als auch die Musik nutzen soll, um eine Szene zu dirigieren. Stattdessen schaut er einfach nur die Schauspieler an und ignoriert die Musik völlig. Der „Audio“-Teil der KI ist meistens stumm, und der „Visuelle“ Teil schreit am lautesten.

3. Das „Late Fusion“-Geheimnis

Das Paper untersuchte, wann die KI Informationen kombiniert, während sie eine Frage verarbeitet (Schicht für Schicht).

Das Ergebnis: Die KI denkt die meiste Zeit alleine nach (liest den Text oder betrachtet das Bild). Sie beginnt erst ganz am Ende, die Informationen zusammenzuführen, in den letzten Schichten ihres Gehirns.
Die Analogie: Es ist wie zwei Schüler, die den Großteil der Zeit getrennt vone von sich aus testen und erst in den letzten 5 Minuten vor dem Klingeln ihre Notizen austauschen.

Zur Anwendung bringen: Das Team reparieren

Das Paper blieb nicht bei der Diagnose stehen; sie versuchten auch, das Problem zu lösen.

Sie nutzten das PID-„Mischpult“, um zu identifizieren, welche Übungsfragen dazu führten, dass die KI zu sehr auf Text-Abkürzungen vertraute (das Bild ignorierte) und welche Fragen es versäumten, diesen „magischen Funken“ (Synergie) zu erzeugen.

Die Lösung: Sie entwickelten eine Trainingsmethode namens PID-Guided Reweighting.
- Sie sagten der KI: „Achte besonders auf die Fragen, bei denen du versagt hast, Bild und Text zu mischen (Niedrige Synergie).“
- Sie sagten der KI: „Ignoriere die Fragen, bei denen du die Antwort nur aus dem Text erraten hast, ohne hinzuschauen (Hoher Text-Shortcut).“

Das Ergebnis: Nach diesem gezielten Training wurde die KI bei Reasoning-Aufgaben besser. Sie begann, ihre „Sinne“ effektiver zu mischen, erzeugte mehr „magische Funken“ und verließ sich weniger auf Text-Abkürzungen.

Zusammenfassung

Dieses Paper hat uns einen neuen Weg gezeigt, um in KI-Modelle hineinzuhören. Anstatt nur zu prüfen, ob sie die richtige Antwort erhalten haben, können wir nun sehen, wie sie dorthin gelangt sind. Wir haben festgestellt, dass:

Einige Aufgaben tiefes Teamwork (Synergie) erfordern, während andere nur textbasierte Vorträge sind.
Aktuelle KI-Modelle Audio oft ignorieren und sich zu sehr auf das Visuelle verlassen.
Sie meistens erst ganz am Ende beginnen, ihre Sinne zu kombinieren.
Indem wir dieses neue Werkzeug zum Training nutzen, können wir sie lehren, besser zusammenzuarbeiten.

Technisches Resümee: Zum Verständnis der Modalitätsinteraktion in multimodalen Sprachmodellen mittels partieller Informationszerlegung

1. Problemstellung

Multimodale Large Language Models (MLLMs) werden zunehmend als Entscheidungsträger in wissenschaftlichen, medizinischen und verkörperten Kontexten eingesetzt. Die aktuellen Evaluierungsparadigmen bewerten jedoch primär die Genauigkeit des Ergebnisses, was nur begrenzten Einblick darin bietet, wie Modelle sensorische (Vision, Audio) und linguistische Eingaben nutzen, um diese Entscheidungen zu treffen. Bestehende Interpretierbarkeit-Methoden – wie Repräsentationsausrichtung, Attention-Analyse und Modalitäts-Ablation – zeigen auf, wie Modalitäten kodiert werden oder wie sich Vorhersagen unter Perturbationen verschieben. Sie versagen jedoch bei einer Entscheidungsebene-Dekomposition der Modalitätsnutzung. Speziell können sie nicht unterscheiden, ob eine Modalität Informationen beiträgt, die einzigartig sind, mit einer anderen Modalität redundant sind oder synergetisch (nur durch die gemeinsame Beobachtung verfügbar) wirken. Infolgedessen werden verschiedene Formen der multimodalen Interaktion oft unter denselben Genauigkeits- oder Ablationssignalen konfundiert.

2. Methodik

Die Autoren formalisieren das multimodale Denken als ein Informationszerlegungsproblem auf Entscheidungsebene unter Verwendung der Partiellen Informationszerlegung (PID).

2.1. Decision-Level PID Framework

Im Gegensatz zu vorangegangenen Arbeiten, die latente Repräsentationen analysieren, berechnet dieses Framework Informationsmetriken über modellinduzierte prädiktive Verteilungen.

Bi-modale Formulierung: Für Vision-Language-Modelle wird die wechselseitige Information (Mutual Information) zwischen der Vorhersage $Y$ $Y$ und den Eingaben (Vision $X_v$ $X_{v}$ , Text $X_t$ $X_{t}$ ) in vier nicht-negative Komponenten zerlegt:
- $U_{vis}$ : Information, die einzigartig für die Vision ist.
- $U_{txt}$ : Information, die einzigartig für den Text ist.
- $R_{vl}$ : Redundante Information, die von beiden geteilt wird.
- $S_{vl}$ : Synergetische Information, die nur aus der gemeinsamen Beobachtung entsteht.
Sensory PID (Tri-modal): Für omni-modale Modelle (Video $V$ , Audio $A$ , Text $T$ ) führen die Autoren eine konditionale Formulierung ein, die Sprache als direktives Steuersignal behandelt. Dies zerlegt den sensorischen Informationsgewinn $I(Y; V, A | T)$ in die Komponenten einzigartige visuelle Information ( $U_{vis}$ ), einzigartige Audio-Information ( $U_{aud}$ ), redundante sensorische Information ( $R_{sens}$ ) und sensorische Synergie ( $S_{av}$ ). Dies vermeidet eine kombinatorische Expansion und bewahrt dennoch die funktionale Unterscheidung zwischen Aufgabenstellung (Sprache) und sensorischer Evidenz.

2.2. Schätzungs-Pipeline

Um PID aus hochdimensionalen kontinuierlichen Hidden States zu schätzen, ohne das MLLM neu zu trainieren, verwenden die Autoren:

Kalibrierte Embedding-Maskierung: Um unimodale Konditionale (z. B. $P(Y|X_v)$ ) zu approximieren, ersetzen sie die maskierten Modalitäts-Token-Embeddings durch kalibriertes Gaußsches Rauschen, wodurch die Verteilungsstatistiken erhalten bleiben, während die instanzspezifische Information entfernt wird.
BATCH-Estimator: Sie nutzen den BATCH-Estimator (Liang et al., 2023), um eine Sinkhorn-normalisierte Kopplung $\tilde{Q}$ zu lernen, die die Quell-Ziel-Marginalverteilungen bewahrt, was eine handhabbare Optimierung der PID-Terme über kontinuierliche Variablen ermöglicht.
Lokale Diagnostik-Scores: Das Framework lässt sich auf pro-Sample additive Beiträge erweitern, was die Identifizierung von „Synergie-Gap“-Samples (hohes Fusionspotenzial, geringe aktuelle Synergie) und „Shortcut“-Samples (starke Abhängigkeit von Text-Einzigartigkeit) ermöglicht.

3. Zentrale Beiträge

Decision-Level PID für MLLMs: Eine Formalisierung der Modalitätsinteraktion als Informationszerlegungsproblem, das einzigartige, redundante und synergetische Beiträge trennt, die mittels Repräsentationsähnlichkeit oder Ablation allein nicht identifizierbar sind.
Sensory PID für Omni-modale Modelle: Eine konditionale PID-Formulierung, die Sprache als Steuersignal behandelt, um die Video-Audio-Informationsgewinne zu zerlegen, was eine prinzipielle Analyse des tri-modalen Entscheidungsverhaltens ermöglicht.
Diagnostische, prädiktive und handlungsorientierte Erkenntnisse:
- Modalitätsnutzungs-Profile: Identifizierung wiederkehrender Muster, bei denen Reasoning-/Grounding-Aufgaben eine hohe Synergie hervorrufen, während Experten-/Wissensaufgaben eine starke Abhängigkeit von Text-Einzigartigkeit zeigen.
- Prädiktive Validität: PID-Terme sagen die Sensitivität gegenüber Modalitäts-Interventionen (z. B. Entfernen des Bildes) voraus.
- Sensory Synergy Bottleneck: Entdeckung, dass omni-modale Modelle selbst bei Aufgaben, die explizit eine Audio-Visuelle Fusion erfordern, weiterhin von visuellen Informationen dominiert werden.
- Layer-Wise Dynamik: Belege dafür, dass die Cross-Modal-Fusion ein Phänomen der späten Phasen ist, wobei Synergie primär in den finalen Layern des Netzwerks entsteht.
PID-gestützte Umgewichtung (Reweighting): Eine Proof-of-Concept-Trainingsstrategie unter Verwendung lokaler Diagnostik-Scores zur Umgewichtung von Samples während des LoRA-Fine-Tunings, indem unter-synergetische Samples höher gewichtet und Language-Shortcut-Samples niedriger gewichtet werden.

4. Experimentelle Ergebnisse

4.1. Vision-Language-Analyse

Über 20 Modelle und 6 Benchmarks hinweg offenbarte PID zwei distinkte Regime:

Synergie-dominiert: Benchmarks wie MMBench, MMStar und POPE (Grounding) weisen ein hohes $S_{vl}$ und eine starke Abhängigkeit von visuellem Input auf.
Text-Prior-dominiert: Benchmarks wie MMMU, PMC-VQA und Reefknot weisen ein hohes $U_{txt}$ auf und reagieren weitgehend unempfindlich auf die Entfernung der visuellen Komponente.
Modellfamilien: Qwen, InternVL3 und LLaVA-OV Familien neigen eher zu gemeinsamer Modalitätsabhängigkeit, während Gemma3 und Cambrian eher Text-Prior-abhängig sind. Skalierung verstärkt diese bestehenden Profile eher, als sie zu eliminieren.
Vorhersage: $S_{vl}$ korreliert stark mit der Genauigkeit und der Sensitivität gegenüber der Entfernung der Vision bei Synergie-getriebenen Aufgaben ( $\rho \geq 0.798$ ), während $U_{txt}$ aussagekräftiger für Prior-dominante Aufgaben ist.

4.2. Omni-modale Analyse

Auf dem MUSIC-AVQA Benchmark (speziell der AV-Fusion Subset):

Sensory Synergy Bottleneck: Trotz Aufgaben, die auf gemeinsames Reasoning ausgelegt sind, bleibt $S_{av}$ eine untergeordnete Komponente. Entscheidungen werden von unimodaler Information dominiert, insbesondere der visuellen ( $U_{vis} > U_{aud}$ ).
Visuelle Hegemonie: Funktionale Validierung via Sample-Shuffling bestätigte, dass Modelle bei visueller Fehlausrichtung größere Leistungseinbußen erleiden als bei Audio-Fehlausrichtung.
Instruction Gating: Die Layer-weise Analyse zeigte, dass Sprach-Prompts als Steuersignale fungieren; das Abschwächen von fusionsfordernden Instruktionen reduziert die sensorische Synergie in den späten Layern signifikant.

4.3. PID-gestützte Umgewichtung

Anwendung der PID-abgeleiteten lokalen Scores auf das LoRA-Fine-Tuning von Qwen2.5-VL-7B:

Leistungssteigerung: Die PID-gestützte Umgewichtung verbesserte die Reasoning- und Grounding-Leistung (z. B. +2.3 bei MMStar, +1.3 bei POPE) im Vergleich zu Uniform-Fine-Tuning und Baselines (Random, Accuracy-basiert, Ablation-basiert).
Profilverschiebung: Die Post-Tuning-Diagnostik zeigte eine Verschiebung hin zu höherer Synergie ( $S_{vl}$ Anteil stieg von 67,5 % auf 73,9 %) und geringerer Text-Einzigartigkeit, was die Fähigkeit der Methode bestätigt, das Modellverhalten zu steuern.

5. Bedeutung und Ansprüche

Das Paper positioniert PID nicht bloß als Post-hoc-Interpretierbarkeitstool, sondern als einen praktischen Signalgeber zur Diagnose und Steuerung der multimodalen Fusion.

Jenseits der Genauigkeit: Die Autoren behaupten, dass die totale wechselseitige Information zwar die Gesamtleistung verfolgt, aber versagt, die Sensitivität gegenüber Interventionen zu erfassen; die PID-Dekomposition ist notwendig, um zu verstehen, wie Information genutzt wird.
Mechanistischer Einblick: Die Ergebnisse legen nahe, dass aktuelle omni-modale Modelle ein „Visual-First“-Rechenmuster aufweisen, bei dem die kreuz-sensorische Integration verzögert und durch Sprachinstruktionen gesteuert wird, anstatt ein persistentes Merkmal der intermediären Repräsentationen zu sein.
Handlungsfähigkeit: Die Studie liefert erste Belege dafür, dass lokale Diagnostik-Scores als handlungsfähige Signale dienen können, um die multimodale Fusion zu stärken, was einen Weg eröffnet, Reasoning und Grounding zu verbessern, ohne ein vollständiges Retraining des Modells durchzuführen.

Die Autoren bleiben bescheiden und merken an, dass ihr Umgewichtungsansatz ein Proof-of-Concept ist und dass PID statistische Abhängigkeiten misst, aber keine kausalen Mechanismen. Sie räumen Einschränkungen hinsichtlich des diskreten Entscheidungsraums (Multiple-Choice) und der Approximation unimodaler Konditionale via Maskierung ein.