💻 computer science

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

Dieses Paper stellt Mixture of Probes (MoP) vor, ein neuartiges Framework, das privilegierte Modalitäten, die nur während des Trainings verfügbar sind, nutzt, um Multimodale Large Language Models durch die Entkopplung modalitätsspezifischer und allgemeiner Signale mittels strukturierten Probings und einer spezialisierten kreuzmodalen Trainingsstrategie signifikant zu verbessern, wodurch selbst bei Abwesenheit von Hilfsmodalitäten während der Inferenz erhebliche Leistungssteigerungen erzielt werden.

Ursprüngliche Autoren: Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

Veröffentlicht 2026-07-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen superintelligenten Roboter, um die Welt zu verstehen. Normalerweise würden Sie ihm eine Kamera, ein Mikrofon und vielleicht sogar einen 3D-Tiefensensor auf einmal geben, in der Hoffnung, dass er lernt, alles perfekt zu sehen, zu hören und zu fühlen. Aber hier ist der Haken: In der realen Welt hat dieser Roboter, wenn er hinausgeht, um seinen Job zu erledigen, vielleicht nur eine einfache Kamera. Er wird nicht mehr den schicken 3D-Sensor oder das hochwertige Mikrofon haben.

Dies ist das Problem der „privilegierten Modalität“ (privileged modality). Sie haben während des Trainings all diese schicken Werkzeuge, aber während des eigentlichen Tests verfügen Sie nur über ein einziges einfaches Werkzeug.

Der alte Weg: Ein verwirrter Mixer

Die meisten aktuellen KI-Modelle versuchen, dieses Problem zu lösen, indem sie einfach alle Daten (Video, Audio, Tiefe) in einen großen Mixer werfen und hoffen, dass daraus ein perfekter Smoothie wird. Sie behandeln jeden Sensor so, als wäre er nur eine andere Geschmacksrichtung derselben Zutat.

Das Paper argumentiert, dass dieser Ansatz scheitert. Es legt nahe, dass das bloße Vermischen von allem nicht dabei hilft, dem Roboter beizubringen, wie er den schicken 3D-Sensor nutzt, um später besser mit der einfachen Kamera umzugehen. Tatsächlich stellten die Autoren fest, dass das Training mit allen diesen Sensoren gleichzeitig oft schlechter abschneidet als das Training mit nur einem einzigen Sensor, den man tatsächlich verwenden wird. Es ist, als würde man versuchen, Autofahren zu lernen, indem man in einem Cockpit sitzt, an dem gleichzeitig ein Lenkrad, ein Ruder und ein Satz Ruder befestigt sind; man endet einfach nur verwirrt.

Die neue Idee: Die „Mixture of Probes“ (MoP)

Die Autoren schlagen eine neue Methode namens Mixture of Probes (MoP) vor. Anstatt eines Mixers stellen Sie sich MoP als ein Team spezialisierter Detektive vor, die im Gehirn des Robotors arbeiten.

Im Inneren des „Gehirns“ des Roboters (dem Teil, der Bilder und Töne verarbeitet) gibt es Schichten des Denkens, wie die Etagen in einem Wolkenkratzer. Die alten Modelle betrachteten nur das oberste Stockwerk, um Entscheidungen zu treffen. MoP hingegen schickt zwei Arten von Detektiven aus, um jedes Stockwerk zu überprüfen:

Die spezialisierten Detektive (Modalitätsspezifische Probes): Diese Typen sind Experten in nur einer Sache. Ein Detektiv schaut nur auf das Video, ein anderer nur auf das Audio und ein weiterer nur auf die Tiefendaten. Sie lernen die einzigartigen Eigenheiten ihres jeweiligen Sensors kennen.
Die allgemeinen Detektive (Modalitätsgenerelle Probes): Dies sind die „Großdenker“. Sie schauen auf alle Sensoren, um die gemeinsamen Wahrheiten zu finden, die für alles gelten, unabhängig davon, ob es sich um Ton oder Sicht handelt.

Das Geheimrezept: Die Trennung bewahren

Dies ist der wichtigste Teil: Das Paper argumentiert ausdrücklich, dass man diese beiden Arten von Detektiven getrennt halten muss. Wenn sie anfangen, zu viel miteinander zu reden oder sich gegenseitig die Notizen abzuschreiben, kollabieren sie zu einer langweiligen, generischen Gruppe, die nichts Neues lernt.

Um dies zu verhindern, haben die Autoren eine spezielle Regel erfunden, die „Probe Disentanglement Loss“ genannt wird. Stellen Sie sich das wie einen strengen Lehrer vor, der ständig die Notizbücher der Detektive kontrolliert. Wenn der „Video-Detektiv“ anfängt, die gleichen Notizen zu schreiben wie der „Audio-Detektiv“, klatscht der Lehrer ihm auf die Hand und sagt: „Nein! Du musst herausfinden, was dich einzigartig macht!“ Dies zwingt den Roboter dazu, die einzigartigen Details jedes Sensors strikt von dem allgemeinen Wissen zu trennen, das sie teilen.

Hat es funktioniert? Die Zahlen

Die Autoren testeten dies bei zwei großen Herausforderungen:

Alltagsleben (ADL): Sie trainierten den Roboter mit Ego-Video (was man aus den eigenen Augen sieht), Exo-Video (was eine Kamera aus der Ferne sieht) und Tiefendaten. Dann testeten sie ihn unter Verwendung von jeweils nur einem dieser Sensoren.
Musik: Sie trainierten ihn mit sowohl Audio als auch Video von Musik und testeten ihn dann mit nur Audio oder nur Video.

Die Ergebnisse waren recht eindeutig:

Der „Mixer“-Ansatz (Naive MLLM): Als sie einfach alles ohne die speziellen Detektive vermischten, wurde der Roboter nicht wesentlich besser. Im Test zum Alltagsleben erreichte er etwa 72,96 % bei der Ego-Perspektive.
Der MoP-Ansatz: Mit den spezialisierten und allgemeinen Detektiven, die ihre Notizen getrennt halten, sprang der Roboter bei derselbe Aufgabe auf 79,46 %. Das ist eine Verbesserung um 6,50 % allein durch die Nutzung der zusätzlichen Sensoren während des Trainings!
Noch beeindruckender: Als der Roboter ausschließlich mit dem Tiefensensor getestet wurde (den er zuvor nie allein gesehen hatte), steigerte MoP das Ergebnis von 54,37 % auf 66,21 %. Das ist ein massiver Sprung von 11,84 %.

In den Musiktests übertraf MoP ebenfalls die anderen Methoden und erzielte Gewinne von 5,45 % bei reinen Audio-Tests und 1,64 % bei reinen Video-Tests.

Was das bedeutet (und was es nicht bedeutet)

Das Paper legt nahe, dass wir durch die Trennung von „Spezialisiertem“ und „Generellem“ einen Roboter dazu bringen können, seine schicken Trainingswerkzeuge zu nutzen, um ein Meister seiner einfachen realen Werkzeuge zu werden.

Die Autoren geben jedoch vorsichtig einige Einschränkungen an:

Dies funktioniert nur, wenn der Roboter ein einziges, gemeinsames Gehirn (einen universellen Encoder) verwendet, um alle Sensoren zu verarbeiten. Es funktioniert nicht, wenn der Roboter völlig separate Gehirne für jeden Sensor hat.
Sie haben den Roboter nur getestet, wenn er zum Testzeitpunkt einen Sensor hatte. Sie haben nicht getestet, was passiert, wenn der Roboter am Ende zwei Sensoren besitzt.
Die Ergebnisse basieren auf spezifischen Datensätzen (wie Ego-in-Exo Perception und Music-AVQA). Während die Mathematik dort solide aussieht, ist es eher ein Vorschlag, dass diese Methode auch anderswo funktionieren könnte, und keine Garantie für jeden einzelnen Roboter der Welt.

Kurz gesagt: Wenn Sie möchten, dass Ihre KI mit begrenzten Mitteln intelligent ist, füttern Sie sie nicht einfach mit allem und hoffen Sie auf das Beste. Geben Sie ihr ein Team aus Spezialisten und einem Generalisten, stellen Sie sicher, dass sie sich nicht gegenseitig kopieren, und lassen Sie sie von den schicken Werkzeugen lernen, damit sie mit den einfachen Werkzeugen glänzen können.

Technisches Resümee: Mixture of Probes (MoP) für privilegierte Modalitäten in MLLMs

1. Problemformulierung: Die Einstellung privilegierter Modalitäten

Multimodale Large Language Models (MLLMs) werden typischerweise unter der Annahme entwickelt, dass alle während des Trainings verfügbaren Modalitäten (z. B. Video, Tiefe, Audio) auch während der Inferenz zugänglich sind. Die reale Anwendung verletzt diese Annahme jedoch häufig. Ein Modell kann mit reichhaltigen Hilfsströmen (privilegierten Modalitäten) trainiert werden, muss aber zur Testzeit nur eine einzige, kostengünstigere oder zuverlässigere Modalität verwenden. Dieses Szenario wird als Privilegierte Modalitätseinstellung (Privileged Modality Setting) definiert.

Bestehende MLLMs haben in dieser Einstellung Schwierigkeiten, da sie Modalitäten primär als austauschbare Eingaben behandeln, die in einen gemeinsamen Repräsentationsraum ausgerichtet werden sollen. Sie versäumen es, die während des Trainings verfügbaren Hilfsmodalitäten effektiv zu nutzen, um die Leistung der Zielmodalität während der Inferenz zu verbessern. Die Autoren identifizieren zwei zentrale Einschränkungen aktueller Ansätze:

Suboptimale Modalitätsrepräsentationen: Neue Modalitäten werden oft über gemeinsame Encoder integriert, die nur eine begrenzte Anpassung in den finalen Schichten aufweisen, wodurch intermediäre Merkmale vernachlässigt werden, die niederfrequente, modalitätsspezifische Signale erfassen.
Unstrukturierte cross-modale Repräsentationen: Bestehende Methoden verfügen nicht über explizite Mechanismen, um modalitätsgenerische Informationen (über Modalitäten hinweg transferierbar) von modalitätsspezifischen Informationen zu trennen, was den effektiven Wissenstransfer behindert.

2. Methodik: Mixture of Probes (MoP)

Um diese Einschränkungen zu adressieren, schlagen die Autoren Mixture of Probes (MoP) vor, ein Framework, das darauf ausgelegt ist, modalitätsspezifische und modalitätsgenerische Signale innerhalb eines MLLM zu entwirren. Die Kernintuition, die von der Neurowissenschaft und der Modality Focusing Hypothesis inspiriert ist, lautet: Effektiver cross-modaler Transfer erfordert die Bewahrung einzigartiger Modalitätsstrukturen bei gleichzeitiger Isolierung geteilter Abstraktionen.

2.1 Architektur

MoP erweitert eine Standard-MLLM-Architektur (bestehend aus modalitätsspezifischen Tokenizern, einem universellen Modalitäts-Encoder, einem Connector und dem LLM) um einen strukturierten Probing-Mechanismus:

Universeller Modalitäts-Encoder: Ein gemeinsamer Transformer-Encoder verarbeitet die tokenisierten Eingaben aller Modalitäten in einen gemeinsamen latenten Raum.
Lernbare Probes (Learnable Probes): Anstatt sich nur auf die finale Schicht des Encoders zu verlassen, führt MoP zwei Familien von lernbaren Tokens (Probes) ein, die mit den intermediären Repräsentationen des Encoders interagieren:
- Modalitätsspezifische Probes ( $P^m_s$ ): Ein Satz von Probes, die nur auf eine spezifische Modalität $m$ konditioniert sind. Diese erfassen Signale, die einzigartig für diese Modalität sind.
- Modalitätsgenerische Probes ( $P_g$ ): Ein gemeinsamer Satz von Probes, die auf alle Modalitäten konditioniert sind. Diese erfassen strukturelle Informationen, die über Modalitäten hinweg gemeinsam sind.
Schichtweise Interaktion: Beide Probe-Sets werden in jeder Schicht $l$ des Encoders via Cross-Attention mit den Hidden States des Encoders ( $H^m_l$ ) aktualisiert. Die Probes fungieren als Queries, die relevante Merkmale aus den intermediären Repräsentationen extrahieren, die in der finalen Schicht verloren gehen könnten.
Integration: Nach der finalen Encoder-Schicht werden die Probe-Tokens in den Embedding-Raum des LLM projiziert und mit den Standard-Modalitäts-Tokens konkateniert, bevor sie in das LLM eingespeist werden.

2.2 MoP Cross-modal Training (MoP-X)

Um sicherzustellen, dass die Probes distinkte Repräsentationen lernen und den cross-modalen Transfer erleichtern, führen die Autoren eine spezifische Trainingsstrategie ein:

Probe-Entwirrungs-Loss ( $\mathcal{L}_{dis}$ ): Eine Verlustfunktion, die explizit die Ähnlichkeit zwischen modalitätsspezifischen und modalitätsgenerischen Probes sowie zwischen verschiedenen modalitätsspezifischen Probes bestraft. Dies verhindert "Probe Collapse" (bei dem Probes zu identischen Repräsentationen konvergieren) und fördert das Erlernen orthogonaler, spezialisierter Merkmale.
Modalitäts-interleaved Batching: Im Gegensatz zu Methoden, die Modalitäten sequenziell oder isoliert trainieren, konstruiert MoP-X Mini-Batches, indem Beispiele aus mehreren Modalitäten simultan gesampelt werden. Dies stellt sicher, dass gemeinsame Komponenten (wie die modalitätsgenerischen Probes) innerhalb eines einzigen Optimierungsschritts mit heterogenen Signalen konfrontiert werden, was die indirekte cross-modale Interaktion erleichtert.

Das gesamte Trainingsziel kombates den Standard-Autoregressive-Language-Modeling-Loss ( $\mathcal{L}_{AR}$ ) mit dem Entwirrungs-Loss:
$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$

3. Experimentelle Evaluierung

Die Autoren evaluieren MoP über zwei Domänen, acht Aufgaben und vier Modalitäten unter einem strengen Protokoll, bei dem jede Modalität während der Inferenz als alleinige Eingabe behandelt wird.

3.1 Domänen und Benchmarks

Aktivitäten des täglichen Lebens (ADL): Evaluierung auf dem Ego-in-Exo Perception Benchmark. Das Training nutzt egozentisches Video, exozentrisches Video und Tiefe (Depth). Die Inferenz wird separat auf egozentischen, exozentischen und Tiefen-Modalitäten getestet.
Musikverständnis: Evaluierung auf Music-AVQA. Das Training nutzt gepaarte Audio-Visuelle Daten. Die Inferenz wird separat auf Audio- und Video-Modalitäten getestet.

3.2 Baselines

MoP wird verglichen mit:

Unimodales MLLM: Trainiert nur auf der Ziel-Inferenzmodalität.
Naives MLLM: Gemeinsam auf alle Modalitäten trainiert, ohne strukturierte cross-modale Mechanismen.
State-of-the-Art MLLMs: Einschließlich X-InstructBLIP und OneLLM, die auf multimodale Ausrichtung fokussieren.

3.3 Kernergebnisse

Überlegene Leistung: MoP übertrifft konsistent alle Baselines über alle Inferenzmodalitäten hinweg. Im ADL-Bereich erzielt es in spezifischen Settings (z. B. Tiefen-Inferenz) eine bis zu 65% relative Verbesserung gegenüber starken Baselines.
Effektives Privileged Learning: Im Gegensatz zum Naiven MLLM, das oft keine Verbesserung gegenüber unimodalen Baselines zeigt, wenn es auf mehreren Modalitäten trainiert wurde, nutzt MoP Hilfsmodalitäten erfolgreich, um die Single-Modality-Performance zu steigen.
Ablationsstudien:
- Probe-Typen: Das Entfernen entweder der modalitätsspezifischen oder der modalitätsgenerischen Probes verschlechtert die Leistung, was die Notwendigkeit beider bestätigt.
- Entwirrungs-Loss: Der Loss ist entscheidend; ohne ihn kollabiert die Varianz der Probes und die Leistung sinkt signifikant.
- Probing-Tiefe: Das Probing in jeder Encoder-Schicht liefert die besten Ergebnisse, was auf den Nutzen der Signalextraktion über die gesamte Tiefe des Modells hindeutet.
- Daten-Skalierung: MoP zeigt konsistente Leistungssteigerungen bei Skalierung der Trainingsdaten, während Naive MLLMs abnehmende Grenzerträge aufweisen.

4. Beiträge und Bedeutung

Das Paper beansprucht folgende Beiträge:

Formalisierung der Privileged Modality Einstellung: Die Autoren formalisieren das Szenario, in dem Hilfsmodalitäten das Training bereichern, aber bei der Inferenz fehlen, und zeigen auf, dass Standard-Multimodal-Training dieses Asymmetrie-Verhältnis nicht ausnutzt.
Mixture of Probes (MoP): Eine neuartige Architektur, die durch strukturiertes Probing über die Tiefe eines universellen Encoders entkoppelte Repräsentationen lernt und dabei modalitätsspezifische Signale von modalitätsgenerischen Abstraktionen trennt.
MoP Cross-modal Training (MoP-X): Eine Trainingsstrategie mit einem Probe-Entwirrungs-Loss und Interleaved Batching, um die Trennung der Repräsentationen zu erzwingen und die cross-modale Interaktion zu fördern.
Empirische Validierung: Umfassende Evaluierung, die zeigt, dass Hilfsmodalitäten, wenn sie via MoP korrekt genutzt werden, die Single-Modality-Inferenzleistung erheblich verbessern können und sowohl unimodale Modelle als auch bestehende Methoden zur multimodalen Ausrichtung übertreffen.

Bedeutung: Die Arbeit fordert das vorherrschende Paradigma heraus, Modalitäten lediglich als austauschbare Eingaben für die Ausrichtung zu betrachten. Stattdessen postuliert sie, dass der Schlüssel zur Nutzung privilegierter Informationen darin liegt, das Modell explizit so zu strukturieren, dass es zwischen dem, was einzigartig für eine Modalität ist, und dem, was geteilt wird, unterscheidet. Dies ermöglicht es MLLMs, von reichhaltigen, bei der Inferenz nicht verfügbaren Daten zu "lernen", um in beschränkten Single-Modality-Deployment-Szenarien robuster und fähiger zu werden.

Limitierungen: Die Autoren merken an, dass MoP derzeit einen universellen Modalitäts-Encoder voraussetzt und sich nicht direkt auf heterogene, modalitätsspezifische Encoder erweitern lässt. Zudem konzentriert sich die Studie strikt auf das Single-Modality-Inferenz-Szenario, was Multi-Modality-Inferenz-Szenarien für zukünftige Arbeiten offen lässt.