💻 computer science

COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

Das Paper stellt COMPASS vor, ein Framework für die robuste multimodale Fusion, das fehlende Modalitäten durch synthetisierte Proxy-Token in einem gemeinsamen latenten Raum ersetzt, um eine konsistente Eingabestruktur für den Fusionsteil zu gewährleisten und so die Leistung bei unvollständigen Sensordaten zu verbessern.

Ursprüngliche Autoren: Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

Veröffentlicht 2026-04-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der ein Verbrechen aufklären soll. Um den Täter zu finden, nutzen Sie normalerweise drei verschiedene Werkzeuge: eine Kamera (Bild), ein Mikrofon (Ton) und einen Geruchssensor (Geruch). Wenn alle drei funktionieren, ist es leicht, den Fall zu lösen.

Aber was passiert, wenn das Mikrofon kaputt geht oder der Geruchssensor ausfällt?

Die meisten bisherigen KI-Systeme würden in diesem Fall panisch werden. Sie würden versuchen, das fehlende Werkzeug einfach zu ignorieren und nur mit dem Rest weiterzumachen. Das Problem ist: Das Gehirn des Detektivs (die KI) wurde trainiert, um alle drei Werkzeuge gleichzeitig zu nutzen. Wenn plötzlich nur noch zwei da sind, verwirrt das die KI, und die Lösung wird schlecht. Andere Methoden versuchen, das fehlende Werkzeug künstlich nachzubauen, aber oft ist diese Fälschung so schlecht, dass sie den Detektiv nur noch mehr verwirrt.

COMPASS ist eine neue, clevere Methode, die genau dieses Problem löst. Hier ist die Erklärung, wie es funktioniert, mit ein paar einfachen Vergleichen:

1. Das feste Regal (Der "Fusion Interface")

Stellen Sie sich vor, der Detektiv hat ein festes Regal mit genau drei Fächern: eines für Bilder, eines für Ton und eines für Geruch.

Das alte Problem: Wenn das Mikrofon ausfällt, rückt das Bild in das mittlere Fach, und das Regal sieht plötzlich anders aus. Das Gehirn des Detektivs ist verwirrt, weil es nicht weiß, wo es was suchen soll.
Die COMPASS-Lösung: COMPASS sagt: "Nein, das Regal bleibt immer gleich!" Wenn das Mikrofon fehlt, füllen wir das leere Fach nicht mit einem leeren Raum, sondern mit einem künstlichen Ersatz (einem "Proxy-Token").
Das Ergebnis: Egal, ob alle Werkzeuge da sind oder nur eins – das Regal hat immer drei gefüllte Fächer. Das Gehirn des Detektivs muss sich nie umstellen; es sieht immer das gleiche Muster.

2. Der geschickte Assistent (Die "Proxy Tokens")

Wie füllen wir das leere Fach? Wir benutzen einen geschickten Assistenten.

Wenn das Mikrofon fehlt, schaut sich der Assistent das Bild und den Geruch an.
Er denkt: "Okay, basierend auf dem Bild und dem Geruch, wie würde der Ton wahrscheinlich klingen?"
Er erstellt dann eine künstliche Tonspur, die perfekt in das leere Fach passt.
Das Besondere: Wenn wir zwei Werkzeuge haben (z. B. Bild und Geruch), fragen wir beide nach ihrer Meinung und mischen ihre Antworten zu einer perfekten Ersatz-Tonspur.

3. Die gemeinsame Sprache (Der "Shared Space")

Damit dieser Assistent gut arbeiten kann, müssen alle Werkzeuge eine gemeinsame Sprache sprechen.

Normalerweise sprechen Bilder, Töne und Gerüche verschiedene "Sprachen" (verschiedene Datenformate).
COMPASS übersetzt alle diese Sprachen zuerst in eine neutrale, gemeinsame Geheimsprache.
In dieser gemeinsamen Sprache kann der Assistent leicht verstehen: "Ah, dieses Bild sieht aus wie dieser Ton."
Ohne diese gemeinsame Sprache wäre es wie wenn der Assistent versucht, aus einem deutschen Text einen chinesischen Song zu erraten, ohne Chinesisch zu verstehen.

4. Das Training (Warum es funktioniert)

Wie lernt der Assistent, diese Ersatz-Werkzeuge zu bauen?

Während des Trainings täuschen wir den Assistenten vor, dass Werkzeuge kaputt sind (auch wenn sie eigentlich da sind).
Wir sagen: "Hey, das Mikrofon ist weg! Baue einen Ersatz basierend auf dem Bild!"
Dann vergleichen wir seinen Ersatz mit dem echten Mikrofon und sagen ihm: "Gut, aber noch nicht perfekt. Versuche es besser."
Gleichzeitig sorgen wir dafür, dass der Ersatz nicht nur gut aussieht, sondern auch wirklich hilft, den Fall zu lösen (den Täter zu finden).

Warum ist das so toll?

Robustheit: Wenn Sensoren in der echten Welt ausfallen (z. B. weil ein Handy im Dunkeln ist oder ein Radar gestört wird), funktioniert COMPASS trotzdem hervorragend, weil es die Lücken clever füllt.
Geschwindigkeit: Da das System immer das gleiche Regal nutzt, muss es nicht jedes Mal neu überlegen, wie es die Daten verarbeiten soll. Es ist schneller als die alten Methoden.
Bessere Ergebnisse: Tests mit echten Sensordaten (wie WiFi, Radar und Kameras) zeigen, dass COMPASS viel häufiger den richtigen Fall löst als die Konkurrenz, besonders wenn nur wenige Werkzeuge verfügbar sind.

Zusammengefasst:
COMPASS ist wie ein Detektiv, der nie in Panik gerät, wenn ein Werkzeug ausfällt. Er hat einen genialen Assistenten, der fehlende Informationen aus den vorhandenen Werkzeugen rekonstruiert, damit das Regal immer voll ist und der Fall immer gelöst werden kann.

1. Problemstellung

Das zentrale Problem, das in diesem Paper adressiert wird, ist die Robustheit multimodaler Sensierungssysteme bei fehlenden Modalitäten (Missing Modalities). In realen Szenarien (z. B. intelligente Umgebungen, Human Activity Recognition) sind Sensoren oft nicht verfügbar aufgrund von Ausfällen, Verdeckungen, Energiebeschränkungen oder Datenschutzrichtlinien.

Bisherige Ansätze behandeln dieses Problem meist durch:

Überspringen fehlender Zweige: Das Fusionsmodul passt sich der beobachteten Teilmenge an, was zu einer variierenden Eingabestruktur führt.
Imputation: Fehlende Merkmale werden rekonstruiert, um sie zu ersetzen.

Die Autoren argumentieren, dass diese Methoden ein strukturelles Problem ignorieren: Das Fusionsmodul wird während des Trainings auf eine feste Anzahl von Modalitäten trainiert, erhält aber zur Inferenzzeit eine andere Eingabestruktur (andere Anzahl oder Anordnung der Inputs). Dies führt zu einer Mismatch-Problematik der Fusions-Schnittstelle, die die Kreuzmodal-Interaktion beeinträchtigt und die Leistung verschlechtert.

2. Methodik: Das COMPASS-Framework

COMPASS (Complete Multimodal Fusion via Proxy Tokens and Shared Spaces) löst dieses Problem durch das Prinzip der Fusionsvollständigkeit. Das Ziel ist es, dem Fusionskopf immer eine feste Eingabe mit $N$ Slots (einer Token pro Modalität) zu liefern, unabhängig davon, welche Modalitäten tatsächlich vorhanden sind.

Der Ansatz besteht aus vier Hauptkomponenten:

A. Gemeinsamer latenter Raum und Projektion

Jede Modalität wird durch einen modalitätsspezifischen Encoder verarbeitet.
Die Ausgaben werden über Projektionsköpfe in einen gemeinsamen latenten Raum projiziert.
Für jede Modalität wird ein globaler Token (durch Mittelwertbildung der Token-Sequenz) erzeugt, der als kompakte Repräsentation dient.

B. Proxy-Token-Generierung (Proxy Tokens)

Wenn eine Modalität $v_j$ fehlt, wird für ihren Slot kein Null-Token verwendet, sondern ein generierter Proxy-Token.

Richtungsabhängige Generatoren: Für jedes Paar (beobachtete Quelle $v_i$ $\to$ fehlendes Ziel $v_j$ ) wird ein spezieller Generator $G_{i \to j}$ verwendet. Dies nutzt die Asymmetrie der Kreuzmodal-Informationen.
Architektur: Der Generator ist ein einfacher Transformer (einzelne Schicht) mit einer lernbaren Proxy-Query. Er nimmt die Token-Sequenz der Quelle und die Query als Input und erzeugt einen spezifischen Proxy-Token für die fehlende Modalität.
Aggregation: Wenn mehrere Modalitäten beobachtet werden, werden die einzelnen Proxy-Tokens für das gleiche Ziel gemittelt, um einen einzigen Ersatz-Token zu bilden.

C. Feste Fusions-Schnittstelle

Das Fusionsmodul erhält immer genau $N$ Tokens: echte globale Tokens für beobachtete Modalitäten und aggregierte Proxy-Tokens für fehlende Modalitäten.
Die Fusion erfolgt durch einfache Summation (Addition) aller $N$ Tokens, gefolgt von einer Layer-Normalisierung und einem Task-Head. Dies garantiert, dass die Berechnung bei jedem Muster fehlender Modalitäten identisch ist.

D. Drei-Stufen-Trainingsstrategie

Um sicherzustellen, dass die generierten Proxy-Tokens sowohl strukturell kompatibel als auch aufgabenrelevant sind, werden drei Verlustfunktionen kombiniert:

Proxy-Alignment Loss ( $L_{align}$ ): Zwingt die generierten Proxy-Tokens, sich an die echten globalen Tokens der fehlenden Modalität (die während des Trainings durch synthetisches Maskieren verfügbar sind) anzunähern.
Shared-Space Regularization ( $L_{ss}$ ): Nutzt VICReg, um die Geometrie des latenten Raums zu regulieren. Dies fördert eine invariante Darstellung über Modalitäten hinweg und verhindert einen Kollaps der Repräsentationen, ohne negative Paare zu benötigen.
Per-Proxy Diskriminierender Loss ( $L_{proxy}$ ): Ein Hilfsverlust, der jeden einzelnen Proxy-Token direkt für die Klassifikationsaufgabe optimiert. Dies stellt sicher, dass die Tokens nicht nur geometrisch ähnlich sind, sondern auch informative Merkmale für die Aufgabe enthalten.

3. Wichtige Beiträge

Neue Formulierung: Das Problem fehlender Modalitäten wird als Problem der Erhaltung einer vollständigen Fusions-Schnittstelle neu definiert, anstatt die Fusion an jede Teilmenge anzupassen.
COMPASS-Framework: Einführung eines Proxy-basierten Ansatzes, der fehlende Slots mit Tokens füllt, die aus beobachteten Modalitäten in einem gemeinsamen Raum generiert werden.
Trainingsstrategie: Entwicklung einer dreistufigen Strategie (Alignment, Regularisierung, Diskriminierung), die generierte Tokens sowohl repräsentationsgetreu als auch aufgabenwirksam macht.
Umfassende Evaluation: Auswertung auf drei großen Benchmarks für ubiquitäre Sensierung (XRF55, MM-Fi, OctoNet) unter verschiedenen Szenarien (einzelne und multiple fehlende Modalitäten).

4. Ergebnisse

Die Experimente zeigen, dass COMPASS in der überwiegenden Mehrheit der Szenarien überlegene Ergebnisse liefert:

MM-Fi (5 Modalitäten): COMPASS erreicht eine durchschnittliche Genauigkeit von 70,6 % über alle 15 Kombinationen, verglichen mit 62,5 % für den starken Baseline X-Fi. Besonders große Verbesserungen wurden bei Kombinationen mit schwachen Modalitäten erzielt (z. B. RGB+LiDAR: +25,2 Prozentpunkte).
XRF55 (3 Modalitäten): COMPASS erreicht 84,6 % im Durchschnitt über 7 Szenarien, während X-Fi nur 72,1 % erreicht. Im Szenario „WiFi+RFID" (fehlendes mmWave) steigerte sich die Genauigkeit von 58,1 % (X-Fi) auf 86,3 %.
OctoNet (5 Modalitäten, 31 Kombinationen): COMPASS gewinnt oder gleicht 30 von 31 Kombinationen aus. Die Verbesserungen bei einzelnen und dualen Modalitäten liegen bei bis zu 28 Prozentpunkten gegenüber X-Fi.
Effizienz: Obwohl die Modellgröße ähnlich ist, ist COMPASS aufgrund der Summen-Fusion (keine aufwendigen Attention-Schichten im Fusionskopf) 1,9- bis 2,6-mal schneller als X-Fi.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Aufrechterhaltung einer modality-kompletten Schnittstelle ein einfaches, aber hochwirksames Designprinzip für robuste multimodale Sensierung ist.

Geometrische Analyse: Die Visualisierungen zeigen, dass COMPASS Modalitäten in einen stark ausgerichteten gemeinsamen Raum bringt, während X-Fi die Modalitäten getrennt hält. Dies ist entscheidend, damit Proxy-Tokens zuverlässig fehlende Informationen ersetzen können.
Praktische Relevanz: Der Ansatz eliminiert die Notwendigkeit, für jede mögliche Kombination von Sensoren separate Modelle zu trainieren oder komplexe adaptive Fusionsmechanismen zu verwenden.
Einschränkungen: Die einfache Summen-Fusion modelliert keine komplexen nicht-linearen Interaktionen zwischen Modalitäten. Zudem bleibt die Genauigkeit bei rein schwachen Modalitäten (z. B. nur RFID) begrenzt, da eine zu starke Ausrichtung die modalitätsspezifischen diskriminativen Merkmale verwischen kann.

Zusammenfassend bietet COMPASS einen robusten, effizienten und skalierbaren Weg, um multimodale Systeme gegen Sensorausfälle abzusichern, indem es die Lücke zwischen Trainings- und Inferenzstruktur schließt.