💻 computer science

COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

Het paper introduceert COMPASS, een robuust multimodaal fusieframework dat het probleem van ontbrekende modaliteiten oplost door proxy-tokens te genereren in een gedeelde latente ruimte, zodat de fusie-interfaces altijd compleet blijven en de prestaties verbeteren.

Oorspronkelijke auteurs: Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

COMPASS: De "Vaste Tafel" voor Sensoren die Altijd Weten wie er Ontbreekt

Stel je voor dat je een team hebt van vier specialisten die samen een raadsel moeten oplossen: een camera (die ziet), een radar (die voelt), een WiFi-sensor (die hoort) en een RFID-chip (die ruikt). Samen zijn ze onverslaanbaar. Maar in het echte leven gaat er altijd wel iets mis. Misschien is de camera kapot, zit de radar onder de modder, of is de WiFi weggevallen.

De meeste bestaande systemen doen dan alsof het team niet bestaat. Als de camera weg is, proberen ze het probleem op te lossen met alleen de radar. Het probleem? Hun "hoofd" (de software die alles samenvoegt) is getraind om met vier mensen te werken. Als er plotseling maar drie zijn, raakt het hoofd in de war. Het is alsof je een orkest hebt dat getraind is om met vier instrumenten te spelen, en als er één wegvalt, proberen ze het liedje te spelen met drie instrumenten. Het klinkt vaak rommelig en onvolledig.

Het idee van COMPASS

De onderzoekers van dit paper (COMPASS) hebben een slimme oplossing bedacht. In plaats van het orkest aan te passen aan wie er aanwezig is, houden ze de tafel altijd vol.

Ze zeggen: "Ongeacht welke sensoren er kapot zijn, de 'hoofd-tafel' krijgt altijd precies vier stoelen bezet."

Hoe doen ze dat? Ze gebruiken Proxy Tokens (laten we ze 'Stellanten' noemen).

De Stellanten: Als de camera (de specialist) ontbreekt, laten de andere sensoren (bijvoorbeeld de radar) een 'stellaantje' naar de camera-stoel lopen. Dit stellaantje is een slimme, virtuele kopie van wat de camera zou hebben gezien, gebaseerd op wat de radar ziet.
De Vaste Tafel: De software die alles samenvoegt, ziet dus altijd vier stoelen bezet. Soms zitten er echte mensen, soms zitten er slimme stellanten. Voor de software maakt het niet uit; de tafel is altijd compleet.

Hoe werkt het precies? (De Magie)

Om deze stellanten zo goed mogelijk te maken, gebruiken ze drie trucs:

De Vertaaltafel (Shared Space): Alle sensoren praten eerst een andere taal. De radar spreekt "Radar-ese" en de camera spreekt "Camera-ese". COMPASS zorgt ervoor dat ze allemaal naar een gemeenschappelijke "Vertaaltafel" gaan. Hierdoor kan de radar makkelijk een berichtje sturen naar de camera-stoel, omdat ze nu allemaal in dezelfde taal praten.
De Spiegel (Proxy Alignment): Tijdens het leren (training) laten de onderzoekers de sensoren soms "weg" (alsof ze kapot zijn), maar kijken ze in de spiegel naar wat de echte sensor had gezien. De stellant moet dan proberen exact dat beeld te nabootsen. Zo leert het stellaantje: "Als de radar dit ziet, moet mijn camera-stoel dit zien."
De Test (Discriminative Supervision): Het is niet genoeg dat het stellaantje eruitziet als een echte sensor; het moet ook slim zijn. De onderzoekers vragen het stellaantje: "Kun jij met dit beeld al zeggen of iemand valt of loopt?" Als het stellaantje het goed doet, is het goed genoeg om de echte sensor te vervangen.

Waarom is dit zo goed?

In de tests (met datasets als XRF55 en MM-Fi) bleek dit systeem veel sterker dan de oude methoden.

Bij weinig sensoren: Als er maar één of twee sensoren werken, presteert COMPASS veel beter. De stellanten vullen de gaten zo goed op dat het systeem bijna net zo goed werkt als met alle sensoren.
Snelheid: Omdat de software niet hoeft te bedenken "wie er vandaag aanwezig is", maar gewoon altijd met vier stoelen werkt, is het ook nog eens sneller.

De Grootte van het Probleem

Stel je voor dat je een auto hebt die alleen kan rijden als alle vier de wielen er zijn. Als er één wiel weg is, moet je de auto aanpassen om op drie wielen te rijden (dat is wat de oude methoden doen).
COMPASS is als een auto met magische wielen. Als een wiel wegvalt, komt er direct een perfect gevormd, magisch wiel (een proxy) voor in de plaats. De auto rijdt altijd op vier wielen, ongeacht wat er gebeurt.

Conclusie

COMPASS is een slimme manier om ervoor te zorgen dat sensoren nooit in de steek worden gelaten. Door altijd een compleet team te simuleren met behulp van slimme stellanten, blijft het systeem robuust, snel en nauwkeurig, zelfs als de hardware faalt. Het is een bewijs dat je niet hoeft te improviseren als iets ontbreekt; je kunt het gewoon slim vervangen.

Probleemstelling

Multimodale sensoren (zoals WiFi, mmWave-radar, RFID, RGB-camera's en LiDAR) worden steeds vaker gebruikt voor menselijke activiteitsherkenning (HAR). Een groot praktisch probleem is echter dat tijdens de inferentie (het daadwerkelijke gebruik) één of meer modaliteiten vaak ontbreken door sensorstoringen, obstructies, stroombeperkingen of privacyregels.

Bestaande methoden proberen dit op te lossen door:

Afstappen (Branch-skipping): Het simpelweg verwijderen van ontbrekende takken, wat de inputstructuur van de fusie-module verandert.
Subset-afhankelijke fusie: Het aanpassen van de fusiemodule aan de specifieke combinatie van waargenomen modaliteiten.
Imputatie: Het reconstrueren van ontbrekende signalen of features.

De auteurs stellen dat deze benaderingen een fundamenteel structureel probleem negeren: de fusie-module is getraind om een vaste set van modaal-representaties te combineren, maar krijgt tijdens de inferentie een andere inputstructuur. Dit leidt tot een "mismatch" in het fusie-interface, wat resulteert in incomplete fusie en verminderde interactie tussen modaliteiten.

Methodologie: COMPASS

COMPASS (Complete Multimodal Fusion via Proxy Tokens and Shared Spaces) introduceert een nieuw paradigma gebaseerd op het principe van fusievolledigheid. Het doel is om de inputstructuur voor de fusie-module altijd constant te houden, ongeacht welke modaliteiten ontbreken.

De kerncomponenten zijn:

Vaste $N$ -slot Interface:
De fusie-head ontvangt altijd een input van precies $N$ tokens (één per modaal-slot). Als een modaal aanwezig is, wordt de echte token gebruikt; als deze ontbreekt, wordt een gegenereerde proxy-token ingevuld.
Gedeelde Latente Ruimte:
Elke modaal wordt verwerkt door een specifieke encoder en vervolgens geprojecteerd naar een gedeelde latente ruimte. Dit zorgt ervoor dat verschillende modaliteiten compatibele representaties hebben.
Proxy-Generatie (Richting-gebaseerd):
Voor elke ontbrekende doel-modaliteit ( $v_j$ ) worden er vanuit elke waargenomen bron-modaliteit ( $v_i$ ) specifieke proxy-tokens gegenereerd.
- Er worden geleerde generators ( $G_{i \to j}$ ) gebruikt, gebaseerd op een enkele Transformer-laag met een leerbare "proxy query".
- Deze generators synthetiseren een token dat specifiek is voor de doel-modaliteit, gebaseerd op de bron-data.
- Als er meerdere bronnen zijn, worden deze proxy-tokens gemiddeld (aggregatie) tot één enkele vervangingstoken voor het ontbrekende slot.
Trainingsstrategie (Drie niveaus):
Om te zorgen dat de gegenereerde proxies zowel representatief als nuttig zijn voor de taak, worden drie verliesfuncties gecombineerd:
- Proxy Alignment Loss: Zorgt ervoor dat de gegenereerde proxy dicht bij de echte representatie van de doel-modaliteit ligt (tijdens training, waar de echte data nog beschikbaar is via synthetische masking).
- Shared-Space Regularization (VICReg): Reguleert de geometrie van de latente ruimte om te voorkomen dat modaliteiten in elkaar oplossen (collapse) en om een betrouwbare overdracht tussen modaliteiten te garanderen.
- Per-Proxy Discriminative Loss: Een extra taak-specifiek verlies op elke gegenereerde proxy-token, zodat elke token op zichzelf informatief is voor de classificatie, niet alleen in combinatie met anderen.
Fusie:
De uiteindelijke representatie wordt verkregen door de som te nemen van alle $N$ tokens (echte of proxy). Omdat de inputstructuur altijd gelijk is, kan een eenvoudige sommatie worden gebruikt zonder extra leerbare parameters voor de fusie zelf.

Belangrijkste Bijdragen

Formulering als Slot-Volledig Probleem: De auteurs herformuleren het probleem van ontbrekende modaliteiten niet als een kwestie van data-reconstructie of subset-adaptatie, maar als het behoud van een vast fusie-interface.
COMPASS Framework: Een nieuw framework dat ontbrekende slots opvult met proxy-tokens gegenereerd via gerichte, paar-specifieke generators in een gedeelde ruimte.
Drie-niveau Trainingsstrategie: Een unieke combinatie van uitlijning, regularisatie en discriminatieve supervisie om de kwaliteit van proxy-tokens te waarborgen.
Uitgebreide Evaluatie: Toepassing en evaluatie op drie grote benchmarks voor ubiquitair senseren: XRF55, MM-Fi en OctoNet.

Resultaten

COMPASS werd getest op diverse scenario's met enkele en meervoudige ontbrekende modaliteiten en presteerde overtuigend beter dan bestaande methoden (zoals X-Fi en feature-level baselines).

MM-Fi Dataset: COMPASS behaalde een gemiddelde nauwkeurigheid van 70,6% over alle 15 combinaties, vergeleken met 62,5% voor X-Fi. De grootste winst werd geboekt bij combinaties waar proxy's cruciaal waren (bijv. RGB+LiDAR verbeterde met +25,2% ten opzichte van X-Fi).
XRF55 Dataset: COMPASS behaalde 84,6% gemiddeld over 7 scenario's, tegenover 72,1% voor X-Fi. In het moeilijke WiFi+RFID-scenario (waar mmWave ontbreekt) steeg de nauwkeurigheid van 58,1% (X-Fi) naar 86,3%.
OctoNet Dataset: Met 5 modaliteiten en 31 mogelijke combinaties, won of deelde COMPASS in 30 van de 31 gevallen. Vooral bij enkele en dubbele modaliteiten waren de verbeteringen enorm (tot +28% voor enkele modaliteiten).
Efficiëntie: Hoewel het modelgrootte vergelijkbaar is met X-Fi, is COMPASS 1,9x tot 2,6x sneller tijdens inferentie omdat het geen zware cross-attention lagen voor fusie nodig heeft, maar slechts een eenvoudige sommatie.

Betekenis en Conclusie

Het paper toont aan dat het behouden van een modaal-volledig fusie-interface een eenvoudige maar krachtige ontwerpprincipe is voor robuuste multimodale sensoren. Door ontbrekende data niet te negeren of te proberen te reconstrueren tot een perfecte replica, maar te vervangen door taak-informatieve proxy-tokens in een gedeelde ruimte, kan het systeem consistent presteren ongeacht de sensorconfiguratie.

Dit is een belangrijke stap voor de inzet van multimodale systemen in de echte wereld, waar sensoruitval en variabele omstandigheden de norm zijn. De methode lost het probleem van de "mismatch" in de inputstructuur op en biedt een schaalbare, efficiënte oplossing voor robuuste menselijke activiteitsherkenning.

Probleemstelling

Methodologie: COMPASS

Belangrijkste Bijdragen

Resultaten

Betekenis en Conclusie

Meer zoals dit