COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

1. Il Problema: Robustezza nella Sensoristica Multimodale

I sistemi di sensing multimodale (che combinano sensori come WiFi, radar mmWave, RFID, telecamere RGB e LiDAR) sono fondamentali per il riconoscimento delle attività umane (HAR). Tuttavia, in scenari reali, uno o più modali possono diventare indisponibili a causa di guasti dei sensori, occlusioni, vincoli energetici o restrizioni sulla privacy.

Le soluzioni esistenti affrontano questo problema in due modi principali, entrambi con limiti strutturali:

1. Adattamento al sottoinsieme osservato: I metodi attuali spesso eliminano i rami mancanti o utilizzano moduli di fusione dipendenti dal sottoinsieme di input. Questo crea un mismatch dell'interfaccia di fusione: il modello è addestrato su un numero fisso di input, ma durante l'inferenza riceve strutture di input variabili, portando a interazioni cross-modali incomplete.
2. Imputazione delle caratteristiche: Alcuni metodi tentano di ricostruire le feature mancanti. Tuttavia, le feature generate potrebbero essere plausibili nello spazio delle caratteristiche ma non compatibili con il pattern di interazione atteso dal "testa di fusione" (fusion head).

Il paper identifica il problema non solo come una perdita di informazioni, ma come un problema di disallineamento dell'interfaccia di fusione.

2. Metodologia: Il Framework COMPASS

COMPASS (Complete Multimodal Fusion via Proxy Tokens and Shared Spaces) propone un principio di completezza della fusione: l'interfaccia di fusione riceve sempre un input multimodale fisso di $N$ slot, indipendentemente dalle modalità mancanti. Ogni slot è popolato da esattamente un token: o un token reale da una modalità osservata, o un token proxy generato per una modalità mancante.

L'architettura si articola in quattro fasi principali:

A. Codifica e Proiezione in Spazio Condiviso

Ogni modalità $v_m$ viene elaborata da un encoder specifico ($E_m$) e proiettata in uno spazio latente condiviso tramite testine di proiezione ($P_m$). Questo garantisce che tutte le modalità, indipendentemente dalla loro natura originale (es. immagini vs segnali RF), condividano la stessa dimensione di embedding e lo stesso numero di token ($L$). Viene inoltre calcolato un token globale ($\bar{z}_m$) per ogni modalità tramite media pooling.

B. Generazione di Proxy Tokens

Quando una modalità target $v_j$ è mancante, COMPASS sintetizza un token proxy specifico per quel target utilizzando le modalità osservate ($O$):

• Vengono utilizzati generatori diretti da sorgente a target ($G_{i \to j}$) per ogni coppia di modalità osservata-mancante.
• Ogni generatore è un singolo strato Transformer con una query proxy apprendibile. Prende in input la sequenza di token della modalità sorgente e genera un token proxy $\hat{t}_{i \to j}$.
• Se più modalità sono osservate, i loro proxy specifici vengono aggregati (mediando) per formare un unico token di sostituzione $\hat{t}_j$ per lo slot mancante.
• Questo approccio è asimmetrico: la generazione da $A$ a $B$ è diversa da $B$ a $A$, permettendo una maggiore espressività rispetto a generatori condivisi.

C. Fusione Fissa

Una volta popolati tutti gli $N$ slot (con token reali o proxy), la fusione avviene tramite una semplice somma elementare dei token globali. Questo mantiene l'interfaccia di fusione identica in tutti gli scenari di missingness, eliminando la necessità di adattare la logica di fusione.

D. Strategia di Addestramento

Per garantire che i proxy siano sia rappresentativamente compatibili che informativi per il compito, viene utilizzata una strategia di addestramento a tre livelli:

1. Proxy Alignment Loss ($L_{align}$): Durante l'addestramento, le modalità vengono mascherate sinteticamente. I proxy generati sono allineati ai token globali reali della modalità mancante (disponibili come supervisione).
2. Regularizzazione dello Spazio Condiviso ($L_{ss}$): Utilizza la loss VICReg sui token globali delle modalità osservate per garantire che lo spazio latente abbia una geometria adatta al trasferimento cross-modale (invarianza, varianza e decorrelazione), prevenendo il collasso delle rappresentazioni.
3. Per-Proxy Discriminative Loss ($L_{proxy}$): Ogni token proxy generato viene sottoposto alla stessa testa di compito (task head) per garantire che sia individualmente informativo per la classificazione, non solo geometricamente simile al target.

3. Contributi Chiave

• Formulazione del problema: Ridefinisce la fusione multimodale con modalità mancanti come un problema di preservazione dell'interfaccia di fusione completa (slot-complete), invece di adattare la fusione al sottoinsieme osservato.
• Architettura COMPASS: Introduce un framework basato su proxy che popola ogni slot mancante utilizzando generatori diretti sorgente-target in uno spazio latente condiviso.
• Strategia di addestramento ibrida: Combina allineamento proxy, regolarizzazione geometrica dello spazio condiviso e supervisione discriminativa per creare proxy robusti.
• Validazione estensiva: Dimostra l'efficacia su tre benchmark di sensing ubiquitario (XRF55, MM-Fi, OctoNet) in scenari con singola e multipla modalità mancante.

4. Risultati Sperimentali

Il framework è stato valutato su tre dataset per il riconoscimento delle attività umane (HAR):

• MM-Fi: 5 modalità (RGB, Depth, LiDAR, Radar, WiFi).
• XRF55: 3 modalità (Radar, WiFi, RFID).
• OctoNet: 5 modalità non visive (IMU, UWB, WiFi, ToF, mmWave).

Prestazioni:

• COMPASS supera significativamente i baseline (incluso X-Fi e metodi di fusione a branch-skipping) nella maggior parte degli scenari.
• XRF55: Media su 7 scenari del 84.6% vs 72.1% di X-Fi. Il miglioramento è drastico negli scenari difficili (es. WiFi+RFID senza Radar: 86.3% vs 58.1% di X-Fi).
• MM-Fi: Media su 15 combinazioni del 70.6% vs 62.5% di X-Fi.
• OctoNet: COMPASS vince o pareggia in 30 su 31 combinazioni di modalità. Migliora la media delle modalità singole e doppie di fino a 28 e 11 punti percentuali rispetto a X-Fi.
• Efficienza: Nonostante le dimensioni del modello siano simili a X-Fi (~34M parametri), COMPASS è 1.9x - 2.6x più veloce in inferenza grazie all'assenza di strati di attenzione complessi nella fase di fusione (usa una semplice somma).

Analisi Geometrica:
L'analisi delle rappresentazioni mostra che COMPASS allinea efficacemente le modalità diverse nello spazio latente (riducendo i confini tra modalità) mantenendo al contempo una forte separazione tra le classi, a differenza di X-Fi che tende a mantenere le modalità separate.

5. Significato e Conclusioni

COMPASS dimostra che preservare un'interfaccia di fusione modale-completa è un principio di progettazione semplice ma potente per la robustezza nei sistemi di sensing.

• Vantaggi: Elimina la complessità di gestire input variabili, garantisce che il modello di fusione veda sempre la stessa struttura, e permette di sfruttare le informazioni incrociate anche quando le modalità sono deboli o mancanti.
• Limitazioni: La fusione per somma non modella interazioni cross-modali complesse (sebbene i risultati suggeriscano che non sia necessaria). Le modalità intrinsecamente deboli (come l'RFID da solo) rimangono una sfida, poiché un allineamento troppo forte può erodere la discriminabilità specifica della modalità.

In sintesi, COMPASS offre una soluzione robusta ed efficiente per l'adattamento ai guasti dei sensori nell'Internet of Things (IoT) e nell'ambiente intelligente, superando i limiti dei metodi attuali basati sull'adattamento dinamico o sulla semplice imputazione.