Riepilogo Tecnico: VCR: Apprendimento di una Rappresentazione Contestuale Validata per Segnali Indossabili Incompleti

1. Enunciato del Problema

I dispositivi indossabili offrono un monitoraggio sanitario continuo e non invasivo attraverso segnali multimodali (ad es. PPG, EDA, ACC, TEMP). Tuttavia, il dispiegamento nel mondo reale è ostacolato da due sfide accoppiate:

1. Scarsità di Etichette: I compiti sanitari a valle (riconoscimento delle emozioni, stadiamento del sonno, riconoscimento delle attività) soffrono della mancanza di dati etichettati.
2. Assenza di Modalità: I sensori si disattivano frequentemente a causa di vincoli hardware, comportamento dell'utente (ad es. disattivazione del PPG per risparmiare energia) o limitazioni del dispositivo. Ciò comporta un'"assenza strutturale", dove un'intera modalità è assente per una data finestra temporale.

Gli approcci esistenti di apprendimento auto-supervisionato (SSL) spesso assumono la piena disponibilità delle modalità durante il preaddestramento. Quando adattati a scenari di assenza, i metodi attuali tentano tipicamente di ricostruire l'intero segnale assente. Gli autori sostengono che ciò sia errato perché i dettagli specifici della modalità (ad es. pattern di rumore specifici o derive fisiologiche uniche) sono spesso non identificabili dai sensori rimanenti. Costringere un modello a ricostruire questi dettagli non osservabili incoraggia l'"allucinazione" — la generazione di dati plausibili ma non fondati che iniettano rumore nelle rappresentazioni apprese, degradando di conseguenza la robustezza.

2. Metodologia: Il Framework VCR

Gli autori propongono VCR (Valid Contextual Representation), un framework auto-supervisionato a due stadi progettato per apprendere rappresentazioni robuste all'assenza di modalità senza allucinare dettagli non osservabili.

A. Tokenizzatore Ortogonale (Stadio 1)

Il primo stadio si concentra sulla disaccoppiamento. L'ipotesi di base è che l'informazione latente di qualsiasi modalità possa essere separata in:

• Semantica Condivisa ($s$): Informazioni correlate tra le modalità (ad es. pattern della frequenza cardiaca visibili sia nel PPG che nell'ACC).
• Residui Specifici della Modalità ($p$): Informazioni uniche non inferibili da altri sensori (ad es. deriva dell'impedenza cutanea nell'EDA).

Per imporre una separazione rigorosa e prevenire la fuoriuscita di informazioni, VCR impiega un Tokenizzatore Geometrico Ortogonale:

• Rettifica e Whitening: Un adattatore residuo leggero rettifica gli embedding dell'encoder, seguito da un processo di whitening per approssimare una matrice di covarianza identità.
• Proiezione Ortogonale: Una matrice di parametri apprendibile subisce una decomposizione QR per formare una base ortonormale. Questa base definisce un operatore di proiezione $P$ che separa rigorosamente l'embedding in un sottospazio condiviso ($s = Ph$) e un sottospazio residuo specifico ($p = (I-P)h$).
• Indipendenza Statistica: Sotto l'assunzione di rappresentazioni latenti distribuite secondo una Gaussiana, questa ortogonalità geometrica garantisce l'indipendenza statistica ($I(s; p) \approx 0$).
• Ottimizzazione Ibrida: Il tokenizzatore viene addestrato utilizzando:
  • Perdita Contrastiva Cross-Modalità: Applicata solo a $s$ per allineare le semantiche condivise tra le modalità.
  • Ricostruzione Intra-Modalità: Applicata solo a $p$ per preservare i dettagli unici.
  • Regolarizzazione Whitening: Per mantenere la condizione di indipendenza.

B. Backbone MoE Consapevole dell'Assenza (Stadio 2)

Il secondo stadio elabora i token dal tokenizzatore per apprendere rappresentazioni contestuali sotto pattern di disponibilità variabili.

• Architettura: Un backbone Mixture-of-Experts (MoE) sparso. Vengono iniettati embedding di partizione apprendibili per identificare esplicitamente l'origine della modalità e il tipo di componente ($s$ vs $p$) di ciascun token.
• Instradamento: Il router attiva dinamicamente esperti diversi in base all'insieme di modalità osservate, consentendo al modello di specializzarsi in combinazioni specifiche di modalità senza interferenze dai dati mancanti.
• Obiettivi di Addestramento (Ricostruzione Mascherata):
  • Mascheramento Casuale: Mascheramento standard di patch sulle modalità disponibili per ricostruire sia $s$ che $p$.
  • Mascheramento Strutturale: Vengono eliminate intere modalità. Crucialmente, l'obiettivo di ricostruzione è consapevole della validità:
    • Se una modalità è mancante, il modello ricostruisce solo il suo componente condiviso ($s$), escludendo esplicitamente il componente specifico non inferibile ($p$).
    • Se più modalità sono mancanti, la ricostruzione per quelle modalità viene completamente saltata, poiché anche i componenti condivisi potrebbero essere non inferibili.
  • Questo design impedisce al modello di essere costretto ad allucinare dettagli non osservabili.

3. Contributi Chiave

1. Apprendimento Consapevole della Validità: L'introduzione di un tokenizzatore ortogonale che disaccoppia strutturalmente i componenti condivisi e specifici. Ciò consente un obiettivo di ricostruzione che mira solo alle informazioni inferibili, mitigando efficacemente i completamenti simili ad allucinazioni.
2. Backbone MoE Consapevole dell'Assenza: Un'architettura sparsa con embedding di partizione apprendibili che adatta il calcolo a diversi pattern di disponibilità delle modalità, evitando il rumore introdotto dallo zero-padding o da token speciali.
3. Preservazione dell'Informazione a Due Stadi: Una strategia di addestramento che preserva prima l'integrità delle informazioni tramite disaccoppiamento e allineamento contrastivo, quindi apprende semantica contestuale robusta tramite ricostruzione latente mascherata, evitando la dominanza da parte di modalità ad alta varianza.

4. Risultati Sperimentali

VCR è stato valutato su un benchmark completo che copre quattro dataset (WESAD, DaLiA, AAUWSS, WEEE) e quattro compiti (rilevamento delle emozioni, riconoscimento delle attività, stadiamento del sonno, previsione del VO2).

• Prestazioni con Modalità Completa: VCR ha superato sia i baseline supervisionati (ResNet, ViT, FlexMoE) sia i baseline auto-supervisionati preaddestrati (SimCLR, LSM, LSM-2, ecc.) in tutti i compiti, dimostrando che la robustezza all'assenza non comporta un costo in termini di prestazioni quando tutti i sensori sono disponibili.
• Assenza di Singola Modalità: Negli scenari in cui è stato rimosso un sensore, VCR ha ottenuto le prestazioni migliori o le seconde migliori in 65 su 88 metriche riportate. Notabilmente, quando sensori critici come l'ACC erano mancanti, VCR ha mantenuto prestazioni significativamente superiori rispetto ai baseline, mostrando un degrado graduale rispetto ai cali bruschi osservati in altri metodi.
• Assenza di Multiple Modalità: VCR è rimasto robusto in tutte le combinazioni di 2 o 3 modalità mancanti, classificandosi costantemente al Top-1 o Top-2 rispetto ai baseline.
• Analisi delle Allucinazioni: Uno studio di caso che confronta VCR con LSM-2 (che ricostruisce segnali grezzi completi) ha mostrato che LSM-2 induceva maggiori spostamenti delle rappresentazioni e incoerenze semantiche quando ricostruiva dati mancanti. La rigorosa separazione di $s$ e $p$ in VCR ha prevenuto questi spostamenti, confermando che evitare la ricostruzione di dettagli non inferibili preserva la validità della rappresentazione.
• Verifica del Disaccoppiamento: L'analisi quantitativa utilizzando il Criterio di Indipendenza di Hilbert-Schmidt (HSIC) ha mostrato che VCR ha raggiunto una dipendenza significativamente inferiore tra $s$ e $p$ rispetto a baseline con vincoli morbidi come FOCAL.

5. Significato e Affermazioni

Il documento afferma che VCR stabilisce un nuovo standard per il preaddestramento di modelli indossabili multimodali dando priorità alla validità della rappresentazione. Gli autori sostengono che la pratica comune di ricostruire intere segnali mancanti è fondamentalmente errata perché costringe i modelli a indovinare dettagli non osservabili, portando ad allucinazioni che degradano le prestazioni a valle.

Imponeendo un rigoroso disaccoppiamento geometrico e limitando gli obiettivi di ricostruzione ai componenti condivisi inferibili, VCR fornisce una base strutturale per un apprendimento robusto. Il framework è presentato come una soluzione a scopo generale che rimane efficace attraverso diversi compiti di monitoraggio sanitario e configurazioni di sensori, affrontando il divario critico tra l'addestramento ideale con sensori completi e la realtà dei dati indossabili incompleti. Gli autori notano che, sebbene la valutazione attuale si concentri su un singolo tipo di dispositivo (Empatica E4), la natura agnostica delle modalità del framework suggerisce un potenziale per una generalizzazione più ampia, che rimane una direzione per lavori futuri.