Closing the Modality Gap in Zero-Shot HAR: Contrastive Training and Separability-Optimized Prototypes on IMU Data

Sintesi Tecnica: Colmare il Divario di Modalità nel Zero-Shot HAR

Problematica
Lo Zero-Shot Learning (ZSL) per il riconoscimento dell'attività umana (HAR) basato su unità di misura inerziale (IMU) affronta un fondamentale "divario di modalità" (modality gap). Gli embedding dei sensori generati da encoder temporali e i prototipi semantici generati da modelli linguistici (es. Sentence-BERT) occupano regioni geometricamente separate nello spazio degli embedding. Di conseguenza, una finestra di sensore etichettata come "running" (corsa) non si allinea naturalmente con l'embedding testuale della parola "running". Approcci precedenti spesso hanno trattato questo divario come un problema di inferenza, affidandosi a correzioni post-hoc, o hanno utilizzato target semantici insufficienti (etichette composte da singole parole) che non sono riusciti a incentivare l'encoder ad entrare nelle regioni dello spazio occupate da rappresentazioni semantiche più ricche.

Metodologia
Gli autori hanno valutato sistematicamente sette configurazioni sul dataset PAMAP2, utilizzando 14 classi di attività viste e 4 classi non viste (running, descending stairs, vacuum cleaning, folding laundry) con i soggetti 108 e 109 esclusi per il test. Il design sperimentale ha variato due fattori primari:

1. Obiettivi di Addestramento dell'Encoder:

   • Baseline: Una rete convoluzionale temporale (TCN) addestrata con standard cross-entropy loss utilizzando nomi di etichette a parola singola come prototipi Sentence-BERT.
   • Addestramento Contrastivo: La stessa architettura TCN addestrata con una perdita contrastiva (stile CLIP) utilizzando prototipi semantici più ricchi. Sono stati testati due tipi di target testuali: "descrizioni biomeccaniche ricche" e "descrizioni discriminative" (utilizzando un vocabolario esclusivo per classe).

2. Strategie di Inferenza:

   • Corrispondenza Cosine Nearest-Prototype: Assegnazione degli embedding di test alla classe non vista con la maggiore similarità del coseno.
   • ISF + Centratura Cross-Modale: Applicazione dell'Inverted Softmax (ISF) per penalizzare i prototipi "hub" e centratura degli embedding per allineare le modalità.
   • Allineamento Cross-Modale: Apprendimento di una mappa lineare dallo spazio dei prototipi testuali allo spazio dei sensori utilizzando coppie di classi viste.

Risultati Chiave e Conclusioni

• Il Divario di Modalità dipende dall'Addestramento: Lo studio dimostra che il divario di modalità è governato dall'obiettivo dell'encoder. Sostituire i prototipi dei nomi delle etichette con descrizioni discriminative in un setup di addestramento contrastivo ha aumentato la similarità media del coseno tra gli embedding dei sensori e i prototipi testuali da 0.30 a 0.69.
• L'Allineamento dell'Encoder domina l'Inferenza: I guadagni di prestazione più significativi sono stati guidati dall'obiettivo di addestramento, non dal metodo di inferenza. Un encoder addestrato contrastivamente, accoppiato con il metodo di inferenza più semplice (Nearest-Prototype Cosine), ha superato un encoder baseline accoppiato con sofisticate correzioni di inferenza (Alignment + ISF).
  • Migliore Configurazione: L'addestramento contrastivo con descrizioni discriminative + correzione ISF ha ottenuto un'accuratezza del 73.2% e un macro F1 di 0.583 sulle classi non viste.
  • Baseline: La baseline del nome dell'etichetta con inferenza simile ha raggiunto un'accuratezza del 58.3% e un macro F1 di 0.34.
• Il Compromesso della Separabilità: È emerso un risultato controintuitivo: le descrizioni testuali più ricche (frasi biomeccaniche) hanno ridotto la separabilità inter-prototipo nello spazio Sentence-BERT (la media della similarità del coseno fuori diagonale è aumentata da 0.29 a 0.50) a causa del vocabolario condiviso che comprime la nuvola dei prototipi. Tuttavia, gli autori hanno scoperto che un allineamento di alta qualità dell'encoder permette al modello di navigare efficacemente in questo spazio compresso. La combinazione di descrizioni discriminative (che mantenevano una certa separabilità) e addestramento contrastivo ha prodotto il miglior equilibrio.
• Validità della Metrica: Il paper sostiene che l'accuratezza complessiva sia una metrica fuorviante per lo ZSL-HAR su dataset sbilanciati (dove "folding laundry" comprendeva il 51% delle finestre di test). Un modello che predice solo la classe dominante potrebbe ottenere circa il 50% di accuratezza pur fallendo su tutte le altre classi. Gli autori sostengono l'uso del macro-averaged F1 come metrica di reporting standard per garantire un peso uguale di tutte le classi non viste.

Significatività e Rivendicazioni
Il paper sostiene che la barriera primaria alle prestazioni dello ZSL-HAR non è la mancanza di correzioni al tempo di inferenza, ma la mancanza di allineamento geometrico al tempo di addestramento tra gli spazi dei sensori e semantici.

• L'Obiettivo di Addestramento è la Variabile Dominante: Lo studio conclude che nessuna quantità di correzione al tempo di inferenza può compensare un encoder disallineato. Al contrario, un encoder ben allineato riduce significativamente il carico sulle fasi di inferenza, permettendo a una semplice corrispondenza del coseno di superare pipeline di correzione complesse addestrate su dati disallineati.
• Qualità del Prototipo vs Allineamento: Sebbene le descrizioni più ricche possano comprimere la separabilità dei prototipi, la qualità dell'allineamento dell'encoder con lo spazio dei prototipi è la variabile di primo ordine che determina le prestazioni. Un encoder ben allineato può navigare con successo in uno spazio di prototipi meno separabile, mentre un encoder disallineato fallisce anche con prototipi ben separati.
• Limitazioni e Ambito: Gli autori notano con modestia che i risultati si basano su una singola divisione di soggetti (194 finestre di test) e che alcune attività (es. vacuum cleaning) rimangono difficili a causa della mancanza di classi viste biomeccanicamente analoghe. Non rivendicano la parità con i metodi ZSL basati su video, ma evidenziano il vantaggio del loro approccio basato solo sul testo in scenari in cui i dati video non sono disponibili.

In sintesi, il lavoro stabilisce che colmare il divario di modalità nello ZSL basato su IMU richiede un esplicito allineamento contrastivo durante l'addestramento utilizzando target semantici discriminativi, e che il macro-averaged F1 è la metrica necessaria per valutare tali sistemi su benchmark sbilanciati.