Sintesi Tecnica: Auto-Augmentation Contrastive Learning per il Riconoscimento dell'Attività Umana basato su Wearable

Problematica

Il riconoscimento dell'attività umana (Human Activity Recognition - HAR) tramite sensori indossabili (ad es. IMU) si basa tradizionalmente sull'apprendimento supervisionato, il quale comporta un pesante onere di annotazione manuale e manca di robustezza quando applicato a nuovi compiti, tipi di sensori o posizioni. L'apprendimento auto-supervisionato (Self-Supervised Learning - SSL), in particolare il Contrastive Learning (CL), è emerso come un'alternativa ad alte prestazioni per apprendere rappresentazioni senza etichette. Tuttavia, gli attuali approcci di CL affrontano un collo di bottiglia critico: essi dipendono fortemente da strategie di aumento dei dati (data augmentation) manuali per costruire coppie di campioni positivi.

Nel contesto del wearable HAR, i segnali dei sensori possiedono informazioni semantiche basse rispetto alle immagini. Di conseguenza, la selezione di strategie di aumento efficaci (ad es. jittering, scaling, permutazione) è poco intuitiva e altamente dipendente dal compito. La strategia ottimale varia in base al numero di sensori, alle frequenze di campionamento e alle modalità, rendendo i metodi di CL esistenti privi di generalizzabilità e flessibilità. Esiste la necessità di un metodo end-to-end che elimini l'onere manuale di progettare strategie di aumento per dati sensoriali a bassa semantica.

Metodologia: AutoCL

Gli autori propongono AutoCL, un framework di auto-augmentation contrastive learning end-to-end progettato specificamente per il wearable-based HAR. L'innovazione principale è un generatore incorporato nella rete che impara a produrre viste aumentate direttamente dai dati, invece di fare affidamento su trasformazioni predefinite manuali.

Architettura

AutoCL utilizza un'architettura Siamese con una backbone condivisa e un generatore incorporato:

1. Encoder ($f_\theta$) & Projector ($p_\theta$): Una rete completamente convoluzionale (FCN) a 3 strati funge da backbone per estrarre embedding di caratteristiche dai dati grezzi dei sensori in serie temporali. Un Multi-Layer Perceptron (MLP) proietta questi embedding in uno spazio latente.
2. Generatore ($g_\xi$): A differenza del CL standard dove l'augmentation viene applicata agli input grezzi, il generatore di AutoCL prende come input gli embedding delle caratteristiche ($y_\theta$) dalla backbone. Questa scelta progettuale è motivata dalla necessità di ridurre l'impatto del rumore e delle informazioni ridondanti intrinseche nei segnali grezzi dei sensori. Il generatore utilizza una BiGRU (Gated Recurrent Unit bidirezionale) a 3 strati seguita da uno strato convoluzionale di gruppo 1-D per produrre un campione auto-aumentato ($x'_{\theta, \xi}$).
3. Obiettivo di Addestramento: Il modello massimizza l'accordo tra la proiezione del campione originale e la proiezione del campione auto-aumentato utilizzando la perdita NT-Xent.

Strategie Tecniche Chiave

Per garantire che il generatore apprenda aumenti significativi piuttosto che collassare in una mappatura identità (il che ridurrebbe la difficoltà contrastiva), gli autori introducono due meccanismi specifici:

• Riduzione della Correlazione: Un termine di regolarizzazione viene aggiunto alla funzione di perdita per massimizzare la diversità tra i campioni originali e quelli aumentati. Ciò impedisce al generatore di limitarsi a copiare l'input (approssimando un auto-encoder) e incoraggia l'apprendimento di variazioni distinte ma semanticamente coerenti.
• Stop-Gradient: Un'operazione di stop-gradient viene applicata alla proiezione del campione originale ($y_\theta$) durante l'aggiornamento del generatore. Ciò assicura che il generatore apprenda ad aumentare basandosi sulla rappresentazione attuale delle caratteristiche senza destabilizzare la dinamica di addestramento dell'encoder attraverso loop di backpropagation.

Contributi Chiave

1. Primo Auto-Augmentation End-to-End per il Wearable HAR: Il documento presenta il primo studio che conduce un auto-augmentation contrastive learning end-to-end per segnali di sensori wearable, eliminando la necessità di costruire manualmente le strategie di aumento.
2. Design di un'Architettura Novella: Gli autori progettano un framework in cui un generatore apprende l'auto-augmentation dagli embedding delle caratteristiche latenti piuttosto che dai dati grezzi. Questo approccio è empiricamente dimostrato essere superiore alla generazione di aumenti direttamente dai segnali grezzi, poiché filtra il rumore e la ridondanza.
3. Apprendimento delle Rappresentazioni Potenziato: L'integrazione delle strategie di stop-gradient e riduzione della correlazione è proposta per potenziare le capacità di apprendimento delle rappresentazioni dell'encoder, prevenendo l'overfitting e garantendo che il compito contrastivo rimanga impegnativo.
4. Flessibilità Guidata dai Dati: Lo studio dimostra che lo spazio delle operazioni di augmentation guidate dai dati apprese dal modello è molto più ampio delle strategie definite dall'uomo, offrendo una migliore adattabilità ai diversi scenari di HAR.

Risultati Sperimentali

Il metodo AutoCL è stato valutato su quattro dataset HAR ampiamente utilizzati: PAMAP2, UCIHAR, UTD-MHAD e DSADS. La valutazione ha seguito un protocollo SSL standard: pre-addestramento su dati non etichettati seguito da classificazione few-shot (fine-tuning su il 20% di dati etichettati).

• Prestazioni: AutoCL ha raggiunto prestazioni State-of-the-Art (SOTA) su tutti e quattro i dataset, superando significativamente gli esistenti baseline di CL (SimCLR, SimSiam, BYOL, NNCLR) che si affidavano a varie combinazioni di strategie di aumento manuali (Jittering, Scaling, Permutation).
  • Esempio: Sul dataset DSADS, AutoCL ha raggiunto un'accuratezza del 96,05%, superando il miglior baseline di aumento manuale (BYOL con S+J) che ha raggiunto il 95,77%.
• Studi di Ablazione: La rimozione delle strategie Stop-Gradient (SG) o Riduzione della Correlazione (CR) ha causato cali nelle prestazioni, confermando la loro necessità per la stabilità ed l'efficacia del processo di auto-augmentation.
• Studio Empirico dell'Architettura: Confrontando AutoCL (basato su embedding delle caratteristiche) con una variante che genera aumenti dai dati grezzi (AutoCL-D), è emerso che l'approccio basato sugli embedding (AutoCL-E) produce costantemente risultati migliori, in particolare su dataset con alto rumore o variazioni di attività continue.
• Visualizzazione: Le visualizzazioni t-SNE delle rappresentazioni apprese mostrano che AutoCL produce cluster più distinguibili e ben separati rispetto ai baseline. Inoltre, la visualizzazione dei campioni generati ha rivelato che il modello apprende operazioni diverse (scaling, inversione, cropping) che vanno oltre le semplici regole definite dall'uomo.

Significato e Rivendicazioni

Il documento afferma che AutoCL affronta un limite fondamentale nell'applicazione del contrastive learning al wearable HAR: la dipendenza da strategie di aumento manuali e non generalizzabili. Spostando il processo di augmentation a una componente apprendibile e guidata dai dati operante nello spazio latente, il metodo:

• Riduce l'onere manuale di progettare pipeline di augmentation per dati sensoriali a bassa semantica.
• Migliora la robustezza imparando ad aumentare basandosi sulle rappresentazioni delle caratteristiche, mitigando così il rumore del sensore.
• Dimostra una superiorità nella generalizzabilità, poiché la strategia di augmentation appresa si adatta alle caratteristiche specifiche del dataset senza intervento umano.

Gli autori concludono che per i dati a bassa semantica, un approccio di auto-augmentation guidato dai dati possiede un potenziale maggiore per la coerenza semantica e le prestazioni rispetto alle strategie implementate manualmente, offrendo una direzione promettente per futuri modelli generici nel campo del wearable computing.