Riepilogo Tecnico: AnyMo

Enunciato del Problema

I dispositivi indossabili e mobili offrono un mezzo pratico per rilevare continuamente il movimento umano in contesti reali. Tuttavia, i segnali delle unità di misura inerziale (IMU) dipendono fortemente dalla configurazione di rilevamento, inclusa la posizione sul corpo, la posizione di montaggio, l'orientamento del sensore, l'hardware del dispositivo e i protocolli di campionamento. Questa "dipendenza dalla configurazione" crea un ostacolo significativo: i modelli addestrati su una configurazione spesso non riescono a trasferirsi ad altre, limitando l'utilità più ampia delle IMU indossabili oltre i compiti di riconoscimento a insieme chiuso.

Inoltre, colmare il divario tra segnali inerziali continui e multi-sensore e concetti testuali discreti (linguaggio) rimane una sfida. Gli approcci esistenti affrontano tre limitazioni accoppiate:

1. Scarsità di Dati e Supervisione: I dati IMU reali sono frammentati tra diverse posizioni e dispositivi, spesso limitati a etichette di attività grossolane e a insieme chiuso piuttosto che a descrizioni ricche.
2. Realismo Limitato dell'Augmentation Sintetica: Le pipeline di generazione sintetica esistenti spesso si basano su etichette specifiche o posizioni di sensori sparse, fallendo nel catturare il realismo fisico delle variazioni dense sulla superficie del corpo.
3. Divario di Modalità: Collegare direttamente flussi IMU grezzi ai Modelli Linguistici su Larga Scala (LLM) è inefficiente a causa di problemi di scalabilità dei token, e un semplice allineamento contrastivo non riesce a risolvere il divario all'aumentare della complessità del sensore.

Metodologia

Gli autori propongono AnyMo, un framework consapevole della geometria per la modellazione del movimento umano agnostico rispetto alla configurazione. Il framework opera attraverso tre fasi principali:

1. Simulazione IMU Consapevole della Geometria e Basata sulla Fisica

Invece di una simulazione centrata sulle articolazioni, AnyMo sintetizza segnali IMU su posizioni dense della superficie del corpo utilizzando il modello corporeo Nymeria (23 segmenti anatomici).

• Modellazione della Superficie: Per ogni segmento anatomico, il sistema seleziona vertici di superficie candidati sulla mesh corporea. Calcola un baricentro del segmento e definisce un sistema di riferimento locale del sensore basato sulla normale alla superficie, un asse anatomico e una direzione tangente.
• Sintesi Basata sulla Fisica: Il sistema simula traiettorie di sensori virtuali trasformando il movimento corporeo globale in sistemi di riferimento locali del sensore, tenendo conto delle variazioni di orientamento di montaggio (rotazione nel piano e inclinazione) e di prior di rumore del dispositivo stimati da dati reali.
• Risultato: Ciò genera una distribuzione diversificata di segnali IMU sintetici plausibili su tutta la superficie del corpo, colmando il divario tra pre-addestramento sintetico e osservazioni reali sparse.

2. Pre-addestramento Agnostico rispetto alla Configurazione e Consapevole della Geometria

Il framework impara rappresentazioni robuste trattando la variazione della configurazione come variazione strutturata della superficie del corpo piuttosto che come rumore arbitrario.

• Codificatore a Grafo: Un codificatore a grafo spaziotemporale modella l'intero corpo come un grafo in cui i nodi rappresentano segmenti anatomici e gli archi seguono l'albero cinematico.
• Apprendimento Contrastivo Predittivo Mascherato Cross-View: Il modello è addestrato a ricostruire il latente del movimento corporeo completo da una vista mascherata e sparsa del grafo. Nello specifico, costruisce due viste complete del grafo (A e B) campionando diverse posizioni di superficie e orientamenti. Quindi maschera i nodi in una vista e predice il latente della vista completa dell'altra. Questo costringe il codificatore a imparare rappresentazioni del movimento agnostiche rispetto alla configurazione, che sono stabili attraverso diverse posizioni dei sensori.

3. Tokenizzazione IMU del Corpo Intero e Allineamento Movimento-Linguaggio

Per collegare gli input indossabili sparsi con gli LLM, AnyMo introduce una strategia di tokenizzazione compatta.

• Tokenizzazione: Un tokenizzatore VAE quantizzato per prodotto discretizza i latenti di sequenza continui e stabili rispetto alla configurazione provenienti dal codificatore in token IMU compatti. Ciò evita l'inefficienza di alimentare flussi IMU grezzi in un LLM.
• Modellazione Movimento-Linguaggio: L'LLM (Qwen2.5-0.5B) viene esteso con il vocabolario IMU. I vettori del codebook del tokenizzatore sono proiettati nello spazio di embedding dell'LLM per fornire embedding consapevoli del movimento.
• Ottimizzazione Istruttiva Contrastiva Multi-Task: Il modello viene affinato utilizzando una combinazione di:
  • Generazione di Istruzioni: Per la descrizione del movimento (motion captioning) e il riconoscimento a scelta multipla.
  • Allineamento Contrastivo: Una perdita contrastiva simmetrica IMU-testo allinea i token IMU con narrazioni del movimento ed etichette di attività. Vengono utilizzati prompt soft apprendibili per ottimizzare il contesto testuale senza ingegneria manuale di template.

Contributi Chiave

1. Simulazione Consapevole della Geometria: Gli autori propongono un metodo di simulazione basato sulla fisica su posizioni dense della superficie del corpo, generando segnali sintetici diversificati che colmano il divario sintetico-reale in modo più efficace rispetto ai metodi centrati sulle articolazioni.
2. Apprendimento di Rappresentazioni Agnostico rispetto alla Configurazione: Sviluppano un metodo di pre-addestramento utilizzando apprendimento contrastivo predittivo mascherato cross-view e tokenizzazione del corpo intero, consentendo al modello di imparare rappresentazioni del movimento che si generalizzano attraverso diverse posizioni e orientamenti dei sensori.
3. Modello Generalista IMU-Linguaggio: AnyMo introduce un modello unificato che supporta il riconoscimento di attività zero-shot, il recupero cross-modale e la descrizione del movimento, radicando efficacemente il rilevamento indossabile nel linguaggio.

Risultati Sperimentali

AnyMo è stato valutato su tre compiti complementari attraverso 14 dataset downstream completamente inediti, inclusi benchmark in-the-wild (EgoExo4D, Ego4D) e dataset HAR standard (UCI-HAR, Opportunity, ecc.).

• Riconoscimento di Attività Zero-Shot: AnyMo ha raggiunto una Precisione media del 35,7%, un macro-F1 del 29,5% e un Recall@2 del 57,5%. Ciò rappresenta un miglioramento del 11,7% nella Precisione, del 11,6% nell'F1 e del 22,6% nel Recall@2 rispetto alla baseline più forte (UniMTS).
• Recupero Cross-Modale: Sul set di tenuta di Nymeria (trasferimento sim-to-real), AnyMo ha migliorato il Mean Reciprocal Rank (MRR) da IMU a Testo da 10,0 a 44,6 e il MRR da Testo a IMU da 6,7 a 46,7.
• Descrizione del Movimento (Motion Captioning): Nella descrizione zero-shot su EgoExo4D, AnyMo ha ottenuto un punteggio BERT-F1 di 67,1, superando significativamente le baselines basate su prompting come GPT-5.4 Mini e Gemma 4 26B.

Studi di ablazione hanno confermato che la rimozione della simulazione consapevole della geometria o dell'obiettivo contrastivo predittivo mascherato cross-view ha causato un grave degrado delle prestazioni, validando la necessità sia della modellazione densa della superficie sia dell'obiettivo specifico di pre-addestramento.

Significato e Affermazioni

Il documento afferma che AnyMo stabilisce una nuova strada verso la comprensione generalista del movimento indossabile. Trattando la variazione della configurazione indossabile come variazione strutturata della superficie del corpo piuttosto che come rumore arbitrario, e collegando queste variazioni al linguaggio attraverso token compatti del corpo intero, AnyMo dimostra che è possibile imparare rappresentazioni robuste che si trasferiscono attraverso dispositivi, posizioni e dataset diversi senza richiedere un affinamento specifico per il compito.

Gli autori posizionano AnyMo non semplicemente come un classificatore migliore, ma come un passo fondamentale verso sistemi AI proattivi e consapevoli del contesto che possono interpretare il movimento umano in contesti reali utilizzando la ricca e aperta semantica del linguaggio. I risultati suggeriscono che combinare la simulazione consapevole della geometria con la modellazione movimento-linguaggio è una direzione promettente per superare le sfide di scarsità di dati e dipendenza dalla configurazione che hanno storicamente limitato le applicazioni delle IMU indossabili.