🤖 AI

Rotation-Invariant Multi-IMU Activity Recognition under Independent Per-Location Orientation Shifts

Questo articolo introduce TRI-HAR, un framework invariante alla rotazione che garantisce strutturalmente la robustezza rispetto agli spostamenti indipendenti dell'orientamento degli IMU per singola posizione nel riconoscimento dell'attività umana multi-sensore, impiegando un backbone SO(3)-equivariante e una fusione di caratteristiche invarianti, superando così i metodi tradizionali basati sull'aumento della rotazione senza richiedere una calibrazione o un aumento espliciti.

Autori originali: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Pubblicato 2026-08-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il riconoscimento dell'attività umana è la scienza che insegna ai computer a comprendere cosa stia facendo una persona ascoltando i piccoli movimenti del suo corpo. Questa tecnologia si affida a piccoli sensori, spesso chiamati unità di misura inerziale, che vengono allacciati al polso, al torace o alla caviglia per registrare accelerazione e rotazione. Questi dispositivi sono gli osservatori silenziosi dietro i programmi di riabilitazione domiciliare, il monitoraggio del fitness e il monitoraggio medico, traducendo il movimento fisico grezzo in etichette digitali come "camminare", "correre" o "sedersi". Tuttavia, un problema persistente ha a lungo tormentato questi sistemi: i sensori raramente vengono applicati esattamente nello stesso modo due volte. Quando un paziente indossa un sensore al polso per la seconda volta, o quando una persona diversa indossa lo stesso dispositivo, l'orientamento cambia. Il sensore potrebbe essere leggermente inclinato a sinistra o ruotato in avanti, causando la generazione di un insieme di numeri completamente diverso per lo stesso movimento fisico. Per anni, i computer hanno faticato a riconoscere che una "corsa" registrata con un sensore inclinato fosse la stessa attività di una "corsa" registrata con uno dritto, fallendo spesso quando il dispositivo veniva spostato anche solo leggermente.

Un team di ricercatori della Korea University e del Massachusetts Institute of Technology ha sviluppato un nuovo approccio per risolvere questo specifico problema, creando un sistema che rimane accurato anche quando i sensori vengono riapplicati in orientamenti casuali. Il loro lavoro, presentato come il framework TRI-HAR, affronta uno scenario comune nel monitoraggio della salute auto-somministrato in cui vengono utilizzati simultaneamente più sensori su diverse parti del corpo. In queste impostazioni, ogni sensore potrebbe essere ruotato o girato indipendentemente dagli altri, una situazione che confonde i modelli informatici standard. I ricercatori hanno scoperto che, trattando i dati di ogni posizione del sensore come un distinto vettore tridimensionale e processandoli attraverso una struttura matematica specializzata, potevano eliminare la confusione causata dalla rotazione. Ciò consente al sistema di concentrarsi puramente sulla forma del movimento stesso, indipendentemente da come il dispositivo fosse tenuto.

Il cuore della loro scoperta risiede nel modo in cui gestiscono i dati prima di combinarli. I metodi tradizionali spesso cercano di indovinare l'orientamento corretto di un sensore o si affidano all'addestramento del computer con migliaia di esempi artificialmente ruotati, sperando che impari il modello. I ricercatori hanno sostenuto che questi metodi sono fragili; se il computer vede una rotazione per la quale non è stato addestrato, fallisce. Inveve, hanno costruito un sistema in cui le regole matematiche stesse impediscono alla rotazione di cambiare il risultato finale. Hanno progettato il software affinché analizzi prima i dati di ogni posizione corporea — come il torace o la coscia — individualmente. Per ogni posizione, il sistema converte i segnali grezzi del sensore in una forma che ruota insieme al sensore, e poi immediatamente collassa quell'informazione in un riassunto stabile e immune alla rotazione. Solo dopo che i dati di ogni sensore sono stati resi immuni alla propria inclinazione specifica, il sistema combina i riassunti di tutte le parti del corpo per decidere cosa stia facendo la persona.

Questo approccio si è dimostrato straordinariamente efficace quando testato contro quattro diversi dataset pubblici contenenti registrazioni di persone che eseguivano varie attività. Negli esperimenti in cui i ricercatori hanno ruotato artificialmente i dati di ogni posizione del sensore di un certo ammontare fisso e casuale per simulare un riposizionamento, il nuovo sistema ha mantenuto la sua accuratezza quasi perfettamente. Al contrario, i modelli esistenti che non utilizzavano questa struttura speciale hanno visto le loro prestazioni crollare drasticamente, fallendo spesso nel riconoscere attività di base. Anche confrontato con modelli che erano stati addestrati con dati extra progettati per mimare queste rotazioni, il nuovo sistema ha performato meglio senza necessitare di tale addestramento aggiuntivo. I ricercatori hanno anche testato il sistema su un dataset del mondo reale in cui i sensori sono stati fisicamente spostati e riorientati da un istruttore umano, uno scenario che introduce sia rotazione che cambiamenti di posizione. In questo test impegnativo, il nuovo sistema ha superato nuovamente i migliori metodi esistenti, confermando che la sua capacità di ignorare la rotazione regge anche quando i sensori vengono spostati in modi imprevedibili.

I ricercatori hanno anche esaminato quanto velocemente questo nuovo sistema giri su hardware informatico standard, poiché la velocità è critica per il monitoraggio della salute in tempo reale. Hanno scoperto che, sebbene il sistema sia più complesso dei modelli più semplici, elabora i dati abbastanza velocemente da stare al passo con i flussi di dati in tempo reale. Per una configurazione con tre sensori, il sistema impiega meno di cento millisecondi per analizzare una finestra di dati, il che è molto più veloce del tempo necessario ai sensori per raccogliere il pacchetto successivo di informazioni. Ciò significa che la tecnologia potrebbe essere realisticamente utilizzata sul computer o sul telefono di una persona per monitorare l'attività mentre avviene, senza dover inviare i dati a un server distante. Il lavoro dimostra che, cambiando l'architettura fondamentale di come il computer vede i dati, piuttosto che semplicemente fornendogli più esempi, è possibile costruire sistemi di riconoscimento dell'attività che siano robusti rispetto alla realtà disordinata di come le persone indossano effettivamente i propri dispositivi.

Sintesi Tecnica: Riconoscimento dell'Attività Multi-IMU Invariante alla Rotazione sotto Spostamenti di Orientamento Indipendenti per Posizione

Definizione del Problema

Il riconoscimento dell'attività umana (Human Activity Recognition - HAR) mediante unità di misura inerziale (IMU) indossabili e auto-somministrate affronta un critico shift di distribuzione: gli offset di orientamento indipendenti che si verificano quando i sensori vengono riapplicati in sessioni diverse. Nei contesti multi-IMU (ad es. torace, polso, coscia, caviglia), ogni sensore può acquisire un offset di rotazione distinto e arbitrario rispetto al segmento corporeo che monitora.

I modelli HAR scalari convenzionali mancano di robustezza strutturale a queste rotazioni, portando a un significativo degrado delle prestazioni. Le soluzioni esistenti si affidano a due approcci principali, entrambi con limitazioni:

Augmentation della Rotazione: Addestramento dei modelli su dati ruotati sinteticamente. Questa robustezza è dipendente dal campionamento e non garantisce l'invarianza rispetto a rotazioni $SO(3)$ arbitrarie e non viste.
Pipeline di Calibrazione: Passaggi di pre-elaborazione per normalizzare l'orientamento utilizzando frame di riferimento, intervalli statici o dati magnetici. Questi introducono un carico ingegneristico e assunzioni (ad es. campi magnetici affidabili) che spesso falliscono in ambienti non controllati e auto-somministrati.

La sfida centrale è ottenere l'invarianza strutturale rispetto agli spostamenti di orientamento $SO(3)$ indipendenti e per singola posizione senza richiedere l'augmentation della rotazione o la calibrazione esplicita al tempo di test.

Metodologia: TRI-HAR

Gli autori propongono TRI-HAR (Truly Rotation-Invariant HAR), un framework che incorpora l'invarianza alla rotazione direttamente nell'architettura del modello. Il metodo elabora i flussi di accelerometro e giroscopio come vettori triassiali anziché come canali scalari.

1. Rappresentazione Vettoriale Raggruppata per Posizione

I dati di input vengono rimodellati da canali scalari appiattiti ( $X_{raw} \in \mathbb{R}^{T \times 3S}$ ) in flussi vettoriali triassiali ( $X \in \mathbb{R}^{T \times S \times 3}$ ). Fondamentalmente, questi flussi sono raggruppati per posizione fisica dell'IMU ( $L$ posizioni). Ogni gruppo $X^{(l)}$ è trattato come un'unità soggetta a una rotazione indipendente $R_l \in SO(3)$ . Questa formulazione modella esplicitamente lo scenario in cui i sensori in diverse posizioni corporee vengono riapplicati con offset distinti.

2. Backbone Condiviso $SO(3)$-Equivariante

TRI-HAR utilizza un backbone condiviso, istanziato come FER-VN-DGCNN (Frequency-based Equivariant Feature Representation con Vector Neurons e Dynamic Graph Convolutional Neural Networks).

Vector Neurons (VN): Le caratteristiche nascoste scalari vengono elevate a canali vettoriali a 3D che si trasformano in modo prevedibile sotto rotazioni 3D.
Equivarianza Multi-Frequenza: Il backbone eleva i vettori di input in uno spazio equivariante multi-frequenza. La direzione del vettore di input determina la componente angolare, mentre una funzione radiale apprendibile modula i coefficienti di frequenza dipendenti dalla magnitudo.
Elaborazione su Grafo: All'interno di ogni gruppo di posizione, il backbone costruisce un grafo dinamico sugli stati IMU indicizzati nel tempo, aggregando caratteristiche da stati di movimento cinematicamente simili pur preservando l'equivarianza.

3. Proiezione Invariante e Fusione

L'innovazione chiave risiede nell'ordine delle operazioni: la Proiezione Invariante precede la Fusione Cross-Location.

Proiezione Invariante: Per ogni gruppo di posizione, le caratteristiche equivarianti vengono proiettate in rappresentazioni scalari invarianti alla rotazione. Ciò viene ottenuto calcolando i prodotti scalari tra le caratteristiche latenti e un frame co-rotante appreso. Matematicamente, se $V_t$ è la caratteristica e $F_t$ è il frame, la caratteristica invariante $z_t = V_t F_t^\top$ annulla la rotazione $R_l$ .
Aggregazione per Posizione: Le caratteristiche invarianti per step temporale vengono aggregate (max globale/media) per produrre un singolo vettore di caratteristiche invariante $h_l$ per ogni posizione.
Fusione a Ordine Fisso: I vettori invarianti $\{h_1, \dots, h_L\}$ vengono concatenati in un ordine fisso di posizione corporea e passati a un classificatore MLP finale.

Questo design garantisce che il modello sia invariante alle rotazioni indipendenti $R_l$ in ogni posizione perché la rotazione viene annullata localmente prima che le caratteristiche provenienti da diverse posizioni vengano combinate.

Contributi Chiave

Framework TRI-HAR: Un'architettura HAR multi-IMU che apprende rappresentazioni equivarianti-invarianti per singola posizione fisica, fornendo robustezza strutturale agli offset di orientamento indipendenti senza l'uso di augmentation della rotazione o calibrazione al tempo di test.
Protocollo di Spostamento Indipendente per Posizione: La formulazione di un protocollo di valutazione specifico dove ogni posizione IMU riceve una distinta rotazione $SO(3)$ fissa, simulando accuratamente gli scenari di riapplicazione autonoma dei sensori.
Validazione Empirica: Dimostrazione su quattro benchmark pubblici (PAMAP2, DSADS, Opportunity, RealDISP) che TRI-HAR preserva i punteggi macro-F1 sotto rotazioni indipendenti fisse per posizione, superando le baseline basate su augmentation della rotazione che dipendono dal campionamento.

Risultati Sperimentali

Gli autori hanno valutato TRI-HAR contro cinque baseline supervisionate (MC-CNN, DeepConvLSTM, MLP-HAR, TinyHAR, SA-HAR) sotto due condizioni: dati di test originali ( $I$ ) e offset $SO(3)$ fissi e indipendenti per posizione ( $SO(3)_{loc-fix}$ ).

Robustezza alla Rotazione: Sotto $SO(3)_{loc-fix}$ , le baseline non equivarianti hanno subito cali di prestazioni catastrofici (ad es., il macro-F1 è sceso da circa l'80% a circa il 30% su PAMAP2). Al contrario, TRI-HAR ha mantenuto le sue prestazioni sui dati di test originali, mostrando una degradazione trascurabile (errore di invarianza $< 10^{-10}$ ).
Confronto con l'Augmentation: Anche quando le baseline venivano addestrate con l'augmentation della rotazione per posizione corrispondente (loc-sample), TRI-HAR ha ottenuto punteggi macro-F1 più elevati su tutti e quattro i dataset senza utilizzare alcuna augmentation della rotazione.
RealDISP Mutual-Displacement: Sul complesso fold "Mutual-displacement" di RealDISP (dove i sensori sono fisicamente riposizionati e riorientati da un istruttore), TRI-HAR ha raggiunto il macro-F1 più alto (85,29%), superando la più forte baseline con augmentation della rotazione (TinyHAR con 78,49%) di 6,8 punti.
Ablazione della Strategia di Fusione: Un modello di controllo, TRI-HAR-joint, che applica la proiezione invariante alle caratteristiche concatenate di tutte le posizioni (assumendo una rotazione globale condivisa), è fallito significativamente sotto spostamenti indipendenti per posizione (perdendo circa 37–50 punti di macro-F1), confermando che la proiezione invariante per singola posizione è necessaria per il target di deployment previsto.
Latenza: Le misurazioni della latenza lato host su flussi a 3-IMU e 5-IMU hanno mostrato che, sebbene TRI-HAR sia più lento delle baseline scalari a causa dell'elaborazione equivariante per posizione, la sua latenza p99 window-to-label (67,61 ms e 85,78 ms rispettivamente) rimane ben al di sotto dei periodi di aggiornamento della finestra (~2,5s), supportando l'inferenza in streaming in tempo reale.

Significato e Rivendicazioni

Il paper afferma che TRI-HAR offre una soluzione strutturale al problema della variabilità dell'orientamento nella HAR multi-IMU auto-somministrata. Trattando l'invarianza alla rotazione come una proprietà del modello piuttosto che come una strategia di augmentation dei dati, il framework elimina la necessità di:

Augmentation della rotazione sintetica durante l'addestramento.
Calibrazione esplicita dell'orientamento o assunzioni di frame di riferimento durante l'inferenza.

Gli autori posizionano TRI-HAR come un approccio "leggero sulla calibrazione" adatto alla riabilitazione a casa e al monitoraggio dell'esercizio fisico, dove il riposizionamento dei sensori è frequente e la calibrazione eseguita dall'utente è impraticabile. Il lavoro evidenzia che, sebbene le attuali implementazioni comportino costi computazionali superiori rispetto ai modelli scalari, il compromesso architettonico è giustificato dalla robustezza guadagnata in scenari di deployment reali e non controllati. Il lavoro futuro è diretto all'ottimizzazione del costo interno dell'encoder per il deployment su dispositivi edge.