🤖 AI

Rotation-Invariant Multi-IMU Activity Recognition under Independent Per-Location Orientation Shifts

Cet article introduit TRI-HAR, un cadre d'invariance par rotation qui assure structurellement la robustesse aux décalages d'orientation des IMU indépendants par emplacement dans la reconnaissance d'activités humaines multi-capteurs en employant une dorsale SO(3)-équivariante et une fusion de caractéristiques invariantes, surpassant ainsi les méthodes traditionnelles d'augmentation par rotation sans nécessiter de calibration ou d'augmentation explicite.

Auteurs originaux : Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La reconnaissance de l'activité humaine est la science consistant à apprendre aux ordinateurs à comprendre ce qu'une personne fait en écoutant les minuscules mouvements de son corps. Cette technologie repose sur de petits capteurs, souvent appelés unités de mesure inertielle, qui sont attachés au poignet, à la poitrine ou à la cheville pour enregistrer l'accélération et la rotation. Ces dispositifs sont les observateurs silencieux derrière les programmes de rééducation à domicile, le suivi de la forme physique et la surveillance médicale, traduisant le mouvement physique brut en étiquettes numériques telles que « marcher », « courir » ou « s'asseoir ». Cependant, un problème persistant a longtemps tourmenté ces systèmes : les capteurs ne sont que rarement attachés exactement de la même manière deux fois de suite. Lorsqu'un patient remet un capteur à son poignet une seconde fois, ou lorsqu'une personne différente porte le même appareil, l'orientation change. Le capteur peut être légèrement incliné vers la gauche ou pivoté vers l'avant, ce qui fait qu'un même mouvement physique génère un ensemble de chiffres complètement différent. Pendant des années, les ordinateurs ont eu du mal à reconnaître qu'une « course » enregistrée avec un capteur incliné était la même activité qu'une « course » enregistrée avec un capteur droit, échouant souvent lorsque l'appareil était déplacé ne serait-ce qu'un peu.

Une équipe de chercheurs de l'Université de Corée et du Massachusetts Institute of Technology a développé une nouvelle approche pour résoudre ce problème spécifique, créant un système qui reste précis même lorsque les capteurs sont réattachés dans des orientations aléatoires. Leurs travaux, présentés sous le nom de cadre TRI-HAR, traitent d'un scénario courant dans la surveillance de la santé auto-administrée où plusieurs capteurs sont utilisés simultanément sur différentes parties du corps. Dans ces configurations, chaque capteur peut être pivoté ou tourné indépendamment des autres, une situation qui déroute les modèles informatiques standards. Les chercheurs ont découvert qu'en traitant les données de chaque emplacement de capteur comme un vecteur tridimensionnel distinct et en les faisant passer par une structure mathématique spécialisée, ils pouvaient éliminer la confusion causée par la rotation. Cela permet au système de se concentre purement sur la forme du mouvement lui-même, indépendamment de la façon dont l'appareil était tenu.

Le cœur de leur découverte réside dans la manière dont ils traitent les données avant de les combiner. Les méthodes traditionnelles tentent souvent de deviner l'orientation correcte d'un capteur ou comptent sur l'entraînement de l'ordinateur avec des milliers d'exemples artificiellement pivotés, espérant qu'il apprenne à reconnaître le motif. Les chercheurs ont soutenu que ces méthodes sont fragiles ; si l'ordinateur voit une rotation pour laquelle il n'a pas été entraîné, il échoue. Au lieu de cela, ils ont construit un système où les règles mathématiques elles-mêmes empêchent la rotation de modifier la réponse finale. Ils ont conçu le logiciel pour qu'il examine d'abord les données de chaque emplacement corporel — tel que la poitrine ou la cuisse — individuellement. Pour chaque emplacement, le système convertit les signaux bruts des capteurs en une forme qui pivote en même temps que le capteur, puis réduit immédiatement cette information en un résumé stable et insensible à la rotation. Ce n'est qu'après que les données de chaque capteur ont été rendues immunes à sa propre inclinaison spécifique que le système combine les résumés de toutes les parties du corps pour décider de ce que la personne est en train de faire.

Cette approche s'est révélée remarquablement efficace lors de tests contre quatre ensembles de données publics contenant des enregistrements de personnes effectuant diverses activités. Dans les expériences où les chercheurs ont artificiellement pivoté les données de chaque emplacement de capteur d'un montant fixe et aléatoire pour simuler un réattachement, le nouveau système a maintenu sa précision de manière presque parfaite. En revanche, les modèles existants qui n'utilisaient pas cette structure spéciale ont vu leurs performances chuter drastiquement, échouant souvent à reconnaître des activités de base. Même comparé à des modèles qui avaient été entraînés avec des données supplémentaires conçues pour imiter ces rotations, le nouveau système a été plus performant sans nécessiter cet entraînement supplémentaire. Les chercheurs ont également testé le système sur un ensemble de données du monde réel où les capteurs ont été physiquement déplacés et réorientés par un instructeur humain, un scénario qui introduit à la fois la rotation et les changements de position. Dans ce test exigeant, le nouveau système a de nouveau surpassé les meilleures méthodes existantes, confirmant que sa capacité à ignorer la rotation tient bon même lorsque les capteurs sont déplacés de manière imprévisible.

Les chercheurs ont également examiné la vitesse à laquelle ce nouveau système fonctionne sur du matériel informatique standard, car la rapidité est cruciale pour la surveillance de la santé en temps réel. Ils ont constaté que, bien que le système soit plus complexe que les modèles plus simples, il traite les données assez rapidement pour suivre les flux de capteurs en direct. Pour une configuration à trois capteurs, le système prend moins de cent millisecondes pour analyser une fenêtre de données, ce qui est bien plus rapide que le temps nécessaire aux capteurs pour collecter le lot d'informations suivant. Cela signifie que cette technologie pourrait être utilisée de manière réaliste sur l'ordinateur ou le téléphone d'une personne pour surveiller l'activité au fur et à mesure qu'elle se produit, sans avoir besoin d'envoyer les données vers un serveur distant. Ce travail démontre qu'en changeant l'architecture fondamentale de la manière dont l'ordinateur perçoit les données, plutôt qu'en lui fournissant simplement plus d'exemples, il est possible de construire des systèmes de reconnaissance d'activité robustes face à la réalité désordonnée de la façon dont les gens portent réellement leurs appareils.

Résumé Technique : Reconnaissance d'Activités Multi-IMU Invariante à la Rotation sous Décalages d'Orientation Indépendants par Emplacement

Énoncé du Problème

La reconnaissance d'activités humaines (HAR) utilisant des unités de mesure inertielle (IMU) auto-administrées fait face à un décalage de distribution critique : les décalages d'orientation indépendants qui surviennent lorsque les capteurs sont réattachés lors de sessions différentes. Dans les configurations multi-IMU (ex. : poitrine, poignet, cuisse, cheville), chaque capteur peut acquérir une rotation arbitraire et distincte par rapport au segment corporel qu'il surveille.

Les modèles HAR scalaires conventionnels manquent de robustesse structurelle face à ces rotations, ce qui entraîne une dégradation significative des performances. Les solutions existantes reposent sur deux approches principales, toutes deux limitées :

Augmentation par Rotation : Entraînement de modèles sur des données synthétiquement rotatées. Cette robustesse est dépendante de l'échantillonnage et ne garantit pas l'invariance face à des rotations $SO(3)$ arbitraires et inédites.
Pipelines de Calibration : Étapes de prétraitement pour normaliser l'orientation en utilisant des référentiels, des intervalles statiques ou des données magnétiques. Ces méthodes introduisent une surcharge d'ingénierie et des hypothèses (ex. : champs magnétiques fiables) qui échouent souvent dans des environnements non contrôlés et auto-administrés.

Le défi central est d'atteindre une invariance structurelle aux décalages d'orientation $SO(3)$ indépendants par emplacement, sans nécessiter d'augmentation par rotation ni de calibration explicite au moment du test.

Méthodologie : TRI-HAR

Les auteurs proposent TRI-HAR (Truly Rotation-Invariant HAR), un cadre qui intègre l'invariance à la rotation directement dans l'architecture du modèle. La méthode traite les flux d'accéléromètre et de gyroscope comme des vecteurs triaxiaux plutôt que comme des canaux scalaires.

1. Représentation Vectorielle Groupée par Emplacement

Les données d'entrée sont remodelées à partir de canaux scalaires aplatis ( $X_{raw} \in \mathbb{R}^{T \times 3S}$ ) en flux vectoriels triaxiaux ( $X \in \mathbb{R}^{T \times S \times 3}$ ). Crucialement, ces flux sont groupés par emplacement physique d'IMU ( $L$ emplacements). Chaque groupe $X^{(l)}$ est traité comme une unité soumise à une rotation indépendante $R_l \in SO(3)$ . Cette formulation modélise explicitement le scénario où les capteurs à différents emplacements corporels sont réattachés avec des décalages distincts.

2. Backbone Partagé $SO(3)$-Équivariant

TRI-HAR utilise un backbone partagé, instancié sous la forme de FER-VN-DGCNN (Représentation de Caractéristiques Équivariantes Basée sur la Fréquence avec des Neurones Vectoriels et des Réseaux de Graphes Convolutifs Dynamiques).

Neurones Vectoriels (VN) : Les caractéristiques cachées scalaires sont élevées en canaux à valeurs vectorielles 3D qui se transforment de manière prévisible sous des rotations 3D.
Équivariance Multi-Fréquence : Le backbone élève les vecteurs d'entrée dans un espace équivariant multi-fréquence. La direction du vecteur d'entrée détermine la composante angulaire, tandis qu'une fonction radiale apprenable module les coefficients de fréquence dépendant de la magnitude.
Traitement par Graphe : Au sein de chaque groupe d'emplacement, le backbone construit un graphe dynamique sur les états IMU indexés par le temps, agrégeant les caractéristiques de l'état de mouvement cinématiquement similaire tout en préservant l'équivariance.

3. Projection Invariante et Fusion

L'innovation clé réside dans l'ordre des opérations : la Projection Invariante précède la Fusion Inter-Emplacement.

Projection Invariante : Pour chaque groupe d'emplacement, les caractéristiques équivariantes sont projetées en représentations scalaires invariantes à la rotation. Cela est réalisé en calculant les produits scalaires entre les caractéristiques latentes et un référentiel co-rotatif appris. Mathématiquement, si $V_t$ est la caractéristique et $F_t$ le référentiel, la caractéristique invariante $z_t = V_t F_t^\top$ annule la rotation $R_l$ .
Agrégation par Emplacement : Les caractéristiques invariantes par pas de temps sont agrégées (max global/moyenne) pour produire un vecteur de caractéristique invariant unique $h_l$ pour chaque emplacement.
Fusion à Ordre Fixe : Les vecteurs invariants $\{h_1, \dots, h_L\}$ sont concaténés dans un ordre fixe par emplacement corporel et transmis à un classifieur MLP final.

Cette conception garantit que le modèle est invariant aux rotations indépendantes $R_l$ à chaque emplacement car la rotation est annulée localement avant que les caractéristiques de différents emplacements ne soient combinées.

Contributions Clés

Cadre TRI-HAR : Une architecture HAR multi-IMU qui apprend des représentations équivariantes-vers-invariantes par emplacement physique, offrant une robustesse structurelle aux décalages d'orientation indépendants sans augmentation par rotation ni calibration au moment du test.
Protocole de Décalage Indépendant par Emplacement : La formulation d'un protocole d'évaluation spécifique où chaque emplacement d'IMU reçoit une rotation $SO(3)$ distincte et fixe, simulant précisément les scénarios de réattachement auto-administrés.
Validation Empirique : Démonstration sur quatre benchmarks publics (PAMAP2, DSADS, Opportunity, RealDISP) montrant que TRI-HAR préserve les scores macro-F1 sous des rotations $SO(3)$ fixes et indépendantes par emplacement, surpassant les baselines augmentées par rotation qui dépendent de l'échantillonnage.

Résultats Expérimentaux

Les auteurs ont évalué TRI-HAR contre cinq baselines supervisées (MC-CNN, DeepConvLSTM, MLP-HAR, TinyHAR, SA-HAR) sous deux conditions : les données de test originales ( $I$ ) et les décalages $SO(3)$ fixes et indépendants par emplacement ( $SO(3)_{loc-fix}$ ).

Robustesse à la Rotation : Sous $SO(3)_{loc-fix}$ , les baselines non-équivariantes ont subi des chutes de performance catastrophiques (ex. : macro-F1 chutant d'environ 80 % à 30 % sur PAMAP2). En revanche, TRI-HAR a maintenu ses performances sur les données de test originales, montrant une dégradation négligeable (erreur d'invariance relative $< 10^{-10}$ ).
Comparaison avec l'Augmentation : Même lorsque les baselines étaient entraînées avec une augmentation par rotation par emplacement correspondante (loc-sample), TRI-HAR a obtenu un macro-F1 plus élevé sur les quatre jeux de données sans utiliser d'augmentation par rotation.
Déplacement Mutuel RealDISP : Sur le fold "Mutual-displacement" complexe de RealDISP (où les capteurs sont physiquement repositionnés et réorientés par un instructeur), TRI-HAR a atteint le macro-F1 le plus élevé (85,29 %), surpassant la plus forte baseline augmentée par rotation (TinyHAR à 78,49 %) de 6,8 points.
Ablation de la Stratégie de Fusion : Un modèle de contrôle, TRI-HAR-joint, qui applique la projection invariante aux caractéristiques concaténées de tous les emplacements (supposant une rotation globale partagée), a échoué de manière significative sous des décalages indépendants par emplacement (perte d'environ 37 à 50 points de macro-F1). Cela confirme que la projection invariante par emplacement est nécessaire pour le scénario de déploiement ciblé.
Latence : Les mesures de latence côté hôte sur des flux 3-IMU et 5-IMU ont montré que bien que TRI-HAR soit plus lent que les baselines scalaires en raison du traitement équivariant par emplacement, sa latence p99 fenêtre-vers-étiquette (67,61 ms et 85,78 ms respectivement) reste bien en dessous des périodes de mise à jour de la fenêtre (~2,5 s), supportant l'inférence en streaming en temps réel.

Signification et Revendications

L'article affirme que TRI-HAR offre une solution structurelle au problème de la variabilité d'orientation dans l'HAR multi-IMU auto-administrée. En traitant l'invariance à la rotation comme une propriété du modèle plutôt que comme une stratégie d'augmentation de données, le cadre élimine le besoin de :

L'augmentation par rotation synthétique pendant l'entraînement.
La calibration explicite de l'orientation ou les hypothèses de référentiel lors de l'inférence.

Les auteurs positionnent TRI-HAR comme une approche "légère en calibration" adaptée au suivi de la rééducation et de l'exercice à domicile, où le réattachement des capteurs est fréquent et où la calibration effectuée par l'utilisateur est peu pratique. Ce travail souligne que si les implémentations actuelles entraînent des coûts computationnels plus élevés que les modèles scalaires, l'échange architectural est justifié par la robustesse acquise dans des scénarios de déploiement réels et non contrôlés. Les travaux futurs sont orientés vers l'optimisation du coût interne de l'encodeur pour le déploiement sur des appareils de bord (edge).