🤖 AI

Memory-Augmented LSTM Autoencoder for Unsupervised Activity Recognition with IMU Sensor Fusion

Cet article propose un cadre d'autoencodeur LSTM augmenté de mémoire entièrement non supervisé qui fusionne des caractéristiques statiques et temporelles hiérarchiques issues de données IMU multi-capteurs afin d'atteindre une reconnaissance d'activité de haute précision dans des scénarios réels, surpassant à la fois les bases de référence supervisées et les méthodes non supervisées existantes sur les jeux de données DaLiAc et PAMAP2.

Auteurs originaux : Saeid Arabzadeh, Farshad Almasganj, Mohammad Mahdi Ahmadi

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Saeid Arabzadeh, Farshad Almasganj, Mohammad Mahdi Ahmadi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à reconnaître ce qu'une personne est en train de faire, simplement en observant les secousses et les rotations de son corps. Habituellement, pour enseigner cela à un robot, il faut lui montrer des milliers de vidéos où un humain a déjà étiqueté chaque mouvement : « Ceci est de la marche », « Ceci est de l'assise », « Ceci est du balayage ». Mais dans le monde réel, nous n'avons pas toujours ces étiquettes, et parfois les données sont désordonnées ou les capteurs s'agitent de manière irrégulière.

Ce document propose une nouvelle méthode ingénieuse pour enseigner au robot sans avoir besoin de ces étiquettes. C'est comme apprendre à un étudiant à reconnaître une chanson non pas en lisant la partition, mais en écoutant le rythme et la façon dont les notes s'enchaînent.

Voici la décomposition de leur méthode utilisant des analogies simples :

1. Le Problème : Le « cliché flou »

Imaginez prendre la photo d'une personne pendant seulement une seconde. Si elle est en train de se lever d'une chaise, cette photo unique est déroutante. Est-ce de l'« assise » ou de la « station debout » ? C'est un cliché flou.

Le Défi : La plupart des modèles d'IA existants essaient d'examiner ces clichés courts et flous pour deviner l'activité. Ils s'embrouillent souvent, surtout si les capteurs (comme les montres intelligentes ou les ceintures de hanche) sont bruyants ou si la personne est en transition entre deux activités.
La Correction du Papier : Au lieu de simplement regarder le cliché, l'IA regarde l'histoire qui a précédé ce cliché. Elle demande : « Que se passait-il juste une seconde auparavant ? » pour donner du sens au moment présent.

2. La Solution : Un système de « mémoire » en deux étapes

Les auteurs ont construit un système appelé UTFF (Unsupervised Temporal Feature Fusion - Fusion de Caractéristiques Temporelles Non Supervisée). Considérez cela comme un processus de détective en deux étapes :

Étape A : Le « Détective Statique » (Le modèle HUF)

D'abord, le système examine une fenêtre de temps unique (un cliché) provenant de plusieurs capteurs (comme des accéléromètres et des gyroscopes sur le poignet, la poitrine et la hanche).

L'Analogie : Imaginez une équipe de critiques d'art. Chaque critique examine une partie différente du tableau (l'un regarde le poignet, l'autre la poitrine). Chacun rédige un rapport détaillé sur ce qu'il voit. Ensuite, un « Critique en Chef » combine tous ces rapports en un seul résumé de haute qualité de ce que le corps fait en ce moment même.
Le Résultat : Cela crée une « caractéristique statique » — une très bonne description du moment présent, mais elle ne sait toujours pas si la personne était en train de s'asseoir ou de se lever.

Étape B : Le « Gardien de la Mémoire » (L'LSTM-AE)

C'est l'innovation principale du papier. Le système prend ces « résumés statiques » et les injecte dans un Autoencodeur Augmenté par la Mémoire.

L'Analogie : Imaginez un bibliothécaire qui vient de recevoir le résumé d'un chapitre de livre. Au lieu de juger le chapitre de manière isolée, le bibliothécaire parcourt les chapitres précédents dans sa mémoire. Il se dit : « Ah, ce chapitre a du sens maintenant parce que je me souviens que le personnage courait dans le chapitre précédent. »
Comment ça marche : L'IA examine le résumé actuel et le combine avec les résumés des quelques secondes précédentes. Elle utilise une « cellule de mémoire » spéciale (un LSTM) pour se souvenir du flux du mouvement. Elle tente ensuite de reconstruire les données originales à partir de cette mémoire. Si elle peut reconstruire les données parfaitement, cela signifie qu'elle a véritablement compris le motif.
La Magie : En forçant l'IA à se souvenir du passé pour comprendre le présent, elle devient bien meilleure pour distinguer des activités similaires (comme « balayer » vs « marcher »), même si le cliché actuel est court et flou.

3. Le Test du « Monde Réel »

La plupart des études testent leur IA sur des données parfaites et propres où chaque fenêtre ne contient qu'une seule activité (par exemple, une fenêtre qui est 100 % « marche »).

Le Twist du Papier : Les auteurs ont décidé de tester leur modèle dans un scénario réel et désordonné. Ils ont utilisé le fenêtrage inter-classes.
L'Analogie : Au lieu de tester le bibliothécaire sur un livre où chaque page est un nouveau chapitre, ils lui ont donné un livre où les chapitres se mélangent. Une seule fenêtre peut contenir la fin de l'« assise » et le début de la « station debout ».
Le Résultat : Ils ont constaté que cette approche désordonnée rendait en fait la tâche de l'IA plus difficile (la précision a chuté d'environ 7 % initialement), mais cela a rendu le modèle beaucoup plus pratique pour la vie réelle.

4. Les Résultats : Fenêtres courtes, grands succès

L'affirmation la plus impressionnante du papier concerne la vitesse et l'efficacité.

Généralement, pour obtenir une haute précision, l'IA a besoin d'observer une fenêtre de temps longue (comme 5 secondes de données) pour être sûre de ce qui se passe.
Le modèle des auteurs a atteint une précision de 96,6 % sur un jeu de données et de 98,4 % sur un autre, mais il l'a fait en utilisant des fenêtres extrêmement courtes (seulement 1 seconde).
La Métaphore : C'est comme reconnaître une chanson après n'avoir entendu que les deux premières notes, alors que d'autres systèmes ont besoin d'entendre tout le refrain. En utilisant sa « mémoire » des notes précédentes, le modèle n'a pas eu besoin de tout le refrain pour connaître la chanson.

Résumé

Le papier présente une IA non supervisée intelligente qui apprend à reconnaître le mouvement humain en :

Fusionnant les données de plusieurs capteurs corporels pour obtenir une image claire du « présent ».
Utilisant la mémoire pour regarder le « juste avant » afin de mieux comprendre le « présent ».
S'entraînant elle-même sans avoir besoin d'étiquettes humaines (non supervisé).
Fonctionnant même lorsque les données sont désordonnées et que les fenêtres temporelles sont très courtes.

Les auteurs affirment que cette méthode est supérieure aux anciens modèles car elle gère la réalité désordonnée des transitions de mouvements humains et qu'elle le fait sans avoir besoin d'une immense bibliothèque d'exemples étiquetés.

Résumé technique : Autoencodeur LSTM augmenté par la mémoire pour la reconnaissance d'activités non supervisée

1. Énoncé du problème

La reconnaissance des activités humaines (HAR - Human Activity Recognition) utilisant des capteurs d'unités de mesure inertielle (IMU) est cruciale pour les soins de santé, la rééducation et le diagnostic des troubles moteurs. Cependant, le domaine est confronté à des obstacles majeurs :

Rareté des données et étiquetage : Les modèles d'apprentissage profond nécessitent généralement de grands volumes de données étiquetées, ce qui est difficile et coûteux à obtenir.
Complexité de la fusion de capteurs : Fusionner efficacement les données provenant de plusieurs capteurs (accéléromètres et gyroscopes) pour capturer à la fois les dépendances spatiales et temporelles reste un défi.
Dépendances temporelles et spatiales : Les méthodes non supervisées existantes échouent souvent à capturer la dynamique temporelle complexe de divers modèles de mouvement, en particulier dans les fenêtres de temps courtes.
Contraintes du monde réel : Les scénarios réels impliquent des données bruitées, des activités chevauchantes et des limites de transition ambiguës. La plupart des études existantes utilisent un fenêtrage « intra-classe » (où une fenêtre ne contient qu'une seule activité), ce qui ne reflète pas la nature continue et transitionnelle des mouvements réels.

2. Méthodologie

Les auteurs proposent un cadre de fusion de caractéristiques spatiotemporelles entièrement non supervisé appelé Unsupervised Temporal Feature Fusion (UTFF). L'architecture opère en deux étapes principales : l'extraction de caractéristiques statiques et l'amélioration temporelle dynamique.

A. Extraction de caractéristiques statiques (HUF - Hierarchical Unsupervised Fusion)

Avant la modélisation temporelle, le système extrait des caractéristiques statiques à partir de fenêtres de courte durée de données multi-capteurs en utilisant un processus hiérarchique en trois étapes :

Représentation des données (DR-SAE) : Un autoencodeur empilé avec des réseaux de neurones convolutifs (CNN) traite les axes individuels des capteurs (accéléromètre et gyroscope) pour projeter les signaux bruts dans un espace de caractéristiques de haute dimension (256 canaux).
Fusion de caractéristiques locales (LFF-AE) : Les caractéristiques des six axes d'un seul capteur sont fusionnées à l'aide d'un autoencodeur de fusion de caractéristiques locales. Cette étape inclut le max-pooling pour stabiliser le système contre les perturbations de mouvement et la normalisation par lots (batch normalization).
Fusion de caractéristiques globales (GFF-AE) : Les caractéristiques de tous les capteurs portés sur le corps sont fusionnées en un vecteur unique via un autoencodeur de fusion de caractéristiques globales. Cela produit une représentation de caractéristique statique pour une seule fenêtre temporelle.

B. Amélioration temporelle dynamique (Memory-Augmented LSTM-AE)

Pour pallier les limites des caractéristiques statiques, le cadre utilise un autoencodeur Séquence-vers-Séquence (STS) augmenté par la mémoire basé sur des réseaux de mémoire à court et long terme (LSTM) :

Construction de la séquence : Les vecteurs de caractéristiques statiques de fenêtres consécutives sont concaténés pour former une séquence temporelle. Pour gérer le début d'une séquence, les vecteurs initiaux sont complétés par un remplissage (padding) de zéros.
Architecture Encodeur-Décodeur :
- L'Encodeur traite une séquence de $q$ fenêtres. Il utilise des cellules LSTM pour agréger les informations des étapes temporelles précédentes.
- Le Décodeur tente de reconstruire la séquence d'entrée originale à partir d'une représentation compressée (le « code »).
- Mécanisme de mémoire : L'état caché final de l'encodeur ( $h_q$ ) sert de vecteur de caractéristique dynamique amélioré. Cet état intègre l'entrée actuelle avec le contexte historique des fenêtres précédentes sans nécessiter d'étiquettes d'activité.
Objectif d'entraînement : Le modèle est entraîné de manière non supervisée pour minimiser l'erreur quadratique moyenne (MSE) entre la séquence d'entrée originale et la séquence reconstruite.

C. Classification

Pour l'évaluation, les caractéristiques extraites (statiques, améliorées par LSTM, ou améliorées par LSTM-AE) sont injectées dans un classificateur de réseau à couche dense (DLN). L'étude compare trois configurations :

Caractéristiques statiques (HUF uniquement).
Caractéristiques améliorées par un simple LSTM (LSTM-CF).
Caractéristiques améliorées par le LSTM-AE augmenté par la mémoire (Proposé).

3. Contributions clés

Le document présente cinq contributions principales :

Cadre UTFF : Un nouveau cadre non supervisé qui réalise à la fois l'extraction de caractéristiques statiques et dynamiques. Il utilise une structure hiérarchique pour fusionner les caractéristiques des canaux de capteurs individuels jusqu'au niveau du corps complet, en mettant à jour les caractéristiques statiques avec les données historiques sans supervision.
Autoencodeur augmenté par la mémoire : Une architecture qui met à jour les caractéristiques de la fenêtre actuelle en incorporant les informations pertinentes des fenêtres précédentes. Cela cible spécifusement le défi de l'entraînement de modèles comportant de nombreuses classes d'activités de manière non supervisée à l'aide de réseaux de neurones récurrents (RNN).
Gestion de l'incertitude de transition : Contra-irement aux travaux précédents, le modèle est conçu pour le fenêtrage inter-classe, où les fenêtres peuvent contenir des transitions entre activités. Cela aligne le modèle avec les conditions réelles où les frontières d'activité sont imprécises.
Analyse des hyperparamètres : Une évaluation systématique de l'impact de la longueur de la séquence ( $q$ ), de la taille du code et de la connectivité encodeur-décodeur ( $m$ ) sur la séparabilité des caractéristiques.
Stratégie de segmentation réaliste : L'adoption d'une segmentation inter-classe continue sur l'ensemble de la chronologie du signal, permettant à plusieurs activités d'apparaître au sein d'une même fenêtre, offrant ainsi une évaluation plus rigoureuse des capacités d'extraction de caractéristiques.

4. Résultats expérimentaux

La méthode a été évaluée sur deux ensembles de données de référence : DaLiAc (19 participants, 14 activités, 4 capteurs) et PAMAP2 (9 participants, 11 activités, 3 capteurs).

Performance sur DaLiAc :
- En utilisant une fenêtre courte de 1 seconde ( $N=200$ échantillons), la méthode proposée LSTM-AE a atteint une précision de classification de 96,6 %.
- Elle a nettement surpassé la ligne de base statique HUF (63 %) et le simple LSTM-CF (73 %).
- Même avec une fenêtre plus longue de 2,56 secondes, le LSTM-AE (91,6 %) a dépassé la ligne de base statique (86 %).
- La méthode a réussi à distinguer des classes difficiles (ex: se tenir debout vs passer l'aspirateur) que les caractéristiques statiques ne pouvaient pas séparer.
Performance sur PAMAP2 :
- Le modèle a atteint une précision de 98,4 % avec une fenêtre de 1 seconde avec segmentation inter-classe.
- Ce résultat a surpassé plusieurs lignes de base supervisées et approches non supervisées existantes, malgré l'utilisation de fenêtres temporelles nettement plus courtes que de nombreuses études comparatives (qui utilisent souvent des fenêtres de 5 à 10 secondes).
Impact de la segmentation inter-classe :
- Les auteurs ont noté que le passage d'une segmentation intra-classe à une segmentation inter-classe a réduit la précision de la classification d'environ 7 % pour les modèles statiques. Cependant, le modèle proposé LSTM-AE a récupéré et dépassé ces pertes, démontant une robustesse dans les scénarios de transition réels.
Aperçus sur les hyperparamètres :
- Une performance optimale a été trouvée avec une longueur de séquence ( $q$ ) de 6 et une taille de code de 1000.
- Augmenter le nombre de cellules de connexion encodeur-décodeur ( $m$ ) au-delà de 1 a dégradé la performance, suggérant qu'un goulot d'étranglement plus serré produit des caractéristiques plus discriminantes.
- Augmenter la profondeur de l'encodeur (de 1 à 2 couches) n'a pas systématiquement amélioré la précision globale, bien que cela aide pour certaines activités complexes.

5. Signification et revendications

Le papier affirme que le cadre UTFF proposé représente une avancée significative pour l'HAR non supervisée en abordant le double défi de la fusion de capteurs et de la dépendance temporelle sans recourir à des données étiquetées.

Applicabilité au monde réel : En utilisant le fenêtrage inter-classe et des fenêtres temporelles courtes (1 seconde), le modèle est mieux adapté aux applications en ligne et en temps réel où les transitions d'activité sont fréquentes et l'étiquetage indisponible.
Efficacité : La méthode atteint des performances de pointe ou supérieures par rapport aux lignes de base supervisées tout en opérant sous des conditions de données plus restrictives et réalistes (fenêtres plus courtes, absence de labels, données riches en transitions).
Séparabilité des caractéristiques : L'étude démontre que l'apprentissage non supervisé augmenté par la mémoire peut améliorer la séparabilité des caractéristiques jusqu'à 9 % par rapport aux méthodes statiques, capturant efficacement les modèles de mouvement dynamiques que les caractéristiques spatiales statiques manquent.
Compromis : Les auteurs reconnaissent que l'architecture STS nécessite des temps d'entraînement plus longs et un matériel plus puissant que les modèles plus simples, mais soutiennent que c'est un compromis nécessaire pour atteindre une haute précision dans des contextes non supervisés et réels.

En conclusion, l'article postule que les architectures non supervisées augmentées par la mémoire peuvent combler efficacement le fossé entre les ensembles de données de laboratoire contrôlés et la nature bruitée et continue de la surveillance de l'activité humaine dans le monde réel.