Embedded Inter-Subject Variability in Adversarial Learning for Inertial Sensor-Based Human Activity Recognition

Cet article propose un cadre d'apprentissage antagoniste novateur qui intègre la variabilité inter-sujet pour générer des représentations de caractéristiques invariantes et améliorer la reconnaissance d'activités humaines via des capteurs inertiels portables.

L'essentiel

🏃‍♂️ Le Problème : Pourquoi les robots ne nous comprennent pas toujours

Imaginez que vous apprenez à un robot à reconnaître vos mouvements (marcher, courir, sauter) en utilisant des capteurs sur votre poignet.
Le problème, c'est que chacun est unique.

• Vous, vous marchez d'un pas lent et posé.
• Votre voisin, lui, a le même mouvement de marche, mais il le fait en courant, avec des bras qui bougent plus vite.

Pour le robot, ce sont deux signaux très différents, même si l'action est la même. C'est ce que les chercheurs appellent la "variabilité inter-sujet".
Si le robot est entraîné uniquement sur vous, il sera perdu quand il rencontrera votre voisin. C'est comme si vous appreniez à conduire uniquement avec une voiture automatique, et que vous deviez ensuite conduire une voiture manuelle : vous auriez du mal à vous adapter.

💡 La Solution : Le "Détective de l'Identité"

Les auteurs de cette étude (Francisco, Shoko et leur équipe) ont inventé une nouvelle méthode pour entraîner le robot. Au lieu de simplement lui montrer des vidéos de mouvements, ils lui ont donné un nouveau jeu de rôle pendant son entraînement.

Imaginez que le robot est un détective privé qui doit apprendre à reconnaître des activités sans se soucier de qui les fait.

1. Le Jeu de l'Ami ou de l'Inconnu

Pendant l'entraînement, le robot reçoit deux signaux de mouvement en même temps (par exemple, deux enregistrements de "marche"). On lui pose une question piège :

"Est-ce que ces deux mouvements viennent de la même personne ou de deux personnes différentes ?"

• Le piège : Le robot doit apprendre que peu importe si c'est vous ou votre voisin qui marche, le signal de "marche" doit sembler identique à ses yeux.
• L'objectif : Le robot doit devenir si bon pour reconnaître l'activité (marcher) qu'il oublie complètement qui la fait. Il doit effacer les "signatures" personnelles (votre façon de bouger les bras, votre vitesse) pour ne garder que l'essence du mouvement.

2. Le Duel des Intelligences (L'Adversaire)

C'est ici que ça devient passionnant. Ils utilisent une technique appelée apprentissage adversarial, qui ressemble à un duel entre deux joueurs :

• Le Joueur A (Le Créateur) : Il essaie de transformer les mouvements de différentes personnes pour qu'ils se ressemblent tous. Il veut tromper le Joueur B.
• Le Joueur B (Le Détective) : Il essaie de deviner si les mouvements viennent de la même personne ou non.

Au début, le Créateur est nul et le Détective gagne facilement. Mais à force de s'entraîner ensemble :

• Le Créateur devient un magicien : il arrive à faire en sorte que votre marche et celle de votre voisin soient indiscernables.
• Le Détective devient frustré : il ne peut plus dire qui est qui, car les mouvements sont devenus "neutres".

À la fin, le Créateur a réussi son but : il a créé un espace commun où "marcher" ressemble à "marcher", peu importe qui le fait.

🚀 Les Résultats : Une Super-Adaptation

Les chercheurs ont testé cette méthode sur trois grands ensembles de données (des milliers d'heures de mouvements enregistrés par des gens différents).

• Avant : Les robots classiques échouaient souvent quand ils devaient reconnaître les mouvements d'une personne qu'ils n'avaient jamais vue avant.
• Après : Grâce à leur méthode, le robot est devenu un expert. Il a réussi à reconnaître les mouvements de nouveaux utilisateurs avec une précision bien supérieure aux méthodes précédentes.

C'est comme si, au lieu d'apprendre à reconnaître votre visage, le robot apprenait à reconnaître l'expression "sourire", peu importe si c'est vous, moi ou un inconnu qui sourit.

🌟 En Résumé

Cette recherche propose une astuce géniale pour rendre les intelligences artificielles plus humaines et plus flexibles :

1. Ne pas ignorer les différences, mais les utiliser comme un défi.
2. Faire jouer le robot à un jeu de détection pour l'obliger à oublier l'identité des gens et se concentrer uniquement sur l'action.
3. Résultat : Un système qui fonctionne immédiatement avec n'importe qui, sans avoir besoin de se ré-entraîner des heures pour chaque nouvelle personne.

C'est une étape de plus vers des assistants personnels, des montres connectées ou des robots qui nous comprennent vraiment, peu importe notre taille, notre poids ou notre style de mouvement !

Résumé technique

Titre : Intégration de la variabilité inter-sujet dans l'apprentissage adversarial pour la reconnaissance d'activités humaines basée sur des capteurs inertiels

1. Problématique

La reconnaissance d'activités humaines (HAR - Human Activity Recognition) utilisant des capteurs inertiels portables (accéléromètres, gyroscopes) fait face à un défi majeur : la généralisation à de nouveaux utilisateurs non vus lors de l'entraînement. Ce problème est causé par la variabilité inter-sujet, c'est-à-dire le fait que différentes personnes exécutent la même activité avec des intensités, des vitesses et des styles de mouvement distincts.

Les approches actuelles souffrent souvent de :

• Un écart de généralisation important entre les données d'entraînement et de test (nouvelles personnes).
• Des problèmes de scalabilité et de confidentialité dans les méthodes d'apprentissage multi-tâches (qui tentent d'identifier l'utilisateur).
• Des stratégies adversariales existantes qui ne parviennent pas toujours à garantir une généralisation cohérente pour tous les utilisateurs ou qui nécessitent un nombre de classes discriminantes qui augmente avec le nombre de participants.

L'objectif est de concevoir un modèle capable d'apprendre des caractéristiques invariantes à l'utilisateur, réduisant ainsi le biais de distribution entre les sujets sans nécessiter de collecte massive de données supplémentaires.

2. Méthodologie

Les auteurs proposent un nouveau cadre d'apprentissage adversarial profond qui intègre explicitement le concept de variabilité inter-sujet dans la tâche de discrimination.

Architecture du modèle :
Le framework comprend quatre blocs principaux :

1. Extracteur de caractéristiques ($F$) : Encodage des signaux des capteurs dans un espace latent de plus faible dimension.
2. Reconstructeur ($R$) : Décode l'espace latent vers l'espace d'entrée original (pour stabiliser l'entraînement via une perte de reconstruction).
3. Classifieur d'activité ($C$) : Prédit l'activité à partir de l'espace latent.
4. Discriminateur ($D$) : C'est l'innovation clé. Contrairement aux méthodes classiques qui cherchent à distinguer les utilisateurs, ce discriminateur est entraîné pour déterminer si deux vecteurs de caractéristiques proviennent de la même personne ET de la même activité, ou de personnes différentes mais de la même activité.

Nouvelle tâche de discrimination :

• Entrée : Des paires de vecteurs de caractéristiques $(x_a, x_b)$ correspondant à la même activité $y$.
• Label binaire ($g$) :
  • $g=1$ : Les deux échantillons proviennent du même sujet.
  • $g=0$ : Les échantillons proviennent de sujets différents.
• Objectif : Le discriminateur apprend à distinguer les sujets. L'extracteur de caractéristiques $F$ est entraîné de manière adversaire à tromper ce discriminateur pour les paires de sujets différents ($g=0$). En forçant le modèle à traiter les données de sujets différents comme s'ils provenaient du même sujet (pour la même activité), l'espace latent devient invariant à l'identité de l'utilisateur.

Fonction de perte combinée :
L'entraînement utilise une fonction de perte non saturante (inspirée des GANs) combinée à la perte de classification et de reconstruction :
$$L_{F} = w_A L_A + w_R L_R + w_C L_C$$
Où $L_A$ est la perte adversaire (non saturante) visant à minimiser la capacité du discriminateur à distinguer les sujets pour une même activité.

Protocole d'évaluation :
L'évaluation est réalisée via une validation croisée Leave-One-Subject-Out (LOSO), où le modèle est testé sur un utilisateur totalement absent de l'ensemble d'entraînement, simulant ainsi des conditions réelles de déploiement.

3. Contributions Clés

1. Cadre Adversarial Innovant : Intégration de la dimension "activité" dans la tâche de discrimination. Le discriminateur ne cherche pas seulement à identifier l'utilisateur, mais à vérifier la cohérence "activité + utilisateur", ce qui force l'apprentissage d'un espace latent commun pour chaque activité, indépendamment du sujet.
2. Scalabilité et Confidentialité : La tâche de discrimination est formulée comme un problème de classification binaire (même sujet/différents sujets) qui ne dépend pas du nombre total d'utilisateurs, contrairement aux méthodes multi-classes. De plus, cela réduit les risques de confidentialité liés à l'identification directe des utilisateurs.
3. Fonction de Perte Combinée : Utilisation d'une perte non saturante de type GAN pour apprendre des représentations invariantes aux sujets tout en préservant la performance de classification.
4. Validation Rigoureuse : Comparaison sur trois jeux de données standards (PAMAP2, MHEALTH, REALDISP) avec une validation LOSO stricte.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données publics (PAMAP2, MHEALTH, REALDISP) en comparant la méthode proposée avec l'état de l'art (MCCNN, DCLSTM, METIER, UIDFE, DDLearn).

• Performance de Classification : La méthode proposée surpasse systématiquement toutes les approches précédentes en termes de précision (Accuracy) et de F1-Score Macro.
  • Exemple (REALDISP) : Précision de 97,10 % contre 94,50 % pour la meilleure méthode précédente (UIDFE).
  • Exemple (PAMAP2) : Précision de 87,03 % contre 80,14 % pour UIDFE.
• Réduction de la Variabilité : L'analyse de la distance de Wasserstein entre les distributions d'entraînement et de test montre une réduction significative de l'écart après l'étape adversaire (Étape 3), indiquant que les distributions des nouveaux utilisateurs sont mieux alignées avec celles des utilisateurs d'entraînement.
• Étude d'Ablation : La comparaison entre l'apprentissage supervisé seul, l'apprentissage supervisé + reconstruction, et le framework complet montre que l'étape adversaire apporte la plus grande amélioration de la généralisation.
• Comparaison des Tâches de Discrimination : Remplacer la tâche de discrimination proposée par celles des travaux antérieurs (identification pure de l'utilisateur ou comparaison binaire sans contexte d'activité) entraîne une baisse de performance, confirmant l'efficacité de l'intégration de l'information d'activité dans la tâche adversaire.
• Robustesse : Le modèle est peu sensible aux variations des hyperparamètres de pondération des pertes.

5. Signification et Impact

Ce travail apporte une solution élégante au problème de la variabilité inter-sujet en HAR, un obstacle majeur à l'adoption généralisée des systèmes portables.

• Adaptabilité : Le système permet de déployer des modèles de reconnaissance d'activités sur de nouveaux utilisateurs sans nécessiter de phase de calibration ou de collecte de données supplémentaires.
• Efficacité : L'approche est scalable car le discriminateur ne grossit pas avec le nombre d'utilisateurs.
• Confidentialité : En évitant l'identification explicite des utilisateurs tout en apprenant des caractéristiques invariantes, le modèle répond mieux aux préoccupations de vie privée.
• Généralité : La méthodologie peut potentiellement être appliquée à d'autres tâches de reconnaissance de signaux temporels où la variabilité inter-individuelle est un facteur limitant.

En conclusion, l'intégration de la variabilité inter-sujet directement dans la logique de l'apprentissage adversarial permet de créer des représentations de caractéristiques plus robustes et universelles, améliorant considérablement la fiabilité des systèmes HAR basés sur l'apprentissage profond.