TransfHAR: Self-Supervised Wrist Representations for On-Demand Activity Recognition
TransfHAR est un cadre d'apprentissage auto-supervisé pour les IMU de poignet qui exploite le pré-entraînement sur des activités grossières non étiquetées pour permettre une reconnaissance d'activités fines et précise à la demande avec un minimum de données étiquetées, surpassant les bases de référence entièrement supervisées tant dans les évaluations hors ligne que dans les applications réelles de montres connectées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque jour, nos poignets racontent une histoire de mouvement. Ils nous accompagnent dans le rythme d'une course matinale, le pas régulier d'une marche vers le travail et l'immobilité tranquille d'une assise à un bureau. Pendant des années, les scientifiques ont appris aux ordinateurs à reconnaître ces mouvements larges et amples grâce à des capteurs portés au poignet. Ces appareils peuvent faire la distinction entre un jogging et un repos, ou une marche et une conduite. Mais le monde du mouvement humain est bien plus complexe que ces catégories générales. Il est rempli de gestes petits et spécifiques qui définissent nos vies personnelles : la façon dont un barista remue un café, le mouvement précis d'un claquement de doigts, ou les étapes délicates de l'application d'une lotion. Ces actions fines sont les choses mêmes qui rendent nos routines uniques, pourtant elles sont restées invisibles pour les logiciels de montres connectées standards. Le défi a toujours été que l'apprentissage d'une nouvelle action spécifique nécessite généralement la collecte d'heures de données étiquetées pour chaque personne et chaque tâche, un processus lent, coûteux et impossible à mettre à l'échelle face à l'infinie variété des habitudes humaines.
Une équipe de chercheurs a maintenant trouvé un moyen de contourner ce goulot d'étranglement. Ils ont développé un système appelé TransfHAR, qui permet à une montre connectée d'apprendre de nouvelles activités personnalisées à partir de seulement quelques secondes de démonstration. Au lieu d'essayer d'enseigner à l'appareil chaque mouvement possible à partir de zéro, les chercheurs ont d'abord enseigné au système le langage universel du mouvement du poignet. Ils ont rassemblé de vastes quantités de données non étiquetées provenant de jeux de données publics, capturant des milliers d'heures de personnes marchant, courant, s'asseyant et faisant de l'exercice. Grâce à une méthode d'apprentissage auto-supervisé, le système a étudié ces mouvements bruts sans qu'on lui dise ce qu'ils étaient. Il a appris à comprendre la physique sous-jacente de la façon dont un poignet bouge — comment il pivote, comment il accélère et comment les différentes parties du mouvement se connectent au fil du temps. Ce processus a créé une compréhension profonde de la structure du mouvement, une sorte de carte mentale de la façon dont le poignet se comporte dans le monde physique.
Une fois cette fondation établie, les chercheurs ont gelé la connaissance centrale du système et ont posé une question simple : cette compréhension large du mouvement pourrait-elle aider à reconnaître des tâches spécifiques et de précision qu'il n'avait jamais vues auparavant ? Pour tester cela, ils ont tenté d'enseigner au système l'identification d'actions complexes comme remuer une casserole, écrire avec un stylo ou effectuer une série d'étapes pour préparer un latte. Ces tâches étaient totalement absentes des données d'entraînement initiales. Les résultats ont été frappants. Lorsqu'on donnait au système seulement quelques exemples de ces nouvelles actions, il pouvait apprendre à les reconnaître avec une grande précision. Dans une étude impliquant dix participants ayant chacun défini sept activités uniques, le système a atteint une précision de près de quatre-vingt-dix pour cent en étant entraîné sur seulement une minute d'enregistrement par activité. Même avec seulement quelques secondes de données, il était nettement plus performant que les méthodes traditionnelles qui auraient nécessité de réentraîner l'ensemble du modèle à partir de zéro.
La force de cette approche réside dans sa capacité de généralisation. Le système n'a pas mémorisé les mouvements spécifiques des personnes sur lesquelles il a été entraîné ; il a plutôt appris la mécanique fondamentale du mouvement du poignet. Parce que la physique de la façon dont un poignet bouge en remuant une tasse est liée à la façon dont il bouge en claquant des doigts, le système peut transférer sa connaissance des mouvements larges et grossiers de la vie quotidienne vers les gestes fins et spécifiques des routines personnelles. Cela signifie qu'un utilisateur peut désormais définir sa propre activité, comme une étape d'exercice spécifique ou un geste de la main unique, et que la montre peut l'apprendre presque instantanément. Le système fonctionne en prenant les données brutes des capteurs, en les convertissant en une représentation compacte à l'aide de son cerveau pré-entraîné, puis en utilisant une couche très simple et légère pour mapper cette représentation à la nouvelle étiquette. Cela permet à l'ensemble du processus de se dérouler directement sur la montre, sans avoir besoin d'envoyer des données vers un serveur cloud ou d'attendre une mise à jour complexe.
Cependant, les chercheurs ont également identifié les limites de cette technologie. Le système excelle dans la reconnaissance d'actions présentant des mouvements distincts, de type saccadé, ou des motifs de rotation clairs, comme secouer une bouteille ou visser une vis. Il éprouve plus de difficultés avec les actions soutenues et de faible amplitude, comme faire défiler un écran sur un téléphone ou écrire avec un stylo, car ces mouvements ressemblent souvent beaucoup à d'autres dans les fenêtres de temps courtes que le système analyse. Lorsque deux activités différentes produisent des dynamiques de poignet presque identiques, le système peut les confondre, suggérant qu'il existe encore des limites à ce qu'un instantané de mouvement peut révéler. Malgré ces limitations, les découvertes suggèrent une nouvelle voie pour la technologie des wearables. En apprenant des vastes mouvements non étiquetés du monde, les montres connectées peuvent dépasser une liste fixe d'activités préprogrammées pour devenir des outils véritablement adaptatifs qui comprennent le langage unique et évolutif du mouvement humain. Ce changement signifie que, dans le futur, nos appareils ne se contenteront pas de suivre ce que nous faisons, mais apprendront à comprendre les manières spécifiques dont nous choisissons de le faire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.