🤖 machine learning

Efficient and Adaptive Human Activity Recognition via LLM Backbones

Ce papier propose un cadre efficace et adaptatif de reconnaissance d'activités humaines qui exploite des modèles de langage de grande taille préentraînés et figés comme épine dorsale temporelle, reliés par une projection convolutive structurée et adaptés via l'adaptation à faible rang (LoRA) afin d'obtenir de fortes performances, une efficacité des données et un transfert robuste entre jeux de données tout en réduisant considérablement les coûts computationnels.

Auteurs originaux : Aleksandr Bredikhin, Philippe Lalanda, German Vega

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aleksandr Bredikhin, Philippe Lalanda, German Vega

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire surdoué qui a lu tous les livres du monde. Ce bibliothécaire est un expert pour comprendre les histoires, le flux des phrases et l'évolution des personnages au fil du temps. Maintenant, imaginez que vous voulez enseigner à ce bibliothécaire à reconnaître les activités humaines — comme marcher, courir ou monter des escaliers — simplement en examinant les données d'une montre connectée.

Le problème est que le bibliothécaire parle « Langage », mais votre montre connectée parle « Mouvement ». Ils parlent des dialectes différents.

Ce papier propose une solution ingénieuse : Ne construisez pas un nouveau bibliothécaire à partir de zéro. Enseignez plutôt au bibliothécaire surdoué existant à comprendre le mouvement.

Voici comment les auteurs l'ont fait, décomposé en concepts simples :

1. L'Ancienne Méthode vs La Nouvelle Méthode

L'Ancienne Méthode : Habituellement, pour reconnaître les activités, les ingénieurs construisent un nouveau cerveau informatique spécialisé, entièrement neuf, à partir de zéro. Ils doivent le nourrir avec des milliers d'heures de données d'exercice étiquetées, et l'entraînement prend beaucoup de temps et d'argent. C'est comme embaucher un nouvel stagiaire et lui apprendre tout depuis zéro.
La Nouvelle Méthode (Ce Papier) : Les auteurs disent : « Pourquoi commencer de zéro ? » Ils prennent un Modèle de Langage de Grande Taille (LLM) — une intelligence artificielle massive déjà entraînée sur l'ensemble d'Internet pour comprendre le texte — et la réutilisent. Ils traitent cette IA non pas comme une lectrice de livres, mais comme une maîtresse des séquences. Puisqu'une histoire est une séquence de mots, et qu'une activité est une séquence de mouvements, le cerveau de l'IA est déjà câblé pour gérer la logique de « ce qui vient ensuite ».

2. Le Traducteur (Le « Adaptateur »)

On ne peut pas simplement injecter des données brutes de montre connectée (des nombres représentant la vitesse et la direction) dans une IA basée sur le texte. Ce serait comme essayer d'expliquer l'intrigue d'un film en criant des nombres au hasard au bibliothécaire.

Les auteurs ont construit un traducteur (un « module de projection convolutif »).

Ce qu'il fait : Il prend les données de mouvement brutes et désordonnées de l'accéléromètre et du gyroscope et les convertit dans un format que l'IA peut comprendre.
L'Analogie : Considérez les données de la montre connectée comme une langue étrangère. Le traducteur ne se contente pas de traduire mot à mot ; il résume l'« ambiance » d'un bref éclat de mouvement en un concept unique et clair que l'IA peut digérer.

3. Le Cerveau « Gelé » et les « Post-it »

Entraîner une immense IA à partir de zéro est coûteux et lent. C'est comme essayer de réécrire tout le dictionnaire chaque fois que vous voulez apprendre un nouveau mot.

Les auteurs ont utilisé une astuce appelée LoRA (Adaptation de Rang Faible) :

Le Cerveau Gelé : Ils ont maintenu le cerveau principal de l'IA gelé. Ils n'ont pas modifié ses connaissances fondamentales. C'est comme garder les étagères de la bibliothèque du bibliothécaire exactement telles quelles.
Les Post-it : Au lieu de réécrire les livres, ils ont ajouté une minuscule couche de « post-it » entraînables (LoRA) à l'IA. Ces notes enseignent à l'IA comment appliquer son intelligence générale des séquences spécifiquement aux données de mouvement.
Le Résultat : Ils n'ont eu à entraîner qu'une infime fraction du modèle (moins de 1 %). Cela a rendu le processus incroyablement rapide, peu coûteux et économe en énergie.

4. Comment Ils L'Ont Testé

Ils ont testé ce système sur des ensembles de données standard (comme UCI, HHAR et RealWorld) qui contiennent des données de personnes portant des capteurs tout en effectuant diverses activités.

Performance : Le système a fonctionné aussi bien, voire mieux, que les modèles spécialisés construits à partir de zéro.
Efficacité des Données : C'est la grande victoire. Le système a très bien appris même lorsqu'on ne lui a donné qu'une quantité minuscule de données (comme 1 % ou 10 % de l'ensemble d'entraînement habituel). Parce que l'IA comprenait déjà les « séquences » grâce à son entraînement linguistique, elle n'avait pas besoin d'être tout apprise depuis zéro.
Adaptabilité : Elle pouvait passer d'un ensemble de données à un autre très facilement, ce qui est crucial pour une utilisation réelle où les conditions changent.

5. Le Problème (Le « Problème du Placement du Capteur »)

Le papier a identifié une limitation spécifique. L'IA est excellente pour comprendre l'histoire du mouvement (par exemple : « d'abord j'ai marché, puis je me suis arrêté »). Cependant, elle peine si le capteur est porté à un endroit étrange (comme à la cheville au lieu du poignet), car cela change le « son » brut des données.

La Leçon : Le « Traducteur » (la partie convolutive) doit être assez intelligent pour gérer les particularités physiques de l'endroit où le capteur est placé. L'IA (le LLM) gère la logique à long terme, mais le Traducteur gère les détails physiques locaux. Ils fonctionnent mieux en équipe.

Résumé

Le papier montre qu'il n'est pas nécessaire de réinventer la roue pour la reconnaissance d'activités. En prenant une puissante IA de langage pré-entraînée et en lui donnant un simple traducteur et quelques « post-it » pour apprendre les spécificités, vous pouvez construire un système qui est :

Plus intelligent (comprend mieux les modèles à long terme).
Moins cher (nécessite moins de puissance de calcul).
Plus rapide à entraîner (nécessite moins de données).

C'est un changement de paradigme : passer de « construire un nouveau moteur » à « installer une nouvelle transmission sur un moteur existant et puissant ».

Résumé technique : Reconnaissance efficace et adaptative des activités humaines via des modèles de base LLM

Énoncé du problème

La reconnaissance des activités humaines (HAR) est une tâche critique en informatique ubiquitaire, nécessitant que les modèles interprètent des données de capteurs inertiels (accéléromètres et gyroscopes) dans le cadre de contraintes strictes en matière de calcul, d'énergie et de données. Bien que les architectures récentes basées sur les Transformers aient amélioré les performances de reconnaissance, elles reposent généralement sur la conception de modèles spécifiques à la tâche entraînés à partir de zéro. Cette approche engendre des coûts d'entraînement élevés, exige de grands volumes de données étiquetées et peine à s'adapter aux décalages de domaine (par exemple, changements d'utilisateurs, d'appareils ou de placement des capteurs). Les solutions existantes pour l'adaptation de domaine introduisent souvent une complexité supplémentaire ou restent sensibles à la rareté des données dans les domaines cibles.

Méthodologie

L'article propose HARLLM, un changement de paradigme qui réutilise de grands modèles de langage préentraînés (LLM) comme modèles de base temporels génériques pour la HAR basée sur des capteurs, plutôt que d'entraîner des Transformers spécifiques à un domaine à partir de zéro. Le cadre comble l'écart de modalité entre les séries temporelles inertielles multivariées continues et les tokens linguistiques discrets grâce à trois principes de conception fondamentaux :

Projection alignée sur la modalité (Front-end convolutif) :
- Les données brutes des capteurs (6 canaux : 3 accéléromètres, 3 gyroscopes) sont traitées par fenêtres de longueur fixe ( $W=128$ ).
- Un module de projection convolutif structuré mappe ces signaux continus dans l'espace latent du LLM.
- Le module traite les signaux d'accéléromètre et de gyroscope indépendamment avant de les fusionner. Il emploie une architecture multi-branche avec des convolutions temporelles 1D pour extraire des motifs de mouvement localement invariants et des dynamiques temporelles de portée moyenne.
- La sortie est projetée dans des embeddings compatibles avec la dimension d'embedding du LLM ( $d_{LLM}$ ), en préservant l'ordre temporel.
Modèle de base figé avec adaptation paramétrique efficace :
- Le LLM préentraîné (par exemple, GPT-2 Small, GPT-2 Medium ou Qwen-1.8B) sert d'encodeur de séquence et est maintenu figé pendant l'entraînement afin de préserver ses connaissances préentraînées et de minimiser le coût computationnel.
- L'adaptation est réalisée exclusivement via Low-Rank Adaptation (LoRA). Des matrices de faible rang entraînables sont injectées dans les projections de requête, de clé et de valeur des couches d'attention automatique.
- Cela réduit le nombre de paramètres entraînables à moins de 1 % de la taille totale du modèle (par exemple, ~1,2 million de paramètres pour GPT-2 Small), réduisant drastiquement l'empreinte mémoire et le temps d'entraînement.
Représentation et raisonnement découplés :
- Le front-end convolutif gère les propriétés au niveau du signal (échantillonnage, bruit, motifs locaux) et impose des biais inductifs spécifiques à la détection inertielle.
- Le modèle de base LLM opère sur les embeddings résultants au niveau des fenêtres pour capturer les dépendances temporelles à long terme, les transitions d'activités et la structure globale de la séquence.

Contributions clés

Changement de paradigme : Les auteurs introduisent une approche novatrice pour la HAR qui réutilise des LLM préentraînés comme modèles de base temporels, s'éloignant de la pratique conventionnelle consistant à concevoir des Transformers spécifiques à la tâche à partir de zéro.
Cadre d'alignement : Ils proposent un cadre de projection convolutif et d'adaptation basée sur LoRA permettant un alignement efficace entre les séries temporelles inertielles et les espaces latents des LLM, sans recourir à des stratégies d'incitation mal adaptées aux signaux continus.
Analyse des rôles complémentaires : Le travail analyse et démontre les rôles complémentaires des encodeurs convolutifs et des LLM : le premier gère les invariances locales et le traitement au niveau du signal, tandis que le second capture les dépendances temporelles à long terme.
Efficacité et transférabilité : L'approche démontre de solides performances avec des ressources d'entraînement considérablement réduites, prouvant sa robustesse dans des scénarios de transfert à faible quantité de données et entre différents ensembles de données.

Résultats expérimentaux

Le cadre a été évalué sur trois benchmarks standards : UCI HAR, HHAR et RealWorld.

Performance absolue : HARLLM a obtenu le score F1 pondéré le plus élevé sur l'ensemble de données HHAR (98,43 %), surpassant les CNN classiques, DeepConvLSTM et les récentes bases de référence basées sur les Transformers (y compris HART). Sur UCI HAR, il a atteint des performances compétitives (95,78 %), et sur RealWorld, il est resté compétitif (94,16 %), bien que légèrement inférieur à HART qui encode explicitement l'invariance du placement des capteurs.
Efficacité des données : Entraîné avec des données étiquetées limitées sur HHAR, HARLLM a maintenu de solides performances. Il a obtenu un score F1 pondéré supérieur à 95 avec seulement 20 % des données d'entraînement et est resté compétitif jusqu'à 10 %. La dégradation des performances n'a été significative que dans le régime extrême de 1 %.
Transfert inter-ensemble de données (LODO) : Dans un scénario de Leave-One-Dataset-Out où le modèle a été préentraîné sur plusieurs ensembles de données sources (MotionSense, UCI, PAMAP2, RealWorld) et affiné sur HHAR avec un minimum de données cibles :
- Le modèle préentraîné a obtenu 87,67 % de F1 sans aucune donnée HHAR.
- Avec seulement 1 % des données HHAR pour l'affinage, les performances ont bondi à 80,89 %.
- Avec 10 % des données, il a atteint 93,68 %, démontrant une adaptation efficace en few-shot.
Efficacité de l'entraînement : L'ensemble du processus d'entraînement a été achevé en moins d'une heure sur un seul GPU commercial (niveau gratuit de Google Colab), utilisant moins de 1 % des paramètres du modèle de base pour l'adaptation.

Importance et affirmations

L'article affirme que les LLM peuvent servir de fondation pratique, économe et évolutive pour des systèmes HAR adaptatifs. L'importance de ce travail réside dans :

Efficacité des ressources : En figeant le modèle de base et en utilisant LoRA, l'approche réduit drastiquement les coûts d'entraînement et la consommation d'énergie, la rendant adaptée aux scénarios ubiquitaires et embarqués où les ressources computationnelles sont limitées.
Robustesse à la rareté des données : Le fort prior de représentation fourni par le préentraînement des LLM permet une convergence rapide et un apprentissage efficace dans des contextes à faible quantité de données et en few-shot, répondant à un goulot d'étranglement majeur dans les déploiements réels de HAR.
Clarification des rôles architecturaux : Les résultats mettent en évidence que, bien que les LLM excellent dans le raisonnement temporel et le transfert, ils n'apprennent pas naturellement les invariances de placement des capteurs. Par conséquent, un front-end convolutif spécialisé est nécessaire pour gérer la variabilité locale du signal. Cela suggère une stratégie de conception où les biais inductifs spécifiques au domaine (convolutifs) complètent le préentraînement à grande échelle (LLM) plutôt que d'être remplacés par celui-ci.

Les auteurs concluent que ce travail ouvre de nouvelles directions pour réutiliser des modèles de base au-delà de leur domaine linguistique d'origine, offrant un plan directeur général pour l'intégration des LLM dans les pipelines de modélisation de séries temporelles ubiquitaires.