🤖 machine learning

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

Le document introduit RAG-HAR+, un cadre de reconnaissance d'activité humaine optimisé en termes de coût et axé sur la recherche, qui exploite un agent hors ligne pour concevoir des caractéristiques spécifiques au jeu de données et utilise le vote majoritaire pour minimiser l'utilisation de LLM tout en maintenant des performances compétitives à travers divers benchmarks.

Auteurs originaux : Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que votre corps est un orchestre très occupé, et que de minuscules capteurs sur votre poignet ou vos vêtements sont les chefs d'orchestre, écoutant constamment le rythme de vos pas, le balancement de vos bras et les battements de votre cœur. Ce domaine, appelé Reconnaissance d'Activités Humaines (HAR - Human Activity Recognition), est la manière dont les ordinateurs apprennent à faire la différence entre le fait que vous fassiez du jogging, que vous dormiez ou que vous tapiez au clavier. Pendant longtemps, la meilleure façon d'enseigner cela aux ordinateurs était de les forcer à mémoriser d'énormes bibliothèques d'exemples étiquetés, comme un étudiant qui révise pour un examen en lisant absolument tous les livres de la bibliothèque. Mais c'est coûteux, lent, et cela ne fonctionne plus si l'on change de capteur ou d'activité. Récemment, une nouvelle idée est apparue : au lieu de mémoriser, pourquoi ne pas laisser l'ordinateur « chercher » des exemples passés similaires dans une immense base de données et demander à une IA super intelligente (un Grand Modèle de Langage, ou LLM) de l'aider à comprendre ce qui se passe ? C'est comme avoir un bibliothécaire de génie capable de trouver instantanément les histoires les plus similaires pour vous aider à résoudre un mystère. Mais même cette nouvelle méthode a un hic : demander l'aide du génie bibliothécaire à chaque pas que vous faites est lent, coûte cher et nécessite une connexion internet constante.

Ce document présente une amélioration ingénieuse appelée RAG-HAR+ qui résout ce problème en changeant quand et comment on demande de l'aide. Les auteurs ont découvert que la méthode précédente consistait à appeler un consultant pour chaque question, même les plus simples. RAG-HAR+ agit plutôt comme une agence de détectives intelligents. D'abord, il utilise l'IA hors ligne (avant même que vous ne commenciez à bouger) pour concevoir un meilleur « système de classement » pour la base de données, en choisissant les indices spécifiques qui comptent le plus pour votre activité particulière. Ensuite, lorsque vous êtes en mouvement, le système tente de résoudre le mystère en se basant simplement sur les exemples passés les plus similaires dans la base de données. Il n'appelle l'expert en IA coûteux que si les indices sont confus et que la base de données n'arrive pas à se mettre d'accord sur une réponse. En faisant cela, le système devient incroyablement rapide, peu coûteux et fonctionne même lorsque la connexion internet est instable, tout en étant aussi précis que les anciennes méthodes plus lentes.

Le Problème : Le Détective qui « Trop Appelle »

Imaginez que vous avez un assistant IA super intelligent qui connaît tout sur le mouvement humain. Dans le système d'origine (RAG-HAR), chaque fois que vous faites un pas, le système s'arrête, envoie un message à l'IA et demande : « Que suis-je en train de faire ? ». L'IA lit le message, regarde quelques exemples passés et répond. Cela fonctionne, mais c'est comme engager un détective de renommée mondiale pour résoudre chaque affaire, du « Qui a volé le biscuit ? » au « Qui a assassiné le majordome ? ». C'est une perte de temps et d'argent pour le détective pour le vol du biscuit. De plus, si le détective se trouve dans un autre pays (le cloud), vous devez attendre qu'un message fasse l'aller-retour à chaque fois, ce qui rend tout le processus lent.

Les chercheurs ont réalisé que pour la plupart des pas, la réponse est évidente si l'on regarde simplement les bons exemples passés. Vous n'avez pas besoin d'un génie pour vous dire que marcher ressemble à de la marche ; vous avez juste besoin de trouver quelques autres exemples de marche dans la base de données. Le problème de l'ancien système était qu'il utilisait une méthode « taille unique » pour décrire le mouvement, ce qui laissait parfois passer les indices subtils qui rendent une activité unique.

La Solution : Le Système de Classement Intelligent et le « Résolveur d'Ambiguïté »

RAG-HAR+ change la donne avec deux astuces principales.

1. Le Concepteur de « Système de Classement » Hors Ligne
Avant même que vous ne commenciez votre entraînement, le système utilise l'IA une seule fois pour concevoir un système de classement personnalisé pour votre jeu de données spécifique. Considérez cela comme l'IA agissant en tant que bibliothécaire qui étudie votre bibliothèque et décide : « D'accord, pour cette collection de livres, je devrais les organiser par couleur et par auteur, et non par genre et par nombre de pages ». L'IA examine des milliers de façons différentes de décrire un mouvement (comme sa vitesse, son irrégularité ou son rythme) et choisit les trois meilleurs groupes d'indices qui fonctionnent le mieux pour vos capteurs et vos activités spécifiques. Cela ne se produit qu'une seule fois, hors ligne, de sorte que cela ne vous ralentira pas plus tard.

2. Le « Résolveur d'Ambiguïté » (Le Repli Intelligent)
Maintenant, quand vous êtes en mouvement, le système n'appelle pas l'IA immédiatement. Au lieu de cela, il prend votre mouvement actuel, le traduit en ces indices personnalisés, et recherche dans la base de données les 10 exemples passés les plus similaires.

Le Vote Majoritaire : Si 8 des 10 exemples passés disent « Vous êtes en train de courir », le système dit simplement : « D'accord, vous courez », et continue. Pas besoin d'IA !
Le Repli : Si la base de données est confuse — par exemple, 5 exemples disent « courir » et 5 disent « trottiner » — alors le système appelle l'IA. Cette IA, appelée désormais le « Résolveur d'Ambiguïté », examine les indices confus et les exemples passés pour prendre la décision finale et intelligente.

Cela signifie que l'IA coûteuse n'est appelée que pour les moments difficiles et confus. Pour les moments faciles et évidents, le système fonctionne de manière autonome, en utilisant des calculs mathématiques simples pour compter les votes.

Les Résultats : Vitesse, Économies et Intelligence

Les chercheurs ont testé ce nouveau système sur six ensembles de données différents, allant de personnes marchant ou courant à des tâches d'assemblage industriel complexes. Les résultats sont impressionnants :

Précision : Le nouveau système était aussi bon, voire meilleur, que l'ancienne méthode pour reconnaître les activités. Sur certains ensembles de données, il a considérablement amélioré la précision (par exemple, sur l'ensemble de données MHEALTH, la précision est passée de 96,91 % à 98,35 %).
Économies de Coût : Parce qu'il a cessé d'appeler l'IA pour chaque échantillon, il a réduit la quantité de données envoyées à l'IA de 89,3 % à 99,9 %. Dans un cas (MHEALTH), il n'a dû appeler l'IA pour un seul échantillon sur 666 !
Vitesse : Le système est devenu beaucoup plus rapide. Sur l'ensemble de données MHEALTH, le temps nécessaire pour reconnaître une activité est passé de 18,25 secondes à seulement 0,41 seconde. C'est une accélération de plus de 44 fois ! Même sur l'ensemble de données le plus lent, il était environ 5,7 fois plus rapide.

Pourquoi cela importe pour l'avenir

Le document présente également un prototype fonctionnel sur un véritable smartphone pour montrer qu'il ne s'agit pas seulement d'une théorie. Ils l'ont transformé en un widget dans une application de fitness. Lorsqu'ils l'ont testé sur un vrai téléphone, l'accélération était encore plus spectaculaire — environ 15 fois plus rapide — car le téléphone n'avait pas besoin d'attendre que l'internet communique avec l'IA pour chaque pas.

Les auteurs suggèrent que cette approche est un grand pas vers la création d'applications de santé et de fitness intelligentes qui fonctionnent partout, même sans une connexion internet parfaite, et sans coûter une fortune à faire fonctionner. Cela prouve que vous n'avez pas besoin de demander de l'aide au « génie » pour chaque petite chose ; parfois, un système de classement intelligent et un vote simple sont tout ce dont vous avez besoin. Le document conclut qu'en changeant le rôle de l'IA, passant d'un travailleur en ligne constant à un concepteur intelligent et un expert de secours, nous pouvons rendre la reconnaissance d'activités moins chère, plus rapide et prête pour le monde réel.

Résumé technique : RAG-HAR+ vers une reconnaissance d'activité humaine basée sur les LLM et économiquement efficace pour le déploiement en périphérie (Edge)

Énoncé du problème

La reconnaissance d'activité humaine (HAR - Human Activity Recognition) à partir de capteurs portables est cruciale pour la santé, la forme physique et les environnements intelligents. Cependant, les approches actuelles d'apprentissage profond (DL) se heurtent à des barrières majeures pour un déploiement pratique en périphérie : elles nécessitent un entraînement spécifique au jeu de données, de vastes corpus étiquetés et souffrent d'une dégradation des performances lors de changements de domaine (ex: changements de placement du capteur ou de sujet). Bien que les grands modèles de langage (LLM) offrent une alternative sans entraînement grâce à leur forte capacité de raisonnement sémantique, leur application directe à l'HAR est entravée par la nature continue et multicanale des données de capteurs, qui épuise les budgets de contexte et entraîne des coûts de calcul et une latence élevés.

Les travaux antérieurs des auteurs, RAG-HAR, abordaient ce problème en formulant l'HAR comme une tâche de recherche augmentée, utilisant des descriptions statistiques de fenêtres de capteurs pour récupérer des exemples étiquetés similaires afin de guider la classification par le LLM. Cependant, RAG-HAR conservait deux limitations critiques pour un déploiement continu en périphérie :

Représentation de recherche fixe : Il utilisait un ensemble statique de statistiques de base (moyenne, max, min, etc.) pour tous les jeux de données, échouant à capturer les indices discriminants spécifiques à chaque jeu de données (ex: la périodicité pour la locomotion versus l'amplitude pour les postures).
Inférence LLM obligatoire : Le LLM était invoqué pour chaque échantillon de test, entraînant des allers-retours réseau, des coûts de jetons (tokens) élevés et une latence variable, même lorsque les voisins récupérés fournissaient déjà une réponse de confiance.

Méthodologie : RAG-HAR+

RAG-HAR+ introduit un cadre de recherche prioritaire et optimisé pour les coûts qui restructure le rôle du LLM, passant d'un classificateur par échantillon à une ressource conditionnelle spécialisée. Le cadre se compose de deux étapes distinctes :

1. Agent de conception de recherche hors ligne (Offline Retrieval Designer Agent)

Avant l'inférence, un agent basé sur un LLM agit comme un Concepteur de Recherche pour optimiser la représentation de recherche pour un jeu de données spécifique.

Pool de caractéristiques : L'agent dispose d'un pool diversifié de descripteurs couvrant les catégories statistiques, temporelles, spectrales, d'intensité de mouvement et de forme de signal.
Conception itérative : Par un processus itératif, l'agent sélectionne et partitionne les caractéristiques en trois groupes de caractéristiques compacts et non chevauchants ( $G^*_1, G^*_2, G^*_3$ ).
Boucle de rétroaction : L'agent propose des groupes, les évalue sur un ensemble de validation en utilisant le F1 de recherche (performance du vote majoritaire sur les voisins récupérés) et le Taux de succès RAG (présence de l'étiquette correcte dans les $q$ meilleurs voisins), et affine les groupes via des "prompts d'amélioration" pour traiter les classes faibles ou la redondance.
Résultat : Cela aboutit à des représentations multi-vectorielles spécifiques au jeu de données qui s'alignent mieux sur les schémas de mouvement uniques de la taxonomie d'activité cible.

2. Pipeline d'inférence en ligne (Online Inference Pipeline)

Lors de l'inférence en temps réel, le système fonctionne comme suit :

Recherche multi-vectorielle : Une fenêtre de requête est traitée à l'aide des groupes de caractéristiques sélectionnés pour générer trois vecteurs de requête. Ceux-ci sont recherchés dans un index multi-vectoriel (où chaque échantillon d'entraînement est stocké sous la forme de trois champs vectoriels distincts).
Reclassement pondéré : Les résultats des trois champs vectoriels sont fusionnés et reclassés à l'aide de poids optimisés pour sélectionner les $q$ meilleurs voisins.
Routage déterministe (Vote majoritaire) : Le système applique un vote majoritaire sans paramètre sur les étiquettes des $q$ $q$ meilleurs voisins.
- Majorité claire : Si une seule étiquette l'emporte, l'activité est prédite directement. Aucun LLM n'est invoqué.
- Ambiguïté : Si deux étiquettes ou plus sont à égalité pour le vote le plus élevé, l'échantillon est dirigé vers l'Agent de résolution d'ambiguïté.
Agent de résolution d'ambiguïté : Pour les cas ambigus, le LLM est invoqué en ligne. Il reçoit un prompt structuré contenant les descriptions statistiques de la fenêtre de requête (calculées sur les segments de début, milieu, fin et complet) ainsi que les exemples récupérés, ce qui lui permet de raisonner sur le contexte spécifique pour résoudre l'égalité.

Contributions clés

Utilisation du LLM en deux étapes : Le papier reformule l'utilisation du LLM dans l'HAR en une étape de Conception de recherche hors ligne unique et une étape de Résolution d'ambiguïté en ligne conditionnelle. Cela déplace le coût d'inférence d'une mise à l'échelle avec le nombre d'échantillons vers une mise à l'échelle avec l'ambiguïté de la prédiction.
Groupement de caractéristiques adaptatif : L'introduction d'un agent guidé par LLM qui construit des groupes de recherche multi-vecteurs compacts et spécifiques aux jeux de données, remplaçant les descripteurs statistiques génériques et fixes des méthodes précédentes.
Prototype mobile : Implémentation d'un prototype sur smartphone (application Flutter) démontrant la faisabilité pratique de cette approche de recherche prioritaire dans un environnement mobile réel, incluant des mesures de latence sur l'appareil et des mises à jour incrémentielles de l'index.
Évaluation complète : Une évaluation étendue sur six benchmarks d'HAR (USC-HAD, PAMAP2, MHEALTH, GOTOV, HHAR, Skoda) avec des études d'ablation isolant les contributions du concepteur de recherche, du groupement de caractéristiques et des stratégies de routage.

Résultats

Performance : RAG-HAR+ obtient des performances compétitives ou améliorées par rapport à RAG-HAR et aux autres bases de référence non-LLM de pointe. Il a amélioré les scores F1 sur quatre des six jeux de données (USC-HAD, MHEALTH, HHAR, Skoda) tout en restant compétitif sur les autres.
Réduction des coûts : Le cadre réduit drastiquement l'utilisation en ligne du LLM. Sur les six jeux de données, la consommation de jetons en ligne a été réduite de 89,3 % à 99,9 %. Par exemple, sur le jeu de données MHEALTH, un seul échantillon a nécessité un appel au LLM sur 666 échantillons de test.
Latence : La latence d'inférence a été réduite de 5,7x à 44,5x par rapport à RAG-HAR. Sur le prototype mobile, la latence est passée d'environ 5,4 secondes à environ 0,36 seconde par échantillon (une accélération d'environ 15x), principalement parce que la plupart des échantillons contournent l'aller-retour réseau vers le LLM.
Qualité de la recherche : Les groupes de caractéristiques adaptatifs ont considérablement amélioré le F1 de recherche (performance du vote seul), réduisant l'écart entre les prédictions de recherche seule et les prédictions finales assistées par LLM. Cela indique que l'étape de recherche fournit des preuves plus solides, réduisant le besoin de recours au LLM.

Signification et affirmations

Le papier affirme que RAG-HAR+ démontre la faisabilité pratique d'une HAR augmentée par la recherche et sans entraînement pour le déploiement en périphérie. En découplant le LLM du chemin critique de chaque inférence, le système atteint un point d'exploitation évolutif où :

Le coût d'inférence évolue avec l'ambiguïté, et non avec le volume de données.
La qualité de la recherche est améliorée grâce à des représentations de recherche multi-vectorielles conçues par LLM et spécifiques aux jeux de données, sans nécessifier l'entraînement d'un classificateur.
Le déploiement en périphérie est viable pour une surveillance continue, car le système minimise la dépendance au réseau et les coûts de jetons tout en maintenant une précision élevée.

Les auteurs positionnent ce travail comme une étape vers des systèmes d'HAR évolutifs et généralisables qui tirent parti des capacités de raisonnement des LLM sans subir de coûts de calcul ou financiers prohibitifs, les rendant ainsi adaptés aux environnements mobiles et portables à ressources limitées.