MuRAL: A Multi-Resident Ambient Sensor Dataset Annotated with Natural Language for Activities of Daily Living

Ce papier présente MuRAL, un nouveau jeu de données annoté en langage naturel pour les activités de la vie quotidienne en environnement multi-résidents, conçu pour combler le manque de contexte textuel dans les données de capteurs ambiants et évaluer les capacités des grands modèles de langage face à des scénarios complexes.

L'essentiel

🏠 MuRAL : Le Grand Jeu de l'Espion dans la Maison Intelligente

Imaginez que vous êtes un détective privé. Votre mission ? Comprendre ce que font les gens dans une maison, mais avec une contrainte bizarre : vous ne pouvez pas les voir ni les entendre. Vous n'avez que des petits capteurs cachés dans les murs (comme des détecteurs de mouvement ou des interrupteurs intelligents) qui vous disent juste : "Porte ouverte", "Lumière allumée", "Four allumé".

C'est là que le projet MuRAL entre en jeu. C'est une nouvelle "boîte à outils" (un ensemble de données) créée par des chercheurs pour aider les intelligences artificielles (les IA) à devenir de véritables détectives.

1. Le Problème : Les IA sont souvent "bêtes" avec les capteurs

Avant MuRAL, les chercheurs utilisaient de vieux jeux de données (comme CASAS ou ARAS). Le problème ? C'était comme si on donnait à un élève un exercice de mathématiques avec des réponses toutes faites, mais sans expliquer la logique.

• Le manque de contexte : Un capteur dit "Porte ouverte". Est-ce que quelqu'un sort pour aller travailler ? Ou est-ce qu'on va chercher un verre d'eau ? Sans contexte, l'IA est perdue.
• Le problème des "jumeaux" : Dans une maison avec plusieurs personnes (un couple, une famille), si deux personnes ouvrent des portes en même temps, les anciennes IA se trompent souvent et pensent que c'est la même personne qui fait tout.

2. La Solution : MuRAL, le "Carnet de Notes" parfait

Les chercheurs ont créé MuRAL (Multi-Resident Ambient sensor dataset with natural Language). C'est une base de données unique en son genre, comme un journal intime ultra-détaillé d'une maison intelligente.

Voici ce qui le rend spécial, avec une analogie culinaire :

• Les ingrédients (Les capteurs) : Ils ont installé 23 capteurs dans un appartement de 60m² (DOMUS).
• Les chefs (Les participants) : 18 volontaires sont venus vivre là, par groupes de 2 à 4 personnes, pendant des sessions d'une heure. Ils ont cuisiné, regardé la télé, joué aux jeux de société, comme à la maison.
• Le chef étoilé (L'annotation) : C'est la grande nouveauté. Pendant que les capteurs enregistraient les "clics", des humains regardaient des caméras (effacées ensuite pour la vie privée) et écrivaient des phrases complètes pour chaque action.
  • Au lieu de dire juste : "Capteur porte cuisine : OUVERT".
  • L'IA reçoit : "Julie ouvre le frigo, prend un œuf et le pose sur le comptoir."

C'est comme passer d'une liste de courses cryptée à un roman policier où chaque action est expliquée avec des mots simples.

3. Le Test : Les IA à l'épreuve du feu

Les chercheurs ont pris les plus grandes intelligences artificielles actuelles (les "LLM", comme les versions de ChatGPT) et leur ont donné les données brutes de MuRAL pour voir si elles pouvaient deviner ce qui se passait, sans avoir lu le "roman" (les annotations humaines).

Ils ont posé trois défis :

1. Qui fait quoi ? (Attribution) : Si deux personnes bougent en même temps, l'IA arrive-t-elle à dire "C'est Paul qui a allumé la lumière, pas Sophie" ?
   • Résultat : C'est difficile ! Plus la scène est longue, plus l'IA se trompe et confond les gens. C'est comme essayer de suivre deux conversations dans un bar bruyant.
2. Décrire l'action : L'IA peut-elle inventer une phrase qui ressemble à la réalité ?
   • Résultat : Elles s'en sortent bien, mais elles manquent parfois de précision.
3. Comprendre l'activité globale : Si quelqu'un allume la télé, prend une manette et s'assoit, l'IA comprend-elle qu'il "joue à un jeu vidéo" ?
   • Résultat : Souvent, l'IA dit juste "Il est assis". Elle a du mal à relier les petits événements pour former une grande histoire.

4. Pourquoi c'est important pour nous ?

Ce projet est crucial pour l'avenir de nos maisons intelligentes. Aujourd'hui, une maison intelligente peut allumer la lumière quand vous entrez. Demain, avec des IA entraînées sur des données comme MuRAL, la maison pourrait :

• Comprendre que vous êtes stressé parce que vous courez partout et que vous avez oublié de manger.
• Aider les personnes âgées en détectant qu'elles sont tombées ou qu'elles ne mangent pas assez, sans avoir besoin de caméras invasives.
• Gérer les conflits dans une famille (qui a pris le dernier yaourt ?).

En résumé

MuRAL, c'est comme avoir créé le plus grand manuel d'instructions jamais écrit pour apprendre aux robots à comprendre la vie humaine. Même si les robots ne sont pas encore parfaits (ils confondent encore parfois les membres de la famille), ce manuel leur donne les clés pour devenir de véritables assistants domestiques, respectueux de la vie privée et capables de comprendre nos gestes quotidiens.

Et le meilleur de tout ? Ce manuel est gratuit et disponible pour que tout le monde puisse continuer à améliorer ces robots détectives ! 🕵️‍♂️🤖

Résumé technique

1. Problématique et Contexte

La reconnaissance des activités de la vie quotidienne (ADL) dans les environnements intelligents (smart homes) est cruciale pour la santé, la sécurité et l'automatisation. Bien que les capteurs ambiants (capteurs de mouvement, contacts magnétiques, prises intelligentes) offrent des avantages en matière de vie privée et de non-intrusion par rapport aux caméras ou aux wearables, leurs données sont intrinsèquement discrètes, de bas niveau et dénuées de contexte sémantique (ex: un capteur de porte indique simplement "ouvert" ou "fermé").

L'émergence des Modèles de Langage (LLM) offre une opportunité d'interpréter ces données grâce à leur capacité de raisonnement "zero-shot" et à leur compréhension du contexte naturel. Cependant, les jeux de données existants (CASAS, ARAS, MARBLE) présentent des limites majeures pour exploiter pleinement les LLM :

• Ils manquent de descriptions textuelles riches et de métadonnées contextuelles.
• Ils sont souvent collectés dans des scénarios à résident unique ou avec des routines scriptées.
• Ils se concentrent sur la classification d'activités de haut niveau plutôt que sur la description fine des actions.
• Ils ne traitent pas adéquatement la complexité des scénarios multi-résidents où les flux de capteurs sont mélangés.

2. Méthodologie et Présentation du Dataset MuRAL

Pour combler ce fossé, les auteurs ont créé MuRAL (Multi-Resident Ambient sensor dataset with natural Language).

A. Environnement de Collecte

• Lieu : DOMUS, un laboratoire d'habitation intelligent de 60 m² à Grenoble.
• Capteurs : 23 capteurs ambiants (6 capteurs de mouvement infrarouge, 10 capteurs de contact magnétique, 7 prises intelligentes) déployés dans la cuisine, le salon, la salle à manger et la salle de bain. Note : Aucune caméra ou capteur n'est installé dans les chambres pour des raisons de vie privée.
• Fréquence : Tous les capteurs sont configurés à 1 Hz pour éviter la fusion d'événements distincts.
• Participants : 18 volontaires (étudiants, chercheurs, éducateurs) anonymisés. Aucun critère démographique (âge, genre) n'a été enregistré.

B. Protocole de Collecte

• Scénarios : 21 sessions d'environ une heure chacune, impliquant de 2 à 4 résidents simultanés.
• Rôle et Contexte : Les participants ont reçu des rôles sociaux (ex: membres de famille, colocataires) et un contexte temporel (ex: matin de semaine, après-midi de week-end), mais aucune séquence d'activités fixe n'a été imposée. Ils ont pu agir librement, créant des interactions dynamiques et imprévisibles.
• Activités : Les activités réelles (cuisine, repas, lecture) ont été effectuées naturellement. Les activités privées (douche, toilettes) ont été simulées pour des raisons d'hygiène et de confidentialité.

C. Annotation et Structure des Données

C'est l'innovation principale de MuRAL. Contrairement aux datasets précédents, chaque événement de capteur est annoté avec :

1. Identité du résident : Attribution d'identifiants alphabétiques (A, B, C...) basée sur l'apparition dans la session.
2. Description naturelle (Natural Language) : Une description textuelle fine de l'action et du contexte (ex: "A sort des assiettes du placard, les déplace vers la salle à manger et les pose sur la table"). Environ 50 % des événements sont annotés de cette manière.
3. Étiquette d'activité de haut niveau : Une des 27 catégories d'activités définies (Table 1).

• Outils : L'annotation a été réalisée manuellement par un seul annotateur en synchronisant les flux vidéo/audio (supprimés après annotation) avec les données des capteurs.

Le dataset est organisé par session, contenant des fichiers CSV (événements) et JSON (métadonnées contextuelles, descriptions).

3. Évaluation Expérimentale

Les auteurs ont évalué l'état de l'art (notamment l'approche LAHAR) et leur propre pipeline adapté sur MuRAL, en utilisant les modèles GPT-4o et GPT-4o-mini.

Tâches Évaluées

1. Attribution de sujet (Subject Assignment) : Identifier quel résident a déclenché un événement.
2. Description d'action (Action Description) : Générer une description textuelle de l'action à partir des données du capteur.
3. Classification d'activité (Activity Classification) : Prédire l'activité globale (ex: "regarder la TV").

Métriques

• Précision d'attribution : Calculée sur des fenêtres glissantes pour éviter la propagation d'erreurs sur de longues séquences.
• Similarité Cosine : Pour évaluer la similarité sémantique entre les descriptions générées par le LLM et les annotations humaines.
• Précision de classification : Métrique standard.

Résultats Clés

• Attribution de sujet : Les LLM peinent à maintenir une attribution cohérente sur de longues séquences. La précision diminue linéairement à mesure que la fenêtre d'évaluation augmente, indiquant une accumulation d'erreurs. GPT-4o surpasse GPT-4o-mini, mais l'approche de fusion d'événements de LAHAR n'améliore pas les performances sur MuRAL (elle peut même les dégrader en fusionnant des événements de résidents différents).
• Description d'action : La méthode des auteurs (traitement événement par événement) surpasse LAHAR car elle correspond mieux au style d'annotation de MuRAL. Cependant, la génération de descriptions précises reste un défi majeur.
• Classification d'activité : Les performances globales sont faibles (aucune méthode n'atteint une haute précision en zero-shot).
  • Problème majeur : Confusion fréquente entre des activités complexes (jeux vidéo, lecture, regarder la TV) et le repos ("sitting on couch"). Le modèle échoue à intégrer la séquence temporelle des événements (ex: allumer la console + s'asseoir = jouer) et à gérer les interactions sociales (ex: deux personnes regardant la TV ensemble).

4. Contributions Clés

1. Nouveau Dataset MuRAL : Le premier dataset multi-résidents de capteurs ambiants enrichi avec des descriptions textuelles fines et des identités de résidents explicites, conçu spécifiquement pour le raisonnement des LLM.
2. Scénarios Réalistes et Dynamiques : Capture de comportements spontanés, d'interactions sociales et de chevauchements d'activités, contrairement aux routines scriptées des datasets précédents.
3. Benchmark Rigoureux : Évaluation systématique des capacités des LLM (GPT-4o/mini) sur trois tâches fondamentales, révélant les limites actuelles de l'interprétation sémantique des flux de capteurs en environnement complexe.
4. Analyse des Limites : Identification claire des défis, notamment la désambiguïsation multi-utilisateurs sur de longues séquences et l'intégration contextuelle pour la classification d'activités.

5. Signification et Impact

MuRAL représente une avancée significative pour la recherche en Reconnaissance d'Activités Humaines (HAR) basée sur le langage.

• Il permet de passer de la simple classification d'états à la compréhension sémantique des comportements humains.
• Il met en lumière le potentiel mais aussi les limites actuelles des LLM pour l'interprétation de données IoT, soulignant la nécessité de modèles capables de raisonner sur le temps long et les interactions sociales.
• Le dataset est publiquement disponible (https://mural.imag.fr/), offrant une base standardisée pour le développement de futurs systèmes intelligents, de modèles multimodaux et d'approches d'apprentissage interactif.

En conclusion, bien que les LLM actuels produisent des résultats interprétables, MuRAL démontre qu'il reste un chemin important à parcourir pour atteindre une reconnaissance d'activités fiable et contextuelle dans des environnements domestiques réels et multi-utilisateurs.