Simulating the Resident: Generating Executable Smart Home Schedules via LLM Personas

Résumé technique : Simuler le résident via des personas de LLM

Énoncé du problème
La recherche en interaction homme-machine (IHM), en sécurité et en confidentialité pour les maisons intelligentes repose largement sur des ensembles de données capturant des interactions authentiques entre les appareils, le trafic réseau et les routines quotidiennes. Cependant, l'acquisition de telles données présente des défis méthodologiques importants. La collecte de données auprès de ménages réels est lente, coûteuse et soulève de profondes préoccupations en matière de confidentialité en raison de la nécessité d'une observation à long terme et invasive des espaces privés. De plus, les ensembles de données du monde réel existants sont souvent limités en portée, ne parvenant pas à se généraliser à travers diverses compositions de ménages, écosystèmes d'appareils ou modes d'utilisation. Bien que la génération de données synthétiques ait été explorée, les approches précédentes (par exemple, les modèles statistiques ou les modèles de Markov cachés) manquent d'un modèle sémantique de l'intention humaine, et les simulations actuelles basées sur les LLM (par exemple, AgentSense) restent confinées à des environnements virtuels sans connexion avec le matériel réel.

Méthodologie
Les auteurs proposent une nouvelle approche consistant à simuler les résidents eux-mêmes en utilisant des modèles de langage étendus (LLM) pour générer des calendriers d'interaction diversifiés et ancrés dans le comportement. Ces calendriers sont conçus pour être exécutables sur des bancs d'essai physiques de maison intelligente. La méthodologie se compose de deux composantes intégrées :

1. Un cadre de conception pour les ménages :
   Le cadre configure les ménages simulés selon cinq dimensions socio-techniques pour façonner l'activité des appareils :

• Routines professionnelles : Modèles de travail (par exemple, 9h-17h, travail posté) qui structurent la vie quotidienne et la présence.
• Échéancier de simulation : La portée temporelle (par exemple, instantané d'une seule journée, hebdomadaire, longitudinale).
• Dynamique du ménage : Structures sociales et coordination (par exemple, résident unique, colocataires coopératifs, calendriers conflictuels).
• Écosystème d'appareils et style d'interaction : Le matériel installé et la littératie technique, déterminant la complexité de l'automatisation.
• Contexte environnemental : Cadres physiques et climat (par exemple, appartement urbain, conditions hivernales) influençant les comportements spatiaux et déclenchés.

2. Un pipeline de LLM multi-étapes :
   Adapté de l'architecture des agents génératifs, le pipeline traduit les dimensions configurées en traces exécutables à travers quatre étapes :

• Étape 1 : Initialisation du persona et du contexte : Le LLM reçoit la configuration du ménage, le contexte environnemental et un schéma JSON strict des appareils disponibles. Il génère une « fiche de mémoire de persona » pour chaque résident, résumant son emploi du temps et ses habitudes tout en mappant explicitement les préférences vers les noms exacts des appareils et les valeurs de paramètres du schéma.
• Étape 2 : Génération de récit de plan de journée : En utilisant les fiches de mémoire, le LLM génère un récit en langage naturel des activités au sein d'une fenêtre de temps discrète. Cette étape met l'accent sur le raisonnement concernant les lieux physiques et la coordination sociale (par exemple, éviter de réveiller un autre résident). Des contraintes critiques imposent des horodatages exacts, une gestion d'état explicite, un langage définitif et une adhérence stricte au schéma des appareils.
• Étape 3 : Extraction d'actions et formatage : Un prompt de formatage strict ordonne au LLM d'agir comme un analyseur d'actions, extrayant les interactions concrètes des appareils à partir du récit sous la forme d'un tableau JSON structuré. Cette étape sépare le raisonnement du formatage pour réduire les erreurs de syntaxe et les hallucinations. La sortie inclut les horodatages, les noms des résidents, les appareils, les actions, les valeurs et les intentions.
• Étape 4 : Mise à jour de l'état et de la mémoire : Pour les simulations longitudinales, le pipeline met à jour les fiches de mémoire de persona basées sur les actions générées. Ce mécanisme de mémoire tournante assure la cohérence spatiale et comportementale à travers des simulations étendues sans dépasser les fenêtres de contexte.

Contributions clés
Le document présente trois contributions principales :

1. Un cadre de conception configurable : Un ensemble de cinq dimensions socio-techniques permettant aux chercheurs de façonner systématiquement les scénarios de ménages simulés.
2. Un pipeline de LLM multi-étapes : Une architecture détaillée qui transforme les personas de haut niveau et le contexte en calendriers d'interaction d'appareils structurés et exécutables.
3. Une preuve de concept : Une démonstration initiale validant que le pipeline peut produire des traces d'interaction temporellement cohérentes, cohérentes avec le persona et conformes au schéma.

Résultats
Dans une expérience de preuve de concept simulant deux colocataires (un professionnel en télétravail et un travailleur de bureau) lors d'un matin d'hiver en Allemagne, le pipeline a réussi à générer une routine matinale (06:00–10:00) pour huit appareils intelligents.

• Cohérence contextuelle : Les résultats reflétaient le contexte saisonnier (par exemple, l'augmentation de l'utilisation du chauffage due au lever du soleil hivernal) et des modèles temporels distincts pour chaque résident (par exemple, les actions de Bob regroupées avant son départ, celles d'Alice réparties tout au long de la matinée).
• Conformité au schéma : Les calendriers JSON générés respectaient strictement le schéma d'appareils fourni, séparant correctement les actions des paramètres et utilisant uniquement les noms d'appareils définis.
• Faisabilité : Le pipeline a réussi à traduire les traits de haut niveau et les contraintes environnementales en un format prêt pour l'exécution sur des bancs d'essai physiques (par exemple, Home Assistant, TTDAS).

Signification et affirmations
Les auteurs positionnent ce travail comme un « travail en cours » visant à soutenir une expérimentation de maison intelligente évolable et respectueuse de la vie privée, sans dépendre de la collecte de données du monde réel intrusives. Ils affirment que l'approche offre trois implications spécifiques :

• Exécution directe sur banc d'essai : La capacité de piloter du matériel physique avec des routines générées permet aux chercheurs de capturer un trafic réseau et des états d'appareils authentiques.
• Benchmarks standardisés : Les dimensions socio-techniques facilitent la création de configurations de ménages partageables et prêtes à l'emploi pour évaluer les systèmes par rapport aux comportements de base.
• Prototypage rapide : La simulation sert d'outil pour que les concepteurs puissent tester préventivement les conflits multi-utilisateurs et la logique d'automatisation.

Le document reconnaît modestement que la validité écologique n'a pas encore été établie, particulièrement concernant la capacité des LLM à capturer la nature irrégulière ou l'oubliatif du comportement domestique réel. De plus, l'exécution de bout en bout sur un banc d'essai physique n'a pas encore été démontrée dans cette étude initiale. Les travaux futurs sont orientés vers une évaluation systématique à travers diverses configurations, la connexion à des bancs d'essai en direct, et potentiellement la construction d'un ensemble de données de comportements simulés à grande échelle et en open-source.