Simulating the Resident: Generating Executable Smart Home Schedules via LLM Personas

Technische Samenvatting: Het simuleren van de bewoner via LLM-persona's

Probleemstelling
Onderzoek in Human-Computer Interaction (HCI), beveiliging en privacy voor smart homes is sterk afhankelijk van datasets die authentieke interacties met apparaten, netwerkverkeer en dagelijkse routines vastleggen. Het verzamelen van dergelijke gegevens brengt echter aanzienlijke methodologische uitdagingen met zich mee. Het verzamelen van data uit echte huishoudens is traag, duur en roept diepgaande privacyzorgen op vanwege de noodzaak van langdurige, invasieve observatie van privéruimtes. Bovendien zijn bestaande datasets uit de echte wereld vaak beperkt in omvang en slagen ze er niet in om te generaliseren naar diverse huishoudensamenstellingen, ecosystemen van apparaten of gebruikspatronen. Hoewel synthetische datageneratie al is verkend, missen eerdere benaderingen (bijv. statistische modellen of Hidden Markov Models) een semantisch model van menselijke intentie, en blijven bestaande LLM-gebaseerde simulaties (bijv. AgentSense) beperkt tot virtuele omgevingen zonder verbinding te maken met echte hardware.

Methodologie
De auteurs stellen een nieuwe aanpak voor om de bewoners zelf te simuleren door gebruik te maken van Large Language Models (LLM's) om diverse, gedragsmatig onderbouwde interactieschema's te genereren. Deze schema's zijn ontworpen om uitvoerbaar te zijn op fysieke smart-home testopstellingen. De methodologie bestaat uit twee geïntegreerde componenten:

1. Een Ontwerpkader voor Huishoudens:
   Het framework configureert gesimuleerde huishoudens over vijf socio-technische dimensies om de activiteit van apparaten vorm te geven:

• Occupationele Routines: Werkpatronen (bijv. 9-tot-5, ploegendienst) die het dagelijks leven en de aanwezigheid structureren.
• Simulatie-tijdsbestek: De temporele reikwijdte (bijv. een snapshot van één dag, wekelijks, longitudinaal).
• Huishoudelijke Dynamiek: Sociale structuren en coördinatie (bijv. alleenstaande bewoner, coöperatieve medebewoners, conflicterende schema's).
• Device Ecosystem & Interactiestijl: De geïnstalleerde hardware en technische geletterdheid, wat de complexiteit van automatisering bepaalt.
• Omgevingscontext: Fysieke omgevingen en klimaat (bijv. stedelijk appartement, wintercondities) die ruimtelijke en getriggerde gedragingen beïnvloeden.

2. Een Multi-Stage LLM-Pipeline:
   Aangepast van de generatieve agent-architectuur, vertaalt de pipeline de geconfigureerde dimensies naar uitvoerbare traces via vier stadia:

• Stadium 1: Persona & Context Initialisatie: De LLM ontvangt de huishoudelijke configuratie, de omgevingscontext en een strikt JSON-schema van beschikbare apparaten. Het genereert een "persona memory card" voor elke bewoner, die hun schema en gewoonten samenvat, terwijl voorkeuren expliciet worden gekoppeld aan exacte apparaatnamen en parametervalores uit het schema.
• Stadium 2: Narratieve Dagplanning Generatie: Met behulp van de memory cards genereert de LLM een narratief in natuurlijke taal van activiteiten binnen een discrete tijdsperiode. Deze fase legt de nadruk op redeneren over fysieke locaties en sociale coördinatie (bijv. het niet wekken van een andere bewoner). Kritieke beperkingen dwingen exacte tijdstempels, expliciet statusbeheer, definitieve taal en strikte naleving van het apparaat-schema af.
• Stadium 3: Actie-extractie en Formattering: Een strikte formattering-prompt instrueert de LLM om als een actie-parser te fungeren, waarbij concrete apparaatinteracties uit het narratief wordt geëxtraheerd in een gestructureerde JSON-array. Deze stap scheidt redeneren van formattering om syntactische fouten en hallucinaties te verminderen. De output bevat tijdstempels, namen van bewoners, apparaten, acties, waarden en intenties.
• Stadium 4: Status- en Geheugenupdate: Voor longitudinale simulaties werkt de pipeline de persona memory cards bij op basis van de gegenereerde acties. Dit rollende geheugismechanisme zorgt voor ruimtelijke en gedragsmatige consistentie over uitgebreide simulaties heen zonder de context windows te overschrijden.

Belangrijkste Bijdragen
Het artikel presenteert drie primaire bijdragen:

1. Een Configureerbaar Ontwerpkader: Een set van vijf socio-technische dimensies die onderzoekers in staat stellen om gesimuleerde huishoudelijke scenario's systematisch vorm te geven.
2. Een Multi-Stage LLM-Pipeline: Een gedetailleerde architectuur die hoogwaardige resident-persona's en context transformeert naar gestructureerde, uitvoerbare apparaatinteractie-schema's.
3. Een Proof of Concept: Een initiële demonstratie die valideert dat de pipeline temporeel coherente, persona-consistente en schema-conforme interactie-traces kan produceren.

Resultaten
In een proof-of-concept experiment, waarbij twee medebewoners (een professional die vanuit huis werkt en een kantoormedewerker) in een Duitse winterochtend werden gesimuleerd, genereerde de pipeline succesvol een ochtendroutine (06:00–10:00) voor acht smart devices.

• Contextuele Coherentie: De outputs weerspiegelden de seizoensgebonden context (bijv. verhoogd verwarmingsgebruik vanwege de winterzonopkomst) en de onderscheidende temporele patronen voor elke bewoner (bijv. de acties van Bob geclusterd voor vertrek, de acties van Alice verspreid over de ochtend).
• Schema Naleving: De gegenereerde JSON-schema's hielden zich strikt aan het verstrekte apparaat-schema, waarbij acties correct van parameters werden gescheiden en alleen gedefinieerde apparaatnamen werden gebruikt.
• Haalbaarheid: De pipeline vertaalde hoogwaardige eigenschappen en omgevingsbeperkingen succesvol naar een formaat dat klaar is voor uitvoering op fysieke testopstellingen (bijv. Home Assistant, TTDAS).

Betekenis en Claims
De auteurs positioneren dit werk als een "work in progress" gericht op het ondersteunen van schaalbare, privacybewuste smart-home experimenten zonder afhankelijk te zijn van indringende gegevensverzameling uit de echte wereld. Zij beweren dat de aanpak drie specifieke implicaties heeft:

• Directe Testbed Executie: Het vermogen om fysieke hardware aan te sturen met gegenereerde routines stelt onderzoekers in staat om authentiek netwerkverkeer en apparaatstatussen te vangen.
• Gestandaardiseerde Benchmarks: De socio-technische dimensies vergemakkelijken het creëren van deelbare, kant-en-klare huishoudelijke configuraties voor het evalueren van systemen tegen baseline-gedragingen.
• Rapid Prototyping: De simulatie dient als een instrument voor ontwerpers om preventief multi-user conflicten en automatisering-logica te testen.

Het artikel erkent bescheiden dat de ecologische validiteit nog niet is vastgesteld, met name wat betreft het vermogen van LLM's om de onregelmatige of vergeetachtige aard van echt huiselijk gedrag te vangen. Verder is end-to-end uitvoering op een fysieke testopstelling in deze initiële studie nog niet gedemonstreerd. Toekomstig werk is gericht op systematische evaluatie over diverse configuraties, het verbinden met live testopstellingen, en potentieel het bouwen van een grootschalige open-source dataset van gesimuleerde gedragingen.