Simulating the Resident: Generating Executable Smart Home Schedules via LLM Personas

Technisches Resümee: Simulation des Bewohners via LLM-Personas

Problemstellung
Die Forschung in den Bereichen Mensch-Computer-Interaktion (HCI), Sicherheit und Datenschutz für Smart Homes stützt sich maßgeblich auf Datensätze, die authentische Geräteinteraktionen, Netzwerkverkehr und tägliche Routinen erfassen. Die Erfassung solcher Daten stellt jedoch erhebliche methodische Herausforderungen dar. Die Datenerhebung in echten Haushalten ist langsam, teuer und wirft tiefgreifende Datenschutzbedenken auf, da sie eine langfristige, invasive Beobachtung privater Räume erfordert. Zudem sind bestehende Datensätze aus der realen Welt oft begrenzt in ihrem Umfang und scheitern daran, über verschiedene Haushaltszusammensetzungen, Geräte-Ökosysteme oder Nutzungsmuster hinweg zu generalisieren. Während die Generierung synthetischer Daten bereits untersucht wurde, fehlt bisherigen Ansätzen (z. B. statistischen Modellen oder Hidden-Markov-Modellen) ein semantisches Modell menschlicher Intention, und bestehende LLM-basierte Simulationen (z. B. AgentSense) bleiben auf virtuelle Umgebungen beschränkt, ohne eine Verbindung zu realer Hardware herzustellen.

Methodik
Die Autoren schlagen einen neuartigen Ansatz vor, um die Bewohner selbst mithilfe von Large Language Models (LLMs) zu simulieren, um vielfältige, verhaltensbasiert fundierte Interaktionspläne zu generieren. Diese Pläne sind so konzipiert, dass sie auf physischen Smart-Home-Testbeds ausführbar sind. Die Methodik besteht aus zwei integrierten Komponenten:

1. Ein Design-Framework für Haushalte:
   Das Framework konfiguriert simulierte Haushalte über fünf soziotechnische Dimensionen, um die Geräteaktivität zu gestalten:

• Berufliche Routinen: Arbeitsmuster (z. B. 9-to-5, Schichtarbeit), die das tägliche Leben und die Präsenz strukturieren.
• Simulationszeitrahmen: Der zeitliche Umfang (z. B. Ein-Tages-Snapshot, wöchentlich, longitudinal).
• Haushaltsdynamik: Soziale Strukturen und Koordination (z. B. einzelner Bewohner, kooperierende Mitbewohner, konfliktbehaftete Zeitpläne).
• Geräte-Ökosystem & Interaktionsstil: Die installierte Hardware und die technische Kompetenz, welche die Komplexität der Automatisierung bestimmen.
• Umweltkontext: Physische Einstellungen und Klima (z. B. Stadtwohnung, Winterbedingungen), die räumliche und ausgelöste Verhaltensweisen beeinflussen.

2. Eine mehrstufige LLM-Pipeline:
   Angelehnt an die Architektur generativer Agenten, übersetzt die Pipeline die konfigurierten Dimensionen in ausführbare Spuren durch vier Stufen:

• Stufe 1: Persona- & Kontext-Initialisierung: Das LLM erhält die Haushaltskonfiguration, den Umweltkontext und ein striktes JSON-Schema der verfügbaren Geräte. Es generiert eine „Persona-Memory-Card“ für jeden Bewohner, die deren Zeitplan und Gewohnheiten zusammenfasst und dabei Präferenzen explizit auf exakte Gerätenamen und Parameterwerte aus dem Schema abbildet.
• Stufe 2: Generierung eines narrativen Tagesplans: Unter Verwendung der Memory Cards generiert das LLM eine natürliche Sprach-Erzählung von Aktivitäten innerhalb eines diskreten Zeitfensters. Diese Stufe legt den Schwerpunkt auf das Nachdenken über physische Standorte und soziale Koordination (z. B. das Wecken eines anderen Bewohners vermeiden). Kritische Einschränkungen erzwingen exakte Zeitstempel, expliztes Zustandsmanagement, eindeutige Sprache und die strikte Einhönung an das Geräteschema.
• Stufe 3: Extraktion und Formatierung von Aktionen: Ein strikter Prompt weist das LLM an, als Action-Parser zu agieren, um konkrete Geräteinteraktionen aus der Erzählung in ein strukturiertes JSON-Array zu extrahieren. Dieser Schritt trennt das logische Denken von der Formatierung, um Syntaxfehler und Halluzinationen zu reduzieren. Die Ausgabe enthält Zeitstempel, Bewohnernamen, Geräte, Aktionen, Werte und Intentionen.
• Stufe 4: Zustands- und Gedächtnis-Update: Für longitudinale Simulationen aktualisiert die Pipeline die Persona-Memory-Cards basierend auf den generierten Aktionen. Dieser rollierende Gedächtnismechanismus gewährleistet die räumliche und verhaltensbezogene Konsistenz über ausgedehnte Simulationen hinweg, ohne die Kontextfenster zu überschreiten.

Wesentliche Beiträge
Das Paper präsentiert drei primäre Beiträge:

1. Ein konfigurierbares Design-Framework: Eine Reihe von fünf soziotechnischen Dimensionen, die es Forschern ermöglichen, simulierte Haushaltsszenarien systematisch zu gestalten.
2. Eine mehrstufige LLM-Pipeline: Eine detaillierte Architektur, die hochgradige Bewohner-Personas und Kontexte in strukturierte, ausführbare Geräteinteraktionspläne transformiert.
3. Ein Proof of Concept: Eine erste Demonstration, die validiert, dass die Pipeline zeitlich kohärente, persona-konsistente und schema-konforme Interaktionsspuren erzeugen kann.

Ergebnisse
In einem Proof-of-Concept-Experiment, das zwei Mitbewohner (einen im Home-Office arbeitenden Profi und einen Büroangestellten) an einem deutschen Wintermorgen simuliert, generierte die Pipeline erfolgreich eine Morgenroutine (06:00–10:00 Uhr) für acht Smart-Geräte.

• Kontextuelle Kohärenz: Die Ausgaben spiegelten den saisonalen Kontext wider (z. B. erhöhte Heiznutzung aufgrund des Sonnenaufgangs im Winter) sowie unterschiedliche zeitliche Muster für jeden Bewohner (z. B. Bobs Aktionen konzentriert vor der Abfahrt, Alices Aktionen verteilt über den Vormittag).
• Schema-Konformität: Die generierten JSON-Zeitpläne hielten sich strikt an das bereitgestellte Geräteschema, trennten Aktionen korrekt von Parametern und verwendeten nur definierte Gerätenamen.
• Machbarkeit: Die Pipeline konnte hochgradige Merkmale und Umweltbeschränkungen erfolgreich in ein Format übersetzen, das bereit zur Ausführung auf physischen Testbeds (z. B. Home Assistant, TTDAS) ist.

Bedeutung und Behauptungen
Die Autoren positionieren diese Arbeit als „Work in Progress“, die darauf abzielt, skalierbare, datenschutzbewusste Smart-Home-Experimente zu unterstützen, ohne auf intrusive Datenerhebungen aus der realen Welt angewiesen zu sein. Sie behaupten, dass der Ansatz drei spezifische Implikationen bietet:

• Direkte Testbed-Ausführung: Die Fähigkeit, physische Hardware mit generierten Routinen anzusteuern, ermöglicht es Forschern, authentischen Netzwerkverkehr und Gerätezustände zu erfassen.
• Standardisierte Benchmarks: Die soziotechnischen Dimensionen erleichtern die Erstellung teilbarer, fertiger Haushaltskonfigurationen zur Evaluierung von Systemen gegen Basis-Verhaltensweisen.
• Schnelles Prototyping: Die Simulation dient als Werkzeug für Designer, um Multi-User-Konflikte und Automatisierungslogik präventiv zu testen.

Das Paper räumt bescheiden ein, dass die ökologische Validität noch nicht etabliert wurde, insbesondere im Hinblick auf die Fähigkeit von LLMs, die irreguläre oder vergessliche Natur realen häuslichen Verhaltens abzubilden. Des Weiteren wurde eine End-to-End-Ausführung auf einem physischen Testbed in dieser ersten Studie noch nicht demonstriert. Zukünftige Arbeiten richten sich auf die systematische Evaluierung über verschiedene Konfigurationen hinweg, die Anbindung an Live-Testbeds und potenziell den Aufbau eines groß angelegten Open-Source-Datensatzes simulierter Verhaltensweisen.