Simulating the Resident: Generating Executable Smart Home Schedules via LLM Personas

Sintesi Tecnica: Simulazione del Residente tramite Persona LLM

Problematica
La ricerca nell'Interazione Uomo-Computer (HCI), nella sicurezza e nella privacy per le smart home si basa pesantemente su dataset che catturano autentiche interazioni con i dispositivi, traffico di rete e routine quotidiane. Tuttavia, l'acquisizione di tali dati presenta significative sfide metodologiche. Raccogliere dati da vere abitazioni è lento, costoso e solleva profonde preoccupazioni sulla privacy a causa della necessità di un'osservazione a lungo termine e invasiva di spazi privati. Inoltre, gli esistenti dataset del mondo reale sono spesso limitati nell'ambito, fallendo nel generalizzare attraverso diverse composizioni familiari, ecosistemi di dispositivi o modelli di utilizzo. Sebbene la generazione di dati sintetici sia stata esplorata, gli approcci precedenti (ad esempio, modelli statistici o Modelli di Markov Nascosti) mancano di un modello semantico dell'intento umano, e le attuali simulazioni basate su LLM (ad esempio, AgentSense) rimangono confinate in ambienti virtuali senza connettersi all'hardware reale.

Metodologia
Gli autori propongono un approccio innovativo per simulare i residenti stessi utilizzando i Large Language Models (LLM) per generare programmi di interazione diversificati e comportamentalmente fondati. Questi programmi sono progettati per essere eseguibili su testbed fisiche di smart home. La metodologia consiste in due componenti integrate:

1. Un Framework di Design per le Abitazioni:
   Il framework configura le abitazioni simulate attraverso cinque dimensioni socio-tecniche per plasmare l'attività dei dispositivi:

• Routine Occupazionali: Modelli di lavoro (ad esempio, 9-17, lavoro a turni) che strutturano la vita quotidiana e la presenza.
• Intervallo Temporale di Simulazione: L'estensione temporale (ad esempio, istantanea di un singolo giorno, settimanale, longitudinale).
• Dinamiche del Nucleo Familiare: Strutture sociali e coordinamento (ad esempio, residente singolo, coabitanti cooperativi, programmi in conflitto).
• Ecosistema di Dispositivi e Stile di Interazione: L'hardware installato e la competenza tecnica, che determinano la complessità dell'automazione.
• Contesto Ambientale: Impostazioni fisiche e clima (ad esempio, appartamento urbano, condizioni invernali) che influenzano i comportamenti spaziali e scatenati.

2. Una Pipeline LLM Multi-stadio:
   Adattata dall'architettura degli agenti generativi, la pipeline traduce le dimensioni configurate in tracce eseguibili attraverso quattro stadi:

• Stadio 1: Inizializzazione della Persona e del Contesto: L'LLM riceve la configurazione dell'abitazione, il contesto ambientale e uno schema JSON rigoroso dei dispositivi disponibili. Genera una "carta della memoria della persona" per ogni residente, riassumendo il suo programma e le sue abitudini, mappando esplicitamente le preferenze su nomi esatti di dispositivi e valori di parametri dal sistema di schemi.
• Stadio 2: Generazione del Piano Giornaliero Narrativo: Utilizzando le carte della memoria, l'LLM genera una narrazione in linguaggio naturale delle attività all'interno di una finestra temporale discreta. Questa fase enfatizza il ragionamento sulla posizione fisica e il coordinamento sociale (ad esempio, evitare di svegliare un altro residente). Vincoli critici impongono timestamp esatti, gestione esplicita dello stato, linguaggio definitivo e rigorosa aderenza allo schema dei dispositivi.
• Stadio 3: Estrazione delle Azioni e Formattazione: Un prompt di formattazione rigoroso istruisce l'LLM affinché agisca come un parser di azioni, estraendo interazioni concrete dei dispositivi dalla narrazione in un array JSON strutturato. Questo passaggio separa il ragionamento dalla formattazione per ridurre errori di sintassi e allucinazioni. L'output include timestamp, nomi dei residenti, dispositivi, azioni, valori e intenti.
• Stadio 4: Aggiornamento dello Stato e della Memoria: Per le simulazioni longitudinali, la pipeline aggiorna le carte della memoria della persona in base alle azioni generate. Questo meccanismo di memoria rotante garantisce la coerenza spaziale e comportamentale attraverso simulazioni estese senza superare le finestre di contesto.

Contributi Chiave
Il documento presenta tre contributi primari:

1. Un Framework di Design Configurabile: Un insieme di cinque dimensioni socio-tecniche che permettono ai ricercatori di plasmare sistematicamente gli scenari domestici simulati.
2. Una Pipeline LLM Multi-stadio: Un'architettura dettagliata che trasforma le persone e il contesto di alto livello in programmi di interazione dei dispositivi strutturati ed eseguibili.
3. Una Prova di Concetto: Una dimostrazione iniziale che valida la capacità della pipeline di produrre tracce di interazione temporalmente coerenti, coerenti con la persona e conformi allo schema.

Risultati
In un esperimento di prova di concetto che simula due coabitanti (un professionista che lavora da casa e un lavoratore in ufficio) in una mattina invernale tedesca, la pipeline ha generato con successo una routine mattutina (06:00–10:00) per otto dispositivi intelligenti.

• Coerenza Contestuale: Gli output riflettevano il contesto stagionale (ad esempio, l'aumento dell'uso del riscaldamento a causa dell'alba invernale) e distinti modelli temporali per ogni residente (ad esempio, le azioni di Bob raggruppate prima della partenza, quelle di Alice distribuite durante la mattina).
• Conformità allo Schema: Gli schemi JSON generati aderivano rigorosamente al provided device schema, separando correttamente le azioni dai parametri e utilizzando solo i nomi dei dispositivi definiti.
• Fattibilità: La pipeline ha tradotto con successo tratti di alto livello e vincoli ambientali in un formato pronto per l'esecuzione su testbed fisiche (ad esempio, Home Assistant, TTDAS).

Significatività e Rivendicazioni
Gli autori posizionano questo lavoro come un "lavoro in corso" volto a supportare la sperimentazione nelle smart home scalabile e rispettosa della privacy, senza fare affidamento su una raccolta di dati invasiva del mondo reale. Affermano che l'approccio offre tre implicazioni specifiche:

• Esecuzione Diretta sul Testbed: La capacità di pilotare l'hardware fisico con le routine generate consente ai ricercatori di catturare traffico di rete e stati dei dispositivi autentici.
• Benchmark Standardizzati: Le dimensioni socio-tecniche facilitano la creazione di configurazioni domestiche condivisibili e pronte all'uso per valutare i sistemi rispetto a comportamenti di base.
• Prototipazione Rapida: La simulazione serve come strumento per i progettisti per testare preventivamente i conflitti tra più utenti e la logica di automazione.

Il documento riconosce modestamente che la validità ecologica non è ancora stata stabilita, in particolare riguardo alla capacità degli LLM di catturare la natura irregolare o dimentica del comportamento domestico reale. Inoltre, l'esecuzione end-to-end su un testbed fisico non è stata ancora dimostrata in questo studio iniziale. Il lavoro futuro è diretto verso una valutazione sistematica attraverso diverse configurazioni, la connessione a testbed live e, potenzialmente, la costruzione di un dataset open-source su larga scala di comportamenti simulati.