Simulating the Resident: Generating Executable Smart Home Schedules via LLM Personas

Resumen Técnico: Simulación del Residente mediante Personas de LLM

Planteamiento del Problema
La investigación en Interacción Humano-Computadora (HCI), seguridad y privacidad para hogares inteligentes depende en gran medida de conjuntos de datos que capturen interacciones de dispositivos, tráfico de red y rutinas diarias auténticas. Sin embargo, la adquisición de tales datos presenta desafíos metodológicos significativos. La recolección de datos de hogares reales es lenta, costosa y plantea profundas preocupaciones de privacidad debido a la necesidad de una observación de largo plazo e invasiva de espacios privados. Además, los conjuntos de datos del mundo real existentes suelen ser limitados en alcance, al no lograr generalizarse a través de diversas composiciones de hogares, ecosistemas de dispositivos o patrones de uso. Si bien se ha explorado la generación de datos sintéticos, los enfoques previos (por ejemplo, modelos estadísticos o Modelos Ocultos de Markov) carecen de un modelo semántico de la intención humana, y las simulaciones basadas en LLM existentes (por ejemplo, AgentSense) permanecen confinadas a entornos virtuales sin conectarse al hardware real.

Metodología
Los autores proponen un enfoque novedoso para simular a los propios residentes utilizando Modelos de Lenguaje Extensos (LLM) para generar cronogramas de interacción diversos y conductualmente fundamentados. Estos cronogramas están diseñados para ser ejecutables en bancos de pruebas físicos de hogares inteligentes. La metodología consta de dos componentes integrados:

1. Un Marco de Diseño para Hogares:
   El marco configura hogares simulados a través de cinco dimensiones socio-técnicas para moldear la actividad de los dispositivos:

• Rutinas Ocupacionales: Patrones de trabajo (por ejemplo, de 9 a 5, trabajo por turnos) que estructuran la vida diaria y la presencia.
• Marco Temporal de Simulación: El alcance temporal (por ejemplo, instantánea de un solo día, semanal, longitudinal).
• Dinámica del Hogar: Estructuras sociales y coordinación (por ejemplo, residente único, cohabitantes cooperativos, horarios conflictivos).
• Ecosistema de Dispositivos y Estilo de Interacción: El hardware instalado y la alfabetización técnica, que determinan la complejidad de la automatización.
• Contexto Ambiental: Entornos físicos y clima (por ejemplo, apartamento urbano, condiciones de invierno) que influyen en los comportas espaciales y disparadas.

2. Un Pipeline de LLM de Múltiples Etapas:
   Adaptado de la arquitectura de agentes generativos, el pipeline traduce las dimensiones configuradas en trazas ejecutables a través de cuatro etapas:

• Etapa 1: Inicialización de Persona y Contexto: El LLM recibe la configuración del hogar, el contexto ambiental y un esquema JSON estricto de los dispositivos disponibles. Genera una "tarjeta de memoria de persona" para cada residente, resumiendo su horario y hábitos, mientras mapea explícitamente las preferencias a nombres exactos de dispositivos y valores de parámetros del esquema.
• Etapa 2: Generación de Narrativa del Plan del Día: Utilizando las tarjetas de memoria, el LLM genera una narrativa en lenguaje natural de las actividades dentro de una ventana de tiempo discreta. Esta etapa enfatiza el razonamiento sobre ubicaciones físicas y coordinación social (por ejemplo, evitar despertar a otro residente). Restricciones críticas imponen marcas de tiempo exactas, gestión de estado definitiva, lenguaje determinante y adherencia estricta al esquema de dispositivos.
• Etapa 3: Extracción y Formateo de Acciones: Un prompt de formateo estricto instruye al LLM para actuar como un analizador de acciones, extrayendo interacciones concretas de dispositivos de la narrativa hacia un arreglo JSON estructurado. Este paso separa el razonamiento del formateo para reducir errores de sintaxis y alucinaciones. La salida incluye marcas de tiempo, nombres de residentes, dispositivos, acciones, valores e intenciones.
• Etapa 4: Actualización de Estado y Memoria: Para simulaciones longitudinales, el pipeline actualiza las tarjetas de memoria de la persona basándose en las acciones generadas. Este mecanismo de memoria rodante asegura la consistencia espacial y conductual a través de simulaciones extendidas sin exceder las ventanas de contexto.

Contribuciones Clave
El artículo presenta tres contribuciones primarias:

1. Un Marco de Diseño Configurable: Un conjunto de cinco dimensiones socio-técnicas que permiten a los investigadores dar forma sistemática a los escenarios de hogares simulados.
2. Un Pipeline de LLM de Múltiples Etapas: Una arquitectura detallada que transforma las personas y el contexto de alto nivel en cronogramas de interacción de dispositivos estructurados y ejecutables.
3. Una Prueba de Concepto: Una demostración inicial que valida que el pipeline puede producir trazas de interacción temporalmente coherentes, consistentes con la persona y que cumplen con el esquema.

Resultos
En un experimento de prueba de concepto que simula a dos cohabitantes (un profesional que trabaja desde casa y un trabajador de oficina) en una mañana de invierno en Alemania, el pipeline generó con éxito una rutina matutina (06:00–10:00) para ocho dispositivos inteligentes.

• Coherencia Contextual: Las salidas reflejaron el contexto estacional (por ejemplo, aumento del uso de calefacción debido al amanecer de invierno) y patrones temporales distintos para cada residente (por ejemplo, las acciones de Bob agrupadas antes de la salida, y las de Alice distribuidas a lo largo de la mañana).
• Cumplimiento del Esquema: Los cronogramas JSON generados se adhirieron estrictamente al esquema de dispositivos proporcionado, separando correctamente las acciones de los parámetros y utilizando únicamente nombres de dispositivos definidos.
• Viabilidad: El pipeline tradujo con éxito rasgos de alto nivel y restricciones ambientales en un formato listo para su ejecución en bancos de pruebas físicos (por ejemplo, Home Assistant, TTDAS).

Significancia y Reivindicaciones
Los autores posicionan este trabajo como un "trabajo en progreso" destinado a apoyar la experimentación en hogares inteligentes escalable y consciente de la privacidad sin depender de la recolección de datos intrusivos del mundo real. Reivindican que el enfoque ofrece tres implicaciones específicas:

• Ejecución Directa en Banco de Pruebas: La capacidad de conducir hardware físico con rutinas generadas permite a los investigadores capturar tráfico de red auténtico y estados de dispositivos.
• Benchmarks Estandarizados: Las dimensiones socio-técnicas facilitan la creación de configuraciones de hogares compartibles y listas para usar para evaluar sistemas contra comportamientos base.
• Prototipado Rápido: La simulación sirve como una herramienta para que los diseñadores prueben preventivamente conflictos de múltiples usuarios y lógica de automatización.

El artículo reconoce modestamente que la validez ecológica aún no se ha establecido, particularmente respecto a la capacidad de los LLM para capturar la naturaleza irregular o de olvidos del comportamiento doméstico real. Además, la ejecución de extremo a extremo en un banco de pruebas físico aún no ha sido demostrada en este estudio inicial. El trabajo futuro se dirige hacia la evaluación sistemática a través de diversas configuraciones, la conexión con bancos de pruebas en vivo y, potencialmente, la construcción de un conjunto de datos de gran escala y código abierto de comportamientos simulados.