💻 computer science

Simulating the Resident: Generating Executable Smart Home Schedules via LLM Personas

本文提出了一种利用大语言模型生成的居民人格化身来创建多样化且可执行的智能家居交互调度方案的隐私保护框架，从而在无需侵入式真实世界数据采集的情况下，实现可扩展且真实的交互设计研究。

原作者： Victor Jüttner, Xenia Wagner, Christoph Jahn, Erik Buchmann

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Victor Jüttner, Xenia Wagner, Christoph Jahn, Erik Buchmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

技术摘要：通过 LLM 人格模拟居民

问题陈述
针对人机交互（HCI）、安全性和智能家居隐私的研究，高度依赖于捕捉真实设备交互、网络流量和日常规律的数据集。然而，获取此类数据面临着重大的方法论挑战。从真实家庭中收集数据既缓慢又昂贵，且由于需要对私人空间进行长期、侵入性的观察，会引发深刻的隐私担忧。此外，现有的真实世界数据集往往范围有限，无法在多样化的家庭构成、设备生态系统或使用模式之间实现泛化。虽然合成数据生成已被探索，但以往的方法（例如统计模型或隐马尔可夫模型）缺乏人类意图的语义模型，而现有的基于 LLM 的模拟（例如 AgentSense）仍局限于虚拟环境，无法与真实的硬件相连接。

方法论
作者提出了一种利用大语言模型（LLM）来模拟居民本身的新颖方法，以生成多样化且具有行为依据的交互调度表。这些调度表旨在可在物理智能家居测试床上执行。该方法由两个集成的组件组成：

家庭设计框架：
该框架通过五个社会技术维度来配置模拟家庭，以塑造设备活动：

职业常规： 工作模式（例如 9-to-5 制、轮班制）决定了日常生活和存在的结构。
模拟时间范围： 时间跨度（例如单日快照、每周、纵向研究）。
家庭动态： 社会结构与协作（例如单人居住、协作共居、冲突的时间表）。
设备生态系统与交互风格： 安装的硬件和技术素养，决定了自动化的复杂程度。
环境上下文： 物理设置与气候（例如城市公寓、冬季条件）影响空间和触发行为。

多阶段 LLM 流水线：
借鉴生成式智能体架构，该流水线将配置好的维度转化为可执行的追踪记录，共分为四个阶段：

阶段 1：人格与上下文初始化： LLM 接收家庭配置、环境上下文以及严格的可用设备 JSON 模式（Schema）。它为每位居民生成一份“人格记忆卡”，总结其日程和习惯，同时将偏好明确映射到来自模式的精确设备名称和参数值。
阶段 2：叙事性日计划生成： 利用记忆卡，LLM 在离散的时间窗口内生成自然语言形式的活动叙事。此阶段强调对物理位置和社交协作的推理（例如避免吵醒另一位居民）。关键约束强制要求精确的时间戳、明确的状态管理、确定性的语言，并严格遵守设备模式。
阶段 3：动作提取与格式化： 通过严格的格式化提示词，指示 LLM 充当动作解析器，将叙事中的具体设备交互提取为结构化的 JSON 数组。这一步将推理过程与格式化分离，以减少语法错误和幻觉。输出内容包括时间戳、居民姓名、设备、动作、数值和意图。
阶段 4：状态与记忆更新： 对于纵向模拟，流水线根据生成的动作更新人格记忆卡。这种滚动记忆机制确保了在长期的模拟过程中保持空间和行为的一致性，且不会超出上下文窗口。

核心贡献
本文提出了三个主要贡献：

可配置的设计框架： 一套包含五个社会技术维度的工具，允许研究人员系统地塑造模拟家庭场景。
多阶段 LLM 流水线： 一种详细的架构，能将高层级的居民人格和上下文转化为结构化的、可执行的设备交互调度表。
概念验证： 通过初步演示验证了该流水线能够产生具有时间连贯性、人格一致性且符合模式规范的交互追踪记录。

结果
在一次模拟两名共居者（一名居家办公专业人士和一名办公室职员）在德国冬季早晨的概念验证实验中，该流水线成功为八个智能设备生成了早晨例行程序（06:00–10:00）。

上下文连贯性： 输出结果反映了季节性上下文（例如，由于冬季日出导致供暖使用量增加）以及每位居民截然不同的时间模式（例如，Bob 的动作集中在出发前，而 Alice 的动作则分布在整个早晨）。
模式合规性： 生成的 JSON 调度表严格遵守提供的设备模式，正确地将动作与参数分离，并且仅使用了定义的设备名称。
可行性： 该流水线成功将高层特征和环境约束转化为可在物理测试床（如 Home Assistant, TTDAS）上执行的格式。

意义与主张
作者将这项工作定位为一项旨在支持可扩展、具备隐私保护意识的智能家居实验的“进行中的工作”，其目标是不依赖于侵入性的真实世界数据收集。他们声称该方法具有三个具体的意义：

直接测试床执行： 利用生成的例行程序驱动物理硬件的能力，使研究人员能够捕获真实的网络流量和设备状态。
标准化基准： 社会技术维度有助于创建可共享、开箱即用的家庭配置，用于根据基准行为评估系统。
快速原型设计： 模拟作为一种工具，供设计师预先测试多用户冲突和自动化逻辑。

论文谦虚地承认，生态效度尚未得到建立，特别是关于 LLM 是否能够捕捉到真实家庭行为中不规则或健忘的特性。此外，端到端的物理测试床执行在本次初步研究中尚未得到演示。未来的工作方向是针对多样化的配置进行系统性评估，连接到实时测试床，并可能构建一个大规模的开源模拟行为数据集。

类似论文