💻 computer science

WorldLines: Benchmarking and Modeling Long-Horizon Stateful Embodied Agents

本文介绍了 WorldLines，这是一个针对长时程有状态具身智能体的基准测试，用于评估动态家庭环境中的记忆与规划能力，以及旨在解决部分可观测性和状态追踪挑战的可见性感知记忆框架 ObsMem。

原作者： Yehang Zhang, Jianchong Su, Haojian Huang, Yifan Chang, Tianhao Zhou, Xinli Xu, Yingjie Xu, Yinchuan Li, Zexi Li, Ying-Cong Chen

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yehang Zhang, Jianchong Su, Haojian Huang, Yifan Chang, Tianhao Zhou, Xinli Xu, Yingjie Xu, Yinchuan Li, Zexi Li, Ying-Cong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你家里住着一个机器人助手。你希望它能陪伴你度过数月甚至数年，而不仅仅是完成单次任务。问题在于，我们的家是凌乱的，事物会被移动，定时器会被设置，人们说的话可能真实，也可能只是猜测。

这篇名为 WorldLines 的论文介绍了一种全新的测试方法，用于检测机器人是否真的能记住你家里的“故事”，而不仅仅是记住你上一句说了什么。

以下是使用简单类比进行的详细解读：

1. 问题所在：“金鱼” vs. “侦探”

目前大多数机器人的测试就像是在做闪卡（抽认卡）。它们问机器人：“杯子在哪？”然后机器人观察此时此刻桌上的情况。如果杯子在那儿，它就得分；如果杯子在昨天被挪动了，机器人并不关心。

但现实生活更像是侦探小说。

场景： 你告诉机器人：“我 7:30 去健身房。当我 8:30 回来时，我想看场电影，并吃掉我刚刚放进冰箱的水果。”
挑战： 要做好这件事，机器人需要记住：
- 你说你什么时候回来的（时间表）。
- 你刚刚把水果放进了冰箱（状态变化）。
- 你通常在周二看电影（常规习惯）。
- 至关重要的一点： 它需要知道水果仍然在冰箱里，即使机器人并没有亲眼看到你放进去的过程。

现有的测试之所以失败，是因为它们把机器人当作金鱼（几秒钟后就会忘掉一切）或者聊天机器人（只记得文本信息，而不记得物理对象的移动）。

2. 解决方案：WorldLines（“家庭电影”基准测试）

作者创建了一个名为 WorldLines 的新测试。你可以把它想象成一部运行数日的模拟家庭电影。

它记录下发生的一切：人们说了什么、机器人做了什么、当时是什么时间，以及房屋状态发生了怎样的变化（例如：“咖啡定时器被错误地设为了凌晨 4:00，随后机器人将其修正为 7:00 AM”）。
测试方式： 机器人会被展示电影中的一个“剪辑点”。它能看到直到该点为止发生的所有事情，但看不到之后发生的事。然后，它会被问到类似的问题：
- “机器人是什么时候修复咖啡定时器的？”（记忆问答）
- “家人一小时后就要去上学了，机器人应该做什么？”（规划）

这测试了机器人是否能建立一个持续运行的心理地图，即使在它无法观察到所有细节的情况下（部分可观测性）。

3. 新的大脑：ObsMem（“文件柜” vs. “剪贴簿”）

论文指出，仅仅存储文本（比如把所有说过的话做成一本剪贴簿）是不够的。如果你在剪贴簿里写下“鲍勃说钥匙在桌子上”，你并不知道鲍勃说的是真是假，也不知道钥匙是否在一小时前被挪动了。

他们提出了一种新的记忆系统，称为 ObsMem。想象一下，这不像是一个堆满纸张的大堆，而是一个拥有四个不同抽屉的、高度有序的文件柜：

“我看到了什么”抽屉（事件追踪）： 一个关于机器人实际看到发生的事情的严格日志。（例如：“我看到鲍勃把钥匙放在了桌子上。”）
“我听到了什么”抽屉（报告/对话）： 一个关于人们说发生了什么的日志。（例如：“鲍勃说钥匙在桌子上。” 系统知道这比亲眼所见要不可靠。）
“当前状态”抽屉（状态追踪）： 一个关于事物现在在哪里、处于什么状态的实时仪表盘。如果钥匙移动了，这个抽屉会更新，但旧的“我看到了什么”日志仍会保留在历史记录中，以便机器人知道钥匙曾经在那里。
“待办事项”抽屉（承诺追踪）： 一个关于承诺和未来计划的列表。（例如：“在早上 7:30 提醒爱丽丝带上她的科学项目板。”）

为什么这很重要： 当机器人被问到一个问题时，它不只是搜索关键词。它会检查正确的抽屉。

问题： “钥匙在哪？” -> 检查当前状态抽屉。
问题： “鲍勃是不是说钥匙在沙发上？” -> 检查我听到了什么抽屉。
问题： “机器人确定钥匙还在沙发上吗？” -> 检查**信念（Belief）**系统（它会询问：“自从我看到它们之后，是否还有其他人进入过这个房间？如果有，我就不确定了。”）。

4. 结果：“侦探”胜出

研究人员使用 WorldLines 测试，将他们的系统 (ObsMem) 与其他记忆系统进行了对比。

结果： ObsMem 在回答需要追踪随时间变化的问题时表现得出色得多。
类比： 其他系统就像是读了书的梗概然后猜测结局的人。而 ObsMem 则像是一个记录了每一个线索、每一句谎言和每一个现场变化的详细日志的侦探，这让它即使在经历了三天的混乱后，依然能解开“咖啡定时器被设成了多少点？”这类谜题。

总结

WorldLines 是一个全新的测试，它通过模拟漫长且混乱、不断变化的家庭生活，来测试机器人能否记住房屋的“故事”。
ObsMem 是机器人组织记忆的一种新方式，它将“我看到的”、“我听到的”、“现在是真的”以及“我承诺要做的事”区分开来。
结论： 要成为一名优秀的长期助手，机器人需要的不仅仅是聊天记录；它需要一种结构化的方式来追踪物理世界随时间变化的过程。

技术摘要：WorldLines 与 ObsMem

问题陈述

现有的具身智能体（embodied agents）与长期记忆基准测试与现实世界中长周期家庭辅助任务的需求存在根本性的错位。目前的长期记忆基准（如 LoCoMo、LongMemEval）主要侧重于以文本为中心的检索和对话一致性，往往将记忆与物理状态转换、动作反馈及可执行约束脱节。相反，具身智能基准（如 ALFWorld、Habitat 3.0、PARTNR）通常评估的是短周期的任务，在这些任务中，世界状态不会跨越交互过程持续存在，或者世界是完全可观测的。

这种差距留下了一个关键的评估空白：具身智能体能否在长时间跨度内维持一个持久的、部分可观测的世界状态，并利用该状态进行下游问答和规划？ 现实世界的服务请求通常依赖于演进中的常规流程、物体状态、设备设置以及跨越数日的历史事件。智能体必须能够区分直接观察、报告的信息以及未被观测到的状态变化，而这种能力是扁平化文本检索系统难以支持的。

方法论

1. WorldLines 基准测试

作者引入了 WorldLines，这是一个项目驱动的基准测试，旨在评估在动态、部分可观测环境中的长周期状态化具身智能体。

构建流水线： WorldLines 通过模拟“长期项目”（例如：备餐、设备协调）在多个天数内的过程，生成扩展的家庭轨迹。该流水线包括：
- 世界落地（World Grounding）： 利用具有策划交互对象和可控设备的 Habitat/HSSD 场景。
- 项目规划（Project Planning）： 定义具有特定参与者、空间和时间约束的多日生活过程。
- 闭环模拟（Closed-Loop Simulation）： 生成跨日的事件流（对话、人类活动、机器人动作、设备操作），其中确定性执行器负责验证功能属性（affordances）并更新结构化状态轨迹。
- 向前传递记忆（Carry-Forward Memory）： 提取关于状态变化、偏好和未决计划的笔记，以确保天与天之间的连续性。
任务族： 该基准将这些轨迹转化为带有证据链接的样本，用于两类任务：
- 记忆问答（Memory QA）： 评估对历史事件、状态变化（包括被覆盖的状态）、偏好和常规流程的恢复能力。
- 具身任务规划（Embodied Task Planning）： 测试基于可见历史和可执行约束生成状态一致的计划或下一步决策的能力。
评估协议： 每个样本包含一个上下文截止点（ $c_i$ ）。智能体仅能观察截止点之前的历史记录（ $H_{<c_i}$ ）。地面真值（ground truth）状态和证据链仅用于评估，以防止信息泄露。

2. ObsMem：基于观察者落地的记忆框架

为了解决扁平化文本记忆的局限性，作者提出了 ObsMem，这是一个根据观察来源和语义角色将信息组织成类型化视图的记忆框架。

基于观察者的摄取（Observer-Grounded Ingestion）： 事件通过一个“观察者门控”进行过滤，以区分机器人直接观察到的事件（ $e^{obs}$ ）与他人仅仅报告的事件（ $e^{rep}$ ）。这种区别在整个记忆生命周期中得以保留。
类型化记忆轨道（Typed Memory Tracks）：
- 事件轨道（Event Track）： 一个追加式的历史证据日志（发生了什么）。
- 状态轨道（State Track）： 维护当前快照和状态事实的历史（例如：物体位置），允许系统追踪被覆盖的状态。
- 信念轨道（Belief Track）： 记录机器人对每个事实的认识置信度（新鲜、陈旧、不确定、矛盾），考虑了部分可观测性和中间事件的影响。
- 承诺轨道（Commitment Track）： 存储未来的义务、承诺和日程安排。
查询时检索（Query-Time Retrieval）： ObsMem 不采用单一的相似度搜索，而是根据查询意图来组合证据。它将查询路由到特定的视图（例如：针对“X 现在在哪里？”访问状态轨道；针对“谁说了 X？”访问事件轨道），并合成一个综合考虑了状态、信念和历史支持的类型化证据包。

核心贡献

WorldLines 基准测试： 一种新型的长周期状态化具身智能体基准测试，它将记忆问答和具身任务规划集成到动态、部分可观测的家庭环境中。
项目驱动的轨迹生成： 一个将落地世界和长期活动线程转化为带有证据链接的评估样本的流水线，确保世界状态在交互过程中能够持续存在并不断演进。
ObsMem 框架： 一种基于观察者的记忆架构，它将事件证据、结构化状态轨迹和信念记录分离，从而在部分可观测环境下实现鲁棒的决策。

实验结果

作者在 310 个记忆问答样本上将 ObsMem 与若干基准模型（Mem0, A-mem, MemoryOS, GraphMem）进行了对比评估。

整体性能： ObsMem 获得了最高的 Judge 分数（0.713）和完美率（Perfect Rate, 69%），其 Judge 分数比最强的基准模型（A-mem）高出 0.138。
证据恢复： 虽然基准模型在 Session Any@5（检索正确的粗粒度时间上下文）方面表现出色，但在 Event R@5（识别特定的状态变更事件）方面却表现挣扎。ObsMem 在 Event R@5 上比 Mem0 提升了 0.159，展示了其在恢复精确具身证据方面的卓越能力。
状态推理： ObsMem 在 StateMultiHop 和 StateSingleHop 问题上表现出显著增益，这些问题需要通过事件转换来追踪可变状态。StateMH-E 指标（针对多跳状态问题的事件级召回率）显示出其比最强基准模型高出 0.188。
消融实验： 移除信念视图（Belief view）、状态视图（State view）或情节整合（Episode consolidation）会导致性能下降，这证实了分离状态、信念与证据对于处理部分可观测性和状态更新至关重要。

重要性与主张

论文指出，WorldLines 揭示了现有系统面临的持久挑战，特别是关于部分可观测性、被覆盖的世界状态以及将长期记忆转化为具身计划的问题。

作者断言，ObsMem 为这一场景提供了一个更强的参考架构，它将记忆视为一个将交互流转化为类型化证据的在线过程。其核心意义在于证明了长周期具身智能体需要的不仅仅是扁平化的文本检索；它们需要能够区分观察到的信息与报告的信息、当前状态与历史状态、以及已知事实与不确定事实的机制。ObsMem 提供了这种结构，从而实现了基于证据的问答和具备状态感知能力的具身规划。这项工作并不声称解决了所有的具身智能挑战，而是提供了一个特定的基准和框架，用于评估和改进动态家庭环境下的长期状态维护能力。