技术摘要：迈向具身智能体的控制架构 (Thea)

1. 问题陈述

编程智能体在数字领域的成功确立了一种范式：智能体的能力不仅取决于底层模型本身，更取决于“控制架构（harness）”——即用于编排工具、管理上下文，并通过评估与恢复来闭合从意图到结果之环的周围基础设施。然而，将这一范式迁移到物理世界的具身智能体时，面临着两个软件环境所不具备的根本性差距：

1. 世界的可读性： 与结构化、符号化且持久的软件代码库不同，物理世界是无结构的、高维的且瞬态的。智能体只能感知局部、瞬时的传感器流（RGB-D 帧），而非完整的、可读的状态。
2. 结果的可验证性： 软件环境提供显式的终止信号和退出码（例如 PASS/FAIL、堆栈跟踪）。物理世界则没有此类信号；一个机器人动作（例如抓取）没有内置的“完成”信号，且成功或失败必须在没有天然“stderr”或退出码的情况下进行推断。

如果不解决这些差距，长程任务在物理世界中将会失败，因为误差会呈几何级数累积（开环执行），且智能体无法从其无法检测到的失败中恢复。

2. 方法论：Thea 控制架构

Thea 是一个旨在通过将编程智能体的架构适配到物理世界的控制架构。它将编排与执行解耦，允许将多样化的基础模型、策略和机器人本体插件化到统一系统中。

核心架构

系统通过**智能体循环（Agentic Loop）**运行，其中视觉语言模型（VLM）每轮选择一个工具进行执行，观察结果，并决定下一步行动。

• 工具协议： 每个机器人能力（导航、操纵）都被封装为一个具有标准化接口（模型上下文协议）的可调用工具。工具包括前置条件、描述和后置条件。
• 上下文工程： 上下文在三个生命周期内进行管理：
  • 常驻（Resident）： 系统提示词、记忆和具身特征描述（Embodiment Profiles）。
  • 刷新（Refreshed）： 当前传感器数据和场景图简报（Scene Graph Brief）（见下文）。
  • 累积（Accumulated）： 任务历史、笔记和工具执行结果。
• 记忆： 一个生命周期系统，维护当前会话的 任务笔记（Task Notes）、用于跨会话偏好的 MEMORY.md 以及记录特定工具失效模式和恢复策略的 tool_experience 文件。
• 安全： 确定性的安全检查（例如间隙测量）通过执行前的钩子（pre-execution hooks）强制执行，该检查独立于模型的决策。

弥补差距（关键创新）

Thea 引入了两个特定的机制来取代物理世界缺失的基础设施：

A. 场景图作为上下文（恢复可读性）

为了使世界变得可读，Thea 维护了一个持久的、以物体为中心的场景图（Scene Graph）。

• 结构： 节点代表物体（带有 ID、粗略 3D 包围盒、置信度和新鲜度）及容器。边编码空间关系（在……之上、在……之内、在……附近）。
• 更新机制： 场景图由两个流进行更新：感知（视觉/深度证据）和执行（由评估器确认的动作结果）。只有被确认的结果（例如成功的抓取）才会修改场景图状态。
• 访问： 模型在每一轮都会接收到一个紧凑的场景图简报（列出物体、位置和机器人状态）。对于特定细节，模型可以发出基于引用键的查询（例如 get_image、get_object_relations）以按需获取被省略的证据。这把瞬态的传感器数据转化为稳定的、可寻址的符号表示。

B. 评估作为退出码（恢复可验证性）

为了使结果可验证，Thea 实现了一个显式的**评估器（Evaluator）**模块，作为每个操纵工具之后的结构化后置钩子。

• 独立性： 评估器是一个独立的组件，它不观察模型的推理过程或自我报告。它仅观察当前的摄像机视图和工具特定的后置条件。
• 输出： 它返回一个三态判定（成功、失败、进行中）以及结构化的失败原因（例如“夹爪闭合但未抬起”、“机器人距离过远”）。
• 功能： 该判定充当了物理世界的“退出码”。如果检测到失败，智能体会利用该原因来调整下一步（例如重新定位），而不是盲目重试。

C. 具身特征描述（Embodiment Profile）

为了确保可移植性，Thea 使用了具身特征描述，这是一份描述特定机器人物理极限（底座足迹、触及范围、传感器模态、相机位置）的文档。这使得相同的控制架构逻辑可以控制不同的机器人本体（例如轮式类人机器人 vs 双臂协作机器人）而无需更改架构。

3. 核心贡献

1. 范式迁移： 证明了“控制架构”范式（在编程智能体中取得成功）可以通过显式重建世界可读性和结果可验证性，从而适配于具身智能体。
2. 场景图作为上下文： 引入了一个持久的、符号化的世界状态，使智能体能够像处理代码库一样对物理环境进行推理，从而实现长程规划与恢复。
3. 评估作为退出码： 提出了一个结构化评估模块，生成显式的成功/失败信号和诊断原因，从而闭合了缺乏原生终止信号环境中的感知-动作环路。
4. 可移植性与可扩展性： 展示了通过将能力视为可插拔工具、将本体视为可配置特征，该控制架构可以编排多样化的策略和机器人本体（如 Astribot S1, AgileX Cobot Magic, Unitree G1）。

4. 实验结果

作者在真实环境中使用真实机器人，在三个复杂度递增的任务层级上评估了 Thea：

• L1（短程）： 单次取放。
• L2（长程）： 在单张桌子上进行多次取放循环。
• L3（导航 + 操纵）： 在房间之间导航以检索并递送物体。

性能表现：

• 成功率： 与包括端到端 VLA 策略（ACT, $\pi0.5$, LingBot-VLA-V2）、Coding-as-Policy (CaP-X) 和分层规划（SayCan）在内的基准模型相比，Thea 在所有三个层级上都实现了最高的成功率。
• 扩展性： 虽然端到端策略和其他基准模型随着任务长度增加性能显著下降（由于误差累积），但 Thea 保持了较高的成功率。这归功于其通过评估器检测失败并通过工具组合进行恢复的能力。
• 评估器准确率： 评估器在三种不同机器人本体上实现 93.3% 的准确率 来分类任务状态（成功、失败、进行中）。分析表明，当评估器准确率 $\alpha \approx 0.93$ 且每步最多重试 5 次时，5 步任务的理论成功概率从 0.33（开环）跃升至 0.91（控制架构）。
• 涌现能力： 系统展示了诸如主动感知（当场景图中缺失物体时搜索柜子）、失败恢复（基于评估器反馈进行重新定位）以及用户交互（针对模糊目标询问用户）等涌现行为。

5. 重要性与主张

本文声称，具身智能体正经历着类似于软件工程的范式转变，即**控制架构（基础设施）**本身变得与模型一样关键。

• 可靠性是一个系统问题： 作者认为，可靠性可以在控制架构层面通过工程手段实现（通过评估和重试循环），而无需要求完美的单步策略或重新训练模型权重。
• 增量能力： 新的策略和新的机器人本体可以作为工具和特征描述进行集成，而无需重新训练核心编排逻辑，从而允许策略构建者和系统构建者并行发展。
• 作为训练目标的循环： 作者指出，阅读场景图、选择工具以及从失败中恢复的行为是可学习的行为，可能成为下一代具身基础模型的优化目标。

论文最后进行了谦逊的总结，承认了局限性：场景图依赖于底层感知的质量（位置较为粗略），评估器是一个近似值（存在假阳性和假阴性），且由于语言模型延迟，系统目前运行速度慢于实时。然而，作者认为这些都是可以通过更好的表示、紧凑的局部评估器和边缘加速来解决的工程挑战。