🤖 AI

Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy

本文介绍了 OmniAct，这是一个层级化异步框架，它统一了信息物理规划、自适应记忆和视觉验证，旨在使具身智能体能够在非结构化环境中自主执行复杂的长程任务，同时保持高效性并针对物理故障具备鲁棒性。

原作者： Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要建造一个能住在你家里的机器人，它能帮你处理日常琐事，而不需要人类不断地去照看它，甚至可以持续工作数周或数月。这就是“具身智能体”（embodied agents）的目标。然而，目前的机器人就像是笨手笨脚的实习生：它们能把一件事情做得很好，但如果它们感到困惑，就会不断出错，直到把一整天都搞砸。而且它们的记忆力极差，要么忘记了一小时前你说过的话，要么因为试图记住每一秒钟发生的事情而变得过于臃icity（信息过载），导致系统卡死。

这篇论文介绍了 OmniAct，这是一个全新的框架，旨在将这些笨手笨脚的实习生转变为可靠的长期家庭管理者。你可以将 OmniAct 视为不仅仅是一个超级大脑，而是一个由三个专业角色组成的、高效的管理团队。

三个专业角色

1. 主规划师（“项目经理”）
大多数机器人之所以表现挣扎，是因为它们将“数字”任务（如在网上订餐或打开智能灯）和“物理”任务（如拿起杯子或移动椅子）视为两种完全不同的工作。

类比： 想象一位经理无法同时与 IT 部门和施工队沟通。他必须写张便条，走到 IT 办公室，得到回复，再走回来，然后去和施工队说话。这既慢又容易出错。
OmniAct 的解决方案： 规划师使用统一的语言。它可以将指令（如“打开智能灯”——数字任务）与动作（如“拿起书”——物理任务）无缝混合成一个流畅的过程。它不只是靠猜测；它能将复杂的宏大请求（如“给我弄点零食”）分解成一系列清晰、可执行的小步骤。

2. 智能记忆（“拥有归档系统的图书管理员”）
如果你要求机器人记住你所说过的每一句话，它最终会耗尽存储空间，或者被不再重要的旧指令搞混。

类比： 想象试图通过阅读每一句对话的逐字转录稿来记住一场长达 10 小时的谈话。你会迷失在噪音中。更好的方法是让一位图书管理员，只记录对话中的“章节”。
OmniAct 的解决方案： OmniAct 不仅仅存储原始视频帧或单词，它使用了事件边界压缩技术（Event-Boundary Compression）。它会等待一个“章节切换”（例如完成一项任务或更换房间）时，然后将发生的事情总结成一段简洁、精炼的笔记。这使得机器人的记忆保持轻量且快速，即使在运行数日后也不会出错，同时不会忘记重要的长期规则（例如“我不喜欢糖”）。

3. 安全监控器（“观察员”）
目前的机器人通常以“开环”方式工作，这意味着它们开始执行任务后就只能听天由命。如果它们掉落了一个杯子，它们并不知道发生了什么，仍会继续执行下一步，从而让局面变得更糟。

类比： 这就像一个蒙着眼睛穿过房间的人。如果他们绊倒了，他们不知道自己摔倒了，所以会继续踉跄前行。
OmniAct 的解决方案： 这个系统拥有一个视觉抢占引擎（Visual Preemption Engine）。在机器人工作时，一个独立的“观察员”（摄像头和 AI）会定期进行检查。如果观察员看到机器人掉落了杯子或陷入困境，它会立即喊出“停止！”，并唤醒规划师来修复错误。这能将一场灾难转化为一次简单的绕路。

它在现实世界中的表现

研究人员在两个截然不同的机器人上测试了 OmniAct：一个是机械臂（像桌上的类人手臂），另一个是轮式移动机器人（像可以到处移动的 Roomba）。他们给出了 40 个困难的长期任务，这些任务涉及将物理动作与数字工具结合起来（例如在决定是否打开窗户之前先查看天气应用）。

更高的成功率： OmniAct 完成任务的频率远高于以往的方法。当其他机器人失败时，它们通常会彻底失败。而 OmniAct 能够从错误中恢复并继续进行。
高效的记忆： 其他系统需要存储海量数据（超过 100,000 个“单词”的历史记录）从而导致速度变慢，而 OmniAct 保持了低且稳定的记忆占用，就像图表上的平滑直线一样，无论任务持续多久。
赋能小型模型： 其中一个最令人惊讶的发现是，OmniAct 可以让一个“中型”AI 模型（一种更便宜、性能较低的模型）表现得像最昂贵的顶级商业模型一样出色。它证明了拥有良好的结构（即这个三角色团队）往往比单纯拥有更大的大脑更为重要。

核心结论

OmniAct 表明，要建造一个能真正与我们共同生活并处理现实世界混乱情况的机器人，我们需要的不是一个单一的、完美的巨型大脑。相反，我们需要一个将规划、记忆和安全检查分离的层级化团队。通过让这些专门的部分相互通信，机器人变得更具韧性、更高效，并且能够处理复杂的长期工作，而无需人工干预。

技术摘要：OmniAct —— 推进全模态具身智能体

1. 问题陈述

本文探讨了构建能够可靠地在非结构化现实世界环境中进行长时间运行的**持久性具身智能体（persistent embodied agents）**这一根本挑战。目前的具身系统在面对此类高要求场景时，面临三个关键局限性：

缺乏统一的动作空间： 现有方法将网络域工具调用（API、IoT）与物理域操控（机器人控制、导航）视为独立的流水线。这种分离导致了脆弱且依赖手工设计的接口，无法处理需要对异构工具进行联合编排的自然交织指令。
无界的上下文累积： 在长期部署过程中，通过线性拼接交互历史来构建智能体的框架会导致上下文增长过快。这会导致内存开销增加、关键历史信息丢失，以及长期用户偏好与近期状态之间的语义冲突。
开环执行失败： 虽然视觉-语言-动作（VLA）模型已取得进展，但其本质上的开环特性阻碍了自主恢复能力。未被检测到的物理故障（例如抓取滑动、导航误差）会演变成不可逆的错误，因为系统缺乏在无需人工干预的情况下验证执行进度或触发重新规划的机制。

核心问题在于实现日常物理自主性（everyday physical autonomy），这要求在单一任务流中协调异构的网路-物理工具，并在长时程范围内从物理故障中自主恢复。

2. 方法论：OmniAct 框架

作者提出了 OmniAct，这是一个分层异步架构，它通过专门的协作模块将规划、记忆和验证进行显式解耦。OmniAct 并非依赖单体式的端到端模型，而是集成了三个紧密耦合的组件：

A. 多模态语义规划器

该模块实例化了高层规划策略 ( $\pi$ )。它融合多模态输入（语音、视觉、状态）以执行以下操作：

意图理解： 将模糊的用户指令在当前工具状态和视觉观测的基础上进行落地（Grounding）。
任务分解： 将长时程指令分解为可执行的子目标。
技能路由： 从涵盖网络域（IoT、Web API）和物理域（操控、导航）的统一库存 ( $\mathcal{T}$ ) 中选择合适的技能 ( $\tau_t$ )。
输出： 一个支持在单个步骤内并行调度多个技能调用的结构化 JSON 规范。

B. 带有异步视觉抢占机制的闭环执行

为了解决 VLA 策略的开环局限性，OmniAct 采用了异步视觉抢占引擎：

双流执行： 离散的网络命令通过确定性的返回码进行验证。连续的物理命令则被转发至控制策略，且不具备内在的验证信号。
语义验证： 一个异步监控器定期采样视觉帧，并将其提交给视觉语言模型（VLM），以在语义层面评估执行进度和物理安全性（例如，“物体是否仍被抓取？”、“机器人是否正在向目标移动？”）。
抢占与重规划： 一旦检测到异常，系统会立即停止 VLA 执行器，封装失败上下文，并将控制权交还给规划器进行重规划。这使得灾难性故障转化为可恢复的延迟。

C. 自适应分层记忆

为了在不产生线性增长的情况下管理长时程上下文，该框架利用由**事件边界压缩（event-boundary compression）**驱动的三级记忆体系：

感觉记忆（Sensory Memory）： 一个用于存储近期视觉帧的轻量级 FIFO 队列，与规划上下文解耦。
情景记忆（Episodic Memory）： 交互历史在语义事件边界（例如，子任务完成）处进行压缩。原始观测序列被浓缩为保留语义内容和状态转换的紧凑关键帧摘要，同时丢弃程序冗余。这确保了上下文增长与离散语义事件成正比，而非与原始轮次成正比，实现了亚线性扩展。
反思记忆（Reflective Memory）： 存储静态先验（工具模式）和动态积累的经验。当发生故障时，系统会生成关于根因和纠正策略的结构化记录。这些反思会在后续规划中被检索，从而将孤立的错误恢复转化为累积性的适应。

3. 实验评估

该框架在两个结构迥异的机器人平台上进行了 40 个真实世界长时程任务的评估：

UR5e： 用于精密桌面操控的 6 自由度机械臂。
Keenon： 用于室内导航的轮式移动机器人。
环境： 与 4 个家用 IoT 设备和 12 个虚拟工具 API 协同工作。

任务根据复杂度分为三个等级：

等级 1： 仅物理操作（低层控制）。
等级 2： 网络-物理协同（IoT 协调）。
等级 3： 全多模态（语音、API、IoT 及物理执行）。

关键结果

性能： 在所有复杂度等级下，OmniAct 的表现均显著优于基准模型（Direct Policy, SayCan, Code as Policy, RoboBrain2）。在等级 3 任务中，它实现了 50.0%（操控）和 54.2%（导航）的端到端（E2E）成功率，大幅超过了表现最好的基准模型。
鲁棒性： 随着任务复杂度的增加，框架表现出平滑的性能下降，而基准模型则出现了剧烈的性能退化。OmniAct 检测任务中途失败并进行重规划的能力防止了错误连锁反应。
可扩展性与效率：
- 上下文增长： 当原始历史拼接增长至超过 160k token 时，OmniAct 的分层记忆保持了近乎平坦的 token 消耗曲线（每次调用仅 2.5k–10k tokens），且不受累积历史长度的影响。
- 约束满足： 在长时程场景（10 小时以上，4 万+ token）中，OmniAct 实现了 86.67% 的约束满足率，显著优于滑动窗口法（13.33%）和原始历史拼接法（66.67%）。
泛化能力： OmniAct 使中等规模的开源权重模型（如 Qwen3-VL-30B-A3B）达到了与专有模型（Gemini-3.1-Pro）相媲美的性能，证明了架构编排可以在不进行额外训练的情况下缩小开源模型与专有系统之间的差距。

4. 重要性与主张

本文认为，持久的现实世界自主性并不需要单体模型的规模扩张，而是需要一个具有明确职责分离的分层异步架构。

统一的网络-物理控制： OmniAct 证明了离散的网络工具与连续的物理控制可以统一到单一的事件驱动循环中，从而实现对异构工具的无缝协调，且无需力觉传感。
面向长时程自主性的有界上下文： 通过利用事件边界驱动的压缩和反思记忆，该框架使智能体能够在保持有界上下文增长的同时，自主从故障中恢复并适应动态环境的变化。
架构效率优于模型容量： 实验结果表明，将规划、记忆和验证进行显式分离，是实现持久性具身部署更可行且更高效的路径。其结构化的编排方式使得中等规模模型能够达到专有水平的性能，强调了架构清晰度对模型容量的补充作用。

作者总结道，他们的方法解决了当前具身系统中的根本缺陷，为能够在非结构化环境中长时间可靠运行的智能体提供了坚实的基础。