💻 computer science

TypeGo: An OS Runtime for Embodied Agents

本文介绍了 TypeGo，一种面向具身智能体的操作系统级运行时，它通过将同步的 LLM 请求/响应周期替换为异步、多时间尺度的规划与并发任务管理，从而显著降低延迟并实现实时控制。

原作者： Guojun Chen, Alex Schott, Lin Zhong

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Guojun Chen, Alex Schott, Lin Zhong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一只机器狗如何在繁忙的世界中穿行。目前，大多数机器人的工作方式就像一个等待短信的人：它们停下来，等待“大脑”（大语言模型或 LLM）回复下一步动作，然后才行动。如果“大脑”思考了 5 秒钟，机器人就会僵在那里 5 秒钟。这在现实生活中是太慢了，因为在现实中，你需要躲避掉落的物体，或者在走路时与人交谈。

TypeGo 是一个旨在解决这一问题的全新系统。耶鲁大学的研究人员提出，不应将机器人视为一个等待指令的简单机器，而应将其视为一个智能操作系统（就像运行在你手机或电脑上的软件一样），能够同时管理机器人的身体和大脑。

以下是 TypeGo 的工作原理，我们使用简单的类比来解释：

1. 问题所在：“停下来思考”的瓶颈

想象一个机器人试图穿过房间。

旧方式： 机器人走一步，停下来，询问它的 AI 大脑：“下一步做什么？”AI 思考了 3 秒钟，说“向左转”，然后机器人转弯。接着它再次停下来询问：“下一步做什么？”这导致机器人动作僵硬、缓慢，无法快速应对突发状况。
挑战： AI 大脑很聪明但很慢。现实世界的机器人需要很快。

2. 解决方案：“机器人操作系统”

TypeGo 扮演着一个操作系统的角色，它可以同时运行多个“应用”（任务），就像你的电脑管理屏幕、键盘和扬声器一样，管理机器人的物理部件（腿部、扬声器、摄像头）。

它使用四个不同速度的“思考循环”，让它们协同工作：

反射层 (S0) —— “膝跳反应”：
- 类比： 想象触摸到热炉。你在大脑意识到烫之前，手就已经缩回来了。
- 工作原理： 这是一个极快的层级，它不需要等待缓慢的 AI。如果有人走到机器人面前，这个层级会立即发出指令：“停止！”或“后退一步！”它每秒运行 100 次，确保机器人永远不会发生碰撞。
动作流式传输器 (S1) —— “投机型厨师”：
- 类比： 想象一位厨师，在汤还在沸腾时就开始切菜。他们不会等待汤煮好，而是提前准备好下一步。
工作原理： 当机器人正在行走时，这一层已经在思考下一步的三步动作了。它将这些动作放入一个“队列”（等待线）中。当机器人完成当前步骤时，下一步已经准备就绪。这通过“移动时间”隐藏了“思考时间”。
任务分解器 (S2) —— “项目经理”：
- 类比： 如果你告诉一个人“打扫房子”，他们会将其拆解为：“先捡起玩具，然后吸尘，最后除尘。”
- 工作原理： 这一层将一个大目标（如“寻找一个球”）分解成更小、更易处理的块。它会根据机器人看到的情况每隔几秒更新一次计划。
进程调度器 (S3) —— “交通警察”：
- 类比： 想象一个繁忙的十字路口。交通警察决定谁先通行：是救护车（紧急情况）还是送货卡车（常规任务）。
- 工作原理： 如果机器人在行走（任务 A），而人类突然要求它坐下（任务 B），调度器会决定哪个任务胜出。它知道如果人类给出了直接指令，该指令具有优先权。如果机器人只是需要避开一堵墙，它会暂停行走任务，处理墙壁问题，然后自动恢复行走。

3. 与机器人交流：“处方”

你不需要编写代码来告诉 TypeGo 该做什么。你只需自然地说话。

任务： “去找一个红色的球。”（这会发送给项目经理）。
反射： “如果任何物体靠近 2 英尺以内，请后退一步。”（这会被编译成一条快速的自动规则，用于反射层）。

4. 如何处理冲突（“技能内核”）

机器人的物理部件是有限的。如果动作发生冲突，它无法同时行走并旋转头部。

内核： 可以将其视为“资源管理器”。它就像夜店的保安。如果“行走”进程想要控制腿部，而“说话”进程想要控制嘴部，内核会允许两者同时进行，因为它们使用的是不同的部件。但如果两个进程都想要控制腿部，内核会暂停其中一个，直到另一个完成，从而确保机器人不会尝试同时做两件相互冲突的事情。

5. 结果：更快、更聪明

研究人员在名为“Kalos”的真实机器狗（Unitree Go2）上测试了 TypeGo。

速度： 与旧方法相比，TypeGo 将做出第一个动作所需的时间缩短了 73%。它还将步骤之间的延迟降低了 50%。
多任务处理： 机器人可以在听取人类指令的同时行走；如果人类给出了新命令，机器人可以暂停、倾听，然后恢复行走而不会产生混乱。
安全性： 如果障碍物出现，机器人能瞬间做出反应（不到一秒），无需等待缓慢的 AI 进行思考。

总结

TypeGo 是一种全新的运行机器人的方式。它不再是每做一个动作都要询问缓慢的 AI 大脑，而是赋予机器人一个“操作系统”，使其能够：

对危险做出即时反应（反射）。
在移动时提前规划（投机流式传输）。
同时管理多个任务（调度）。
使用自然语言与人类交流。

其结果是，机器人变得更加鲜活、响应迅速，并且能够应对混乱且不可预测的现实世界。

技术摘要：TypeGo：具身智能体的操作系统运行时

问题陈述

本文指出，当前基于大语言模型（LLM）的具身智能体控制方法与实时物理交互的需求之间存在根本性的不匹配。将 LLM 视为处于关键路径上的同步“请求-响应”式神谕（Oracle），会产生三个主要的系统挑战：

延迟与质量的权衡： LLM 的推理速度过慢，无法满足实时反应的需求（导致动作之间出现停顿），而小型快速模型则缺乏规划能力。
并发与资源仲裁： 现实世界的智能体必须处理多个竞争目标（例如，在进行通信的同时执行巡逻），并共享物理执行器。现有的 LLM 文献在很大程度上回避了经典的操作系统问题，即抢占（Preemption）和资源仲裁。
反应式规则： 一次性（One-shot）的自然语言指令定义了目标，但无法捕捉快速反应规则（例如，“如果物体距离在 0.2m 以内则后退”），这类规则必须比 LLM 的调用周期执行得更快。

目前的方案——无论是单体规划器（一次性规划整个序列）还是逐步规划器（针对每个动作进行查询）——要么面临极高的初始延迟，要么在执行过程中频繁停顿。

方法论：TypeGo 运行时

作者提出了 TypeGo，一种类操作系统的运行时，它将具身智能体的控制循环视为一个持续执行的异步系统，而非顺序的 LLM 查询循环。该架构构建在四个异步规划层（S0–S3）之上，并运行在一个 技能内核（Skill Kernel） 之上，在结构上类比了传统的操作系统设计（表 1）。

核心架构组件

技能内核（资源管理器）：
- 作为操作系统内核，负责调解对类型化物理子系统（如 MOVEMENT、SOUND、DEFAULT）的访问。
- 强制执行排他性（例如，同一时间只能有一个进程控制运动系统）和共享资源的串行化。
- 支持有界中断技能：技能可以在限定时间 $t_s$ 内被暂停或停止，从而实现平滑的抢占和状态恢复。
进程抽象：
- 每个任务（用户指令或行为准则）都被实例化为一个进程（Process），其包含一个包含规划状态、历史记录和状态的进程控制块（PCB）。
- 依赖来源的恢复（Source-Dependent Resumption）： 与基于数值优先级的调度器不同，TypeGo 区分了“中断并返回”（反应式绕行，原进程随后恢复）与“替换而不返回”（新的用户指令，永久取代旧目标）。
四层异步规划循环：
- S3（进程调度器）： 最慢的一层。管理进程生命周期，根据语义准则和观察结果决定运行哪些进程，并处理抢占逻辑。
- S2（任务分解器）： 将高层任务分解为有序的子任务和全局事件触发器（条件/响应对）。它会定期检查历史记录以更新计划。
- S1（动作规划器/流式传输器）： 投机层。它将子任务转换为技能调用的流。关键在于，它使用一个有界队列在当前步骤执行时通过生成未来的步骤来进行投机性预测，从而将规划延迟与执行重叠。
- S0（反射层）： 最快的一层（100 Hz）。执行由自然语言反射编译而成的 Python 条件/动作对。它具有最高优先级，能够中断任何持有竞争子系统的进程。
编程抽象：
- 处方（Prescriptions）： 自然语言输入。任务（Tasks） 被路由到在线规划器（S1–S3）；反射（Reflexes） 则被离线编译为高频 S0 处理程序。
- 观察（Observations）： 暴露给所有规划器的结构化、连续数据流（例如，物体检测）。
- 技能（Skills）： 由开发者编写（而非由 LLM 合成）的可调用原语，用于实现底层的机器人操作。

核心贡献

面向具身智能体的 OS 级运行时： 本文引入了一种运行时设计，将规划与执行解耦，实现了类似于 CPU 管理硬件的并发任务管理和资源仲裁。
投机性技能流式传输： 通过维护一个技能调用的前瞻队列，TypeGo 将 LLM 规划延迟隐藏在持续运动之后，实现了无需等待下一个计划即可进行的连续执行。
语义调度： 调度器（S3）基于请求的来源（用户 vs. 反应式准则）而非固定数值优先级来做出抢占决策，从而实现了更细致的行为，如自动恢复被中断的任务。
将自然语言作为一等公民媒介： 系统允许非专业人员编写高层目标和低延迟反应规则，系统会自动将它们路由到适当的延迟层级（S0 vs. S1–S3）。

初步结果

作者在 Kalos（一台 Unitree Go2 四足机器人）上对 TypeGo 进行了评估，并将其与 ReAct（逐步规划）和 Plan-and-Execute (PAE)（单体规划）进行了对比。

响应能力：
- 首次动作时间 (TTFA)： 与 PAE 相比，TypeGo 的 TTFA 降低了 73%；与 ReAct 相比降低了 40%。这是通过在更高层规划器进行思考时，由 S1 立即发出动作实现的。
- 单步延迟： 通过消除动作完成与下一次规划查询之间的“停顿”，TypeGo 比 ReAct 减少了 50% 的单步延迟。
有效性：
- TypeGo 成功处理了复合型、长时程任务，并在路径受阻时表现出优雅的降级（相比之下，PAE 会陷入无限期停顿）。
- 在一个需要全局计划的任务中（例如，在搜索前先前往走廊），PAE 的表现优于 TypeGo，这凸显了逐步规划向局部最优解偏移的已知偏差。
并发性：
- 系统成功管理了并发任务（例如，在巡逻的同时回答问题）和反射（避障）。
- 开销： 调度开销较小（S3 调度约为 200 ms，S0 反射处理约为 50 ms）。主要的成本在于由于多个异步循环导致的 Token 使用量，这代表了响应速度与计算成本之间的权衡。

意义与主张

作者认为，TypeGo 并非旨在成为一个完整的操作系统，而是一个概念验证原型，旨在验证以下假设：具身智能体需要一个 OS 风格的运行时来管理并发、延迟和资源仲裁。

重心转移： 作者认为，“难题”已经从机器人如何移动（底层控制）转向了具身系统如何决策（决策架构）。
正交性： 该设计与单纯加速单个 LLM 调用的方法是正交的；相反，它旨在通过投机和分层分发，将 LLM 延迟从关键路径中隐藏起来。
未来方向： 本文将**内存（Memory）**确定为下一个关键原语，构想了一个类似于文件系统和虚拟内存的内存层级（M0–M3+），以支持长寿命、自适应的智能体。同时，作者也呼吁建立更丰富的资源隔离模型和成本感知运行时策略，以管理 Token 预算和网络约束。

这项工作证明，将智能体视为多任务处理的操作系统进程，而非线性脚本，能显著提高其在动态环境中的实时响应能力和适应能力。