🤖 AI

Real-Time Execution with Autoregressive Policies

本文表明，通过调整分词时界并应用约束解码，自回归策略可以通过实现具有严格延迟限制的实时执行，从而在任务完成速度和泛化能力方面均优于流匹配（flow-matching）对应的模型。

原作者： Sangkyu Lee, Seohyeon Park, Tackgeun You, Avi Caciularu, Idan Szpektor, Hwasup Lim, Youngjae Yu

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Sangkyu Lee, Seohyeon Park, Tackgeun You, Avi Caciularu, Idan Szpektor, Hwasup Lim, Youngjae Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人完成一项任务，比如堆叠杯子或捡起玩具。为了做到这一点，机器人使用一个“大脑”（大型 AI 模型），这个大脑观察世界、思考该做什么，然后向它的手臂发送指令。

这些大容量 AI 大脑的问题在于它们是“慢思考者”。在开口说话之前，它们需要时间处理信息。在旧的方法（同步推理）中，机器人必须完全停止移动，等待大脑思考完毕，然后才能再次移动。这就像一个司机在每个红灯前都必须停车，等待绿灯亮起，然后再重新起步。这使得机器人显得笨拙、缓慢且对突发变化反应迟钝。

为了解决这个问题，研究人员通常尝试使用另一种类型的“大脑”（称为扩散策略/Diffusion Policies），因为这种大脑思考得更快。但本文的作者提出了一个疑问：如果我们能让原本较慢的“自回归（Autoregressive）”大脑也能在实时环境下表现得同样出色呢？

他们通过以下简单的类比实现了这一点：

“厨师与服务员”类比

想象机器人的大脑是一个厨师（AI 模型），而机器人的手臂是一个服务员。

旧的问题（同步）：
服务员询问厨师：“我下一步该做什么？”厨师停止烹饪，思考了很久，写下了一份完整的十步食谱，然后交给服务员。服务员阅读完整个食谱后才开始执行步骤。当服务员正在执行前 5 步时，厨师还在那里无所事事，等待服务员完成之后再思考下一份食谱。这会导致机器人出现“停顿”并产生滞后。

新的解决方案（使用自回归策略进行实时执行）：
作者意识到，无需改变厨师的大脑，只需改变厨师和服务员交流的方式即可。

更小的批次（Tokenization Horizon / 标记化时界）：
与其要求厨师一次写出一整份十步食谱，不如每次只要求写 2 步。这样写起来要快得多。
- 类比： 厨师写下一张小纸条：“第 1 步：拿起杯子。第 2 步：移动到盘子。”服务员立即拿到这张纸条并开始行动。
动作队列（Action Queue / 动作队列）：
服务员保留着一个小托盘（队列），里面装着这些微小的纸条。一旦服务员完成第一个指令，他们就会从托盘中取出下一个。
- 类比： 服务员永远不会停止移动，因为托盘里总是有准备好的纸条。当服务员正在执行当前指令时，厨师正忙着编写下一个指令。这就是异步推理（Asynchronous Inference）——边动边想。
安全卫士（Constrained Decoding / 受限解码）：
由于厨师写得很快，存在写出过长或毫无意义的内容（比如一份写着“跳向月球”的食谱）的风险。作者增加了一个“安全卫士”来检查厨师的工作。
- 类比： 安全卫士确保厨师写的笔记足够短，能在服务员耗尽时间之前被读完。如果厨师试图写一段太长的句子，卫士会将其截断或强制改为更简单的版本。这保证了服务员永远不需要停下来等待。
“最佳猜测”策略（Multi-Trajectory Decoding / 多轨迹解码）：
在服务员忙碌时，厨师还有一点额外的空闲时间。厨师不再只是写一个指令，而是快速草拟出下个步骤的 四个不同版本，并从中挑选最好的一个。
- 类比： 厨师思考：“选项 A：向左移。选项 B：向右移。选项 C：抬高。选项 D：压低。”安全卫士快速检查这四个选项，服务员挑选出最好的一个去执行。这让机器人变得更聪明、更准确，而不会变慢。

他们发现了什么？

研究人员在计算机模拟和现实世界中对这种新方法进行了测试。

比“慢大脑”更快： 尽管原本的“自回归”大脑以速度慢著称，但这种新方法让它运行得非常流畅，在许多任务中甚至超越了那些更新、更“快”的扩散大脑。
更好的指令遵循能力： 因为自回归大脑天生擅长理解复杂的语言（就像人类阅读食谱一样），即使在快速移动时，它也比其他类型的机器人更能遵循指令。
不再停顿： 机器人从未停止移动。它能即时对变化做出反应，因为“厨师”始终领先一步，在“服务员”移动时已经在编写下一个指令了。

核心结论

这篇论文证明了，你不需要更换一种完全不同类型的 AI 大脑，就能让机器人实现实时运动。你只需要改变向大脑索取指令的方式。通过将指令分解成微小的块、检查其速度，并让大脑在机器人移动时进行思考，你可以让即使是“慢思考者”也变得快速、平滑且具有高度反应能力。

简而言之：不要更换引擎，只需改变变速器。

技术摘要：基于自回归策略的实时执行

1. 问题陈述

在大规模视觉-语言-动作（VLA）模型在机器人领域的部署面临着一个关键瓶颈：推理延迟。基础模型固有的庞大参数量导致“先思考后移动”（同步推理）范式会引发显著的机器人空闲时间。在此停顿期间，机器人无法对环境变化做出反应，从而牺牲了反应能力和任务完成速度。

虽然最近的研究已经解决了实时执行（异步推理或“边动边想”）的问题，但主要集中在扩散策略（并行解码）上。自回归策略（顺序解码）由于其具有收敛速度快和指令遵循泛化性强的优势，在很大程度上被排除在实时执行研究之外。这是因为它们的顺序特性通常会导致较高的延迟 ( $\delta_{t,H}$ )，使其不符合异步控制的严格定时要求，即机器人必须在不暂停的情况下持续接收动作。

核心挑战在于如何使自回归策略能够在不牺牲其固有优势的情况下实现实时执行，确保尽管存在变动且通常较高的逐 Token 生成延迟，机器人仍能获得连续的动作流。

2. 方法论

作者提出了 $\pi_0$ -REALFAST，这是一个通过四项关键技术调整来实现自回归策略实时执行的框架：

A. 解耦动作时界与分词（Tokenization）

作者重新定义了动作分块（action chunking）策略。他们不再一次性对整个动作时界 $H$ 进行分词，而是设置 $H = 2m$ 并分两个阶段进行分词：

条件前缀（Conditioning Prefix）： 将前 $m$ 个动作（已执行或在队列中的动作）作为前缀进行分词 ( $T_m(A_{0:m})$ )。
预测： 模型在当前观测值和前缀的条件下，预测接下来的 $m$ 个动作 ( $T_m(A_{m:2m})$ )。
这减少了单次推理步骤中需要解码的 Token 数量，直接降低了生成下一个可执行块所需的延迟 $\delta_{t,m}$ 。

B. 受限解码以保证延迟边界

为了确保机器人永不暂停，系统必须确保解码下一个块的时间 ( $\delta_{t,m}$ ) 不超过控制器消耗当前块的时间 ( $d_m \cdot \Delta t$ )。

问题： 自回归模型中的 Token 长度各异，使得延迟变得不可预测。
解决方案： 作者实现了受限解码。他们将解码过程建模为一个使用动态规划（DP）解决的有界“找零问题”（coin change problem）。
- 通过预计算 DP 表来确定特定的 Token 序列长度 $L$ 是否可以在最大步数 $B$ 内有效进行反分词（detokenization）。
- 在推理过程中，会对那些会违反延迟边界（即导致序列无法在 $B$ 步内完成反分词）的 Token 的 Logits 进行掩码处理（mask out）。
- 这保证了解码过程能在严格的延迟边界 $\delta'$ 内完成，从而确保 $d_m \le m$ 。

C. 多轨迹解码

为了在推理与动作消耗之间的延迟间隙所产生的“空闲”时间内实现性能最大化，作者采用了多轨迹解码。

模型并行生成 $N$ 条候选轨迹（例如， $N=4$ ）。
由于前缀（KV Cache）是共享的，计算开销微乎其微。
根据似然度选择最佳轨迹，在不增加最坏情况延迟边界的前提下提高任务成功率。

D. 异步推理循环

系统异步运行：

客户端（机器人控制器）维护一个动作队列（Action Queue, AQ）。
服务端（策略）在以 AQ 前缀为条件的条件下解码接下来的 $m$ 个 Token。
一旦解码完成（在边界内），新的块将被追加到 AQ 中。
机器人持续从 AQ 中执行动作，确保即使策略仍在计算下一个块时，也不会发生停顿。

3. 核心贡献

自回归实时执行的可行性： 本文证明了自回归策略可以实现实时执行，挑战了其过于缓慢、不适合异步控制的假设。
具备延迟保证的解码： 引入通过动态规划实现的受限解码，确保了严格的延迟边界，这是在异步设置中防止机器人停顿的前提条件。
性能优化： 减少 Token 时界（ $m$ ）与多轨迹解码的结合，使得自回归策略在实时场景中的表现优于同等水平的流匹配（flow-matching/扩散）策略。
对外部延迟的鲁棒性： 该方法即使在外部延迟（网络/传感器）发生变化时，只要推理频率 ( $d_m$ ) 管理得当，仍能保持高成功率。

4. 实验结果

作者在模拟和真实环境中，将 $\pi_0$ -REALFAST（由 $\pi_0$ -FAST 微调而来）与包括 $\pi_0$ （流匹配）和 $\pi_0.5$ （带有 FAST 分词器的流匹配）在内的基线模型进行了评估。

模拟环境 (LIBERO)：
- $\pi_0$ -REALFAST 在所有任务类别（空间、物体、目标、长程）中均一致优于采用实时动作分块（RTC）的 $\pi_0$ 。
- 尽管 $\pi_0.5$ 使用了更大的数据集进行训练， $\pi_0$ -REALFAST 仍达到了与其相当的性能。
- 研究强调，强制执行 $d_m \le m$ （允许推理频率低于动作消耗速率）比严格的 $d_m = m$ 同步方式更具鲁棒性，后者会导致 $\pi_0$ 的性能下降。
真实环境 (DROID)：
- 在零样本桌面操作任务中， $\pi_0$ -REALFAST 显著超越了同步的 $\pi_0$ -FAST 基线。
- 它优于 $\pi_0$ ，并表现出与 $\pi_0.5$ 相当的性能。
- 定性分析： 与同步推理（由于无法在中途调整轨迹而经常导致碰撞/过冲）不同， $\pi_0$ -REALFAST 能够实时调整轨迹以避免碰撞，展示了频繁动作更新的关键价值。
消融实验：
- 受限解码： 去除受限解码会导致性能下降，证实了其对于可靠性的必要性。
- 训练步数： 模型能迅速达到峰值性能（在 6k 步内），这与自回归策略快速收敛的特性一致。
- 多轨迹： 增加 $N$ （轨迹数量）可以提高成功率，验证了利用空闲计算时间的有效性。

5. 意义与主张

本文声称，只要通过特定的架构和解码策略管理推理延迟，自回归策略就是实时机器人控制的一个竞争性且可行的选择。

权衡重新评估： 作者认为，该领域过度关注降低推理延迟（以确保反应性），却牺牲了策略的鲁棒性和泛化性。他们的结果表明，将略高但有界的延迟与自回归的泛化能力相结合，比缺乏这些能力的低延迟策略能带来更好的部署效果。
原生支持： 研究结果旨在推动预训练自回归策略以原生支持实时执行，而不是将其视为扩散方法的次要方案。
局限性： 作者也谦虚地指出，目前的实验仅限于单臂、相对静态的桌面环境。扩展到双臂或高度动态的任务将需要解码更多的 Token，这会施加更严格的延迟约束，可能需要进一步的架构创新（例如，投机采样/speculative decoding）。

总之，这项工作确立了通过异步推理、分词时界调整和受限解码，自回归策略可以在实时机器人部署中达到甚至超过扩散类模型的性能，并充分利用其卓越的指令遵循和收敛特性。