🤖 AI

STEP: Warm-Started Visuomotor Policies with Spatiotemporal Consistency Prediction

本文介绍了 STEP，这是一个通过采用轻量级时空一致性预测器生成高质量暖启动动作，并借助速度感知扰动机制防止执行停滞，从而显著提升扩散策略成功率并大幅降低推理延迟的实时机器人控制框架。

原作者： Jinhao Li, Yuxuan Cong, Yingqiao Wang, Hao Xia, Shan Huang, Yijia Zhang, Ningyi Xu, Guohao Dai

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinhao Li, Yuxuan Cong, Yingqiao Wang, Hao Xia, Shan Huang, Yijia Zhang, Ningyi Xu, Guohao Dai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机械臂拿起杯子并将水倒入玻璃杯中。为了流畅地完成这一动作，机器人需要在每一刻精确计算出其关节该如何运动。

问题所在：“慢思考者”
当前先进的机器人采用一种称为**扩散策略（Diffusion Policy）**的“思考”方法。这就像一位艺术家试图绘制一幅完美的画作：他们从一块布满噪点（白噪声）的画布开始，然后逐步、一步步地擦除噪点，最终呈现出完整的图像。

问题： 为了获得完美的画作，艺术家通常需要进行 100 次擦除。在现实世界中，机器人需要每秒做出 30 次决策。如果它需要 100 步来“思考”一个动作，那就太慢了。机器人会僵住，或者在开始移动之前杯子就已经打翻了。
目前的解决方案： 其他研究人员尝试通过以下方式加速这一过程：
1. 跳过步骤： “只需擦除噪点 4 次，而不是 100 次。”（结果：画作变得模糊或错误。）
2. 复制过去： “只需重复上一秒所做的动作。”（结果：如果情况发生变化，机器人会陷入僵局，继续执行错误的动作。）
3. 猜测答案： “让我们直接猜测最终的图像。”（结果：猜测往往偏差太大，导致机器人碰撞。）

解决方案：STEP（“智能预热”）
本文的作者提出了一种名为STEP的新方法。他们意识到，要让机器人既快速又准确，必须为这位“艺术家”提供一个更好的起点。

以下是 STEP 的工作原理，使用简单的类比说明：

1. “时空”预热（智能猜测）

STEP 不再从空白且充满噪点的画布开始，而是利用一个小型、轻量级的助手（预测器）为机器人提供一个“预热启动”。

类比： 想象你在驾驶汽车。
- 旧方式： 每次需要转弯时，你都从完全静止的状态开始，然后缓慢加速。
- STEP 方式： 你查看一秒前你在哪里（时间），以及你现在需要去哪里（空间）。在启动引擎之前，你就轻轻地将车推入正确的车道。
工作原理： STEP 观察机器人上一次的移动和当前的摄像头画面，预测下一个动作“应该”是什么样子。然后，它将此预测作为“去噪”过程的起点。由于机器人起步时已非常接近正确答案，它只需2 步（而非 100 步）即可完善动作。

2. “速度感知”助推（打破僵局）

有时，即使有了良好的猜测，机器人仍会陷入停滞。

问题： 如果机器人认为下一个动作与上一个动作“几乎”相同，它可能会做出极微小的调整。在现实世界中，机器人关节存在摩擦力。如果调整幅度太小，电机就没有足够的动力克服摩擦力，机器人就会原地僵住。这被称为“执行死锁”。
解决方案： STEP 配备了一种特殊传感器，用于检查“机器人是否在移动？”如果检测到机器人停滞（移动过慢），它会在指令中添加一个微小且受控的“踢动”或振动。
类比： 想象一辆车陷在深泥中。如果你只是轻轻踩油门，车轮会空转但车子无法移动。你需要额外的推力或突然的加速来打破静摩擦力。STEP 仅在机器人卡住时添加这种“爆发力”，确保它在保持任务精度的同时继续移动。

3. “数学保证”（为何不会崩溃）

作者并非凭空猜测这种方法有效，而是进行了数学证明。他们证明，由于“预热启动”非常接近正确答案，机器人的“思考”过程保证每一步都会变得更好，而不会陷入混乱。这就像在非常接近山顶的地方开始徒步；你保证能快速到达顶峰而不会迷路。

结果：快速且精准

该团队在计算机模拟和真实机器人（在实验室中使用真实机械臂）上对此进行了测试。

速度： 他们将思考时间从 100 步减少到仅2 步。
成功率： 即使只有 2 步，机器人在执行任务（如堆叠积木或倒水）时的成功率也显著高于其他快速方法。
现实世界： 在真实机器人上，他们的方法比标准的慢速方法快100 倍，同时仍能完美完成任务。

总结：
STEP 就像在赛跑中给机器人一个“抢跑”的机会。它不是从零开始，沿着漫长缓慢的路径去找出答案，而是直接从终点线旁边起步，只需两步快速跨越即可。如果它绊倒了，它会得到轻微的助推以继续前进。这使得机器人能够以足够快的速度进行实时反应，同时不丧失其精确执行任务的能力。

技术摘要：STEP——基于时空一致性预测的暖启动视觉运动策略

1. 问题陈述

扩散策略因其能够建模多模态动作分布并捕捉长程依赖关系，已成为机器人视觉运动控制中一种强大的范式。然而，它们对迭代去噪的依赖（通常需要约 100 步）引入了巨大的推理延迟，使其无法适用于高频、实时的闭环控制系统。

现有的加速方法通常分为三类，且各自存在局限性：

改进的数值求解器（如 DDIM、DPM-Solver）： 这些方法通过重构反向过程来减少采样步数，但仍需重复评估策略网络，从而限制了其在高维控制中的效率。
直接预测/蒸馏（如 CP、BRIDGER）： 这些方法用直接预测或基于一致性的细化替代迭代去噪。然而，轻量级预测器往往难以在不降低动作质量或鲁棒性的情况下，将潜在分布映射到目标动作。
动作复用（如 RTI-DP、Falcon）： 这些方法通过利用先前动作对扩散过程进行暖启动，来利用时间连续性。虽然这对时间平滑性有效，但它们往往无法与当前状态条件化的动作分布对齐，导致空间不一致性和潜在的执行停滞。

核心挑战在于构建一个高质量的暖启动初始化，使其既在分布上接近目标动作流形（空间一致性），又与先前的控制步骤保持时间一致性，同时不损害原始扩散策略的生成表达能力。

2. 方法论：STEP

作者提出了STEP（时空一致性预测），这是一个轻量级框架，通过在接近目标分布处初始化反向扩散过程同时保持时间平滑性，从而加速基于扩散的控制。

2.1. 时空一致性预测

STEP 引入了一种轻量级预测器 $f_\theta$ ，其实现为带有交叉注意力机制的 Transformer。

输入： 当前观测值 $o_t$ 和先前动作序列 $A_{t-H}$ 。
输出： 预测的动作序列 $\hat{A}_t$ 。
机制： 预测器将观测值和历史动作映射到中间扩散步 $K' < K$ （其中 $K$ 为总步数，通常为 100）处的暖启动初始化 $\tilde{A}_{K'}$ 。
训练： 预测器使用均方误差（MSE）损失单独训练，以近似条件期望 $E[A_t | o_t, A_{t-H}]$ 。
推理： 扩散过程不再从纯高斯噪声开始，而是从步骤 $K'$ 开始，使用暖启动动作 $\tilde{A}_{K'} = \sigma \hat{A}_t + \sigma_t \epsilon_t$ 。随后过程从 $K'$ 递减至 0。

2.2. 速度感知扰动注入

为了解决现实世界任务中常见的执行死锁问题（即连续动作变化极小，导致机器人因静摩擦而停滞），STEP 采用了一种速度感知扰动机制。

检测： 系统监测非连续时间步之间的动作变化 $\Delta A_t$ 。如果变化低于阈值 $\epsilon_a$ ，则检测到执行停滞。
注入： 一旦检测到停滞，系统便注入有界的致动激励（噪声）并缩放预测动作。具体而言，暖启动动作被修改为包含噪声项 $\sigma_{stall} \epsilon_t$ 和缩放因子 $\sigma_{scale} < 1$ 。
效果： 这防止了机器人陷入局部极小值或控制死区，同时不会降低正常执行期间的控制精度。

2.3. 理论分析：局部收缩性

本文提供了理论分析，证明所提出的方法诱导了一个局部收缩映射。

假设去噪网络是 Lipschitz 连续的，且噪声调度满足特定条件，则反向扩散过程被证明是一个收缩映射（ $c_k < 1$ ）。
由于时空预测器确保暖启动初始化位于收缩邻域内，暖启动动作与最优动作之间的误差在随后的去噪步中呈指数级衰减。这保证了即使在步数显著减少的情况下也能收敛。

3. 主要贡献

时空一致性预测机制： 一种轻量级预测器，生成既满足与当前状态的空间对齐，又满足与先前动作的时间平滑性的暖启动动作。这使得低延迟控制（少至 2 步）成为可能，同时保持高成功率。
速度感知扰动注入： 一种机制，仅在检测到执行停滞时自适应地注入致动激励，从而在现实部署中防止死锁，同时不牺牲控制精度。
局部收缩性分析： 一项理论证明，表明暖启动策略诱导了收缩映射，确保了在减少步数的扩散细化过程中动作误差的收敛。

4. 实验结果

作者在九个模拟基准（RoboMimic、Push-T、ManiSkill2）和两个现实世界任务（PickNPlace、StackCube）上评估了 STEP。

模拟性能：
- 在 RoboMimic 基准测试中，使用 2 步 的 STEP 实现了比 BRIDGER（一种仅空间一致性方法）平均 21.6% 更高的成功率，并显著优于 Falcon（一种仅时间方法）。
- 与 DDIM（一种标准求解器）相比，使用 2 步的 STEP 在现实世界任务中显示出 27.5% 的成功率提升。
- STEP 在成功率和推理延迟方面始终优于数值求解器（DDIM、DPM-Solver++）和基于蒸馏的方法（CP、OneDP），特别是在具有挑战性的、接触丰富的任务中。
- 在参数效率方面，STEP 的预测器仅需 0.98M 参数，远少于 CP（255M）或 OneDP（251M），同时实现了相当或更优的性能。
现实世界性能：
- 部署在边缘设备（NVIDIA RTX 2050）上时，STEP 仅用 2 个去噪步 和 约 20ms 的推理延迟，就在 PickNPlace 和 StackCube 任务中实现了 100% 的成功率。
- 与原始 DDPM（100 步）相比，这代表了 105.7 倍 的加速；与 DDIM（8 步）相比，代表了 4.8 倍 的加速，同时保持了高成功率。
- 速度感知扰动注入通过防止执行停滞，将现实场景中的平均回合执行时间减少了 59%。

5. 意义与主张

本文声称，STEP 推进了基于扩散的视觉运动策略在推理延迟和成功率方面的 Pareto 前沿。通过在暖启动初始化阶段显式强制时空一致性，STEP 使得扩散策略能够有效地仅使用 2 个去噪步 运行，而不会出现通常与这种激进加速相关的性能下降。

作者强调，他们的方法作为一种原则性的暖启动策略，无需重新训练原始扩散模型或将其蒸馏到更小的网络中。相反，它作为一个互补模块，在保留原始策略生成表达能力的同时，使其能够在资源受限的实时系统中部署。局部收缩性的理论保证为这种低步推理机制的稳定性提供了坚实的基础。