💻 computer science

SmoothRL: Online Reinforcement Learning During Asynchronous Execution

SmoothRL 是一个在线强化学习框架，它通过显式建模执行时间线并仅通过新执行的动作区域传播梯度，从而在异步推理循环中实现预训练机器人策略的高样本效率微调，以确保实时可靠性和平滑控制。

原作者： Guang Gao, Yuxuan Nong, Baifu Huang, Jianan Wang

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Guang Gao, Yuxuan Nong, Baifu Huang, Jianan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

长期以来，机器人一直难以像生物那样拥有流畅的动作。虽然人工智能已经让机器能够以惊人的准确度理解语言并识别物体，但将这种理解转化为物理运动仍然是一个顽固的障碍。问题不仅在于机器人必须足够聪明，它们还必须足够快且平滑。在现实世界中，机器人手臂不能在每一次微小的动作之间都停下来思考。如果它停下来计算下一步，动作就会变得断断续续，导致任务失败。为了实现平滑移动，机器人必须预测一系列未来的动作，并在计算下一组动作的同时执行当前的动作。这产生了一个复杂的时序问题：机器人正在根据一瞬间前生成的指令行动，而计算机已经在为下一瞬间的指令进行计算。如果机器人试图在这种条件下从错误中学习，学习过程往往会崩溃，因为机器人是在根据它从未真正完成、或者被迫在中途放弃的动作来进行评价。

Astribot 的一个研究团队开发了一种名为 SmoothRL 的新方法来解决这个特定的时序难题。他们的工作使机器人能够在复杂的、重叠的调度下实现实时经验学习，即使在思考与运动同时进行的运行环境下也是如此。研究人员关注的是机器人训练方式与实际使用方式之间的一个根本性不匹配。过去，科学家们训练机器人时假设机器会停止、思考，然后按照完美的同步节奏移动。但在现实世界中，为了保持运动的平滑，机器人使用一种系统，即生成一段未来动作的“块”（chunk），将第一部分发送给电机，同时在执行第一部分时立即开始计算下一个块。这导致了一种情况：机器人不断地丢弃它自己计划的一部分，因为一个更新、更鲜活的计划已经到达。研究人员意识到，要让机器人在这种环境下有效地学习，它必须停止尝试从那些被丢弃的计划部分中学习，而应只专注于它实际执行的部分。

他们解决方案的核心在于教机器人忽略它生成了但从未使用的“幽灵”动作。当机器人为接下来的几秒钟制定计划时，它会将该计划分为三个不同的区域。第一个区域包含由上一个计算周期已经决定的动作；机器人现在无法更改这些动作。第二个区域包含机器人在进行下一次计算时实际执行的新动作。第三个区域包含剩余的未来动作，这些动作在机器人到达之前，很可能会被下一次计算所替换。研究人员构建了一个训练系统，该系统仅观察第二个区域——即机器人实际执行的动作。他们教机器人仅根据其真正做出的动作所产生的后果来调整其行为，从而有效地切断了来自那些被丢弃计划部分的学习信号。这确保了机器人是从现实中学习，而不是从一个从未发生的假设未来中学习。

为了测试这一点，研究人员在一个带有两个手臂的移动机器人上设置了三个具有挑战性的物理任务。第一个任务涉及将物体投入箱中，这种动作需要连续、不间断的挥动。如果机器人在不同计算周期之间切换时出现犹豫或顿挫，投掷就会失败。第二个任务要求机器人在极高的精度下为钢笔盖上盖子，将两个小物体对齐在仅几毫米的公差范围内。第三个任务涉及沿着一条细小的缝隙引导刀片切开纸箱，这项工作要求毫米级的准确度，以避免切坏箱子本身。在这三种情况下，机器人都从一个虽然优秀但不完美的预训练大脑开始。当研究人员让机器人使用他们这种新的异步学习方法进行练习时，结果是显著的。机器人成功投掷物体的能力从 39% 跳升至 94%。它为钢笔盖盖的技能从仅仅 8% 提升到了 83%，而打开箱子的成功率从 30% 提高到了 90%。

这种进步不仅仅在于完成任务的频率更高，更在于机器人的运动方式。研究人员测量了机器人运动的平滑度，发现新方法将突然的震动和突发的加速度减少了近一半。这种平滑度对于动态投掷任务至关重要，因为在运动中停顿会导致物体投掷距离不足。该系统也被证明足以处理人类的帮助。如果人类操作员需要介入以纠正错误，机器人可以直接将其人类动作吸收进学习过程中，而无需将其转化为不同的代码。人类的纠正变成了另一个关于正确移动方式的范例，使得机器人能够同时从自身的尝试和人类的指导中学习。

研究人员发现，机器人的学习并不总是直线式的。在开箱任务中，机器人的表现实际上在提高之前先出现了下滑，这表明系统正在探索一些最初看起来效果变差的移动方式，随后才找到了正确的路径。这表明机器人是在真正学习如何适应，而不仅仅是记忆一组固定的动作。然而，研究人员也指出了他们方法的局限性。机器人的学习能力仍然与其初始预训练大脑的质量挂钩。如果基础机器人对某项任务存在根本性的困惑，那么这个学习系统所做的微调可能不足以解决问题。此外，该系统依赖于机器人的计算能在严格的时间限制内完成；如果计算机运行过慢，动作的时序就会失去同步，从而导致整个过程失稳。

最终，这项工作表明，要让机器人真正适用于现实世界，它们的学习算法必须匹配它们运动时那种杂乱、重叠的现实。通过教机器人只关注它实际完成的动作并忽略被丢弃的动作，研究人员为机器人在不牺牲执行所需平滑度的前提下，学习复杂、高速的任务创造了一条路径。其结果是，机器人能够以以往难以企及的可靠性和流畅度进行投掷、盖盖和切割，这证明了更好的机器人学习关键在于理解计划变为现实的那一精确时刻。

技术摘要：SmoothRL

1. 问题陈述

在物理世界中部署最先进的通用机器人策略（例如，视觉-语言-动作模型和世界-动作模型）面临着可靠性与平滑实时执行之间的根本冲突。

可靠性： 为了实现多样化现实任务（如切割密封包装）的鲁棒性，需要样本高效的在线强化学习（RL）来适配预训练模型。
平滑执行： 基础模型的规模不断扩大导致推理延迟增加。同步执行（等待推理完成后再行动）会在动作块（chunk）边界处引入停顿，从而降低动态任务中的性能。
不匹配之处： 现代系统通过使用异步推理（将策略计算与动作执行重叠）和**动作分块（action chunking）**来解决延迟问题。然而，现有的在线 RL 方法通常假设是同步执行的。这造成了分布偏移：策略是在与部署时（异步）不同的动力学环境（同步）下进行优化的。具体而言，在异步执行中，生成的动作块在被下一个新块取代之前，仅被部分执行。标准的价值梯度更新会错误地向那些从未到达环境的“被丢弃”动作进行反向传播，从而污染学习信号。

2. 方法论：SmoothRL

SmoothRL 是一个旨在异步推理循环中微调预训练策略的在线 RL 框架。它遵循三个核心要求：在线学习、异步执行以及**价值梯度（value-gradient）**优化。

2.1. 异步推理循环与分块划分

为了解决生成动作与执行动作之间的不匹配，SmoothRL 在训练期间显式地对异步过程进行建模。在固定的延迟预算 $n$ （即推理时间被限制在一定范围内）下，每一个生成的长度为 $H$ 的动作块都被根据帧索引划分为三个不同的区域：

已提交区域（Committed Region） $[0, n)$ ： 由前一次推理周期已经发布的动作。这些动作是固定的，不能被当前策略修改。
执行区域（Execution Region） $[n, 2n)$ ： 新生成的、在下一个动作块到达之前实际由机器人执行的动作。
丢弃区域（Discarded Region） $[2n, H)$ ： 当前动作块中生成的、在被下一个推理周期取代之前尚未执行的动作。

2.2. 梯度截断与价值梯度范式

SmoothRL 遵循价值梯度范式，其中动作价值函数 $Q$ 通过 $\nabla_\theta J = \mathbb{E}[\nabla_a Q(s, a) \cdot \nabla_\theta \pi_\theta(s)]$ 来更新策略参数 $\theta$ 。为了确保异步情况下的正确性：

梯度截断： 价值梯度 $\nabla_a Q$ 仅针对执行区域（ $a[n, 2n)$ ）进行计算。梯度不会通过提交区域或丢弃区域进行传播。这确保了策略更新仅取决于实际执行动作的后果。
评论家条件化（Critic Conditioning）： 评论家保留提交区域作为输入。这有两个原因：
1. 无偏自助（Unbiased Bootstrap）： 评论家必须以生成该时间间隔奖励的完整动作序列为条件，以确保分块跳跃（chunk-skip）的自助过程是无偏的。
2. 状态增强： 提交区域代表了“在途”动作，提供了必要的状态增强，以建模并发决策过程（即在执行当前块的同时生成下一个块）。

2.3. 训练循环与人工干预

嵌入式异步： 异步推理循环在训练回放（rollout）过程中运行，而不仅仅是在部署阶段。回放轨迹记录了机器人在相同时间表下实际执行的动作，确保策略永远不会在未见过的动力学环境下进行优化。
原始动作空间： 该框架在原始动作空间而非潜空间中运行。这使得人类干预（遥操作）可以直接作为回归目标进行整合，而无需进行潜空间反转。
干预模式： 支持两种模式：
- 绝对干预（Absolute Intervention）： 遥操作的动作块完全替换策略输出。
- 残差干预（Residual Intervention）： 人类输入为策略输出添加一个修正量。
  两种模式在下游的处理方式完全一致：实际发布的动作被记录在提交区域中，并用作行为克隆（BC）的目标。

2.4. 实例化

作者使用冻结的基础策略（例如 $\pi_{0.5}$ ）和一个轻量级的、可训练的附加网络（Actor-Critic）来实现 SmoothRL。

基础策略生成一个参考动作块和一个潜在标记（latent token）。
附加网络预测对参考动作的有界残差修正。
Actor 损失函数包含一个 $Q$ 最大化项、一个 BC 锚点（用于约束参考动作）以及一个平滑正则项，后者强制执行速度、加速度和加加速度（jerk）约束，以确保跨动作块边界的连续性。

3. 核心贡献

异步在线 RL 框架： SmoothRL 是第一个将在线 RL 微调直接集成到异步推理循环中的框架，解决了“部署中强化学习（Reinforce in Deployment）”的不匹配问题。
分块角色划分： 将动作块显式划分为提交、执行和丢弃区域，实现了精确的梯度管理。
梯度截断： 该方法引入了一种将价值梯度截断至执行区域的机制，确保策略更新仅由实际执行的动作驱动，同时使评论家能够基于完整历史进行无偏自助。
直接的人类集成： 通过在原始动作空间中运行，该框架自然地将人类干预作为监督目标和带标签的转移过程，促进了更安全、更高效的实机学习。

4. 实验结果

该框架在 Astribot S1 移动双臂机器人的三个高精度和动态控制任务上进行了评估：

动态投掷（Dynamic Tossing）： 将物体投掷进目标箱内（需要连续运动和精确的释放时机）。
笔盖闭合（Pen Capping）： 对准笔尖并固定盖子（需要毫米级的相对位姿精度）。
开箱（Box Opening）： 用刀片切开胶带缝隙（需要亚毫米级的插入精度）。

性能提升：
在 250 个在线回放回合后，SmoothRL 显著优于冻结的基础策略：

动态投掷： 成功率从 39% 提升至 94%。
笔盖闭合： 成功率从 8% 提升至 83%。
开箱： 成功率从 30% 提升至 90%。

分析：

基础策略表现出系统性偏差（例如，开箱时的左偏，以及投掷时的速度调节误差）。
SmoothRL 有效地修正了这些系统性偏差。
在“开箱”任务中，性能最初出现了下降（降至 20%）后才开始恢复，这表明了发现有效修正所需的探索过程。
与基础策略相比，该框架将运动加加速度（jerk）和加速度分别降低了 47% 和 52%，展示了更好的平滑性。

5. 意义与局限性

意义：
本文认为，对于现实世界的部署，在线 RL 必须在与部署时相同的异步执行范式下进行。SmoothRL 弥合了大语言模型的高延迟需求与实时适配需求之间的鸿沟。它证明了通过显式建模异步调度并将梯度截断至执行动作，可以在不牺牲大型预训练模型优势的情况下，实现高精度的动态控制。

局限性（作者所述）：

推理延迟约束： 该框架依赖于固定的延迟预算。如果推理延迟波动超过此预算，计划中的分块交接将会失败，导致循环不稳定。
表达能力受限于基础策略： RL 模块的能力受限于冻结的基础策略的内部表示以及残差修正的有界性。如果基础策略在参考动作的局部邻域之外表现出巨大的系统性偏差，当前的实例化可能缺乏足够的表达能力来完全纠正这些偏差。

未来方向：
作者建议将该框架扩展到全生成式策略更新（而不只是残差），研究策略学习与动作融合之间的相互作用，并将其扩展到更广泛的任务分布中，以更好地理解局部修正机制的极限。