🤖 AI

What Matters for Simulation to Online Reinforcement Learning on Real Robots

通过一项涉及三种机器人平台、包含100次真实世界训练运行的大规模实证研究，本文确定了能够使物理机器人实现稳定在线强化学习的特定且鲁棒的设计选择，同时揭示了某些广泛使用的默认设置其实并无实效。

原作者： Yarden As, Dhruva Tirumala, René Zurbrügg, Chenhao Li, Stelian Coros, Andreas Krause, Markus Wulfmeier

发布于 2026-07-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yarden As, Dhruva Tirumala, René Zurbrügg, Chenhao Li, Stelian Coros, Andreas Krause, Markus Wulfmeier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下教机器人走路、拿起杯子或驾驶汽车。长期以来，科学家们一直试图通过让机器人在一个完美的数字模拟世界——即视频游戏世界中进行数百万次的练习来完成这项任务。这就像飞行员在飞行模拟器中训练一样：安全、快速且廉价。但问题在于，现实世界是混乱的。地板并不完全平整，轮胎会发生计算机未曾预见的打滑，摄像机看到的景象也与数字渲染器不同。当你把一个在完美游戏中训练出的机器人放到真实的地面上时，它往往会绊倒、掉落物品或发生碰撞。这种“完美的”游戏与“混乱的”现实之间的差距，是机器人领域最大的障碍。

为了解决这个问题，研究人员使用了一种被称为“强化学习”（Reinforcement Learning, RL）的技术。把强化学习想象成一个非常执着的学生，通过试错来学习。机器人尝试一个动作，获得一个“奖励”（比如成功得分）或“惩罚”（比如发生碰撞），然后调整自己的大脑以在下次做得更好。核心问题在于：我们能否让机器人在实际移动的过程中——而不仅仅是在游戏中——进行学习？这被称为“在线学习”（online learning）。这是梦寐以求的终极目标，因为它意味着机器人可以即时适应新情况，就像人类在光滑路面上练习后，转而在颠簸的小路上学习骑自行车一样。但直到现在，通过真实的硬件以这种方式教导机器人一直存在风险、不稳定，且往往既浪费时间又浪费金钱。

这篇由苏黎世联邦理工学院（ETH Zurich）和 Google DeepMind 的研究人员撰写的论文提出了一个非常实际的问题：“如果我们已经拥有了一个在模拟器中学习过的机器人，我们需要调整哪些特定的设置，才能让它在现实世界中安全且成功地学习？”他们并没有发明一种全新的、神奇的算法。相反，他们扮演了机械师的角色，利用标准的、现成的学习工具，在三种截然不同的机器人上进行了超过 100 次不同的训练运行：一个机械臂（Franka Emika Panda）、一个四足狗机器人（Unitree Go1）以及一辆遥控赛车。

他们发现，这些学习机器人的常规“默认”设置在从模拟过渡到现实时实际上是危险的。如果你只是把一个在模拟器中训练好的大脑接入真实的机器人并立即开始学习，机器人往往会忘记它所知道的一切，并陷入混乱。作者发现，这是因为机器人的“评论家”（critic，即判断一个动作好坏的部分）会对物理规律的突然变化感到困惑。为了阻止这种情况，他们开发了一个简单且可靠的方案。

首先，他们发现必须保留一份包含旧模拟器数据的“记忆”，并将其与新的现实世界数据混合在一起。这就像在做作业时把教科书开着一样；如果你在开始学习的瞬间就把教科书扔了，你可能会忘记基本规则。其次，他们发现机器人需要一个“热身”阶段，即在被允许改变想法之前，先用它旧的模拟器大脑进行几次练习。最后，也是最重要的一点，他们发现机器人的“大脑”（决定做什么的部分）更新的速度需要比它的“判断”（从错误中学习的部分）慢得多。如果大脑改变得太快，它会被混乱的现实世界搞糊涂。通过放慢大脑的更新速度并保持判断的稳定，机器人可以在短短几分钟的现实世界训练中，学会抓取方块、行走而不摔倒，并高精度地停好赛车。

这篇论文表明，通过这些特定的、细致的调整，标准的学习方法可以在真实硬件上可靠地运行。他们不仅仅是在模拟，而是直接在实际机器上运行，证明了要让机器人在现实世界中学习，你不需要全新的超级算法——你只需要更聪明地处理数据喂送的方式，以及控制它们改变想法的速度。

技术总结：从模拟到真实机器人在线强化学习的关键要素

问题陈述

尽管强化学习（RL）在机器人领域已取得成功，但目前大多数系统仍依赖于模拟器或固定数据集中的离线学习，避开了经典的在线学习场景。这种方法将性能限制在了先验知识的质量范围内，无法适应“开放世界”。虽然模拟器并不完美，但与语言模型等领域相比，获取高质量的现实世界预训练数据的成本极高。因此，未来的自主系统必须通过具身交互进行在线学习。

然而，天真地对在模拟中训练出的策略进行实机微调，往往会导致灾难性遗忘和不稳定性。本文研究了在“模拟到在线”（simulation-to-online）场景下，使标准离线策略强化学习（off-policy RL）变得可靠所需的具体设计选择，而非提出一种新算法。核心挑战在于“向下螺旋”（downward spiral）：当在真实动力学（ $p$ ）上部署训练于模拟器（ $p_0$ ）的策略时，由此产生的分布偏移会导致评论家（critic）变得不准确。这种不准确性会强化糟糕的动作，进而导致进一步的分布偏移和性能崩溃。

方法论

作者进行了一项大规模实证研究，涉及三个不同机器人平台的 100 多次真实世界训练运行：

Franka Emika Panda： 基于视觉的操纵任务（抓取并抬起方块）。
Unitree Go1： 四足机器人运动任务，跟随摇杆指令。
赛车（Race Car）： 高速导航任务，涉及停车，具有快速控制循环（60 Hz）和复杂的轮胎摩擦动力学。

该研究使用 Soft Actor-Critic (SAC) 作为基准离线算法。作者并未引入新的算法组件，而是系统地消融了标准的设计选择，以确定一种鲁棒的“配方”来实现稳定迁移。

提出的配方

论文确定了四个关键组件，这些组件结合在一起可以实现稳定的在线微调：

保留回放（数据锚定）：
- 机制： 作者并没有丢弃模拟数据（ $\mathcal{D}_0$ ）或仅依赖在线数据，而是在经验回放池中维护模拟数据与现实世界数据的混合。
- 策略： 他们使用了一个退火调度，其中在线数据的采样概率（ $\alpha$ ）从 0.5 开始，逐渐增加到 1.0。
- 原理： 保留 $\mathcal{D}_0$ 起到了锚定回放分布的作用，防止由于模拟到现实的差距导致评论家平衡发生过于剧烈的偏移，从而稳定了早期适应过程。
热启动在线回放（Warm-Started Online Replay）：
- 机制： 在进行任何策略更新之前，先执行初始策略（ $\pi_0$ ）若干次试验（ $N^*$ ），以收集第一批现实世界的数据。
- 原理： 这近似模拟了在无法保留模拟器数据时保留 $\mathcal{D}_0$ 的效果，减轻了因从空在线缓冲池开始而导致的不稳定性。
延迟执行策略更新（非对称更新）：
- 机制： 策略（actor）的更新频率低于评论家（critic）（例如，每 20 次评论家更新进行一次策略更新），并使用保守的学习率，而评论家的更新频率更高。
- 原理： 这解决了“双时间尺度”问题。当动力学发生变化时，评论家需要时间来适应新的分布。如果策略基于滞后的评论家进行过快更新，则会强化错误。延迟策略更新可以让评论家在策略改变之前追踪到移动的平衡点。
优化的更新与数据（UTD）比例：
- 机制： 缩放每个环境步的评论家更新次数（ $\eta$ ），以匹配预训练时使用的并行模拟环境规模。
- 原理： 标准实现通常在扩展到大规模并行模拟器时，会对评论家训练不足。增加 $\eta$ 可以提高样本效率并防止训练不足，尽管这会带来更高的计算成本。

理论分析

论文对“向下螺旋”进行了双时间尺度分析。它将评论家建模为追踪一个随着策略和回放分布改变而移动的平衡点。

公式 (9) & (10)： 将评论家追踪误差分解为“残余误差”和“分布诱导漂移”（或策略诱导漂移）。
公式 (15)： 表明策略更新中的失真与追踪误差以及在策略更新前进行的评论家步数（ $M$ ）成正比。
结论： 增加 $M$ （延迟更新）可以减少有限追踪误差（ $q^M$ ），而较小的策略学习率（ $\beta_\pi$ ）可以限制尚未适应的评论家所造成的扰动。

关键结果

所提出的配方在三个机器人平台上得到了验证，证明了标准离线策略强化学习可以在无需重大算法修改的情况下变得可靠：

稳定性 vs 不稳定性： 基准配置（仅在线回放、无热启动、同步策略-评论家更新）一致失败，导致性能下降或灾难性故障（例如，机器人摔倒或错过目标）。完整的配方在所有任务中都实现了稳定的提升。
性能增益：
- Franka Emika Panda： 恢复了在零样本模拟到现实迁移中丢失的可靠抓取能力。
- Unitree Go1： 提高了对未见速度指令的鲁棒性。
- 赛车： 实现了更快、更精确的停车。
数据效率： 复用先前试验的数据（保留回放）显著加速了学习。即使仅保留前几次试验的数据，也能带来显著的性能提升。
热启动： 虽然对于 Franka 机器人不是严格必需的，但热启动对于稳定 Unitree Go1 和赛车的学习至关重要。

重要性与主张

作者声称这项工作提供了关于物理机器人模拟到在线强化学习设计选择的首次大规模样本实证研究。

实践指导： 论文提供了一个由标准 RL 组件构建的“简单配方”，从业者可以直接采用，以较低的工程投入部署在线 RL。
揭示默认值的局限： 它挑战了广泛使用的默认设置（如仅在线回放或同步更新），表明这些设置在模拟到在线的设置中可能是有害的。
算法极简主义： 结果表明，复杂的算法创新并不总是必要的；相反，通过对数据管理和优化调度的仔细工程设计，就足以使标准的 SAC 在现实世界微调中发挥有效作用。
开源： 作者发布了完整的训练流水线和代码，以支持持续的研究，特别是针对 Franka Emika Panda。

论文最后指出，虽然这些发现使在线 RL 变得更加实用，但完全自主的学习（无需人工重置）仍是一个开放的研究方向。目前的工作侧重于半自动的阶段性设置，其中仍需人工干预以确保安全和重置。