RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning

本文提出了名为 RL-100 的实世界机器人强化学习框架，该框架基于扩散视觉运动策略，通过统一模仿学习与强化学习并结合一致性蒸馏技术，在八个多样化的真实机器人任务中实现了 100% 的成功率，展现出卓越的零样本泛化能力、抗扰动鲁棒性及与人类专家相当甚至更优的操作效率。

要点

这篇论文介绍了一个名为 RL-100 的机器人学习系统。简单来说，它让机器人学会了像人类一样“干活”，而且干得比人类老师教得还要好、还要快、还要稳。

为了让你更容易理解，我们可以把机器人学习的过程想象成培养一个“天才学徒”。

1. 以前的困境：只会“照猫画虎”

以前的机器人学习主要靠模仿学习（Imitation Learning）。

• 比喻：就像让一个学徒盯着师傅（人类操作员）做一遍，然后机器人照着做。
• 问题：
  • 师傅教得慢，而且为了安全，动作往往很保守。
  • 如果师傅偶尔手抖了一下，或者走了弯路，机器人也会跟着学错。
  • 机器人只能做到“像师傅一样好”，很难超越师傅，更没法应对师傅没遇到过的突发状况（比如桌子突然被推了一下）。

2. RL-100 的绝招：三步走战略

RL-100 提出了一套新的“培养方案”，分三个阶段，让机器人从“模仿者”进化成“大师”。

第一阶段：拜师学艺（模仿学习）

• 做法：先让人类专家操作机器人，收集一些高质量的数据。
• 比喻：就像学徒先跟着师傅看视频、练基本功。机器人学会了“大概怎么做”，比如怎么拿杯子、怎么倒水。这时候它已经能干活了，但还不够完美，偶尔会出错。

第二阶段：自我修炼（离线强化学习）

• 做法：这是 RL-100 的核心。机器人不再需要人一直盯着，它利用之前学到的“基本功”，在电脑里（或者在机器人身上）自己反复尝试、犯错、总结。
• 比喻：就像学徒下班后，自己在脑子里（或者在模拟器里）疯狂练习。
  • 它发现：“哎，刚才那样倒水洒出来了，下次手腕再低一点。”
  • 它发现：“那样推箱子太慢了，换个角度推更快。”
  • 关键点：它不是瞎练，而是用一种聪明的算法（PPO），确保它每次练习都在“变好”，不会练歪了。它把成千上万次尝试的经验都存下来，变成自己的肌肉记忆。

第三阶段：实战演练（在线强化学习）

• 做法：在真实世界里进行最后的微调。
• 比喻：学徒出师了，去真正的工地干活。遇到一点小意外（比如有人推了它一下，或者地面有点滑），它能迅速调整，把那些还没练完美的“死角”补上。
• 成果：经过这一套组合拳，机器人不仅学会了，还超越了人类师傅。

3. 它的超能力：快如闪电的“一致性蒸馏”

机器人学得很聪明，但以前有个大问题：思考太慢。

• 问题：传统的扩散模型（Diffusion Model）像是一个画家，画一幅画要涂涂改改几十遍（多步去噪）才能完成一个动作。这对需要快速反应的机器人来说太慢了。
• RL-100 的解法：它用了一种叫“一致性蒸馏”的技术。
• 比喻：就像把那个需要画 10 遍的画家，训练成了一个神笔马良。以前画一幅画要 10 秒，现在看一眼，“唰”的一下，一秒钟就画好了，而且画得和以前一样好，甚至更好。这让机器人能跟上人类的手速，甚至更快。

4. 它有多厉害？（实测成绩）

论文里展示了它在 8 种不同任务上的表现，简直像开了挂：

• 100% 成功率：在 1000 次尝试中，它成功了 1000 次！连最难的任务（比如把一张皱巴巴的纸折成盒子，或者把橙子榨成汁）也从未失手。
• 比人快：在推方块、打保龄球等任务上，它的完成速度比人类专家还快。
• 抗干扰能力强：
  • 零样本适应：换个桌子、换个材质的毛巾，它不用重新学习，直接就能干好（90% 成功率）。
  • 抗揍：如果有人在它干活时推它、拉它，它能稳住身形继续干（96% 成功率）。
• 商场实战：最酷的是，他们把榨橙汁的机器人直接搬到了商场里。在没有任何人干预的情况下，它连续工作了7 个小时，给随机来的顾客榨了无数杯果汁，一次都没坏！

总结

RL-100 就像是给机器人装上了一个“超级大脑”：

1. 先学（模仿人类）；
2. 再练（自我强化，不断试错）；
3. 最后提速（把复杂的思考过程压缩成瞬间反应）。

它证明了机器人不仅可以学会人类教的东西，还能通过自我进化，变得比人类更可靠、更高效，真正具备了走进家庭和工厂干活的潜力。

技术摘要

RL-100：基于真实世界强化学习的性能卓越机器人操作技术总结

1. 研究背景与问题 (Problem)

尽管基于生成式扩散策略（Diffusion Policies）和机器人基础模型的学习方法在机器人操作领域取得了显著进展，但在实际部署（如家庭、工厂）中仍面临以下核心挑战：

• 数据稀缺与成本高昂：高质量的真机遥操作数据难以大规模获取，且遥操作往往导致机器人动作保守、效率低下。
• 模仿学习的天花板：纯监督学习（模仿学习）的性能受限于演示者的技能水平，无法超越人类演示，且容易继承人类的低效、偏见甚至错误。
• 真实世界强化学习的风险：直接在真机上训练强化学习（RL）存在样本效率低、训练不稳定以及安全风险高等问题。
• 部署延迟：传统的多步扩散模型推理速度慢，难以满足高频控制（High-frequency control）的需求。

核心问题：如何构建一个既能利用人类先验知识（Human Priors），又能通过自主探索自我改进，最终在可靠性、效率和鲁棒性上超越人类操作员的机器人学习系统？

2. 方法论 (Methodology)

论文提出了 RL-100，这是一个基于真实世界强化学习的框架，旨在通过三个阶段将基于遥操作的扩散策略转化为部署就绪的高性能策略。

2.1 三阶段训练流程

1. 模仿学习预训练 (Imitation Learning, IL)：
   • 利用人类遥操作数据训练条件扩散策略（Conditional Diffusion Policy）。
   • 作为行为先验，将策略锚定在安全、类人的动作流形上，提供低方差的初始策略。
2. 迭代离线强化学习 (Iterative Offline RL)：
   • 核心机制：在离线数据缓冲区上执行保守的策略更新。
   • 数据扩展：采用“策略改进 -> 收集新数据 -> 合并数据 -> 重新训练”的循环。利用改进后的策略生成新轨迹，不断扩充数据集。
   • 目标：在离线阶段通过保守更新（Conservative updates）获得大部分的性能提升（成功率与效率），避免在线训练的不稳定性。
3. 在线强化学习微调 (Brief Online RL)：
   • 在真实机器人上进行短时间的在线微调，专门针对离线阶段未能解决的罕见失败模式（Rare failure modes）。
   • 这是资源消耗最大的阶段，但只需少量预算即可将成功率从 90%+ 提升至 99%+。

2.2 核心技术创新

• 统一的 PPO 目标函数：
  • 将扩散去噪过程建模为两层 MDP（环境 MDP + 去噪 MDP）。
  • 在去噪步骤中共享环境级别的 Advantage（优势函数），使用**截断的 PPO 代理目标（Clipped PPO Surrogate Objective）**统一离线和在线阶段的优化。
  • 这种设计确保了从离线到在线的平滑过渡，避免了性能崩溃。
• 一致性蒸馏 (Consistency Distillation)：
  • 为了降低推理延迟，训练一个**一致性模型（Consistency Model, CM）**作为学生网络，蒸馏多步扩散教师网络的知识。
  • 将多步去噪压缩为单步生成，实现了高频控制（如 100Hz+），同时保持甚至提升了效率和鲁棒性。
• 表示无关性 (Representation-Agnostic)：
  • 框架支持 2D RGB 图像和 3D 点云输入，仅需替换编码器。
  • 引入了自监督视觉编码器（配合重建和 VIB 正则化），在 RL 微调过程中保持特征稳定，防止表示漂移。
• 控制模式适配：
  • 支持单步控制（用于动态反应任务）和动作分块控制（Action-chunking，用于高精度协调任务），共享相同的扩散骨干网络。

3. 关键贡献 (Key Contributions)

1. 统一的训练框架：提出了 RL-100，将模仿学习、迭代离线 RL 和在线 RL 串联，通过统一的 PPO 目标实现从人类先验到超越人类性能的平滑演进。
2. 高效部署：通过一致性蒸馏将多步扩散压缩为单步控制器，显著降低了推理延迟，使高频控制成为可能。
3. 广泛的泛化性：框架对任务、机器人本体（Embodiment）和视觉表示（2D/3D）均无关。这是首个在真实机器人上展示跨多样化任务模态和多种本体进行视觉 RL 后训练的系统。
4. 以部署为中心的结果：在真实机器人上实现了 100% 的成功率，并在效率上匹配或超越了人类专家。
5. 针对 RL 优化的网络骨干：设计了专门针对扩散视觉运动控制的骨干网络，并采用自监督编码器确保微调过程中的稳定性。

4. 实验结果 (Results)

作者在 8 个多样化的真实世界机器人任务上进行了评估（包括动态推 T、敏捷保龄球、倾倒、拧螺丝、毛巾折叠、橙汁制作、纸箱折叠等）：

• 成功率 (Reliability)：
  • 100% 成功率：在 8 个任务的所有评估试验中（总计 1000/1000 次）均取得成功。
  • 连续成功：在“软毛巾折叠”任务上，实现了连续 250 次成功。
  • 对比基线：相比纯模仿学习基线（平均成功率 45.3%-67.8%），RL-100 将平均成功率提升至 100%。
• 效率 (Efficiency)：
  • 时间缩短：RL-100 的任务完成时间（Time-to-completion）接近或超越人类遥操作员。
  • 步数减少：在纸箱折叠等长视距任务中，相比模仿基线减少了约 1.5 倍的执行步数。
  • 推理速度：一致性模型（CM）相比 DDIM 采样器实现了 1.05-1.16 倍的端到端延迟降低。
• 鲁棒性 (Robustness)：
  • 零样本适应：在未见过的环境变化（如表面摩擦改变、流体/颗粒替换、物体形状变化）下，零样本成功率平均达到 90%。
  • 少样本适应：仅需 1-3 小时的微调，即可适应显著的任务变化（如倒置的保龄球瓶排列），平均成功率 86.7%。
  • 抗干扰能力：在人类施加的剧烈物理干扰（如推、拉、旋转干扰）下，平均成功率保持在 96%。
• 真实场景部署：
  • 橙汁制作机器人在商场环境中零样本部署，连续服务随机顾客约 7 小时 无故障。

5. 意义与影响 (Significance)

• 突破模仿学习天花板：证明了通过结合人类先验和真实世界强化学习，机器人可以超越人类演示者的技能水平，在可靠性、效率和鲁棒性上达到甚至超越专家水平。
• 通往部署就绪的路径：RL-100 提供了一条从少量人类演示出发，通过自主迭代和少量在线微调，最终实现工业级部署的可行路径。
• 解决高频控制难题：通过一致性蒸馏解决了扩散模型推理慢的瓶颈，使得复杂策略能够应用于需要高频响应的动态任务。
• 通用性验证：在刚性、柔性、流体、长视距协调等多种复杂任务上的成功，表明该框架具有极强的通用性，为未来在家庭和非结构化工厂环境中部署自主机器人奠定了基础。

总结：RL-100 通过“人类先验 + 保守离线优化 + 针对性在线微调 + 快速蒸馏”的策略，成功解决了真实世界机器人操作中的可靠性、效率和鲁棒性难题，标志着机器人学习从实验室演示向实际大规模应用迈出了关键一步。