🤖 machine learning

Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data

本文提出了一种通过经验回放和执行引导，利用丰富的、非人工筛选的离线数据来引导世界模型的方法，从而增强在线强化学习的样本效率，进而克服分布偏移问题，并在多种视觉运动任务中显著优于基准方法。

原作者： Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要教一个机器人走路、跑步或拿起咖啡杯。传统上，你必须坐在那里盯着机器人看，每当它做对了或做错了，你都要告诉它一次。这既慢又贵，而且需要大量的人力来进行数据标注。

这篇论文介绍了一种名为 NCRL（用于高效强化学习的非策划离线数据）的新方法，它通过一种“变废为宝”的方法让机器人的学习速度大大加快。以下是其工作原理的拆解，分为几个简单的概念：

1. 问题所在：“垃圾”数据的困境

通常情况下，要训练一个机器人，你需要一个干净、有序的数据集，其中每一个动作都要有一个评分标签（例如：“做得好！”或“做得不好！”）。但现实世界中，我们拥有的是海量的杂乱、无序的数据。

它们没有评分（无奖励）。
它们是优秀动作与糟糕失误的混合体（质量参差不齐）。
它们来自不同类型的机器人（多具身性）。

这就像一个充满了数百万本书的图书馆，但这些书都没有标题、摘要或评分。大多数人会忽略这个图书馆，因为使用它太难了。以往的方法试图利用这些数据，但由于它们假设数据是整洁且带有标签的，因此往往以失败告终。

2. 解决方案：先建立一个“心理地图”

与其立即尝试学习特定任务，NCRL 方法首先构建一个世界模型（World Model）。

类比： 想象一个想要学习开车的人。他们不是直接坐进车里尝试开去超市，而是先花了几个月时间观看各种各样的驾驶视频——有些来自赛车，有些来自卡车，有些是人们开得很烂的视频，还有一些是专家的视频。他们现在还不知道目的地在哪里，他们只是在学习汽车是如何移动的、道路看起来是什么样的，以及转向是如何工作的。
论文的观点： 作者利用来自 6 种不同类型机器人的这种杂乱、无标签数据，训练了一个单一的“大脑”（世界模型）。这个大脑学习了运动的一般物理规律，而无需知道最终目标是什么。

3. 陷阱：为什么“仅仅进行微调”会失败

研究人员发现，如果你拿这个预训练好的“大脑”，并立即尝试教它一个特定的新任务（比如“走到门口”），它往往会失败。

类比： 这就像是一个学习了通用驾驶视频的学生，被立即放进了一辆赛车，并在一条他从未见过的赛道上驾驶。学生会感到恐慌，因为这条特定的赛道看起来与他看过的视频完全不同。他建立的“心理地图”与新任务的现实情况不匹配。
论文的发现： 他们发现这是因为存在分布偏移（Distributional Shift）。用于训练的杂乱数据与机器人开始尝试解决新任务时遇到的特定数据之间，看起来非常不同。

4. 修复方案：两种特殊的技巧

为了解决这种不匹配，作者添加了两个“辅助轮”，帮助机器人跨越杂乱的过去与特定的现在之间的鸿沟。

技术 A：经验回溯（“闪卡”法）

运作方式： 当机器人开始学习新任务时，它不仅仅只看自己那份微小的、新的经验。它会回到它庞大的杂乱数据库中，搜索与当前情况看起来相似的具体片段。
类比： 想象机器人在某个转弯处卡住了。它不再只是瞎猜，而是从它的旧视频库中抽出一张“闪卡”，显示一个看起来与当前转弯类似的动作，即使那个旧视频来自不同的机器人或不同的日子。它通过“复习”这些相关的记忆来提醒自己事物是如何运作的，从而防止忘记之前学到的知识。

技术 B：执行引导（“副驾驶”法）

运作方式： 机器人有一个“副驾驶”（一个在杂乱数据上训练出的策略），它知道如何安全地移动，尽管并不完美。在学习的早期阶段，机器人会在尝试自己的新想法与让“副驾驶”接管控制权几秒钟之间交替进行。
类比： 想象一个带着驾驶教练的初学者。新司机尝试转向，但如果他们开始偏离航线，教练就会轻轻地接管一会儿，以保持车辆行驶在道路上，然后将控制权交还。这能防止机器人陷入无法学习任何东西的“死胡同”，引导它走向更有可能成功的区域。

5. 结果：快了一倍

论文在 72 个不同任务上测试了该方法，范围从猎豹奔跑到机器人手臂堆叠积木。

结论： 使用这种方法，机器人的学习速度比从零开始（没有任何先验数据）的学习速度快了两倍。
对比： 即使与其他试图利用离线数据的方法相比，NCRL 也取得了显著优势，尤其是在那些需要机器人自主探索和摸索的困难任务上。

总结

论文认为，我们不需要完美的、带标签的数据来教机器人。如果能做到以下几点，我们就可以利用现有的“杂乱”数据（即没有评分的机器人运动视频）：

首先建立对世界的通用理解。
在学习新任务时，使用“搜索”系统寻找相关的旧记忆（经验回溯）。
使用“副驾驶”来引导机器人，以免它在初期迷失方向（执行引导）。

这使得机器人能够以更少的尝试次数学会复杂的技能，使 AI 训练变得更加高效。

技术摘要：通过使用非人工策划数据引导世界模型实现高效强化学习

问题陈述
利用离线数据是提高在线强化学习（RL）样本效率的一条极具前景的途径。然而，现有方法主要依赖于经过人工策划、带有奖励标签且通常局限于特定任务或具身形态的离线数据集。获取此类数据的成本高昂且费时费力，特别是在需要回顾性奖励标注的机器人操控领域。虽然最近的研究探索了利用丰富的“非人工策划”（non-curated）数据——其特点是无奖励、质量参差不齐且跨越多种具身形态——但对这些数据集进行天真的应用已被证明效果不足。具体而言，在这些数据上预训练世界模型，然后将其天真地用于在线强化学习的微调，往往无法加速训练。作者将这一失败的根本原因归结为预训练所用的离线数据与在线微调阶段收集的在线数据之间的分布偏移（distributional shift）。当离线分布不能充分覆盖下游任务的数据分布时，预训练的世界模型在辅助策略学习方面会表现不佳，导致灾难性遗忘或模型精度下降。

方法论：NCRL
本文提出了 NCRL（用于高效强化学习的非人工策划离线数据），这是一个旨在有效利用非人工策划、无奖励、多具身形态数据的两阶段流水线。

多具身世界模型预训练：
NCRL 并非为每个任务训练单独的模型，而是在大规模非人工策划数据集上预训练一个单一的任务无关世界模型。其架构基于循环状态空间模型（RSSM），并进行了针对处理多样化输入的特定修改：
- 移除任务特定损失。
- 对动作进行零填充（zero-padding），以统一不同具身形态之间的维度。
- 规模扩展至 2.8 亿参数。
  该模型使用标准的预测、动力学和表示损失在原始离线轨迹上进行优化，无需奖励标签。
基于经验回放与执行引导的 RL 微调：
为了解决分布偏移并有效迁移预训练知识，NCRL 在在线微调阶段引入了两种关键技术：
- 经验回放（Experience Rehearsal）： NCRL 不会在预训练后丢弃离线数据，而是在在线训练期间从非人工策划数据集中检索任务相关的轨迹。这是通过使用预训练编码器计算在线缓存中的初始观测值与离线轨迹之间的神经特征距离来实现的。检索到的轨迹被重新播放，以实现以下目标：
  - 通过在相关的预训练数据上继续训练世界模型，防止灾难性遗忘。
  - 增强模型展开（rollouts）的初始状态分布 ( $p_0(s)$ )，从而能够生成有助于策略更新的有前景的轨迹。
  - 作为对抗分布偏移的正则化项。
- 执行引导（Execution Guidance）： 为了将探索引导至世界模型具有高置信度（且存在离线数据）的区域，NCRL 通过对检索到的离线数据进行行为克隆来训练一个先验策略 ( $\pi_{bc}$ )。在在线数据收集过程中，智能体会在 RL 策略 ( $\pi_\phi$ ) 和先验策略 ( $\pi_{bc}$ ) 之间进行概率性的交替。这种混合策略方法在训练早期将智能体引导至高质量的状态空间区域，减轻了困难探索的风险。

核心贡献
论文概述了四个主要贡献：

C1： 提出了一种更符合实际的利用离线数据的设定，即利用无奖励、质量混合且多具身形态的数据集，超越了受限于人工策划及奖励标注数据的约束。
C2： 证明了由于预训练与微调数据之间的分布偏移，天真的世界模型微调在许多任务上都会失败。
C3： 引入了经验回放和执行引导作为缓解这种分布差距并促进探索的具体技术。
C4： 提出了 NCRL 框架，该框架在预训练和微调阶段都整合了非人工策划数据，并证明了与现有方法相比，其在多样化任务中具有卓越的性能。

实验结果
作者在涵盖 Locomotion（运动控制）和机器人操控的 72 个视觉运动控制任务上评估了 NCRL，涉及 6 种具身形态（使用 DMControl 和 Meta-World 基准测试）。离线数据集包含从无监督智能体和噪声演示中收集的 6 万条轨迹（1000 万个状态-动作对）。

样本效率： 在 15 万个在线样本的有限样本预算下，NCRL 的累计得分接近从头开始学习的基准模型（Dr_Q-v2 和 DreamerV3）的两倍。它达到了这些基准模型在训练样本量为 3.3 倍至 6.7 倍时的性能水平。
与离线方法的比较： NCRL 显著优于利用离线数据的先进方法，包括 R3M（视觉预训练）、UDS-RLPD、ExPLORe 和 JSRL-BC。值得注意的是，虽然像 JSRL-BC 这样的方法在处理非专家轨迹时表现挣扎，但 NCRL 能有效利用探索性及混合质量的数据。
与基于模型的方法的比较： NCRL 优于其他依赖新颖架构但缺乏在微调期间重用离线数据机制的世界模型预训练方法（如 iVideoGPT、预训练的 DreamerV3）。至关重要的是，NCRL 在实现这一目标时，并未依赖于某些基准模型所使用的奖励塑造（reward shaping）或专家经验回放缓存初始化等技巧。
任务适应性： 在持续学习设置中，NCRL 使智能体适应新任务（例如 Ant 机器人任务）的速度明显快于 PackNet 基准，在每个任务内仅需 100 次尝试即可完成适应。

意义与主张
论文声称，NCRL 的主要意义在于其能够释放丰富的、未经策划的数据的潜力。通过识别分布偏移是天真微调的瓶颈，并通过经验回放和执行引导来解决这一问题，作者证明了在非人工策划数据上预训练的世界模型可以大幅提升样本效率。这项工作表明，非人工策划数据集中所包含的丰富信息（动力学、信息丰富的状态、动作先验）并未被当前那些在预训练后丢弃这些数据或未能将其与在线目标对齐的方法充分利用。NCRL 提供了一个实用的流水线来弥合这一差距，使高效的强化学习能够在更广泛的任务和具身形态中实现，而无需承担高昂的奖励标注成本。