🤖 machine learning

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

本文提出了基于模型的扩散策略优化（MBDPO），该框架通过将策略优化重构为在搜索轨迹上的扩散过程，在世界模型中统一了搜索与策略学习，以解决结构失配问题并实现可扩展且一致的强化学习。

原作者： Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走路、玩电子游戏或操纵物体。为了高效地做到这一点，机器人需要一种“梦境”或关于世界如何运作的心理模拟。在人工智能领域，这被称为世界模型（World Model）。它就像机器人脑内的一个模拟器，让机器人可以在其中练习数百万次，而无需真正摔断腿或撞毁一辆真实汽车。

长期以来，研究人员一直试图让这些模拟器变得更大、更智能，希望更大的大脑能自动造就更优秀的机器人。但他们撞上了一堵墙。你分享的论文**《通过扩散策略优化扩展世界模型强化学习》（Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization，简称 MBDPO）**解释了这堵墙为何存在，以及他们是如何突破它的。

以下是他们发现的故事，用简单的方式解释。

问题：“白日梦想家”与“评分员”

想象一个学生试图学习下棋。

白日梦想家（搜索）： 这个学生想象与一位特级大师对弈。他们在脑海中尝试不同的走法，模拟未来以查看哪种走法能获胜。这就是当前人工智能方法的工作原理：它们通过模拟未来来“搜索”最佳走法。
评分员（价值函数）： 这是一位老师，根据过去的课程给每一步走法打分。老师说：“那步走法看起来不错，因为它过去曾奏效。”

故障： 在以前的方法中，“白日梦想家”和“评分员”不同步。

评分员是基于一个刚刚随机猜测（或表现得非常保守）的学生的数据训练的。
白日梦想家则试图像特级大师那样下棋，承担巨大风险并尝试疯狂的新走法。

当白日梦想家尝试一个疯狂的新走法时，评分员会给它打高分，因为它在纸面上看起来不错，尽管评分员从未真正见过该走法在现实中奏效。白日梦想家变得过于自信，犯了错误，导致整个系统崩溃。论文将这种现象称为**“错位”（misalignment）**。机器人梦想着一个它的老师无法理解的未来。

解决方案：MBDPO（“扩散”修复）

作者程晓源（Xiaoyuan Cheng）及其同事引入了一种名为MBDPO的新方法。他们不仅让模拟器变得更大，还改变了机器人学习移动的方式。

他们使用了一个称为**扩散（Diffusion）**的概念，这与生成逼真 AI 图像（例如将模糊的云彩变成清晰的猫）所使用的数学原理相同。

类比：从一块黏土中雕刻雕像
想象机器人的策略不是单个动作，而是一整套动作序列（就像一套舞蹈编排）。

旧方法（搜索）： 你试图通过向靶板上随机投掷飞镖来猜测完美的舞蹈编排。如果你碰巧击中了一个幸运点，你就保留它。如果靶板稍有偏差，你就会得到一套糟糕的编排。
MBDPO 方法（扩散）： 想象机器人从一个充满随机噪声（静态）的黏土块开始。
1. 机器人拥有一个“世界模型”（一个水晶球），可以预见它想象的任何舞蹈动作的未来。
2. 机器人一步步地慢慢剔除噪声，将黏土打磨成雕像。
3. 在每一步，世界模型都会说：“如果你这样移动手臂，你会得到高分；如果你那样移动，你会摔倒。”
4. 机器人利用这些反馈，轻轻地将黏土推向“最佳”舞蹈编排。

这个过程称为扩散策略优化（Diffusion Policy Optimization）。机器人不再进行猜测和检查，而是对其策略进行“去噪”，将混乱逐渐转化为完美的高分计划。

为什么这很重要

该论文提出了三个主要主张：

它解决了“错位”问题： 通过使用这种扩散过程，机器人的“搜索”（想象未来）和“学习”（更新大脑）在同一个循环中发生。机器人永远不会对尚未实际模拟过的动作过于自信。这就像评分员和白日梦想家现在是同一个人，并且一直在互相交流。
它具有可扩展性： 通常，当你让 AI 模型变得更大（增加更多“神经元”）时，它会变得更好，但最终会因为上述错误而达到平台期甚至变差。MBDPO 表明，随着他们使模型变大（从 170 万参数增加到 3.4 亿参数），机器人的表现持续变好。它没有撞墙，而是一直在攀登。
它无处不在： 他们在 121 个不同的任务上测试了这一点，从让机器狗行走和奔跑，到机械臂堆叠积木，再到玩复杂的电子游戏。在几乎所有情况下，MBDPO 都击败了之前的最佳方法（如 TD-MPC2 和 DreamerV3）。

“秘密武器”：能量锚点

MBDPO 中的一个巧妙技巧是他们称之为**“隐式能量函数”（Implicit Energy Function）**的东西。

把它想象成一条安全牵引绳。

机器人被允许探索并尝试新的、有风险的动作（即“搜索”）。
但“能量函数”就像一条系在安全且经过验证的行为（即“行为策略”）上的牵引绳。
如果机器人试图偏离已知安全的范围太远，牵引绳就会把它拉回来。这防止了机器人迷失在自己的白日梦中，并确保它扎根于现实。

结果

离线学习： 他们在包含过去视频的巨大数据集上训练了机器人（就像观看数千小时的体育比赛）。机器人学会了比任何以前的方法都更好的玩法，而且模型越大，玩得越好。
在线学习： 当机器人从零开始（没有先前的视频）时，它比竞争对手学得更快、更稳定。
视觉证据： 当研究人员观察机器人的“梦境”（它想象的内部路径）时，他们发现 MBDPO 的梦境是平滑、合乎逻辑且符合物理现实的。而旧方法的梦境则是混乱和杂乱的。

总结

该论文认为，要构建真正智能的 AI 机器人，我们不能仅仅让大脑变得更大。我们必须修复大脑思考的方式。MBDPO通过利用由世界模型引导的扩散过程（就像从噪声中雕刻），修复了“规划”与“学习”之间的脱节。这使得机器人能够比以往更快、更安全、更有效地学习复杂技能，证明了如果数学原理正确，更大的模型确实可以造就更聪明的机器人。

技术摘要：通过扩散策略优化扩展世界模型强化学习

1. 问题陈述

利用世界模型（World Models）的基于模型的强化学习（RL）为样本高效的规划提供了一种有前景的范式，它允许智能体在学到的内部环境中进行“想象”和规划。然而，这些方法的可扩展性从根本上仍然受到限制。虽然先前的工作将性能差距归因于模型偏差和累积预测误差，但本文识别出一个更为关键且未被充分探索的瓶颈：搜索与价值学习之间的结构性错位。

在现有的世界模型方法（例如 TD-MPC 系列）中，策略改进通常依赖于在学到的世界模型上运行的基于采样的规划器（如模型预测路径积分，MPPI）。相反，价值函数是在由独立的非搜索策略（通常是行为策略或回放缓冲区策略）生成的轨迹上进行训练的。这导致了分布差异：

价值迭代差距：价值函数是在策略 $\beta$ 的数据上训练的，但由搜索策略 $\pi$ 进行查询。当 $\pi$ 与 $\beta$ 显著偏离时，价值估计变得不可靠，通常导致虚假的高估。
策略改进差距：搜索过程利用这些被高估的价值，从而强化误差，导致分布偏移和误差放大的恶性循环。因此，搜索在常规意义上并不构成真正的策略优化，无法保证单调改进或收敛到最优策略。

2. 方法论：基于模型的扩散策略优化（MBDPO）

为了解决这些局限性，作者提出了基于模型的扩散策略优化（MBDPO），这是一个通过潜在世界模型中的扩散策略表示来统一搜索与策略优化的框架。

核心框架

MBDPO 将策略优化重新表述为潜在空间中想象轨迹上的扩散过程，而不是依赖像 MPPI 这样的显式规划器。该过程涉及：

潜在世界模型：智能体学习编码器 $E$ 、潜在动力学 $F$ 和奖励预测器 $R$ ，以便在紧凑的潜在空间 $Z$ 中运行。
隐式能量函数：为了锚定策略更新并防止分布偏移，MBDPO 通过对比目标从缓冲区数据集中学习隐式能量函数 $E_\theta$ 。该函数近似行为策略 $\beta$ 的对数密度，有效地充当 KL 约束。
通过想象轨迹的得分匹配：MBDPO 不采用前向扩散过程，而是直接从学到的世界模型中想象的轨迹估计得分函数 $\phi$ $ϕ$ 。
- 算法从提议分布中采样候选的清洁动作序列。
- 这些序列通过潜在动力学 $F$ 进行展开，以计算能量正则化的累积回报 $\tilde{G}$ 。
- 样本根据 $\tilde{G}$ 进行重加权，以估计得分函数，该函数指导反向扩散过程。

理论统一

本文建立了扩散模型中的得分匹配条件与 KL 约束策略优化问题解之间的理论等价性（定理 1）。

目标是在相对于行为策略的 KL 散度约束下最大化期望回报： $\max_{\pi_\phi} \mathbb{E}[G] \text{ s.t. } D_{KL}(\pi_\phi \| \beta) \leq \epsilon$ 。
MBDPO 证明，该约束问题的最优策略遵循吉布斯分布（Gibbs distribution）。
通过学习得分函数以匹配该分布，反向扩散过程隐式地执行了约束优化，从而将搜索（轨迹生成）和策略学习（价值最大化）统一到一个单一且一致的框架中。

实用算法

MBDPO 采用联合训练范式：

世界模型与价值迭代：编码器、动力学、奖励、价值函数（ $\hat{Q}$ ）和隐式能量函数使用来自回放缓冲区的轨迹片段进行更新。
扩散策略优化：得分网络使用由其回报加权的想象轨迹的蒙特卡洛采样来训练，以预测得分函数。在推理过程中，得分网络作为高效动作序列生成的摊销解（amortized solution）。

3. 主要贡献

结构性错位的识别：本文提供了理论分析（问题 1 和 2），证明现有世界模型方法中搜索与价值学习的解耦会导致次优性，并阻碍策略的单调改进。
MBDPO 框架：引入了一个统一框架，将搜索和策略优化表述为扩散过程。该方法利用隐式能量函数将策略锚定在行为分布上，从而缓解价值迭代差距和分布漂移。
可扩展的性能：开发了一种可扩展的扩散 RL 算法，该算法在多种设置（包括多任务离线预训练、在线学习和离线到在线微调）中，随着模型容量从 170 万参数增加到 3.4 亿参数，表现出一致且单调的性能提升。
实证验证：在四个基准测试（DMControl、MetaWorld、ManiSkill2、MyoSuite）的 121 个任务上进行了广泛评估，结果显示其性能优于最先进基线（SAC、DreamerV3、TD-MPC、TD-MPC2）。

4. 实验结果

离线预训练：MBDPO 表现出清晰的单调扩展行为。随着模型参数从 170 万增加到 3.4 亿，在 80 任务和 30 任务数据集上的归一化分数持续改善，显著优于 TD-MPC2，特别是在较小模型规模下。
在线学习：在从零开始的在线设置中，MBDPO 在所有 121 个任务中取得了优于或具有竞争力的结果。与基线相比，它在训练早期阶段表现出加速的策略改进和更低的方差。
瓶颈的缓解：实证分析表明，与 TD-MPC2 相比，MBDPO 显著减少了跨时间差分（TD）误差和动作漂移。扩散策略保持稳定并平滑收敛，而启发式搜索方法则表现出高波动性和严重的策略漂移。
泛化能力：在离线到在线（O2O）迁移实验中，一个在 70 个任务上预训练的通用智能体，仅通过每个任务 4 万次交互，就成功地在 10 个未见任务上进行了微调，其表现优于从头训练。
效率：MBDPO 在线训练带来的开销微乎其微，在大多数领域中，其每步训练时间与 TD-MPC2 相当或更快。

5. 意义与主张

本文主张，MBDPO 通过解决搜索与价值学习之间的结构性错位，确立了世界模型内策略学习的新范式。关键见解包括：

扩散的可扩展性：扩散模型充当连接世界模型与策略优化的内在接口，通过想象轨迹实现持续的价值迭代和策略改进。
表征的重要性：学到的潜在表征的质量至关重要。MBDPO 的联合优化有助于构建与物理直觉一致的潜在空间，从而为循环任务生成结构化的闭环轨迹，为操作任务生成目标导向的路径，这些轨迹比启发式搜索方法产生的轨迹具有更丰富的物理意义。
原则性基础：这项工作表明，扩展策略学习并不需要更复杂的启发式搜索流程，而是需要一个原则性的基础，该基础通过 KL 约束目标等机制，将世界模型与基础 RL 范式内在联系起来。

作者指出了局限性，包括目前专注于模拟环境，以及由于计算限制尚未扩展到极大规模的基座模型尺寸。未来的方向包括在现实世界机器人上部署 MBDPO，并将其与更丰富的预训练视觉或多模态表征相结合。