🤖 machine learning

Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

本文通过利用伴随匹配（adjoint matching）来克服标准分数匹配（score matching）的局限性，并消除对昂贵的似然估计或通过扩散过程进行反向传播的需求，引入了一种在在线强化学习中训练扩散策略的高效、无模拟算法。

原作者： Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人走路、跳舞或玩电子游戏。机器人需要学习采取哪些动作才能获得最高分（奖励）。在过去，机器人通常通过猜测简单的、“钟形曲线”式的动作来学习（比如向左移动一点或向右移动一点）。但现实生活是混乱的；有时候最好的动作是一个复杂的、多步骤的舞蹈，它并不符合简单的曲线。

这就是扩散策略（Diffusion Policies）。你可以把它们想象成一个通过从混乱、嘈杂的状态开始，然后通过不断“去噪”最终找到完美且复杂动作的机器人。这就像是在将一张模糊的照片逐步锐化，直到画面变得清晰。

然而，实时教导这个机器人（在线强化学习）一直是两个难题：

记忆问题： 为了学习，机器人通常必须在脑海中一遍又一遍地重放整个“去噪”过程，每当它犯错时都要如此。这就像为了修正电影中的一个场景，就必须记住整部电影的每一帧一样。这占用了大量的内存，导致机器人崩溃或学习速度极慢。
“无标准答案”问题： 在教室里，你有一个标准答案。但在实时学习中，机器人并不知道什么是“完美”的动作，它只知道稍后是否获得了奖励。依赖于将猜测与已知答案进行比较的标准教学方法在这里并不适用。

解决方案：AMDP（伴随匹配扩散策略）

该论文的作者引入了一种名为 AMDP 的新方法。他们通过一些巧妙的技巧解决了这些问题：

1. “倒放电影”技巧（无模拟训练）
想象你正在学习如何烤蛋糕。通常情况下，你必须烤完整个蛋糕，品尝一下，然后试图弄清楚是在哪一秒加入糖来修正它的。这很难。
AMDP 则不同。它不需要回放整个烘焙过程，而是使用了一个被称为**伴随匹配（Adjoint Matching）**的数学捷径。

类比： 这就像是看着做好的蛋糕（最终动作），然后瞬间明白：“如果我在那个特定的时刻加入了糖，蛋糕就会很完美。”
结果： 机器人不需要为了学习而向后模拟整个嘈杂的过程。它只需观察最终的动作，计算出“得分”（Q分数），然后更新大脑。这节省了大量的计算机内存，并使训练速度大幅提升。

2. “挤压”函数（保持动作安全）
机器人通常是有极限的。机器人的手臂不能移动到负无穷大；它有一个物理范围（例如，在 -1 到 1 之间）。

问题： 扩散背后的数学逻辑有时会产生过大或过小的数字，从而破坏机器人的限制。
解决方法： 作者使用了一个特殊的数学“挤压”函数（基于误差函数，即 erf）。想象一个弹簧，当你拉它时，它会变得越来越紧，最终撞上一堵硬墙。这确保了无论机器人的内部数学逻辑多么狂野，它输出的最终动作始终是安全的，并且处于其物理极限之内。他们发现这种特定的“挤压”比旧方法要稳定得多。

3. “置信区域”（不要过度反应）
在学习过程中，如果机器人得到了一个坏分数，它可能会陷入恐慌，并在一夜之间改变自己的整个性格，忘记之前学到的一切。

解决方法： 作者增加了一个“置信区域（Trust Region）”规则。这就像是一条安全牵引绳。它告诉机器人：“你可以从这次新经验中学习，但不要过于剧烈地改变你的行为。要保持接近你之前的状态。”这让学习过程保持稳定，防止机器人变得疯狂。

他们发现了什么？

团队在 63 个不同的环境中测试了这种新方法，涵盖了从简单的平衡任务到复杂的类人机器人行走和操纵物体的任务。

速度： AMDP 的训练速度几乎与最简单、最高效的方法（如高斯策略）一样快，但它可以处理复杂得多的动作。
性能： 它学习行走和操纵物体的能力优于许多现有的先进方法。在一些复杂的测试中，它是明显的赢家。
效率： 因为它不需要重放机器人思维过程的整个“电影”，所以它使用的计算机资源非常少。他们展示了即使对于一个巨大的、复杂的机器人模型，其训练时间也仅比简单方法增加了约 10%，而旧的复杂方法则会慢 70 到 80 倍。

总结

这篇论文提出了一种教导机器人完成复杂、多步骤动作的方法，且不会导致计算机崩溃。他们通过发明一种数学捷径（让机器人能从最终结果中学习，而不必重放整个历史）、添加一条“安全牵引绳”来保持学习的稳定性，以及使用一种特殊的“挤压”工具来确保动作处于安全范围内。其结果是，机器人能够快速、高效地学习复杂的技能，且不会迷失在数学之中。

技术摘要：通过伴随匹配实现可扩展的最大熵强化学习扩散策略

问题陈述

扩散策略已成为表示强化学习（RL）中复杂、多模态动作分布的一种强大范式。然而，由于在缺乏地面真值数据的情况下难以进行可扩展训练，其在**在线强化学习（Online RL）**中的应用受到了限制。标准的训练目标（如分数匹配或桥匹配）无法直接应用于在线 RL，因为在线 RL 缺乏静态的最优样本数据集。

现有的在线扩散策略训练方法面临三个主要局限性：

反向 KL 散度（Reverse KL Divergence）： 最小化反向 KL 散度的方法需要对整个扩散过程进行反向传播。这会产生巨大的内存开销和计算效率问题，阻碍了其向更大规模问题的扩展。
重要性加权匹配（Importance Weighted Matching）： 使用重要性采样来最小化预测动作与目标动作之间误差的方法，在处理高维动作空间时难以扩展。
Q-分数方法（Q-Score Methods）： 利用 Q 函数梯度（ $\nabla_a Q$ ）的技术通常依赖于过阻尼朗之万动力学（overdamped Langevin dynamics）。这些过程通常需要在有限步数后进行截断，在有限时间范围内缺乏理论保证，或者依赖于缺乏生成真实目标分布样本保证的启发式采样技术。

方法论：伴随匹配扩散策略 (AMDP)

作者提出将扩散策略优化问题建模为最大熵强化学习（MaxEnt-RL）中的随机最优控制（SOC）问题，从而构建 伴随匹配扩散策略（AMDP） 框架。其核心创新在于应用了伴随匹配（Adjoint Matching, AM），特别是互惠伴随匹配（Reciprocal Adjoint Matching, RAM），以实现无模拟训练（simulation-free training）。

1. 理论基础

该方法将策略改进步骤定义为寻找一个漂移函数 $u$ ，使得扩散过程在终止时刻 $\tau=1$ 的边缘分布与最优最大熵策略 $\pi^*(a|s) \propto \exp(Q^\pi(s,a)/\alpha)$ 相匹配。

薛定谔桥（Schrödinger Bridge）： 该问题被转化为薛定谔桥问题，即在满足边界条件下最小化控制的动能成本。
互惠伴随匹配： AMDP 不通过扩散路径进行反向传播（这需要存储中间状态），而是利用受控过程在不受控参考过程上的互惠投影。这使得可以通过使用条件互惠过程 $\Pi^0_{\tau|1}$ 直接从终止状态 $X_1$ 采样中间状态 $X_\tau$ 来最小化损失。
无模拟训练： 通过从存储在经验回放池中的终止状态 $X_1$ 采样 $X_\tau$ ，该算法避免了在梯度更新期间模拟前向 SDE。这规避了显式的似然估计以及昂贵的扩散链反向传播。

2. 关键算法组件

动作空间适配（误差函数挤压）：
为了处理有界动作空间（例如 $A = [-1, 1]^d$ ），作者引入了一个可微变换 $f: \mathbb{R}^d \to [-1, 1]^d$ 。不同于标准的逐元素 $\tanh$ 挤压，AMDP 使用了缩放的**误差函数（erf）**挤压：
$f_{\text{erf}}(x) = (\text{erf}(k x_i))_{i=1}^d$
选择缩放因子 $k$ 使得变换的雅可比行列式恰好与参考过程的高斯边缘密度相匹配。这种特定的选择使得参考密度的对数比例与雅可比行列式变为常数，从而显著简化了回归目标并提高了数值稳定性。
策略迭代：
- 评估： 使用了一种改进的“软”贝尔曼备份（soft Bellman backup）。由于扩散模型的边缘熵是难处理的，作者提出了一个由控制成本导出的可处理熵下界，该下界保持了收敛特性。
- 改进： 通过最小化 AMDP 损失来更新策略，这是一个不动点迭代。该损失函数的唯一不动点对应于最优控制 $u^*$ 。
置信域更新（Trust-Region Updates）：
为了确保在目标分布快速变化的在线设置中的稳定性，增加了一个置信域约束。该约束惩罚新漂移 $u$ 与前一次迭代之间的偏差，防止可能导致分布崩溃或 Q 函数发散的激进更新。这通过松弛拉格朗日形式进行求解。

核心贡献

可扩展训练算法： AMDP 引入了一种高效算法，无需通过扩散过程进行反向传播即可优化扩散策略，大幅降低了内存需求。
无模拟优化： 通过利用互惠伴随匹配，AMDP 仅需利用存储在经验回放池中的终止动作即可进行优化，从而无需重新模拟 SDE 即可进行多次梯度更新。
数值稳定的动作挤压： 提出的误差函数（erf）挤压提供了一种稳定的 $\tanh$ 替代方案，通过抵消损失函数中的特定项来简化训练目标。
稳定的策略更新： 集成的置信域损失确保了在线设置下策略迭代的稳定性，且不改变伴随匹配框架的理论保证。

实验结果

作者在 MuJoCo Playground、ManiSkill 和 HumanoidBench 的 63 个环境中评估了 AMDP 的**在策略（on-policy）性能，并在 7 个高维狗和类人机器人环境（DMC suite）中评估了其离策略（off-policy）**性能。

在策略性能：
- AMDP 匹配或超越了强大的高斯基准线（REPPO、PPO、SPO）以及最先进的扩散方法（DIME、DPPO、FPO）。
- 在复杂、高维任务（HumanoidBench）中，即使不使用 Best-of-N (BoN) 采样，AMDP 也显著优于所有基准模型。
- 在 MuJoCo DMC 和类人机器人运动任务中，AMDP 的样本效率比 REPPO 收敛更快。
- 当结合 BoN 采样（从 16 个样本中选择最优）时，AMDP 在所有基准测试中均表现出卓越的性能。
离策略性能：
- 在 DMC 狗和类人机器人任务上，AMDP 的表现与 DIME（优化反向 KL 的方法）相当，且收敛速度略快，证明了伴随匹配目标在离策略设置下的竞争力。
计算效率：
- 墙钟时间（Wall-clock Time）： 无论扩散步数多少，AMDP 相比于 REPPO 等高效高斯方法仅产生很小的常数级开销（~10%）。
- 可扩展性： 相比之下，使用反向 KL 反向传播的方法在 16 步扩散时慢 10 倍，在 128 步时慢 72-80 倍。
- 模型缩放： 作者成功使用 AMDP 训练了一个大型扩散策略（1.06 亿参数，约为标准模型的 300 倍），证明了其在内存受限的情况下处理复杂模型的能力。

重要性与主张

本文声称 AMDP 为在现实世界 RL 应用中部署表达能力强的生成式策略提供了一条具有理论依据、计算高效且鲁棒的途径。

克服内存瓶颈： 通过消除对扩散链进行反向传播的需求，AMDP 使扩散策略的训练在内存和计算资源受限的在线 RL 场景中变得可行。
理论保证： 不同于启发式的 Q-分数方法，AMDP 源自具有不动点保证的随机最优控制，确保策略收敛至最优最大熵分布。
实际可行性： 通过结合无模拟训练、通过 erf-squashing 实现的数值稳定性以及置信域更新，AMDP 解决了此前限制扩散策略在在线 RL 中应用的三个主要障碍（可扩展性、稳定性和效率）。

作者总结道，其方法在保持竞争力的同时，显著降低了计算开销，使得扩散策略成为处理复杂连续控制任务时替代传统高斯策略的更具可行性的选择。