💻 computer science

Recovering Hidden Reward in Diffusion-Based Policies

本文介绍了 EnergyFlow，这是一个通过参数化标量能量函数来恢复专家奖励并提升策略泛化能力而无需对抗训练的框架，该框架将生成式动作建模与逆强化学习统一起来。

原作者： Yanbiao Ji, Qiuchang Li, Yuting Hu, Shaokai Wu, Wenyuan Xie, Guodong Zhang, Qicheng He, Deyi Ji, Yue Ding, Hongtao Lu

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yanbiao Ji, Qiuchang Li, Yuting Hu, Shaokai Wu, Wenyuan Xie, Guodong Zhang, Qicheng He, Deyi Ji, Yue Ding, Hongtao Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《基于扩散策略的隐藏奖励恢复》（介绍ENERGYFLOW）的通俗解释，辅以日常类比。

宏观图景：通过观察而非单纯模仿来教导机器人

想象你正在教机器人制作一杯完美的咖啡。

旧方法（行为克隆）： 你向机器人展示一段你制作咖啡的视频。机器人试图完全复制你的手部动作。如果因为杯子位置变了，你的手稍微移动了一下，机器人就会困惑并打翻咖啡。它知道做什么，但不知道为什么。
问题所在： 当前的“扩散策略”（最先进的方法）就像一位能完美复制你动作的大师艺术家。但它们不理解目标。它们只知道如何从混乱状态移动到清洁状态。如果情况发生微小变化（例如杯子移动了），它们可能会失败，因为它们只是基于模式猜测下一步动作，而不理解动作的“价值”。

ENERGYFLOW 是一个新框架，它同时做两件事：

它教导机器人模仿专家的动作（就像旧方法一样）。
它暗中推导出这些动作背后的奖励系统（即“为什么”），以便机器人能适应新情况。

核心思想：“山丘与山谷”地图

要理解 ENERGYFLOW，请将机器人的决策过程想象成一片由山丘和山谷组成的景观。

景观（能量函数）： 想象一张地图，机器人可能做的每一个动作都是地面上的一个点。
- 山谷（低能量）： 这些是“好”动作。山谷越深，动作越好。
- 山丘（高能量）： 这些是“坏”动作。
梯度（坡度）： 如果你站在山丘上，重力会将你拉向最陡的斜坡进入山谷。在数学中，这个坡度被称为“梯度”。

其他方法的工作原理：
大多数当前的 AI 方法试图学习每一点的风向（向量场）。它们会说：“如果你在这里，就把风往这个方向吹，以到达目标。”但有时，它们学到的风向彼此不协调。你可能会被吹得转圈（A → B → C → A），却永远无法到达底部。这被称为“非保守”场，会让机器人感到困惑。

ENERGYFLOW 的工作原理：
ENERGYFLOW 不学习风向，而是学习地形本身的形状（标量能量函数）。

它构建了一张三维的山丘和山谷地图。
机器人只需顺着坡度滑入山谷。
因为它遵循的是同一张地图，所以永远不会陷入令人困惑的循环。路径始终合乎逻辑。

“魔法技巧”：发现隐藏奖励

这篇论文最大的突破是一个数学证明，它指出：如果机器人正确学会了地形的形状，那么这个形状本身就是奖励。

类比： 想象你在看一位大厨做饭。你看到的不仅仅是切菜的动作；你可以推断出大厨热爱完美地切洋葱，因为他们总是那样做。
结果： ENERGYFLOW 不需要人类说“干得好！”或“做得不好！”（这很难编程）。通过从专家的视频中学习地形图，机器人自动为每个动作发现了一个“分数”。
- 低分 = 好动作（深山谷）。
- 高分 = 坏动作（高山丘）。

这个分数充当奖励信号。现在，机器人可以利用这个分数来教导自己如何更好地完成任务，或者处理它从未见过的新情况。

为何重要：“保守”约束

论文认为，强制机器人学习“地形图”（保守场）而不是仅仅学习“风向”，是一种超能力。

类比： 想象试图在城市中导航。
- 风向法： 你得到一份箭头列表：“这里向北，那里向东。”如果箭头稍有偏差，你可能会走成一个圆圈。
- 地形法： 你得到一张地形图。即使你身处从未见过的城市区域，你也可以查看地图，看到坡度，并知道哪条路通向最低点（目标）。
优势： 这种“地图”方法使机器人更加稳健。如果你改变机器人的起始点（即“分布偏移”），地图仍然有效。机器人知道如何从新的起始点滑下山丘。论文从数学上证明，这种方法减少了错误，并帮助机器人比以前的方法更好地泛化到新的、未见过的情况。

现实世界结果

作者在机器人执行以下任务时测试了该方法：

举起一个罐子。
将方形榫头放入方形孔中。
打开抽屉。
拿起一个瓶子。

结果：

更好的模仿： 机器人比之前的最佳方法（扩散策略）更好地模仿了专家。
真实机器人成功： 他们将代码部署到真实的物理机器人（AGIBOT G1）上，即使起始位置略有不同，它也成功打开了抽屉并放置了瓶子，且没有摔倒。
自我改进： 当他们使用“能量分数”作为奖励来进一步训练机器人（强化学习）时，机器人学习得更快，成功率高于使用标准稀疏奖励的情况。

总结

ENERGYFLOW 就像是给机器人一张关于“好坏”的 GPS 地图，而不仅仅是一份逐行转弯的指令列表。

它学习问题的形状（能量景观）。
该形状的坡度告诉机器人做什么（动作）。
该形状的深度告诉机器人做得有多好（奖励）。

这使得机器人不仅能完美地模仿人类，还能理解任务背后的逻辑，使其更聪明、更具适应性，并能够在不需要持续人类反馈的情况下自行学习。

以下是论文《Recovering Hidden Reward in Diffusion-Based Policies》（介绍 ENERGYFLOW）的详细技术总结。

1. 问题陈述

基于扩散的策略因其能够建模复杂的多模态动作分布，已成为从专家演示中学习机器人操作技能的最先进范式。然而，这些策略通常依赖行为克隆（BC），即学习模仿动作而不显式建模底层的意图或奖励结构。

标准扩散的局限性：它们缺乏显式的能量表示，导致在测试时情况偏离训练分布（分布外或 OOD）时容易失败。若不诉诸于不稳定的对抗训练或计算昂贵的逆强化学习（IRL），它们难以直接提供用于下游强化学习（RL）的奖励信号。
差距：需要一个框架将生成式动作建模与奖励恢复统一起来，既能实现高质量模仿，又能提取有效的奖励信号以优化策略，同时确保泛化的理论保证。

2. 方法论：ENERGYFLOW

作者提出了ENERGYFLOW，这是一个参数化标量能量函数 $E_\theta(s, a)$ 的框架，其梯度作为动作生成的去噪场。

核心架构

标量能量参数化：与直接回归向量值噪声预测 $\epsilon_\theta(s, a)$ 的标准扩散策略不同，ENERGYFLOW 学习一个标量能量函数 $E_\theta(s, a, t)$ 。
保守向量场：得分函数（去噪场）通过自动微分导出：
$S_\theta(a, s, t) = -\nabla_a E_\theta(a, s, t)$
通过构造，这确保了向量场是保守的（无旋， $\nabla \times S = 0$ ），即它是标量势的梯度。这强制了可积性，确保动作偏好是传递的且物理上可实现的。
训练：模型使用**去噪得分匹配（DSM）**进行训练。目标是最小化学习到的梯度与真实噪声方向之间的差异：
$\mathcal{L} = \mathbb{E}_{t, a_0, \epsilon} \left[ \sigma^2(t) \left\| -\nabla_{a_t} E_\theta(a_t, s, t) + \frac{\epsilon}{\sigma(t)} \right\|^2 \right]$
推理：动作通过利用学习到的能量函数的梯度积分概率流 ODE 来生成。

奖励提取

该框架直接从学习到的能量景观中提取奖励信号。为了处理状态相关的积分常数 $c(s)$ （这使得原始能量值在不同状态间具有歧义），作者提出了居中塑形（Centered Shaping）：
$\tilde{r}(a, s) = -\left( E_\theta(a, s) - \mathbb{E}_{a' \sim \mathcal{N}}[E_\theta(a', s)] \right)$
这减去了一个状态相关的基线（通过蒙特卡洛采样估计），将奖励归一化，使其仅反映状态内动作的相对偏好。

3. 关键理论贡献

本文提供了严格的理论证明，建立了扩散得分匹配与奖励恢复之间的联系：

得分 - 奖励等价性：在最大熵最优性假设下，本文证明了扩散模型学习到的得分函数与专家软 Q 函数的梯度成正比（ $\nabla_a Q^* \propto S^*$ ）。因此，得分匹配在不使用对抗性极小极大优化的情况下隐式地恢复了奖励梯度。
通过保守约束降低复杂度：作者证明，将假设空间约束为保守场（标量的梯度）相比无约束向量场严格降低了Rademacher 复杂度。具体而言，保守场的复杂度界限随表示的平滑度（ $L$ ）缩放，而无约束场则随输出维度（ $\sqrt{d}$ ）缩放。
OOD 泛化界限：利用降低的复杂度，本文推导了针对分布外（OOD）场景的更紧泛化界限。保守约束充当了几何正则化器，防止模型学习任意的向量方向，并迫使其外推能量景观的形状，从而在分布偏移下实现更好的鲁棒性。
可识别性与误差传播：本文确立了虽然绝对 Q 值无法被唯一识别（由于未知的状态相关常数），但状态内的动作排序是精确的。此外，它界定了得分估计误差向动作偏好传播的范围，表明误差随动作之间的距离线性缩放（Lipschitz 连续性）。

4. 实验结果

作者在RoboMimic和Meta-World基准测试以及真实世界机器人任务上评估了 ENERGYFLOW。

模仿性能（RQ1）：ENERGYFLOW 实现了**最先进（SOTA）**的性能。
- RoboMimic：平均成功率 93.8%（扩散策略为 91.2%）。
- Meta-World：平均成功率 92.5%（扩散策略为 90.7%）。
- 它显著优于其他基于能量的方法（如隐式 BC）和 IRL 基线。
真实世界部署（RQ2）：在AGIBOT G1机器人上部署用于“瓶子”和“抽屉”任务。ENERGYFLOW 实现了100% 的成功率，与基线相比具有更平滑的轨迹和更少的犹豫。
用于下游 RL 的奖励质量（RQ3）：当用作训练 Soft Actor-Critic (SAC) 代理的奖励信号时：
- “居中能量”奖励使 SAC 能够达到接近最优的性能，显著优于稀疏奖励和原始能量奖励。
- 它提供了密集的、逐步的指导，防止了训练早期的停滞。
OOD 泛化（RQ4）：在初始位置扰动增加的情况下，ENERGYFLOW 保持了稳健的成功率，而无约束扩散和流策略则显著退化。这证实了保守约束的理论优势。
效率（RQ6）：ENERGYFLOW 实现了与非基于能量的流策略相当的推理速度（约 10ms 延迟），同时提供了显式能量函数的好处，避免了传统基于能量模型（EBMs）缓慢的采样时间。

5. 意义与影响

模仿与 RL 的统一：ENERGYFLOW 弥合了行为克隆与强化学习之间的差距。它允许通过模仿训练策略，同时暴露有效的奖励信号以供进一步优化，消除了对手动奖励设计或不稳定对抗性 IRL 的需求。
扩散的理论保证：这项工作首次为在扩散策略中强制保守场（可积性）为何有益提供了理论依据，将其与降低的假设复杂度和改进的 OOD 泛化联系起来。
实用价值：该方法计算高效，可扩展至高维动作空间，并在真实机器人环境中有效，为从有限演示中学习复杂操作技能提供了稳健的解决方案。

总之，ENERGYFLOW证明了有效奖励提取所需的结构约束（保守场）同时充当了强大的归纳偏置，增强了基于扩散策略的泛化能力和鲁棒性。