🤖 machine learning

Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design

本文系统分析了扩散模型的强化学习设计空间，并证明使用基于最终生成样本计算得到的证据下界（ELBO）似然估计器是实现高效稳定优化的关键因素，其在速度和奖励基准测试中均显著优于现有方法。

原作者： Jaemoo Choi, Yuchen Zhu, Wei Guo, Petr Molodyk, Bo Yuan, Jinbin Bai, Yi Xin, Molei Tao, Yongxin Chen

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Jaemoo Choi, Yuchen Zhu, Wei Guo, Petr Molodyk, Bo Yuan, Jinbin Bai, Yi Xin, Molei Tao, Yongxin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对这篇论文的解释。

宏观图景：教导一位艺术家画得更好

想象你有一位数字艺术家（即扩散模型），他非常擅长根据文字描述作画。然而，这位艺术家并不知道一幅画为何好或坏；他只是遵循一套规则来添加噪声并去除噪声。

最近，研究人员尝试使用**强化学习（RL）**来教导这位艺术家。可以把 RL 想象成一位严厉的美术老师，他审视学生画的每一幅画，给出一个分数（奖励），并告诉学生：“多做那些得高分的事，少做那些得低分的事。”

问题出在哪里？这位数字艺术家是一个“黑盒”。与标准生成器（如大型语言模型 LLM）不同，后者可以轻松计算写出特定单词的概率，而这位艺术家是通过一个复杂且混乱的过程生成图像的。要精确计算某幅特定画作发生的可能性，难度极高。

正因如此，以往尝试教导这位艺术家的方法既缓慢、昂贵，又往往不稳定。这就像蒙着眼睛在迷宫中摸索，迈着巨大的步伐，却只能祈祷不会撞墙。

核心发现：关键不在于“老师”，而在于“地图”

本文的作者决定停止猜测，开始分析。他们将训练过程视为一道包含三种主要成分的食谱：

评分系统（策略梯度）： 老师如何计算分数并告诉学生需要做出哪些改变。
估计器（似然度）： 系统如何猜测生成特定图像的“可能性”有多大。
采样方法： 系统在训练过程中（即“ rollout"）实际如何生成图像。

重大惊喜：
研究人员发现，评分系统（成分 #1）并没有大家想象的那么重要。无论你使用复杂、花哨的评分公式，还是简单的公式，结果几乎都一样。

真正的英雄是估计器（成分 #2）。具体来说，他们发现使用一种称为ELBO的方法（仅基于最终完成的画作来估计似然度）是一个游戏规则的改变者。

类比：
想象你正在学习杂耍。

旧方法（基于轨迹）： 你记录下双手的每一次移动、每一次掉落、每一次接住以及从头到尾的每一次摇晃。你分析整段视频来找出问题所在。这需要耗费漫长时间，并且需要一台庞大的计算机来存储所有这些视频数据。
新方法（基于 ELBO）： 你只看最终结果：球是否留在了空中？如果是，很好；如果不是，再试一次。你不需要观看整个视频；你只需要知道结果即可。

该论文证明，仅关注最终结果（ELBO）不仅速度更快，而且实际上比分析过程中的每一个步骤更能促进学习。

另外两种成分：速度与简洁

一旦他们修复了“地图”（即估计器），便着手审视另外两种成分：

采样方法（“如何”生成）：
- 他们比较了两种生成图像的方式：SDE（随机，即在每一步都添加随机噪声）和ODE（确定性，即像一条平滑的直线）。
- 发现： 一旦使用了“最终结果”地图，ODE 方法就快得多。这就像走高速公路（ODE）而不是颠簸的土路（SDE）。它能在大约 1/4 的时间内将你带到同一个目的地（一幅出色的图像），因为它所需的步骤更少。
评分系统（“老师”）：
- 他们测试了复杂的老师（如 GRPO，使用“截断”来防止剧烈波动）与简单的老师。
- 发现： 事实证明，那些花哨的技巧（如截断）并非必要。只要“地图”（ELBO）是准确的，简单、直接的老师同样有效。

结果：巨大的飞跃

通过结合最终结果地图（ELBO）、高速公路采样器（ODE）和简单老师，研究人员取得了令人难以置信的成就：

速度： 他们仅用90 小时的计算机时间就达到了顶级性能分数（GenEval 0.95）。
对比：
- 之前的最佳方法（FlowGRPO）需要大约4.6 倍的时间才能获得相同的结果。
- 另一种顶级方法（DiffusionNFT）需要2 倍的时间。
质量： 他们不仅更快到达，而且生成的图像质量也更好。分数从平庸的 0.24 跃升至优秀的 0.95。

“没有魔法”的结论

最重要的启示是，他们并没有发明一种包含数百种“魔法技巧”的新复杂算法。他们只是意识到，以往研究人员试图计算“似然度”（图像出现的概率）的方法是低效的。

通过转向一种只关心最终图像而忽略中间混乱步骤的方法，他们解锁了一种更快、更稳定、更高效的方式来训练这些 AI 艺术家。这提醒我们，有时解决复杂问题的最佳方式并非增加更多复杂性，而是简化你衡量成功的方式。

技术摘要：重新思考扩散模型强化学习的设计空间

问题陈述

强化学习（RL）已成为对扩散模型和流模型进行后训练以使其与人类偏好或特定任务目标（例如文本到图像生成）对齐的标准范式。然而，将流行的策略梯度方法（如 PPO 或 GRPO）应用于扩散模型存在根本性挑战。与自回归大型语言模型（LLM）不同，扩散模型无法提供标准策略梯度更新所需的可处理且精确的似然值。

现有方法（如 FlowGRPO）试图通过使用源自整个反向采样轨迹的临时似然估计器来调整基于 LLM 的 RL 目标。这些方法往往继承了 LLM 训练中的复杂工程技巧（例如截断、特定的优势归一化），却未系统性地探究这些组件对扩散模型是否必要或有效。因此，由于需要存储完整的采样轨迹以进行似然估计，当前方法面临高计算成本、收敛缓慢和内存占用大的问题。

方法论

作者提出将扩散模型的 RL 设计空间系统地解耦为三个独立因素：

策略梯度目标：用于更新策略的具体损失函数。
似然估计器：用于近似不可处理的数据似然 $\pi_\theta(x)$ 的方法。
** rollout 采样方案**：用于生成样本的推理策略（SDE 与 ODE）。

关键方法论转变

似然估计：本文对比了基于轨迹的估计器（通过沿整个反向 SDE 路径求和 log 概率来计算似然）与基于证据下界（ELBO）的估计器。作者证明，仅从最终生成的样本（或单个时间步）计算的基于 ELBO 的估计既充分又优越。这将训练动态与完整采样轨迹解耦，允许使用任何黑盒求解器。
策略梯度目标：作者引入并评估了多种目标：
- EPG（精确策略梯度）：KL 正则化 REINFORCE 的简化版本，去除了截断和优势归一化。
- PEPG（近端精确策略梯度）：基于概率测度上的近端梯度下降推导出的理论目标，用近端惩罚项替代启发式截断。
- PAR（近端优势回归）：一种 L2 回归损失，使 log 概率比率与优势值相匹配。
- GRPO：为扩散模型适配的标准 GRPO 目标。
采样策略：本研究比较了随机微分方程（SDE）采样器（需要多步并存储轨迹）与常微分方程（ODE）采样器（确定性、步数较少、兼容 ELBO）。
无分类器引导（CFG）：作者主张在不使用 CFG 的情况下进行训练，以避免训练和推理之间的分布不匹配，并降低计算成本（将函数评估次数减半）。

主要贡献

主导因素的识别：通过在 Stable Diffusion 3.5 Medium（SD3.5-M）上的受控实验，本文确立了似然估计器的质量是 RL 效率和性能的主要驱动力。具体而言，采用基于 ELBO 的似然估计器（从最终样本计算）显著优于基于轨迹的估计器。
弱化策略梯度设计：研究发现，一旦使用有效的似然估计器（ELBO），策略梯度损失的具体选择（EPG、PEPG、PAR 或 GRPO）对最终性能的影响微乎其微。这表明 LLM-RL 中的许多复杂工程技巧（如截断）对扩散模型并非必需。
通过 ODE 采样实现效率：通过将基于 ELBO 的估计与 ODE 采样相结合，作者实现了训练动态与采样动态的解耦。这使得仅需 10 步即可进行确定性采样，与基于 SDE 的轨迹方法相比，大幅降低了内存占用和计算成本。
最先进性能：所提出的方法（使用 PEPG/ELBO/ODE）达到了 0.96 的 GenEval 分数，超越或比肩现有的最先进方法（如 FlowGRPO 和 DiffusionNFT）。

实验结果

作者在多个基准测试中评估了其方法，包括 GenEval、OCR、PickScore、CLIPScore、HPSv2.1 和 DrawBench。

效率：所提出的方法在约90 个 GPU 小时（使用 8x H100）内达到了 0.95 的 GenEval 分数。这比 FlowGRPO 效率高4.6 倍，比 DiffusionNFT 效率高2 倍。
收敛性：基于 ELBO 的方法结合 ODE 采样，在所见提示词数量和 GPU 小时数方面，比基于轨迹的方法收敛得显著更快。
消融研究：
- 移除截断和基于标准差的优势归一化（如 EPG/PEPG 中所做）并未降低性能，证实这些对于扩散模型而言是非必需的启发式方法。
- 不同的 ELBO 加权方案（Path-KL、Simple、Adaptive）显示出可比的性能，其中单时间步估计因其较低的计算成本而被推荐。
- 在不使用 CFG 的情况下训练保持了具有竞争力的性能，同时将函数评估次数减少了 2 倍。

意义与主张

本文声称，扩散模型的强化学习领域过于专注于调整复杂的 LLM 特定目标，而忽视了似然估计这一根本挑战。作者认为，似然估计是扩散 RL 的基石。

简单优于复杂：该方法的成功并非通过引入复杂设计或新启发式方法实现，而是通过严格分析和简化 RL 流程的核心组件达成。
可推广性：研究结果表明，损失函数的选择从属于似然估计器的选择。这一见解为未来扩散模型和流模型的 RL 微调提供了一个统一且高效的框架。
可扩展性：通过降低似然估计和采样的计算负担，所提出的方法使 RL 微调在高分辨率图像乃至潜在的视频生成任务中更具可及性和可扩展性。

作者总结道，虽然其发现是在特定骨干网络（SD3.5-M）和基准测试上验证的，但“似然估计质量驱动优化效率”这一原则为生成建模中 RL 算法的进步提供了关键方向。