💻 computer science

Scaling Reinforcement Learning for Diffusion Models via Velocity Matching

本文介绍了基于奖励的速度匹配（Reward-based Velocity Matching, RVM），这是一种简单且计算高效的无需轨迹框架，它通过直接优化扩散模型的速度场来进行基于奖励的微调，在性能上优于现有的基于似然的策略梯度方法，同时为近期方法提供了一个统一的视角，并能够提升视频生成的动态奖励。

原作者： Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，出现了一类特殊的计算机程序，它们能够根据简单的文本描述创建出令人惊叹的图像和逼真的视频。这些被称为扩散模型（diffusion models）的系统，通过学习如何逆转一个逐渐破坏的过程来工作。想象一下，将一张清晰的照片慢慢加入静态噪声，直到它变得无法辨认；这些模型学习的是如何走回这条数学路径，从纯粹的噪声开始，通过逐步仔细地去除噪声，从而揭示出一幅连贯的图像。虽然这些工具已经变得极其强大，但教导它们遵循人类的偏好——例如让视频运动得更自然，或让图片看起来更美观——已被证明是困难的。传统上，研究人员试图借鉴用于语言模型的方法，这些方法依赖于计算序列中每一个可能出现的下一步的概率。然而，由于图像和视频生成涉及数百万个像素同时发生变化，计算这些概率在计算上非常昂它，且往往无法做到完美的准确。

来自佐治亚理工学院和英伟达（NVIDIA）的研究团队发现了一种更简单、更直接的方法，来教导这些模型什么是人类所偏好的。他们不再试图为生成过程中的每一个微小步骤计算复杂的概率，而是提出了一种直接关注图像形成过程中“速度”（velocity）的方法。用这些模型的语言来说，系统会预测图像在从一时刻到下一时刻时应该如何变化，以达到最终结果。研究人员发现，他们只需利用奖励信号作为引导，将这种预测向着能产生高质量结果的方向进行“推挤”，并远离导致低质量结果的方向。这种被称为“基于奖励的速度匹配”（reward-based velocity matching）的方法，绕过了以往尝试中那些减缓进度的复杂概率计算。

研究人员在大型视频生成模型上测试了这一想法，这类模型由于生成单个视频需要巨大的计算能力，因此训练成本极高。他们将这种新方法与现有的、依赖于追踪整个视频创建路径的技术进行了对比。结果令人震惊：他们这种更简单的方法生成的视频不仅质量更好，而且所需的计算时间仅为前者的极小部分。在一次使用名为 Wan2.1 模型的特定测试中，他们的方法在仅使用之前最佳方法约十二分之一训练时间的情况下，实现了最高的整体质量得分。这表明，旧方法的复杂性是不必要的；改进的关键不在于精炼概率的数学机制，而在于如何设计和应用奖励信号。

他们发现的一个关键部分在于理解模型究竟在优化什么。研究人员发现，标准的奖励（通常侧重于视觉清晰度或视频与文本描述的匹配程度）可能会在无意中鼓励模型生成静态、不动的图像，这些图像看起来很干净，但却很枯燥。为了解决这个问题，他们引入了一种专门追踪运动的新型奖励，确保视频包含有意义的运动。当他们将这种专注于运动的奖励加入系统时，视频变得更加动态，且没有损失其视觉质量。这一发现强调了，对于这些强大的模型而言，最重要的因素不是训练算法的复杂程度，而是为机器设定的目标是否清晰且具体。

研究还表明，用于更新模型的特定数学公式比之前认为的要重要程度较低。研究人员展示了他们的新方法在数学上等同于其他几种近期的研究方法，这意味着这些方法之间的性能差异很可能是由于如何设置奖励，而非核心算法本身。通过剥离掉概率估计中不必要的层级，他们证明了直接的、基于速度的更新足以引导模型走向更好的结果。这种简化为更高效的训练打开了大门，使研究人员能够更快地迭代，并有可能在不受到计算成本瓶颈限制的情况下，将这些技术扩展到更复杂的任务中。

最终，这项工作表明我们对训练生成式人工智能的思考方式正在发生转变。与其将问题视为一个复杂的概率估计谜题，研究人员展示了将其视为直接将模型的内部方向与人类偏好进行对齐会更为有效。他们的方法取得了优异的结果，并大幅减少了资源消耗，这表明高效 AI 训练的未来可能在于更简单、更直接的反馈循环。随着这些模型在规模和能力上的不断增长，快速且有效地对其进行微调将变得至关重要，而这种新方法为使人工智能更贴合人类需求提供了一条清晰且实用的路径。

技术摘要：通过速度匹配实现扩散模型的强化学习扩展

问题陈述

奖励微调已成为使扩散模型（Diffusion Models）和流模型（Flow Models）与人类偏好及特定任务目标（如语义对齐、视觉质量、运动性）保持一致的关键机制。然而，现有方法在很大程度上继承了自回归大语言模型（LLM）的策略梯度机制，例如 PPO 和 GRPO。这种迁移存在问题，因为与 LLM 不同，扩散模型无法为生成的样本提供可解的似然值（Likenthoods）。

因此，当前的方法试图通过两条复杂的路径来规避这种不可解性：

基于轨迹的方法（Trajectory-based methods）： 这些方法通过从采样的随机单步去噪转换中构建似然值来建立模型。这需要昂贵的随机展开（stochastic rollouts）、轨迹存储，并且往往会产生高方差的更新，因为中间去噪状态是随机的，且不一定比当前状态更接近干净的终点。
基于 ELBO 的方法（ELBO-based methods）： 这些方法使用证据下界（ELBO）来近似最终样本的边际似然。虽然这些方法将训练与完整的展开采样器解耦，但它们仍然源于基于似然的策略梯度公式，保留了估计的策略比例（policy ratios）以及似然近似的计算开销。

这项工作提出的核心问题是：在扩散模型的有效奖励微调中，似然估计是否真的是必要的，或者模型更新是否可以简化为直接作用于其原生的训练表示。

方法论：基于奖励的速度匹配 (RVM)

作者提出了 基于奖励的速度匹配 (Reward-Based Velocity Matching, RVM)，这是一种简单的、无需轨迹的更新机制，直接作用于扩散模型的速度场（velocity field）。

核心目标

RVM 不再构建策略梯度目标并近似难以计算的似然比，而是将奖励微调视为速度场的回归问题。给定一组生成的终点 $\{x_0^i\}$ ，每个样本被前向加噪至单个中间状态 $x_t^i$ ，其速度目标为 $v_i = \epsilon_i - x_0^i$ 。模型速度 $v_\theta(x_t, t)$ 使用一个由两项组成的损失函数进行更新：

$\mathcal{L}_{\text{RVM}} = \frac{1}{2} \mathbb{E} \left[ r_i \| v_\theta(x_t^i, t) - v_i \|_2^2 + \beta(r_i) \| v_\theta(x_t^i, t) - v_{\text{anc}}(x_t^i, t) \|_2^2 \right]$

其中：

$r_i$ (奖励权重)： 一个源自奖励 $R(x_0^i)$ 的有符号偏好信号。正奖励强化与该样本相关的速度方向（将 $v_\theta$ 拉向 $v_i$ ），而负奖励则抑制它（将 $v_\theta$ 推离 $v_i$ ）。
$v_{\text{anc}}$ (锚点速度)： 一个可选项，用于控制对参考速度场（例如，冻结的参考模型或当前策略的 EMA）的漂移。这可以防止微调期间出现过度的策略漂移。
效率： 该方法每个样本仅需要一个加噪状态，避免了存储完整的去噪轨迹以及计算似然比。

理论统一

论文证明了 RVM 提供了一个通用的框架，可以将最近的微调方法作为特例进行恢复：

RAM (Reinforce Adjoint Matching)： 当采样策略是同策略（on-policy, $\pi_{\text{old}} = \pi_\theta$ ）、锚点为冻结的参考速度（ $v_{\text{anc}} = v_{\text{ref}}$ ）且锚点强度为 1 时，RAM 被证明与 RVM 在更新上是等价的。
DiffusionNFT： 被证明是 RVM 的一个特例，其中锚点是经过 EMA 更新的速度，且锚点强度与奖励相关。
基于 ELBO 的策略梯度： 论文表明，依赖于 ELBO 近似对数比例的精确策略梯度（EPG）方法，在省略重要性权重和随时间变化的权重因子时，会精确地退化为 RVM。

这种统一性表明，速度损失的具体代数形式并不如奖励设计和锚点机制设计那样关键。

主要贡献

引入 RVM： 一种简单的、与轨迹无关的方法，它将奖励反馈直接整合到原生的速度匹配表示中，消除了对策略比例估计和轨迹存储的需求。
理论统一： 证明了 RVM 泛化了最近的方法（RAM, DiffusionNFT），并将基于 ELBO 的策略梯度还原为速度回归，从而将关注点从损失代数转向奖励和锚点设计。
经验效率与性能： 证明了基于速度的方法在降低训练成本的同时，能达到或超越基于轨迹的基准方法（FlowGRPO, DanceGRPO）。
奖励设计见解： 识别出对于视频生成，标准的偏好奖励往往倾向于静态输出。作者引入了基于光流的 动态追踪 (Dynamic-Tracking, DT) 奖励，它显式地鼓励有意义的运动，显著提升了动态程度和整体视频质量。

实验结果

作者在文本生成图像（Stable Diffusion 3.5）、文本生成视频（Wan2.1-T2V-1.3B）和图像生成视频（SkyReels-I2V）模型上评估了 RVM。

性能： 在 Wan2.1-T2V-1.3B 上，RVM 取得了最高的 VBench 总分（84.13），优于基于轨迹的方法，如 FlowGRPO (75.91) 和 DanceGRPO (79.46)。值得注意的是，RVM 的动态程度达到了 75.00，而基于轨迹的方法仅为 55–58。
效率： RVM 显著降低了训练成本。在 Wan2.1 上，RVM 需要 525 GPU 小时（8×H100），而 FlowGRPO 需要 1,159 小时，DanceGRPO/TaRoS 则需要 6,171 小时。这代表了 2.2 倍至 11.8 倍的成本降低。
消融研究：
- 损失变体： RVM、RAM 和 DiffusionNFT 的表现相当，证实了特定的速度损失变体并不如奖励和锚点设计那么重要。
- 奖励设计： 添加动态追踪 (DT) 奖励是提升运动质量的主要驱动力，将动态程度从约 5.5 提升到了 75.0。
- 少步生成： RVM 微调的模型在面对激进的步数缩减（例如 4 步推理）时表现出更强的鲁棒性，在基础模型质量大幅下降的情况下仍能保持高水平。

意义与主张

论文声称，扩散模型的可扩展奖励微调，更好地通过 原生速度表示 来构建，而非基于似然的策略优化。作者认为，基于轨迹的方法及其似然近似的复杂性是不必要的。

作者强调的关键结论包括：

简洁性： 通过简单的速度匹配损失即可实现有效的微调，无需策略比例或轨迹存储。
奖励重于损失： 特定速度损失函数的选择是次要的；关键因素在于如何将奖励转化为更新权重，以及如何锚定模型。
视频中的运动： 通用的偏好奖励可能导致静态视频；显式的动态追踪对于高质量视频生成至关重要。

这项工作表明，扩散模型后训练的未来扩展应侧重于奖励规范和锚点设计，而非日益复杂的策略损失公式。