💻 computer science

Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization

Flash-GRPO 是一种单步训练框架，它通过引入等时分组和时序梯度校正，克服了现有视频扩散模型组相对策略优化方法在计算瓶颈和不稳定性方面的局限，从而以显著降低的训练成本实现了最先进的对齐质量。

原作者： Xiaoxuan He, Siming Fu, Zeyue Xue, Weijie Wang, Ruizhe He, Yuming Li, Dacheng Yin, Shuai Dong, Haoyang Huang, Hongfa Wang, Nan Duan, Bohan Zhuang

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaoxuan He, Siming Fu, Zeyue Xue, Weijie Wang, Ruizhe He, Yuming Li, Dacheng Yin, Shuai Dong, Haoyang Huang, Hongfa Wang, Nan Duan, Bohan Zhuang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位才华横溢但行事混乱的艺术家（即视频扩散模型）去绘制人类真正喜爱的画作。这位艺术家擅长创作，但有时结果怪异、模糊，或不遵循你的指令。为了修正这一点，你使用了一位“教练”（一种名为GRPO的算法），它观察艺术家，提供反馈，并帮助其改进。

然而，存在一个巨大的问题：这位艺术家以慢动作工作。为了提供有效的反馈，教练通常必须从头到尾、逐帧地观看整个绘画过程。这耗时极长，且需要一座小型城市规模的超级计算机（数百个 GPU 天数）。

现有的“快速”方法试图通过仅观察几个随机帧来作弊。但这适得其反。这就像只随机选取比赛中的某一秒来观察马拉松选手，以此评判其表现。有时你捕捉到他们在冲刺，有时他们在系鞋带。教练会感到困惑，训练变得不稳定，艺术家永远无法学会正确奔跑。

Flash-GRPO 是一种新的、更聪明的教练方法，解决了这一问题。它允许教练通过仅观察绘画过程中的单一瞬间来有效学习，且不会因此产生困惑。其工作原理如下，运用了两个简单的技巧：

1. “相同天气”规则（等时分组）

问题所在： 想象你在评判一群跑步者。如果你将 Runner A（在暴风雪中奔跑）与 Runner B（在阳光明媚的公园里奔跑）进行比较，你就无法判断谁才是真正的优秀跑者。天气（视频中的“时间步”或噪声水平）混淆了结果。

Flash-GRPO 的解决方案： 论文指出：“让我们确保比较组中的每个人都在完全相同的天气下奔跑。”

Flash-GRPO 不是为每位跑步者随机选取时刻，而是为整组尝试选取一个特定时刻（例如，“比赛进行到 30% 时”）。
该组中的所有艺术家都尝试在过程的完全相同阶段进行绘画。
这确保了当教练进行比较时，唯一的差异是绘画的质量，而非该时刻的难度。它消除了“噪声”，使教练确切知道需要修正什么。

2. “音量旋钮”技巧（时间梯度校正）

问题所在： 在视频绘画过程中，某些时刻自然比其他时刻“更响亮”。从数学角度看，绘画早期阶段的信号巨大，而后期阶段的信号微小。如果教练直接听取原始信号，他们将只关注早期阶段而忽略其余部分，导致艺术家陷入疯狂（训练不稳定）。

Flash-GRPO 的解决方案： 论文引入了一种能自动调节音量的“音量旋钮”。

它精确计算每个时刻应该有多响亮，并将响亮部分的音量调低，将安静部分的音量调高。
这使得绘画过程的每一个瞬间都能平等地贡献于学习。不再有开头的咆哮和结尾的低语。

结果

通过运用这两个技巧，Flash-GRPO 实现了令人惊叹的成就：

速度： 由于只需一次处理一个步骤，其训练速度比之前的方法快6 倍。
质量： 尽管速度更快，但它生成的视频实际上比缓慢的全流程方法更好。视频具有更好的动态效果，外观更精美，且更准确地遵循指令。
稳定性： 训练不会崩溃或失控；它稳步提升，就像终于理解课程的学生一样。

简而言之： Flash-GRPO 就像一位天才教练，他意识到要教授一项复杂技能，你并不需要每次都观看整部电影。你只需要在正确的条件下，以恰到好处的音量，观看正确的场景。这节省了海量的时间和能量，同时让最终的电影成为杰作。

技术摘要：Flash-GRPO

问题陈述

视频扩散模型在生成逼真内容方面已取得显著进展，然而使这些模型与人类偏好（美学质量、提示词遵循度、物理合理性）保持一致仍是一项关键挑战。虽然强化学习（RL），特别是组相对策略优化（GRPO），已成为实现这种对齐的主导范式，但它面临着严重的计算瓶颈。标准 GRPO 需要对完整时空去噪轨迹进行梯度反向传播，对于大规模模型（例如 140 亿参数）而言，这需要数百个 GPU 日。

现有的效率提升方法试图通过子采样时间步（例如滑动窗口方法）来缓解这一成本。然而，作者指出，这些朴素的子采样策略从根本上损害了优化效果。它们表现出严重的训练不稳定性，且无法达到全轨迹训练的性能上限。本文将这一失败归因于两个根本原因：

时间步混淆的优势估计：在优势组内混合时间步，将奖励方差与不同噪声水平固有的难度纠缠在一起，掩盖了真实的策略信号。
时间依赖的梯度缩放：策略梯度本质上包含一个源自随机微分方程（SDE）离散化的时间依赖缩放因子。该因子在扩散轨迹的不同阶段变化数个数量级，导致早期时间步无论其实际重要性如何，都主导参数更新，从而造成优化失衡。

方法论：Flash-GRPO

作者提出了Flash-GRPO，这是一种单步训练框架，旨在仅利用每个训练 rollout 的一个时间步，同时实现全轨迹的性能。该方法通过两种核心机制解决已识别的不稳定性：

1. 等时分组

为了消除时间步混淆的方差，Flash-GRPO 在提示词组内强制实施时间一致性。

机制：对于给定的提示词，组内所有 $G$ 个 rollout 共享完全相同的时间步 $t_k$ ，但初始化为不同的 Gaussian 噪声。
过程：该组在分配的时间步 $t_k$ 执行单步 ODE 到 SDE 的转换，以支持探索和梯度计算。轨迹中的所有其他时间步均使用确定性常微分方程（ODE）采样，以确保高质量生成和准确的奖励信号。
效果：这分解了优势计算，将策略引起的方差与时间步引起的方差隔离开来。它确保相对性能比较在相同的去噪条件下进行，从而将策略性能与时间步难度解耦。

2. 时间梯度校正

为了解决梯度尺度异质性问题，作者推导了反向生成过程的显式策略梯度。

推导：梯度被证明由一个时间依赖系数 $\lambda(t) = \frac{\sqrt{\Delta t}}{\sigma_t} + \frac{\sigma_t\sqrt{\Delta t}(1-t)}{2t}$ 进行缩放。在具有多样化时间步的单步设置中，这会导致梯度幅度存在巨大差异。
机制：Flash-GRPO 引入了时间梯度校正，显式地通过 $1/\lambda(t)$ 对梯度进行归一化。
效果：这迫使所有时间步的 $\lambda(t) \to 1$ ，确保无论时间步在扩散轨迹中的位置如何，其对参数更新的贡献都是均匀的。这消除了离散化引起的偏差并稳定了优化动态。

主要贡献

不稳定性来源的识别：本文提供了理论推导和实证验证，阐明了单步视频 GRPO 中不稳定的两个具体原因：时间步混淆的优势估计和时间依赖的梯度缩放。
Flash-GRPO 框架：一个原则性的单步训练框架，结合了用于精确优势估计的等时分组和用于平衡优化的时间梯度校正。
可扩展性与效率：在从 13 亿到 140 亿参数的模型上进行了验证，表明该方法消除了传统的效率与质量之间的权衡，以大幅降低的计算成本实现了最先进的对齐质量。

实验结果

作者在 Wan2.1 视频模型（13 亿和 140 亿参数）上评估了 Flash-GRPO，使用了 HPSv3 奖励模型和 VBench 指标。

训练效率：与标准全轨迹方法相比，Flash-GRPO 实现了6 倍的训练成本加速。
稳定性：与遭受灾难性优化崩溃和奖励方差困扰的朴素单步方法（例如 Flow-GRPO-Fast1）不同，Flash-GRPO 保持了稳定且单调的奖励增长。
性能：
- 在13 亿模型上，Flash-GRPO 在对比方法中取得了最高的美学质量（66.43）和主体一致性（98.70），优于 Flow-GRPO 和 Flow-GRPO-Fast1。
- 在140 亿模型上，Flash-GRPO 表现出一致的稳定性和单调增长，而 Flow-GRPO 则表现出收敛缓慢和不稳定。
- 定性改进：视觉比较显示，与原始基线相比，时间动态得到增强（减少闪烁），视觉保真度得到改善（细节更丰富），提示词遵循度更好。

意义与主张

本文主张 Flash-GRPO 解决了视频扩散模型中计算效率与对齐质量之间的根本权衡。通过解决单步优化的特定数学伪影（混淆方差和梯度缩放），该方法使得高质量视频 RL 对齐变得既实用又可扩展。作者断言，他们的方法使模型能够在低计算预算下运行，同时达到全轨迹训练的性能上限，使其成为大规模视频模型对齐的稳健替代方案。