💻 computer science

OP-GRPO: Efficient Off-Policy GRPO for Flow-Matching Models

本文提出了 OP-GRPO，这是首个针对流匹配模型的离线 GRPO 框架，通过引入高质量轨迹回放、序列级重要性采样校正以及晚步截断策略，有效解决了传统在线 GRPO 样本效率低的问题，在图像和视频生成任务中以仅约 34.2% 的训练步数实现了与 Flow-GRPO 相当甚至更优的性能。

原作者： Liyu Zhang, Kehan Li, Tingrui Han, Tao Zhao, Yuxuan Sheng, Shibo He, Chao Li

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Liyu Zhang, Kehan Li, Tingrui Han, Tao Zhao, Yuxuan Sheng, Shibo He, Chao Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 OP-GRPO 的新方法，它能让 AI 画图（生成图像和视频）变得更快、更聪明，而且更“省料”。

为了让你轻松理解，我们可以把训练 AI 画师的过程想象成教一个学徒画画。

1. 背景：以前的方法太“浪费”了

以前的方法（叫 Flow-GRPO）就像是一个极其严格的老师，但他有个坏习惯：

只教新课，不复习旧课：老师让学徒画一张画，画完立刻打分。如果画得好，老师就记下“这次画得好”；如果画得不好，就扔进垃圾桶。
用完即弃：第二天，老师又让学徒重新画，哪怕昨天那张画里有一笔特别精彩，因为那是“昨天”画的，今天就不许用了。
结果：学徒进步很慢，因为老师总是让他从零开始，浪费了无数张已经画了一半的好画。而且，如果任务太难（比如画复杂的文字），学徒经常画不出东西，老师就得不到任何反馈，教学就卡住了。

2. 核心创新：OP-GRPO 的“三个法宝”

OP-GRPO 给这个教学系统加了三个聪明的机制，让学徒能利用过去的经验，快速升级。

法宝一：建立“优秀作业库”（Replay Buffer）

比喻：老师不再把画完的画直接扔了，而是建了一个**“荣誉墙”**。
做法：每次学徒画完，老师挑出画得最好的那几张贴在墙上。下次上课，老师不仅让学徒画新画，还会从墙上摘几张以前的“神作”拿出来，让学徒参考，甚至直接作为今天的作业素材。
好处：好画不再浪费，学徒可以反复学习那些成功的技巧，进步速度大大加快。

法宝二：聪明的“翻译官”（Sequence-level Importance Sampling）

问题：墙上的画是“昨天”画的（旧策略），今天的画是“现在”画的（新策略）。直接拿旧画来教，可能会让学徒困惑：“老师，这画的是昨天的风格，为什么让我按今天的标准改？”这会导致教学混乱（分布偏移）。
比喻：OP-GRPO 请了一位**“翻译官”**。
做法：当老师用墙上的旧画教学时，翻译官会告诉学徒：“虽然这张画是昨天画的，但我们要把它‘翻译’成今天的标准。如果昨天的画和今天的标准差别太大，我们就只参考它，不强行修改；如果差别不大，我们就好好利用它。”
好处：既利用了旧画，又不会让学徒学偏，保证了学习过程稳定不乱套。

法宝三：只学“精华部分”（Trajectory Truncation）

问题：AI 画画是一个从“一团乱麻”（全是噪点）慢慢变成“清晰图像”的过程。
- 前期：从乱麻到大概轮廓，这时候变化很大，有很多可以学的。
- 后期：从轮廓到最后的细节（比如头发丝、文字笔画），这时候画面已经非常清晰了，几乎不需要怎么改。这时候如果强行用旧画来对比，数据会变得非常不稳定，像是一个精密的仪器被强行扭曲，容易出错。
比喻：这就像修车。
- 在修车的大框架（换引擎、修底盘）时，我们可以参考旧车的维修记录。
- 但在最后抛光打蜡（最后几步）时，每辆车的情况都太特殊了，旧记录不仅没用，还可能误导你。
做法：OP-GRPO 决定，只利用旧画的前半段（从乱麻到轮廓），后半段（最后几步）让学徒自己重新画。
好处：避开了最不稳定、最容易出错的环节，让训练过程既快又稳。

3. 最终效果：事半功倍

通过这三个法宝，OP-GRPO 取得了惊人的效果：

效率翻倍：以前 Flow-GRPO 需要走 100 步才能达到的水平，OP-GRPO 只需要走 34 步（大约 1/3 的时间）。
质量更高：不仅画得快，画出来的图在文字识别、物体数量控制、人类审美偏好等方面，都比以前的方法更好。
适用广：无论是画静态图片，还是生成复杂的视频，这个方法都管用。

总结

简单来说，OP-GRPO 就是给 AI 画师配了一个**“会存作业、会翻译旧经验、知道何时该放手”**的超级助教。它不再让 AI 重复造轮子，而是让 AI 站在过去的肩膀上，用更少的时间，画出更完美的作品。

1. 研究背景与问题 (Problem)

背景：
基于流匹配（Flow-Matching）的生成模型（如 Stable Diffusion 3.5, Wan 等）在图像和视频生成领域取得了显著进展。为了进一步提升生成质量并与人类偏好对齐，研究者引入了基于组相对策略优化（GRPO）的强化学习方法。

核心痛点：
现有的基于 GRPO 的流匹配对齐方法（如 Flow-GRPO）存在严重的样本效率低下问题，主要源于以下两点：

严格的原策略（On-Policy）范式： 传统的 GRPO 要求在每个策略迭代中重新采样轨迹，并在迭代结束后丢弃。这意味着高质量样本无法被复用，导致计算资源浪费，且采样过程本身占据了巨大的计算成本。
奖励退化与梯度消失： 当任务难度较大时，模型难以生成成功轨迹，导致奖励信号趋近于零，优势函数（Advantage）崩溃，梯度信号消失，训练停滞。

挑战：
直接将离线策略（Off-Policy）学习引入流匹配 GRPO 面临巨大挑战：

分布偏移（Distribution Shift）： 复用旧策略生成的轨迹会导致数据分布与当前学习策略不一致，破坏 GRPO 的截断（Clipping）机制，导致训练不稳定。
数值不稳定性： 在去噪过程的后期（低噪声区域），条件数据分布高度集中，导致重要性采样权重（Importance Weights）出现病态（Ill-conditioned），引发数值爆炸或不稳定。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 OP-GRPO，这是首个专为流匹配模型设计的离线策略 GRPO 框架。其核心包含三个关键技术组件：

2.1 高质量回放缓冲区 (High-quality Replay Buffer)

机制： 维护一个缓冲区 $B_{off}$ 来存储历史轨迹。
筛选策略： 采用基于奖励的替换策略。对于每个提示词（Prompt），只保留奖励最高的轨迹。如果新轨迹的奖励高于缓冲区中同提示词下的最低奖励轨迹，则进行替换。
多样性约束： 每个提示词在缓冲区中最多保留一条轨迹，防止缓冲区坍缩为重复样本。
时效性衰减： 对缓冲区中的轨迹奖励应用步数衰减（Stepwise decay），使得旧样本更容易被替换，确保缓冲区主要包含接近当前策略的高质量样本。
混合采样： 在 Rollout 阶段，大部分提示词来自原始数据集，小部分来自缓冲区。对于来自缓冲区的提示词，仅生成 $G-1$ 条新轨迹，第 $G$ 条直接从缓冲区复用。

2.2 序列级重要性采样校正 (Sequence-level Importance Sampling Correction)

问题： 直接应用标准 GRPO 公式会导致截断机制失效。因为截断项原本是为了限制当前策略 $p_\theta$ 相对于初始策略 $p_{old}$ 的更新幅度，若直接修正分布偏移，会导致 $p_{old}$ 项抵消，截断变成相对于旧策略 $p_{off}$ 的比较，引发大量样本被截断（实验显示超过 40%）。
解决方案： 提出一种序列级校正项。
- 保留原始的每一步重要性采样比率 $r_t(\theta)$ ，确保截断机制依然针对 $p_{old}$ 生效，防止更新过大。
- 引入一个序列级的校正系数 $\frac{P_{\pi_{old}}(\tau)}{P_{\pi_{off}}(\tau)}$ 来补偿分布偏移。
效果： 这种设计使得只有当更新幅度适中（未被截断）时，校正项才生效，从而在保持训练稳定性的同时有效利用离线数据。实验表明，该方法将离线样本的截断率从 40% 以上降低至 11.8%。

2.3 轨迹截断策略 (Trajectory Truncation)

理论发现： 随着去噪步数接近终点（噪声 $\sigma \to 0$ ），流匹配模型的转移分布变得近乎确定性，导致对数概率（Log-probability）数值剧烈变化，重要性权重出现病态。
策略： 对离线轨迹进行截断。仅使用离线策略生成的前 $t_{off}$ 步轨迹，剩余的去噪步骤由当前策略重新生成。
原理： 去噪后期步骤对最终生成质量的感知影响较小，但却是数值不稳定的主要来源。截断这些步骤消除了病态项，稳定了优化过程。

3. 主要贡献 (Key Contributions)

首个框架： 提出了 OP-GRPO，这是第一个针对流匹配模型的离线策略 GRPO 框架，打破了流匹配模型只能进行原策略训练的限制。
高效样本利用： 通过引入高质量回放缓冲区和混合采样机制，显著提高了样本利用率，解决了原策略方法中高质量样本被丢弃的问题。
稳定的分布校正： 设计了序列级重要性采样校正，在保留 GRPO 截断机制安全性的前提下，有效解决了分布偏移问题，大幅减少了无效截断。
数值稳定性保障： 理论分析和实验证明了去噪后期步骤的数值不稳定性，并提出了轨迹截断策略作为解决方案。
性能提升： 在图像和视频生成基准测试中，OP-GRPO 仅需 34.2% 的训练步数即可达到甚至超越 Flow-GRPO 的最终性能。

4. 实验结果 (Results)

实验在 SD3.5-M（图像生成）和 Wan2.1-1.4B（视频生成）模型上进行了评估，涵盖三个任务：组合图像生成、视觉文本渲染、人类偏好对齐。

训练效率：
- OP-GRPO 达到 Flow-GRPO 最终性能所需的训练步数平均仅为 34.2%。
- 在视频生成任务中，这一比例甚至低至 30.1%。
生成质量：
- 组合图像生成： 在 GenEval 等指标上，OP-GRPO 在中间训练阶段即表现出显著优势，最终性能略优于或持平于 Flow-GRPO。
- 视觉文本渲染： 文本的可读性和准确性更高。
- 人类偏好对齐： 在 PickScore 和 ImageReward 等指标上表现更佳。
泛化能力：
- 在未见过的基准测试（如 T2I-CompBench++）上，OP-GRPO 训练出的模型表现出更强的泛化能力，未出现针对特定奖励函数的过拟合。
消融实验：
- 移除序列校正项会导致训练发散。
- 移除轨迹截断会导致数值不稳定。
- 离线样本比例过高（如 25%）虽加速收敛但增加不稳定性，需根据任务调整（实验显示适中比例效果最佳）。

5. 意义与价值 (Significance)

降低训练成本： 对于计算昂贵的流匹配大模型（如 SD3.5, Wan），OP-GRPO 能够将强化学习微调（RLHF/RLAIF）的训练成本降低约 65%，极大地提升了大规模模型对齐的可行性。
解决训练瓶颈： 有效解决了复杂任务中因奖励稀疏导致的训练停滞问题，通过复用高质量轨迹，使模型能持续从少量成功样本中学习。
理论创新： 揭示了流匹配模型在去噪后期存在数值病态问题，并提出了针对性的截断策略，为后续流匹配模型的优化提供了新的理论视角。
通用性潜力： 虽然目前主要应用于图像和视频，但其提出的离线策略框架和校正机制为音频、3D 生成等其他流匹配领域提供了重要的参考范式。

总结： OP-GRPO 通过巧妙的“回放 + 校正 + 截断”组合拳，成功将离线策略学习引入流匹配模型的强化学习微调中，在保持生成质量的同时实现了训练效率的飞跃，是流匹配模型对齐领域的一项重要突破。