Advances in GRPO for Generation Models: A Survey

本文综述了将组相对策略优化（GRPO）扩展至生成模型的 Flow-GRPO 框架，系统梳理了其在奖励设计、采样效率等算法层面的改进，以及在图像、视频、音频、3D 和具身智能等多模态生成任务中的应用进展，并展望了该通用对齐框架面临的挑战。

要点

这篇论文就像是一份**“生成式 AI 的驯兽师指南”**。

想象一下，现在的 AI（比如能画图、写视频、做 3D 模型的模型）就像是一群天赋异禀但有点“野”的艺术家。它们能画出很美的画，但经常画错东西（比如把猫画成狗，或者把文字画得乱七八糟）。我们需要一种方法，教会它们“人类喜欢什么”，让它们不仅画得快，还要画得“对”。

这篇论文综述的正是这种新方法：Flow-GRPO。

为了让你更容易理解，我们可以把整个过程拆解成几个生动的故事：

1. 核心问题：如何教 AI“听话”？

以前的 AI 训练就像**“填鸭式教学”**：老师给一堆标准答案，学生死记硬背。但这在画图、做视频这种需要创造力的领域行不通，因为标准答案太多了。

现在的做法是**“强化学习”**（就像训练小狗）：

• 旧方法（像教 LLM 大语言模型）： 让 AI 生成 10 个答案，然后给这 10 个答案打分，告诉它“选那个分最高的”。
• 新挑战（Flow-GRPO 的登场）： 以前的 AI 画一张图需要像**“剥洋葱”一样，一层一层去噪，这个过程是完全确定**的（就像按部就班的流水线）。如果 AI 每一步都按固定流程走，它就没有“随机性”去尝试新花样，训练起来就像在死胡同里打转。

Flow-GRPO 的绝招： 它给这个死板的流水线里**“加了点随机调料”**（把确定性方程变成了随机方程）。这就好比让 AI 在画画时，偶尔可以“脑洞大开”一下，尝试不同的笔触，然后看看哪种笔触最后画出来的图更受人类喜欢。

2. 主要突破：从“事后诸葛亮”到“步步为营”

这篇论文把最近的研究分成了两大块，我们可以用**“做菜”**来打比方：

第一块：怎么给 AI 打分？（方法论的改进）

以前，AI 画完一整张图，我们才给它打分（比如“这张图 8 分”）。这就好比厨师做完一桌菜，客人才说“咸了”。厨师根本不知道是哪一步盐放多了。

• 从“稀疏奖励”到“密集奖励”： 现在的研究（如 DenseGRPO）让 AI 在画画的每一步都能得到反馈。就像做菜时，每放一次盐，厨师都能尝一口，知道是“太淡了”还是“正好”。
• 怎么算功劳？（信用分配）： 如果最后菜很好吃，是切菜切得好，还是火候炒得好？以前的方法觉得大家功劳一样大。现在的研究（如 TreeGRPO）像**“侦探破案”**，通过构建“决策树”，精准地找出哪一步操作对最终结果贡献最大，给那一步多加点“奖金”。
• 防止“作弊”： 有些 AI 很狡猾，发现只要把颜色调得特别鲜艳就能拿高分，但画出来的东西其实很丑（这叫“奖励黑客”）。新的方法（如 DDRL）给 AI 上了“紧箍咒”，强迫它必须基于真实的数据分布来画，不能走捷径。

第二块：AI 能干什么？（应用场景的扩展）

Flow-GRPO 不仅仅能画图，它现在成了**“全能教练”**，训练 AI 做各种各样的事：

• 文字转图片 (T2I)： 以前 AI 画不出复杂的文字（比如“画一个写着‘你好’的苹果”），现在通过“思考后再画”（Reasoning-Augmented），AI 会先想好布局，再动笔，文字准确率飙升。
• 视频生成： 视频比图片难，因为要管“时间”。以前的 AI 画视频，第一帧是猫，第二帧猫就变成狗了。现在的技术（如 PhysRVG）引入了**“物理规则”**，让 AI 知道球落地会弹起来，不能穿墙，保证了动作的连贯和真实。
• 3D 和科学： 甚至能用来设计分子结构或晶体。AI 不再是瞎猜，而是根据物理定律（比如能量最低原理）去“生成”新的材料，帮助科学家发现新药。
• 机器人 (VLA)： 让机器人学会“看”和“做”。比如机器人看到杯子，不仅要识别出来，还要规划出“怎么伸手、怎么抓”的动作，而且动作要像人一样自然流畅。

3. 未来的方向：AI 的“进化论”

论文最后展望了未来，Flow-GRPO 正在从一个“修修补补”的工具，变成一个**“通用的大脑训练框架”**：

• 更聪明的推理： AI 不再只是“画”，而是先“想”。就像人类画家在动笔前会构思草图一样，AI 也开始学会在生成过程中进行“思维链”推理。
• 统一的大模型： 以前“看图”和“画图”是两门课，以后可能是一个模型既懂看又懂画，互相促进。
• 科学界的助手： 它不仅能画漂亮的图，还能帮科学家算复杂的物理公式，甚至设计新的药物分子。

总结

简单来说，这篇论文告诉我们：Flow-GRPO 就像是给 AI 艺术家装上了一套“实时反馈系统”和“逻辑思考大脑”。

它不再让 AI 盲目地试错，而是通过**“多步打分”、“精准归功”、“防止作弊”等技巧，让 AI 在生成图片、视频、3D 模型甚至科学数据时，既能保持创造力**，又能精准地符合人类的喜好和物理规律。这标志着 AI 从“只会模仿”向“真正理解并创造”迈出了重要的一步。

技术摘要

1. 研究背景与核心问题 (Problem)

尽管大规模流匹配模型在文本生成图像（T2I）、视频、3D 和语音合成等任务中取得了显著性能，但在对齐人类偏好和特定任务目标方面仍面临巨大挑战。

• 传统方法的局限：传统的基于策略梯度的强化学习（RL）方法（如 PPO）通常需要学习显式的价值函数（Critic），这在生成模型中计算成本高昂且训练不稳定。
• GRPO 的优势：GRPO 通过在一组候选样本中进行相对优势比较，无需显式价值函数，显著提高了训练稳定性。
• 应用到生成模型的难点：
  • 确定性采样：流匹配和扩散模型的采样过程通常由确定性常微分方程（ODE）控制，缺乏强化学习所需的随机探索（Stochasticity）。
  • 采样成本高：生成单张图像需要数十到数百步去噪，导致 Rollout（轨迹采样）成本远高于 LLM。
  • 信用分配（Credit Assignment）：奖励通常仅在生成结束（终端）时提供，难以确定中间去噪步骤的贡献。
  • 奖励黑客（Reward Hacking）：模型可能利用奖励模型的漏洞（如过度饱和、伪影）来提高分数，而非提升真实感知质量。
  • 模式坍塌（Mode Collapse）：过度优化可能导致生成结果多样性丧失，收敛到奖励模型偏好的狭窄模式。

2. 核心方法论 (Methodology)

该综述将现有工作分为两大维度：Flow-GRPO 基础框架的改进与跨模态/跨任务的扩展。

2.1 Flow-GRPO 基础框架的改进 (Advances beyond Flow-GRPO)

• 奖励信号设计（Reward Signal Design）：
  • 从稀疏奖励（仅在终端）转向稠密奖励（Step-level）。例如，DenseGRPO 利用 ODE 预测中间清洁样本计算增量奖励；Euphonium 将过程奖励模型的梯度直接注入 SDE 漂移项。
• 信用分配（Credit Assignment）：
  • 从轨迹级分配细化到步骤级/块级。TreeGRPO 将去噪重构为搜索树，通过兄弟节点奖励差异分配信用；Chunk-GRPO 将连续步骤分组优化以降低方差。
• 采样效率与加速（Sampling Efficiency）：
  • 针对 ODE/SDE 转换带来的计算瓶颈。MixGRPO 采用滑动窗口策略（仅在部分步骤使用 SDE）；DiffusionNFT 和 AWM 提出在正向加噪过程或加权流匹配损失上进行 RL，避免了昂贵的 SDE Rollout，实现了 20-25 倍加速。
• 多样性保持（Diversity Preservation）：
  • 解决奖励诱导的模式坍塌。DiverseGRPO 引入基于语义聚类的探索奖励；OSCAR 在生成流正交方向注入随机扰动，在不降低质量的前提下增加多样性。
• 奖励黑客缓解（Reward Hacking Mitigation）：
  • 通过数据正则化（DDRL）、不确定性感知惩罚（GARDO）以及改进采样器设计（CPS）来防止模型利用奖励漏洞。
• 采样策略（ODE vs. SDE）：
  • 探讨了纯 ODE（高效但缺乏探索）与 SDE（探索强但含噪）的平衡。Neighbor GRPO 证明仅通过初始噪声扰动即可在纯 ODE 框架下实现多样性。

2.2 生成任务的扩展 (Extensions to Generative Tasks)

• 文本生成图像（T2I）：引入了推理增强（如 Think-Then-Generate）、多目标对齐（APEX）、文本渲染优化及身份保持（Multi-subject）等策略。
• 视频生成（Video）：解决了时间一致性、运动自然度和身份保持问题。PhysRVG 利用物理引擎作为可验证奖励；TAGRPO 利用记忆库进行对比学习。
• 图像编辑：结合思维链（CoT）推理进行编辑指令理解，引入稠密奖励和注意力控制以平衡编辑准确性与区域保持。
• 语音与音频：FlowSE-GRPO 将 GRPO 应用于连续时间信号，平衡 PESQ、STOI 等多指标。
• 3D 生成与科学应用：利用分层优化（从全局形状到局部纹理）和跨维度奖励转移（2D 奖励指导 3D 生成）；应用于晶体结构预测和分子力场计算。
• 具身智能（VLA）：将流匹配策略用于机器人控制，解决连续高维动作空间的实时交互问题。
• 统一多模态模型：在单一架构中联合优化理解（编码）与生成（解码），利用 Unified-GRPO 实现双向增强。
• 自回归与掩码扩散模型：将 GRPO 扩展至 Token 级优化和离散空间，处理非可微分 Token 空间的引导问题。

3. 关键贡献 (Key Contributions)

1. 系统性综述：首次全面梳理了 Flow-GRPO 及其衍生方法，涵盖了从理论改进（奖励设计、信用分配）到广泛应用场景（T2I, Video, 3D, VLA, Science）的 200 多篇论文。
2. 理论突破：
   • 证明了通过引入适当的漂移和扩散项，随机过程在期望上等价于原始 ODE。
   • 揭示了 SDE 训练与 ODE 推理之间的奖励差距理论，指出高随机性训练可提升低随机性推理的质量。
   • 提出了 ELBO 似然估计器在 RL 微调中的主导地位，证明了其优于逐步对数似然。
3. 方法论创新：
   • 提出了多种解决稀疏奖励和信用分配的新范式（如树搜索、过程梯度注入）。
   • 设计了无需 SDE Rollout 的高效训练算法（如 DiffusionNFT, AWM, DGPO），大幅降低了计算成本。
   • 开发了针对多样性保持和奖励黑客的专用正则化技术。
4. 性能提升：
   • 在 GenEval 等基准测试中，Flow-GRPO 将文本渲染准确率从 63% 提升至 95%。
   • 部分方法（如 AWM, DGPO）实现了 20-25 倍的训练加速，同时保持或超越了对齐质量。
   • 在视频生成、3D 重建和科学模拟等复杂任务中实现了前所未有的对齐效果。

4. 实验结果与性能 (Results)

• 基准测试：在 PickScore, HPS v2.1, GenEval, ImageReward 等主流基准上，改进后的 Flow-GRPO 方法普遍达到了 SOTA（State-of-the-Art）水平。例如，DenseGRPO 在 GenEval 上达到 0.74，VGPO 在多个指标上领先。
• 效率提升：通过混合 ODE/SDE 采样、正向过程 RL 和直接偏好优化，训练时间减少了 50% 至 95%（如 MixGRPO-Flash 减少 71%，DiffusionNFT 加速 25 倍）。
• 多样性与稳定性：DiverseGRPO 将 Vendi 多样性分数提高了 13%-18%；DDRL 和 GRPO-Guard 有效防止了大规模训练中的奖励黑客和模式坍塌。
• 跨模态表现：在视频生成（如 Seedance 系列）、3D 生成（Hi-GRPO）和具身智能（ProphRL）中，Flow-GRPO 展现了强大的泛化能力，解决了传统方法难以处理的时间一致性和物理约束问题。

5. 意义与未来展望 (Significance & Future Outlook)

• 通用对齐框架：Flow-GRPO 已从一个特定的对齐技术演变为现代生成模型的通用强化学习对齐框架，适用于连续、离散、多模态及物理约束系统。
• 理论指导实践：该领域正在从经验性尝试转向理论驱动，明确了 SDE/ODE 转换、奖励稀疏性处理及信用分配的理论边界。
• 未来挑战：
  • 大规模扩展：需要在 >100 亿参数模型上验证其稳定性和可扩展性。
  • 长序列对齐：视频和长文本生成中的时间信用分配仍需改进。
  • 多目标权衡：如何在多个冲突的奖励维度（如质量、多样性、安全性）之间实现帕累托最优。
  • 推理时对齐：探索无需重新训练即可适应不同用户偏好的推理时调整机制。
  • 科学应用：进一步拓展至物理、化学等科学发现领域，利用 RL 引导生成符合物理定律的结构。

总结：这篇综述表明，Flow-GRPO 通过解决生成模型特有的采样、奖励分配和多样性挑战，已成为连接基础生成模型与人类偏好/复杂任务目标的关键桥梁，推动了生成式 AI 向更可控、更高效、更智能的方向发展。