📊 statistics

dFlowGRPO: Rate-Aware Policy Optimization for Discrete Flow Models

本文介绍了 dFlowGRPO，这是一个统一的强化学习框架，通过将去噪过程构建为马尔可夫决策过程，将 GRPO 风格的优化扩展至通用离散流模型，并在文本到图像生成和多模态理解方面展现出优于现有方法的性能。

原作者： Zhengyan Wan, Yidong Ouyang, Panwen Hu, Qiang Sun

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhengyan Wan, Yidong Ouyang, Panwen Hu, Qiang Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人画画或回答问题。通常，我们通过向机器人展示数百万个示例，并让它一次一个微小步骤地猜测下一步来训练它。这就像一位画家一笔接一笔地作画，等待颜料干透后再添加下一笔。

但有一种更新、更快的方法叫做离散流模型（Discrete Flow Models, DFMs）。这些模型不是像画笔那样一笔一划地作画，而是从一个混乱、杂乱的初始状态（就像一袋混合打乱的拼图碎片）开始，试图一次性将其“解乱”成清晰的图像或正确的答案。它们通过许多小步骤来清除噪声，从而实现这一过程。

然而，就像一个学生靠运气猜对答案一样，这些模型有时需要一位更好的老师来学习如何持续地获得正确答案。这就是**强化学习（Reinforcement Learning, RL）**发挥作用的地方。它就像一位教练，在机器人完成绘画后给出评分：“眼睛画得不错，但鼻子错了。”

问题：“一刀切”的教练

此前，研究人员尝试使用强化学习来指导这些“解乱”机器人，但他们主要专注于一种非常特定的机器人类型（称为dLLMs），其工作方式类似于简单的“掩码”游戏（隐藏图像的某些部分并进行猜测）。

问题在于，更新、更灵活的机器人（通用 DFMs）工作方式不同。它们不仅仅是隐藏碎片；它们使用复杂的规则来决定如何从混乱状态过渡到清晰状态。旧的教练方法无法理解这些复杂规则，因此无法提供有效的反馈。这就像试图用跳棋的规则来指导国际象棋选手。

解决方案：dFlowGRPO（“速率感知”教练）

本文的作者引入了dFlowGRPO。你可以将其理解为一位超级聪明的教练，它懂得这些机器人如何“解乱”数据的具体“物理机制”。

以下是其工作原理，使用一个简单的类比：

“速率”是限速：想象机器人正驾驶一辆车，从混乱的城市（噪声）驶向干净的城市（答案）。“转移速率”就是每个路口的限速和交通规则。有些道路快，有些道路慢。
“后验”是 GPS：这是机器人对目的地当前位置的猜测。
旧教练：只关注最终目的地。“你到了，干得好！”它并不关心机器人是否走了危险的捷径或是否遵守了规则。
dFlowGRPO 教练：同时查看GPS（机器人的猜测）和限速（转移速率）。它根据道路规则，精确计算出机器人采取该路径的可能性有多大。

通过结合这两条信息，dFlowGRPO 可以告诉机器人：“你得到了正确答案，但你走了一条统计上极不寻常的奇怪路径。下次请走主干道。”这为机器人提供了更清晰的改进指令。

他们测试了什么

作者在一个名为FUDOKI的机器人上测试了这种新的教练方法，该机器人擅长两件事：

绘画：将文字描述转化为图像。
理解世界：回答关于图像的问题（例如科学测验）。

结果：

绘画：当使用 dFlowGRPO 指导 FUDOKI 时，机器人的绘画能力显著提高。在检查图像是否与描述匹配（例如“一只猫坐在垫子上”）的测试中，它的得分更高。它从“尚可”的分数提升到了“优秀”的分数，且没有作弊或死记硬背测试答案。
理解：当将其用于科学问题时，机器人的准确率大幅提升。它从答对约 75% 的问题跃升至超过 81%。
对比：他们将这种新教练与其他方法进行了比较。旧方法要么不稳定（机器人会困惑并停止学习），要么提升幅度不大。dFlowGRPO 是最稳定且最有效的方法。

核心结论

本文提出了一种新的、统一的训练方法，用于训练灵活的“解乱”AI 模型。通过创建一个能够理解这些模型如何从混乱过渡到秩序的具体规则（速率）的教练系统，作者使模型在生成图像和理解复杂问题方面都取得了显著进步。他们证明，当你根据 AI 的具体机制给予其正确类型的反馈时，它学习得更快，表现也更好。

技术摘要：dFlowGRPO

问题陈述

离散流模型（DFMs）代表了一类灵活的离散数据生成模型，通过支持通用概率路径和非掩码源分布，提供了比离散扩散大语言模型（dLLMs）更广阔的设计空间。虽然强化学习（RL）已成功应用于 dLLMs 以提升生成质量，但现有方法在扩展至通用 DFM 时面临重大挑战。主要障碍在于难以估计 DFM 的对数似然，其无法像自回归模型那样自然分解。当前针对 dLLMs 的 RL 方法依赖于近似（例如平均场或基于 ELBO 的方法），这些方法往往未能充分考虑通用 DFM 固有的特定条件转移速率和后验动态。因此，目前缺乏一个统一的 RL 框架，能够有效利用 DFM 的完整轨迹信息，包括条件转移速率和后验模型。

方法论

作者提出了 dFlowGRPO（Discrete Flow-GRPO），这是一个专为 DFM 设计的统一速率感知策略优化框架。该方法论通过以下关键步骤进行：

MDP 形式化：将 DFM 的去噪过程形式化为马尔可夫决策过程（MDP），其中状态包含当前 token 序列和时间步，动作是转移到下一个状态。
轨迹概率推导：核心理论贡献是利用欧拉采样器推导了 DFM 的完整轨迹概率。作者证明，当前策略与旧策略之间的转移概率比率可以表示为 token 级期望后验比率的乘积，并由一个速率相关项进行重加权。
- 具体而言，比率 $r_k(\theta)$ 推导如下：
  $r_k(\theta) = \prod_{d \in [D]} \mathbb{E}_{X^d_1 \sim p^{\theta_{old}}_{1|t_k}} \left[ w^{\theta_{old}, d}_{Q,k} \cdot \frac{p^\theta_{1|t_k}(X^d_1|x_{t_k})}{p^{\theta_{old}}_{1|t_k}(X^d_1|x_{t_k})} \right]$
- 此处， $w^{\theta_{old}, d}_{Q,k}$ 是由条件转移速率导出的速率相关权重，第二项为后验比率。
高效估计：该框架允许利用来自后验模型的蒙特卡洛（MC）样本来估计此转移概率比率，而无需额外的前向传播。这使得将条件转移速率和后验模型的信息纳入 RL 目标成为可能。
优化目标：基于 GRPO（Group Relative Policy Optimization）框架，dFlowGRPO 使用一个截断目标来优化策略，该目标结合了推导出的转移概率比率和组归一化优势估计量。目标函数包含一个 KL 正则化项以防止策略崩溃。

主要贡献

本文概述了三个主要贡献：

统一框架：提出了 dFlowGRPO，这是一个针对 DFM 的统一速率感知策略优化框架，通过利用条件速率和后验模型的信息，支持通用概率路径和条件速率。
理论推导：推导了去噪轨迹的转移概率比率，表明其可分解为由速率相关项重加权的 token 级期望后验比率的乘积。该被证明可通过 MC 样本进行估计，无需额外前向传播。
实证验证：将 dFlowGRPO 应用于多模态 DFM（FUDOKI），证明了与现有 RL 方法相比，在文本到图像生成和多模态理解任务上均取得了显著改进。

实验结果

作者使用 FUDOKI 作为基础模型，在两个领域评估了 dFlowGRPO：

文本到图像生成：
- 在 GenEval、PickScore 和 DrawBench 上进行了评估。
- 在无分类器引导（CFG）的情况下，dFlowGRPO 将 FUDOKI 的 PickScore 从 20.87 提升至 23.00，GenEval 分数从 61% 提升至 93%。
- 在 GenEval 基准测试中，dFlowGRPO 取得了 0.93 的总分，优于其他统一多模态模型，并达到或超过了专用生成模型的水平，尽管其使用的去噪步数较少（8 NFEs）且未使用 CFG。
- 该方法表现出对奖励黑客攻击的鲁棒性，在多个指标（HPSv3、美学分数等）上均有一致的改进。
多模态理解：
- 在 ScienceQA、POPE、MME-P、SEED、MMB 和 GQA 上进行了评估。
- 在 ScienceQA 上，dFlowGRPO 将准确率从 75.1% 提升至 81.1%（使用 LLM 提取）以及从 54.1% 提升至 59.1%（未使用 LLM 提取），且奖励黑客攻击极少。
- 在 GQA、SEED 和 MMB 基准测试上也观察到了性能提升。
消融研究：
- MC 样本：增加 MC 样本数量（从 $n=1$ 到 $n=24$ ）加速了训练收敛并提高了最终奖励。
- KL 正则化：虽然在不使用 KL 正则化的情况下训练可获得高奖励，但添加 KL 正则化（ $\beta=0.01$ ）显著减轻了奖励黑客攻击并提高了辅助指标的性能。
- 对比：dFlowGRPO 始终优于平均场近似方法（diffu-GRPO, diffu-GSPO）和在线 DPO 变体，后者被发现对通用概率路径而言稳定性较差或效果不佳。

意义与主张

本文主张 dFlowGRPO 为将强化学习应用于通用离散流模型提供了一个统一且有效的解决方案，解决了以往方法局限于特定 dLLM 配置或依赖不准确近似的问题。通过推导精确的转移概率比率并纳入速率相关权重，该框架充分利用了 DFM 的完整结构信息。

作者将 dFlowGRPO 定位为在使离散流模型与人类偏好及特定任务目标对齐方面迈出的重要一步，证明了 RL 可以成功应用于比掩码扩散模型更广泛的 DFM 类别。结果表明，dFlowGRPO 实现了与使用 Flow-GRPO 训练的基于连续流的模型相竞争的性能，同时保持了强大的理解任务能力。本文谦逊地指出，目前的评估仅限于单个 DFM（FUDOKI），并建议未来的工作可以探索将这些速率感知技术应用于具有其他条件速率的其他 dLLMs。