🤖 machine learning

GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

本文揭示了 GRPO、Dr. GRPO 和 DAPO 并非三种不同的方法，而是同一个底层机制的三种特定配置：即二元奖励（binary rewards）的组标准差，它决定了训练更新的幅度，并决定了哪些问题能有效地对学习做出贡献。

原作者： Yong Yi Bay, Kathleen A. Yearick

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yong Yi Bay, Kathleen A. Yearick

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一名学生解决一道难题。你不是只问他一次，而是让他连续尝试八次。

如果他八次全错，你无法有效地教他，因为你还不清楚对他而言“正确”的答案是什么样子的。
如果他八次全对，你也无法教他太多，因为他已经掌握了；这里没有通过挣扎而产生的学习空间。
但如果他四对四错，那就是最完美的切入点。你可以指着对的部分说：“这样做，”指着错的部分说：“别那样做。”这种尝试之间的**分歧（disagreement）**正是创造学习信号的关键。

这篇论文题为《GRPO、Dr. GRPO 与 DAPO 是同一个数字的三种运算》，它论证了三种流行的 AI 训练方法实际上都是在处理这种特定的“分歧时刻”。

以下是使用简单类比进行的拆解：

“神奇数字”：标准差

论文关注的是从那八次尝试中计算出的一个特定数值：标准差。

你可以把这个数字看作是一个**“困惑度计（Confusion Meter）”**。
如果学生 8/8 全对或 0/8 全错，计数值为零。此时没有困惑，因此也就没有学习信号。
如果学生 4/8 对，计数值达到最大值。学生感到困惑，而这种困惑正是学习发生的地方。

论文证明，对于二元奖励（对/错）而言，这个“困惑度计”不仅仅是一个辅助工具；它本身就是课程的大小。

三种方法：调节旋钮的三种方式

论文表明，三种著名的 AI 训练方法只是同一个旋钮上的三种不同设置：

GRPO（放大器）：
- 它在做什么： 它将课程内容除以“困惑度计”。
- 类比： 想象一位老师说：“如果你很困惑（计数值高），我会大声地传达教导，确保你能听到。如果你不困惑（计数值低），我会轻声细语。”
- 结果： 这种方法极度偏向于最难和最容易的问题（即计数值高的题目），而忽略了那些“恰到好处”的问题。它创造了一种“难度偏差”，迫使 AI 密集地关注极端情况。
Dr. GRPO（平滑器）：
- 它在做什么： 它取消了除法操作。它完全忽略了“困惑度计”。
- 类比： 这位老师说：“无论你有多困惑，我都会以完全相同的音量传达教导。”
- 结果： AI 根据纯粹的成功率进行学习。它对待一个 50/50 的猜测和一个 90% 成功率的情况时，每单位进步所赋予的权重是相等的。它消除了第一种方法的“难度偏差”。
DAPO（过滤器）：
- 它在做什么： 它观察“困惑度计”。如果计数值为零（所有人全对或所有人全错），它会丢弃该组数据并要求学生重新尝试。
- 类比： 这位老师说：“如果你所有的答案都对或者都错，我不会在这上面浪费时间评分。我会让你尝试一组新的问题，直到你表现出一些困惑为止。”
- 结果： 它通过忽略那些无法提供教学信息的“沉默”组别，从而节省了计算资源。

重大发现：一个旋钮，三种设置

论文的核心观点是，这些并不是三种不同的发明。它们只是对同一个数字（即该组答案的标准差）进行的三种不同运算：

GRPO 对其进行除法。
Dr. GRPO 忽略它。
DAPO 过滤掉零值。

为什么这很重要（“组大小”法则）

论文还给出了一个关于你应该让学生尝试多少次（即“组大小/Group Size”）的实用规则。

规则： 题目越难，你就需要让学生尝试的次数越多。
类比： 如果一个问题是“抛硬币”（50% 的成功率），问 8 次通常就足够获得一次好的教导。但如果一个问题非常难（只有 5% 的成功率），问 8 次可能会导致 8 次全错，从而产生一个“沉默组”。你可能需要问 70 次，才能仅仅为了得到一个能让学生既有对也有错的组别，从而让你能够进行教学。

总结

这篇论文通过以下方式揭示了复杂的 AI 训练：

学习是通过分歧实现的。 如果一个 AI 组的所有成员达成了一致（全对或全错），他们就学不到任何东西。
“困惑度计”就是课程本身。 分歧的程度决定了学习信号的强度。
这三种方法只是使用该计数的不同方式。 一种进行放大，一种忽略它，另一种则跳过计数值失效的组别。

作者在海量数学题数据集和受控计算机模拟中测试了这些结论，证明了这些公式能够完美预测 AI 的学习程度以及取得成功所需的尝试次数。

技术摘要：RLVR 训练中的组标准差恒等式

问题陈述
在具有可验证奖励的强化学习（RLVR）中，训练语言模型进行推理通常涉及为单个提示词（prompt）采样多个候选答案（ $G$ ），并使用自动验证器分配二元奖励（正确为 1，错误为 0）。三种主流的处理奖励的方法——组相对策略优化（GRPO）、正确做法的 GRPO（Dr. GRPO）以及解耦裁剪与动态采样策略优化（DAPO）——似乎采用了不同的启发式方法。GRPO 通过组奖励的标准差对优势（advantage）进行归一化；Dr. GRPO 移除了这种归一化；DAPO 则丢弃所有答案达成一致（标准差为零）的组。本文旨在解决这些方法缺乏统一理论理解的问题，探讨它们是独立的修复方案，还是同一种底层机制的不同变体。

方法论与核心恒等式
本文隔离了针对具有有限组大小 $G$ 和二元奖励的单个提示词的训练更新过程。它推导出了一个对于单提示词策略梯度更新的精确数学恒等式，该恒等式与所使用的基准（baseline）无关。

令 $k$ 为大小为 $G$ 的组中的正确答案数量。组奖励的标准差为 $\sigma = \sqrt{k(G-k)/G}$ 。本文证明了组标准差恒等式：
$g = \sigma (\bar{s}_+ - \bar{s}_-)$
其中 $\bar{s}_+$ 和 $\bar{s}_-$ 分别是正确和错误样本的平均得分。

该恒等式揭示了训练更新的大小恰好等于组奖励的标准差。当组内意见一致时（ $k=0$ 或 $k=G$ ，即 $\sigma=0$ ），更新消失；当组内意见均匀分布时（ $k=G/2$ ），更新达到峰值。

方法的统一
本文证明了 GRPO、Dr. GRPO 和 DAPO 并非截然不同的算法，而是应用于这一单一标量数值（ $\sigma$ ）的三种不同操作：

GRPO：将优势除以 $\sigma$ 。这通过 $\sigma$ 对更新进行缩放，实际上是在优化一个方差稳定目标函数（ $2\arcsin\sqrt{p}$ ）。
Dr. GRPO：移除了对 $\sigma$ 的除法操作。这导致更新与 $\sigma^2$ 成正比，从而优化原始成功率（ $p$ ）。
DAPO：丢弃 $\sigma = 0$ 的组。这过滤掉了那些无法在正确与错误答案之间提供对比的“沉默”组。

核心贡献
本文提供了五个具体的理论与实证贡献：

精确有限组恒等式：本文建立了 GRPO 更新的精确形式，即对比得分方向由 $\sigma$ 缩放，该结论对任何有限 $G$ 和任何策略维度均有效，且不依赖于渐近极限。
组规模定律：本文推导出了一个闭式关系，用于确定实现目标保真度（ $\phi$ ）的大组梯度所需的样本量（ $G$ ）。所需的组规模与难度权重成平方反比关系： $G \gtrsim 1/(8\epsilon p(1-p))$ 。这意味着相比于中等难度的提示词，困难提示词（低 $p$ ）需要显著更大的组规模才能产生稳定的学习信号。
沉默组率：本文量化了组成为“沉默”组（即不产生梯度）的概率为 $P = p^G + (1-p)^G$ 。这解释了 DAPO 动态采样机制背后的原理，即通过过采样并丢弃这些特定的组。
精确刻画难度偏差：本文证明了 GRPO 中观察到的“难度偏差”（即容易和困难的提示词被过度加权）是 $1/\sigma$ 除法操作的直接结果。这种除法对应于反正弦变换的导数（ $\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$ ），它为极端难度分配了更高的边际权重。移除该除法操作（Dr. GRPO）则会回归到具有平坦难度权重的原始成功率目标。
实证验证：
- Big-Math 数据集：在包含 215,608 个问题的数据集上，本文展示了 GRPO 的标准化如何转移梯度预算，使其分配给极端难度提示词的份额几乎翻倍（从 13.9% $\to$ 24.7%），对比 Dr. GRPO。它还证实了在标准组大小（ $G=8$ ）下，44% 的提示词会产生沉默组，这与理论预测相符。
- 受控训练运行：通过 6,000 个伯努利-逻辑（Bernoulli-logit）提示词的复现实验确认，关于沉默组率和梯度质量分布的闭式预测能以高精度追踪实际训练动态（沉默组的 $R^2 = 0.999$ ）。

意义与主张
本文主张，通常被视为一种修饰性的归一化步骤，实际上是决定学习发生位置及强度的“旋钮”。

信号与噪声：组标准差不仅仅是一个归一化因子；它本身就是学习信号的大小。只有当采样的答案出现分歧时，提示词才会产生教学作用。
统一视角：这三种方法被统一为对同一个数字的操作。GRPO 选择通过分歧程度来放大信号；Dr. GRPO 选择忽略分歧程度；DAPO 选择忽略没有分歧的情况。
实践意义：研究结果表明，使用统一的组规模并非最优，因为这会导致对困难提示词（需要更大的 $G$ 以避免沉默）的供给不足，以及对中等难度提示词的供给过度。本文认为，理解精确的有限组核算，可以使从业者能够根据数据的具体难度分布，而非依赖渐近近似或启发式调优，来做出关于组规模和目标函数构建的明智选择。

本文总结道，这些结果并不需要新算法，而是源于对单个采样组的精确核算，从而为分析 RLVR 中的奖励塑造提供了一个闭式框架。

“神奇数字”：标准差

三种方法：调节旋钮的三种方式

重大发现：一个旋钮，三种设置

为什么这很重要（“组大小”法则）

总结

技术摘要：RLVR 训练中的组标准差恒等式

类似论文