🤖 machine learning

F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare

该论文提出了 F-GRPO，这是一种难度感知的强化学习方法，通过降低高成功更新的权重，缓解了基于标准分组的算法倾向于过拟合常见解决方案而忽视罕见正确轨迹的问题，从而在不增加计算成本的情况下显著提升了多种基线模型上的数学推理性能。

原作者： Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《F-GRPO：别让策略学会显而易见的东西而遗忘罕见情况》的通俗解释，辅以生动的类比。

大局观：“小组学习”问题

想象一下，你正在教一名学生（一个 AI 模型）如何解决一道难题。为了帮助他们学习，你不仅仅展示一个答案；你要求他们同时生成八个不同的尝试（一个“小组”）。然后，你查看这八个尝试，进行比较，并告诉学生：“嘿，你大部分答案都错了，但这个是对的。让我们让你下次更有可能做出这个答案。”

这种方法被称为组相对策略优化（Group-Relative Policy Optimization, GRPO）。它就像一个学习小组，老师仅根据小组实际产生的内容给予反馈。

问题所在：
论文指出，如果你的学习小组太小，你可能根本看不到正确答案。但如果小组大小“刚刚好”（不太小，也不巨大），就会发生一件奇怪的事情：

小组确实找到了正确答案。
老师说：“那个做得好！”
学生因为那一个特定的正确答案而兴奋不已，以至于停止尝试寻找解决该问题的其他方法。他们变得痴迷于那个单一解决方案，而忘记了所有其他有效的途径。

在 AI 世界中，这被称为分布锐化（Distribution Sharpening）。AI 变得非常擅长找到一个常见答案，却失去了寻找罕见、创造性或困难答案的能力。这就像一个学生死记硬背了最常见考题的答案，但当老师提出一个棘手、不寻常的问题时，却完全不及格。

核心发现：“金发姑娘”陷阱

作者通过数学证明，这种“遗忘”现象最常发生在小组规模为中等时。

极小组（规模 2）： 小组往往无法找到任何正确答案。老师说：“这次什么都没成功，”所以学生不会太改变习惯。他们保持安全和多样化，但学不到太多东西。
极大组（规模 128 以上）： 小组找到了所有可能的正确答案，包括罕见的那些。老师说：“看，你找到了常见的那个，也找到了罕见的那个！”学生学到了所有内容。但这在计算机上执行成本太高（花费太多金钱和时间）。
中组（规模 8-16）： 这就是陷阱。小组找到了常见的正确答案（所以老师给予了反馈），但错过了罕见的正确答案。学生心想：“常见答案才是唯一重要的，”于是他们停止探索罕见答案。

类比：
想象你在一个装有 1000 枚硬币的罐子里寻找一枚特定的稀有硬币。

如果你抓2 枚硬币，你可能找不到那枚稀有的。你什么也没学到。
如果你抓500 枚硬币，你肯定会找到那枚稀有的。你学到了所有东西。
如果你抓10 枚硬币，你可能会找到常见硬币，但错过了稀有硬币。于是你得出结论：“稀有硬币不存在，”并停止寻找它。

解决方案：F-GRPO（“难度感知”教练）

作者提出了一种名为F-GRPO的修复方案。他们意识到，当一个小组找到许多正确答案时，AI 会变得过于自信，并开始忽略罕见答案。

因此，他们受一种称为Focal Loss的技术启发，添加了一个“难度权重”。

工作原理：

旧方法： 如果小组在 8 次尝试中找到了 5 个正确答案，老师会给出一个巨大的“击掌”，并告诉 AI 重点关注这些答案。
新方法（F-GRPO）： 老师看着小组说：“哇，你们找到了 5 个正确答案！这对你们来说现在很容易。我要调低这个反馈的音量。”
- 如果小组找到很少的正确答案（这是一场艰难的挣扎），老师将音量调高，说：“这很难，请密切关注什么奏效了！”
- 如果小组找到很多的正确答案（这很容易），老师将音量调低，这样 AI 就不会对显而易见的解决方案过于痴迷。

结果：
通过调低“容易”小组的音量，AI 被迫继续探索。它不会因为找到了一个简单的答案就停止寻找罕见、困难的解决方案。

实验结果

该团队在几个 AI 模型（如 Qwen 和 Llama）上，使用数学问题和逻辑谜题测试了这种方法。

“罕见”测试： 他们检查了如果给 AI 256 次尝试（而不是仅仅 1 次），它能找到任何正确答案的能力。
- 没有修复： 随着 AI 在简单答案上变得更好，它找到罕见答案的能力下降了。
- 使用 F-GRPO： 即使 AI 在简单答案上变得更好，它找到罕见答案的能力依然保持高位。
“迷宫”测试： 他们使用了一个只有一条正确路径的迷宫。即使在这种简单的情况下，旧方法也会让 AI 在早期运气好时忘记路径。而 F-GRPO 让 AI 保持了正确的方向。
效率： 他们无需增加小组规模就取得了这些结果。他们不需要让 AI 生成 100 个答案；他们只需要改变如何听取它已经生成的 8 个答案。

总结

论文指出：“别让你们的 AI 对显而易见的答案感到过于舒适。”

当 AI 从一组尝试中学习时，如果小组规模中等，它往往会遗忘罕见、困难的解决方案。作者通过创建一个“音量旋钮”（F-GRPO）解决了这个问题，该旋钮降低了那些容易且高成功率小组的重要性。这迫使 AI 继续探索，并确保它不会失去解决困难、罕见问题的能力。

技术摘要：F-GRPO：不要让策略习得显而易见的内容而遗忘罕见情况

问题陈述

带有可验证奖励的强化学习（RLVR）已成为在推理任务上对大语言模型（LLM）进行后训练的标准范式。然而，越来越多的证据表明，RLVR 往往会使输出分布向基础模型已能获取的解决方案锐化，从而可能通过缩小解决方案的多样性，降低如 pass@k（其中 k 较大）等指标的性能。

大多数现代 RLVR 系统（例如 Group Relative Policy Optimization，GRPO）依赖组采样（每个提示生成 $N$ 个响应）来估计优势。虽然小样本组（ $N=2$ ）计算效率高，而大样本组能提供广泛的覆盖，但实际约束通常将 $N$ 限制在中等规模（例如 $N=8$ ）。该论文指出了理解这些有限组大小如何影响优化动态方面的一个关键空白。具体而言，它提出中等组大小可能会造成一种“尾部遗漏”（tail-miss）机制，在这种机制下，更新是活跃的（混合奖励），但未能采样到罕见的正确轨迹，导致概率质量集中在常见的、已采样的解决方案上，同时抑制了未采样的正确行为。

方法论

理论分析

作者推导了尾部遗漏事件（ $B_{E,N}(x)$ ）的概率，定义为一种活跃更新（即组中同时包含正确和不正确的 rollout），但未能采样到特定的低概率正确子集 $E_x$ 。

非单调行为：该事件发生的概率相对于组大小 $N$ 呈非单调性。较小的 $N$ 通常导致非活跃更新（全部正确或全部不正确），通过不活跃性保留多样性。较大的 $N$ 确保覆盖罕见模式。然而，中等的 $N$ 最大化了活跃更新却遗漏罕见正确区域的概率。
重分布机制：利用分类策略框架，作者分析了概率质量如何被重新分布。他们表明，即使总正确质量（ $Q_{pos}$ ）增加，未采样的正确质量（ $Q_{u,pos}$ ）也可能减少。这是因为奖励为正的批次通过基线减法和 softmax 归一化将未采样的 logits 向下推，从而有效地“遗忘”了当前组中未采样的正确解决方案。

提出的解决方案：F-GRPO

为了在不增加计算成本（rollout 大小）的情况下缓解这一问题，作者提出了F-GRPO（Focal Group Relative Policy Optimization，焦点组相对策略优化）。

焦点加权：受 Focal Loss 启发，该方法引入一个难度感知的缩放系数 $g(x)$ ，应用于组相对优势。
机制：权重定义为 $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$ ，其中 $\hat{\mu}_{pos}(x)$ 是采样组的经验成功率（正确 rollout 数量 $X$ 除以 $N$ ）。
效果：这降低了对具有高经验成功率的组（即模型在该提示下已经“习得了显而易见的内容”）的更新权重，并保留了来自混合成功组的信号，在这些组中，罕见的正确行为可能仍然代表性不足。这是一种轻量级的修改，它统一缩放同一提示中所有 rollout 的优势信号，而无需额外的网络或改变奖励值。

主要贡献

尾部遗漏概率推导：论文明确刻画了活跃更新遗漏罕见正确子集的概率，证明了其对组大小的非单调依赖性。这有助于调和关于最佳组大小的先前相互矛盾的发现。
未采样正确质量分析：作者从理论和实证上表明，总正确质量可以增长，而未采样的正确质量却会收缩，从而解释了有限组设置中分布锐化的机制。
单解验证：使用每个提示恰好只有一条正确轨迹的迷宫（Maze）环境，论文证明了即使每个提示没有多个正确解决方案，pass@K 的退化也可能发生，从而将这种影响隔离为目标序列覆盖度而非提示内多样性。
F-GRPO 算法：一种简单、即插即用的重加权方案，适用于 GRPO、DAPO 和 CISPO，能够在不增加 rollout 成本的情况下提高 pass@256，同时保持或提高 pass@1。

实验结果

作者在 Qwen2.5-7B、Qwen3-4B-Base 和 Llama-3.2-3B-Instruct 模型上，针对各种基准测试（MATH500、AIME、AMC、GPQA、IFEval、SynLogic）评估了 F-GRPO。

分类模拟：证实了中等组大小导致保留的正向质量（ $M_{ret}$ ）最低，而焦点加权（ $\gamma=1$ ）显著改善了该“集中区”内的质量保留。
迷宫实验：在单解设置中，F-GRPO 减少了训练早期的 pass@K 下降，并在所有测试的组大小（ $N \in \{4, \dots, 128\}$ ）下提高了最终的 pass@1 和 pass@256。
LLM 基准测试（N=8）：
- 数学性能：在 Qwen2.5-7B 上，F-GRPO 将平均数学 pass@256 从 GRPO 的 64.1 提升至 70.3，从 DAPO 的 69.3 提升至 72.5。
- OOD 性能：所有方法的域外（OOD）pass@256 也一致提升（例如，GRPO：55.9 $\to$ 63.3；DAPO：58.4 $\to$ 63.6）。
- 效率： $N=8$ 的 F-GRPO 在 pass@256 上实现了与 $N=32$ 的标准 GRPO 相当的性能，有效地以 4 倍的计算量减少恢复了大组带来的优势。
- 泛化性：该方法在不同优化器（GRPO、DAPO、CISPO）和模型规模间有效迁移。
消融实验：简单的学习率降低或标准正则化（熵/KL）未能复现这些增益，表明改进具体源于基于成功的重加权机制。

意义与主张

该论文声称提供了对组相对 RLVR 中“锐化”问题的理论和实践解决方案。通过确定中等组大小最大化了遗漏罕见正确轨迹的风险，作者认为，由于计算约束，简单地增加 $N$ 并不总是可行的。

F-GRPO 提供了一种低成本缓解策略，能够：

恢复在使用中等组大小时通常损失的 pass@256 性能。
保持或提高 pass@1（单样本准确率）。
适用于不同的 RLVR 变体和模型架构。
无需增加 rollout 预算或添加辅助网络。

作者将 F-GRPO 定位为对标准 RLVR 流程的必要调整，确保策略更新不会无意中仅强化有限样本中暴露的“显而易见”的解决方案，而遗忘对稳健推理至关重要的“罕见”正确行为。

大局观：“小组学习”问题

核心发现：“金发姑娘”陷阱

解决方案：F-GRPO（“难度感知”教练）

实验结果

总结

技术摘要：F-GRPO：不要让策略习得显而易见的内容而遗忘罕见情况

问题陈述

方法论

理论分析

提出的解决方案：F-GRPO

主要贡献

实验结果

意义与主张

类似论文