🤖 machine learning

ReCo: Reweighting GRPO Against Distributional Concentration

该论文介绍了 ReCo，这是一种通过归一化响应贡献并以基于方差的缩放取代重要性比例，来缓解 GRPO 倾向于集中在高概率响应和标记上的重加权方法，从而在不牺牲小 k 准确性的情况下，提高了数学推理基准测试中的 Pass@k 性能。

原作者： Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不再仅仅是聊天，而是能够通过复杂的谜题（如数学问题或编程挑战）进行真正的“思考”。这是人工智能的前沿领域，特别是一个被称为“强化学习”的领域。把它想象成训练一只狗：你不仅仅是告诉狗该做什么；你让它去尝试，如果它坐下了，你就给它一个奖励。如果它跳上了沙发，你就不给。随着时间的推移，狗学会了坐下，因为它想要那个奖励。在人工智能的世界里，当计算机正确解决问题时，我们会给予它一个“奖励”。

训练这些 AI“小狗”的一种流行方法叫做“群体相对策略优化”（Group Relative Policy Optimization，简称 GRPO）。想象一下，你要求 AI 解决十次同一个数学问题。它会生成十个不同的答案。GRPO 会观察这十个答案，看看哪些得到了“奖励”（即正确的），并引导 AI 向那些成功的答案靠拢。这是一个聪明的技巧，它让 AI 在解决问题方面变得更加出色。但问题在于：有时，由于过于渴望得到奖励，AI 会变得过于自信，从而停止尝试新事物。它开始反复重复那几种固定的套路，忽略了其他同样有效且更巧妙的解题方法。

这正是首尔大学的一个研究小组决定解决的难题。他们注意到，虽然 GRPO 能让 AI 更快地解决问题，但它实际上会让 AI 变得缺乏创造力，并且在给予多次尝试机会时，找到正确答案的可能性反而降低了。他们将这个问题称为“分布集中化”（distributional concentration）——这是一个高级术语，意思就是 AI 陷入了思维定式，只敢探索那些它已知安全的路径。

为了解决这个问题，该团队发明了一种名为 ReCo（针对分布集中化的重加权 GRPO）的新方法。以下是它的工作原理，使用一个简单的类比：

想象你是一位正在给班级学生评分的老师，这些学生都在尝试解决同一个棘手的数学问题。

旧方法 (GRPO)： 你让全班同学写下他们的答案。如果五个学生都写出了完全相同的解法（因为这是最流行的解法），你就给予这个解法极大的关注。你告诉全班说：“看！有五个人都这么做了！大家都应该这样做！”与此同时，那个尝试了某种奇特、有创意的方法但也做对了的学生却被忽视了，因为他是唯一的。全班不再尝试新事物，只是盲目模仿那个流行的答案。
新方法 (ReCo)： 老师（ReCo）注意到了这种偏差。首先，老师意识到，如果五个学生写了相同的答案，那很可能是因为这个答案容易被发现，而不一定是因为它是“唯一”的好答案。所以，他们会降低那个流行答案的重要性。他们会说：“好吧，你们中有五个人这样做了，但既然它如此普遍，它的权重就不如一个独特的解法那么高。”这阻止了全班盲目跟风。
第二个技巧： 老师还会观察学生的思考过程。如果一个学生对某个特定的步骤有 99% 的把握，老师会说：“很好，你很有信心，但别太自负！仍然有极小的可能性你会出错，所以让我们保持大脑开放，考虑其他可能性。”但如果一个学生在面对分叉路口感到犹豫不决时，老师会给予巨大的鼓励来探索这种不确定性。这能防止学生过早地陷入单一、僵化的思维模式。

通过使用这两个技巧，ReCo 改变了 AI 的学习方式。它阻止了 AI 仅仅死记硬背那些“安全”的答案，并迫使它不断探索不同的路径。

研究人员在一些非常困难的数学竞赛上测试了这种新方法，例如 AIME（美国邀请数学邀请赛）和奥林匹克竞赛题目。他们使用了不同的 AI 模型，包括基于 Qwen 和 Llama 的模型。结果令人振奋。当要求 AI 只尝试几次时，ReCo 的表现与旧方法一样出色。但当给予 AI 许多尝试机会（比如生成 64 个不同答案并从中挑选最好的一个）时，ReCo 脱颖而出。它找到了旧方法完全错过的正确答案。

事实上，在一些最难的测试中，当给予多次尝试时，旧方法（GRPO）的表现甚至比最初未经训练的 AI 还要差，因为它变得如此狭隘。而 ReCo 则保持了 AI 的“头脑”开放。它保留了寻找多样化解决方案的能力，确保即使前几次尝试失败，AI 也有整套不同的策略库可以作为后盾。

团队还研究了为什么会发生这种情况。他们观察到，在旧方法下，AI 的“思维过程”变得非常重复，就像一张坏掉的唱片在循环播放同一首歌。而在 ReCo 下，即使是在解决同一个问题时，AI 也能持续生成独特、多样的处理方式。这就像是在观察一个学生，他不仅是照本宣科，还开始画图表、使用不同的公式，甚至通过建立物理模型来理解概念。

简而言之，ReCo 表明，要让 AI 真正变得聪明，我们不能仅仅奖励它快速得到正确答案。我们还需要奖励它“不陷入思维定式”。通过微妙地引导 AI 去重视多样性和不确定性，研究人员发现了一种方法，可以让这些数字大脑保持好奇心、创造力，并能够以我们始料未及的方式解决问题。这提醒我们，有时候，最好的学习方式就是保持开放的选择。

问题描述

群体相对策略优化（GRPO）已成为语言模型后训练阶段的标准强化学习方法，特别是在具有可验证奖励（如数学和编程）的领域。虽然 GRPO 提高了在小采样预算（低 $k$ 的 Pass@ $k$ ）下的采样效率，但近期的观察表明，当采样预算较大（高 $k$ ）时，它无法超越、且往往表现逊于基座模型。这表明其推理路径的覆盖范围有所减少。论文指出，GRPO 会将概率质量集中在基座模型已经以高概率生成的响应上，从而降低了解决问题的轨迹多样性，限制了模型发现位于基座分布中低概率区域的正确解的能力。

方法论

作者提出了 ReCo（针对分布集中性的重加权 GRPO），这是一种旨在通过在两个层面修改 GRPO 更新来缓解这种集中现象的方法：

响应级重加权（Response-Level Reweighting）：
在标准 GRPO 中，高概率响应在一次 Rollout 组内被更频繁地采样。由于组内优势（group advantage）在采样的响应之间进行等权重平均，这些频繁出现的轨迹仅仅因为重复出现就累积了更大的总梯度质量。ReCo 通过根据每个响应在组内的预期出现次数对其梯度贡献进行归一化来解决这一问题。
- 权重定义为预期次数的倒数： $w_i = \frac{1}{G \cdot \bar{\pi}_{\theta_{old}}(o_i | q)}$ ，其中 $\bar{\pi}$ 是长度归一化的似然度。
- 这防止了频繁响应主导组级梯度，确保更新不会不成比例地强化那些在旧策略下已经具有高概率的轨迹。
Token 级重加权（Token-Level Reweighting）：
标准 GRPO 使用重要性采样比率（ $\pi_\theta / \pi_{\theta_{old}}$ ）来缩放 Token 级的梯度。这创造了一个反馈循环：在当前策略下变得更可能的 Token 会获得更大的更新，从而进一步强化饱和的决策点并减少替代路径。
- ReCo 使用基于方差的比率取代了标准的重要性比率： $r_{var} = \frac{p_\theta(1 - p_\theta)}{p_{old}(1 - p_{old})}$ 。
- 项 $p(1-p)$ 代表伯努利方差。该比率将更大的更新规模分配给非饱和决策点（即 $p$ 既不接近 0 也不接近 1，意味着替代 Token 选择仍然可行），并降低饱和选择（即 $p \approx 1$ ）的权重。
- 这种机制鼓励在策略尚未坍缩到单一选择的决策点进行更新，从而保留推理多样性。

核心贡献

对 GRPO 集中性的分析： 论文将 Pass@ $k$ 在大 $k$ 值时的下降归因于 GRPO 更新中的两个特定机制：组级频繁响应的主导地位以及 Token 级饱和 Token 的放大效应。
ReCo 算法： 引入了一种两层重加权方案，通过预期出现次数对响应贡献进行归一化，并使用基于方差的指标取代 Token 重要性比率。
实证验证： 在五个数学推理基准测试（AIME 2024/2025, AMC 2023, OlympiadBench, MATH 500）上，针对不同模型家族（Qwen2.5-Math, Llama-3.1）和规模（1.5B, 7B, 8B）进行了广泛评估。

结果

Pass@ $k$ 性能： 在大 $k$ 值（例如 Pass@64）下，ReCo 的表现持续优于 GRPO，表明其改进了正确推理轨迹的覆盖范围。对于小 $k$ 值，ReCo 与 GRPO 相当，保持了采样效率。
基座模型恢复： 在观察到标准 GRPO 在 Llama-3.1-8B-Instruct 骨干网络上 Pass@ $k$ 性能低于基座模型的现象中，ReCo 显著减轻了这种退化，甚至在某些基准测试（AIME 2024/2025）上超越了基座模型。
多样性指标： 训练动态分析显示，虽然 GRPO 会迅速丧失多样性（Distinct-2 下降，Self-BLEU 上升），但 ReCo 在整个训练过程中能使 Rollout 多样性更接近基座模型。
Token 方差： 与 GRPO 相比，ReCo 在响应的早期和中期阶段保持了显著更高的 Token 级伯努利方差，表明推理路径在更长时间内保持非饱和状态。
泛化性： 该方法也提升了代码推理基准测试（HumanEval, HumanEval+, LiveCodeBench）上的 Pass@ $k$ ，表明集中问题并不局限于数学推理。
兼容性： ReCo 可以与其它 GRPO 变体（如 DAPO, 80/20 Rule）结合使用，以获得进一步的提升。

意义

论文声称，ReCo 在不需要外部多样性目标或正则项的情况下，解决了导致 GRPO 分布集中的内部机制。通过基于出现概率和决策点饱和程度对更新进行重加权，ReCo 保留了更广泛的正确推理路径。这使得模型能够在保留强化学习采样效率增益的同时，扩展其解空间的覆盖范围，有效地缓解了标准 GRPO 训练中观察到的“多样性坍缩”问题。这项工作表明，RLVR 在扩展推理能力方面的局限性，部分源于策略更新本身的优化动力学，而这可以通过有针对性的重加权来进行修正。

问题描述

方法论

核心贡献

结果

意义

类似论文