🤖 machine learning

Sharpness-Guided Group Relative Policy Optimization via Probability Shaping

本文提出了锐度引导的 GRPO（GRPO-SG），这是一种基于组相对策略优化的令牌加权变体，通过降低导致大梯度的令牌的权重来减少锐度并稳定训练，从而提升可验证奖励强化学习中的泛化能力。

原作者： Tue Le, Linh Ngo Van, Trung Le

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Tue Le, Linh Ngo Van, Trung Le

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明的学生（一个大语言模型）如何解决难题，比如数学问题或逻辑谜题。你并不安排一位老师去批改每一个步骤，而是在最后提供一份“检查清单”。如果最终答案正确，他们就会获得一颗金星（奖励）；如果错误，则一无所获。这被称为可验证奖励强化学习（RLVR）。

目前，教导这位学生最流行的方法是一种名为GRPO的技术。将 GRPO 想象成一位教练，他说：“好吧，让我们尝试五种不同的解题方法。那些获得金星的是好的；那些失败的是坏的。让我们调整学生的大脑，使其更像获胜者，而少像失败者。”

问题：“过度兴奋”的学生

该论文指出，虽然 GRPO 效果良好，但有时可能过于激进。想象一下学生正在学习。当他们在某个特定单词或步骤上犯错时，教练可能会非常大声地吼叫以纠正他们。用数学术语来说，这会产生一个“尖锐”的更新——对学生大脑造成巨大且突兀的改变。

虽然这可能会纠正眼前的错误，但会导致学生不稳定。他们可能会忘记如何解答过去曾掌握的类似题目，或者对无关紧要的细枝末节反应过度。用论文的语言来说，这被称为高尖锐度（high sharpness），会导致泛化能力（generalization）（即处理新、未见问题的能力的）变差。

解决方案：“置信度计”（GRPO-SG）

作者提出了一种名为GRPO-SG（尖锐度引导的 GRPO）的新方法。

这里有一个简单的类比：
想象学生正在写一个故事。

高置信度单词：这些是学生 100% 确定的单词，比如“的”或“和”，或者是关键的数学符号如"+"或"="。学生知道这些对于句子通顺至关重要。
低置信度单词：这些是学生猜测的单词，比如一个华丽的形容词或一个他们不确定的具体数字。

在旧方法（GRPO）中，如果学生猜错了一个低置信度单词，教练会大喊：“不！改变你的整个大脑！”这会导致巨大的、尖锐的更新，可能会破坏其他方面。

GRPO-SG 则像一位明智的教练，在吼叫之前会先查看学生的“置信度计”。

如果学生不确定（低置信度）并犯了错，教练会低声说：“好吧，下次让我们更小心一点”，但不会做出巨大的改变。这防止了学生惊慌失措和过度纠正。
如果学生确定（高置信度）并且答对了，教练会给予强有力的正面推动，以强化这种好习惯。

工作原理（“概率整形”）

该论文使用了一种名为**概率整形（Probability Shaping）**的数学技巧。

系统检查模型对其刚刚选择的单词的置信度（基于"logit"，即该单词可能性的分数）。
如果分数低（模型在猜测），系统会降低该教训的权重。它表示：“不要让这一个错误动摇你的整个基础。”
如果分数高（模型很自信），系统会提高该教训的权重。它表示：“这是一个稳健的举动；让我们确保继续保持。”

结果：更平稳的旅程

该论文在三种类型的挑战上测试了这种新方法：

数学：解决奥林匹克级别的数学问题。
逻辑：解决“骑士与无赖”谜题（其中有些人总是撒谎，有些人总是说真话）。
工具使用：要求 AI 使用搜索引擎查找答案。

发生了什么？

更高的分数：在所有这些测试中，新方法（GRPO-SG）的得分始终高于旧方法（GRPO）。例如，在逻辑谜题上，成功率显著提升。
更平稳的学习：如果你观察“梯度范数”（衡量学生大脑变化剧烈程度的指标），新方法要平稳得多。它没有那些过度纠正的剧烈尖峰。这是一段通往顶峰的平稳、冷静的旅程。

总结

该论文声称，通过简单地告诉 AI忽略低置信度猜测的“恐慌”，并专注于强化高置信度的举动，我们可以训练出更智能、更稳定且泛化能力更强的推理模型。这就像教导学生信任自己对已知事物的直觉，而不要对仍在猜测的事物大惊小怪。

技术摘要：基于概率重塑的锐度引导组相对策略优化

问题陈述

具有可验证奖励的强化学习（RLVR）已成为提升大语言模型（LLM）在数学、逻辑及工具增强问答等领域推理能力的主要驱动力。组相对策略优化（GRPO）因其简洁性且不依赖显式价值函数，成为该场景下的主导优化器。然而，当前的 RLVR 实现往往缺乏对泛化能力的稳健控制。作者指出，训练过程可能导致“锐度”更新——即大且不稳定梯度步长——这在理论上与较差的泛化性能相关。核心问题在于：如何在牺牲学习信号或引入复杂架构变更的前提下，稳定 GRPO 训练并提升泛化能力。

方法论：GRPO-SG

本文提出了锐度引导的 GRPO（GRPO-SG），这是一种旨在降低优化更新锐度的 GRPO 加权变体。该方法基于稳健的泛化视角，并通过基于置信度的概率重塑机制实现。

理论基础

作者从基于稳健性的泛化视角重新审视 GRPO。他们证明，泛化损失的上界由经验训练损失之和与以梯度范数衡量的锐度代理值所界定（定理 3.3）。

关键洞察：较小的梯度范数对应于较不锐利的更新，意味着更好的泛化能力。
推导：通过分析经验损失的梯度，作者表明梯度范数受词元级权重影响。具体而言，词元权重（ $w_{i,t}$ ）与项 $(1 - \pi_\theta(o_{i,t}))$ （代表不确定性）的乘积直接影响梯度的幅度。

算法实现

GRPO-SG 通过引入作为置信度信号的词元权重 $w_{i,t}$ ，修改了标准 GRPO 目标函数。

置信度信号：权重源自当前策略生成的选中词元 Logit（ $h_{i,t}$ ）。该 Logit 作为模型对其所选词元置信度的代理。
概率重塑：对 Logit 应用单调且感知置信度的映射函数 $\omega(\cdot)$ $ω (\cdot)$ 以生成权重。具体公式（公式 20）为：
$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$
- $\text{sg}[\cdot]$ 是停止梯度算子，防止模型操纵权重。
- $\sigma$ 是 Sigmoid 函数， $\tau, \mu, \alpha, L, U$ 是控制平滑度和边界的超参数。
机制：
- 高置信度词元：具有高 Logit（高置信度）的词元获得更高权重，从而保留关键推理步骤上的学习信号。
- 低置信度词元：具有低 Logit 的词元获得较低权重。由于低置信度词元通常（由于 $(1-\pi)$ 项）引发更大的梯度，降低其权重可抑制可能导致训练不稳定的“锐度”更新。
集成：这些权重直接集成到 GRPO 代理目标中，有效降低了可能导致过大梯度的词元的权重，同时保持了标准的 PPO 风格截断和优势归一化。

主要贡献

GRPO 的泛化视角：本文建立了 RLVR 训练与稳健泛化目标之间的理论联系，通过锐度代理（梯度范数）刻画泛化能力。
GRPO-SG 算法：提出了一种简单有效的 GRPO 改进方法，利用词元置信度（选中词元 Logit）来塑造更新幅度，在无需辅助模型或复杂奖励重塑的情况下降低锐度。
实证验证：该方法在多种 RLVR 基准测试中得到验证，显示出相比标准 GRPO 及其他词元级控制基线（如 80/20、AR、Lopti）的一致改进。

实验结果

实验在三种不同的 RLVR 设置下进行：数学推理、智能体问答（工具增强）和逻辑谜题（骑士与无赖）。

数学推理：在包括 OlympiadBench、Minerva 和 MATH-500 在内的基准测试中，GRPO-SG 相比标准 GRPO 实现了平均 +2.7% 至 +6.0% 的提升。例如，在使用 Qwen2.5-7B 的 DSR 训练配方中，平均增益为 6.0%。
智能体问答：在知识增强问答任务（使用 VT-Search）中，GRPO-SG 使 Qwen2.5-3B 模型的精确匹配准确率几乎翻倍（从 13.84 提升至 27.29），并在 Qwen3-4B 模型上提供了显著增益。
逻辑谜题：在 K&K 逻辑谜题基准测试中，GRPO-SG 将 Qwen2.5-3B 的平均准确率从 0.42 提升至 0.63（相对提升 50%），将 Qwen2.5-7B 从 0.75 提升至 0.91。
训练动态：除了准确率之外，与 GRPO 相比，GRPO-SG 表现出更平滑的梯度范数轨迹和更少的异常尖峰（图 1），这与降低锐度的理论目标一致。训练奖励也更高且更稳定。

意义与主张

本文主张 GRPO-SG 是面向泛化的 GRPO 简单且有效的升级，适用于 RLVR。

简洁性：该方法无需额外的价值模型、人工标签或复杂的架构变更；它仅修改现有 GRPO 目标函数内的词元权重。
稳定性：通过词元置信度显式控制更新锐度，该方法稳定了训练过程，从而产生更稳健的推理能力。
通用性：改进在不同模型规模（3B 至 7B+）、不同模型家族（Qwen、Mistral、LLaMA）以及多样化的推理领域（数学、逻辑、智能体搜索）中均保持一致。

作者得出结论，通过基于置信度的词元权重显式控制更新锐度，是提升 RL 训练 LLM 稳定性和性能的有效策略，为可验证奖励设置下的更好泛化提供了一条实用路径。