💬 NLP

Taming Extreme Tokens: Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting

本文介绍了协方差感知 GRPO，这是一种无需超参数的方法，它通过基于 token 概率与优势值之间协方差的 Gaussian 核优势重加权，动态降低极端 token 更新的权重，从而稳定训练并提升推理性能。

原作者： Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但略显混乱的机器人解决复杂的数学谜题。该机器人通过尝试多种不同的解题方法，为每次尝试获得一个“分数”，然后调整其“大脑”以便下次做得更好。

这篇论文介绍了一种训练该机器人的新方法，称为具有协方差感知的高斯核优势重加权 GRPO（Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting）。这个名字很长，让我们用一个简单的故事来分解它。

问题：“ wildcard”学生

机器人使用的标准方法（称为GRPO）就像一位老师，他听取 10 名学生（机器人 10 种不同的猜测）的意见，并对他们的反馈取平均值。

然而，作者发现了一个故障：有时，一两名学生会喊出极其自信但实际错误的答案，或者纯粹靠运气获得极高的分数。在机器人的“大脑”中，这些"wildcard"答案会产生巨大且嘈杂的信号。

结果：机器人感到困惑。它在过于大胆（探索过多）和过于胆怯（固守旧的不良习惯）之间剧烈摇摆。这就像一名司机，因为一只松鼠突然跳到车前而猛踩油门，随后又猛踩刹车，始终无法找到平稳的速度。这导致机器人的“信心计”（称为熵）失控，使其无法有效学习。

解决方案：“温和过滤器”

作者创建了一种新方法来解决这个问题。可以将其想象为机器人学习过程中的智能降噪耳机。

测量“氛围”（协方差）：
首先，系统检查机器人对某个答案的自信程度与该答案实际表现之间的关联。
- 正常情况：如果机器人适度自信且答对了，这是一个良好的信号。
- 问题所在：如果机器人极度自信却答错了（或者反之），这就是一个"wildcard"信号。
高斯核（软过滤器）：
这是神奇的部分。作者使用一种称为高斯核的数学工具。想象一个筛子，它能让小石子（正常、有用的学习信号）轻松通过，但会拦住巨大的岩石（极端、嘈杂的信号）。
- 该过滤器并非完全删除不良信号（这可能会丢弃有用的信息），而是柔和地调低极端信号的音量。
- 这就像一位老师说：“好吧，那个学生的回答非常响亮且极端，所以我们稍微少听一点，但仍要倾听那些安静、稳定且给出良好建议的学生。”

结果：更冷静、更聪明的机器人

通过使用这种过滤器，机器人不再被房间里最响亮、最极端的意见所分散注意力。

稳定性：机器人的“信心计”保持稳定。它不会在因害怕尝试新事物和过于鲁莽之间剧烈摇摆。
更好的性能：由于机器人不再被噪声混淆，它在解决数学问题方面实际上变得更出色。论文在两种不同规模的机器人（15 亿和 70 亿个“脑细胞”）上测试了这种方法，发现这种新方法在 AIME 和奥林匹克数学等具有挑战性的数学基准测试中，始终优于旧的标准方法。

一句话总结

该论文认为，在教导人工智能进行推理时，极端反应往往是进步的敌人。通过利用“软过滤器”自动调低最极端、最不稳定的学习信号的音量，人工智能能够更平稳地学习，保持平衡，并最终解决比以往更难的问题。

该论文并未声称：

它并未声称此方法适用于医疗诊断或临床用途。
它并未声称此方法适用于一般对话或创意写作（测试严格限于数学领域）。
它并未声称此方法适用于参数量超过 70 亿的模型（他们仅测试到该规模）。

技术摘要：利用协方差感知 GRPO 驯服极端 Token

问题陈述

组相对策略优化（GRPO）已成为增强大语言模型（LLM）推理能力的标准方法，尤其在数学和代码任务中。然而，GRPO 在平衡探索（搜索新颖的推理策略）与利用（优化已知的好方案）之间的权衡时，面临一个关键限制。

本文指出，这种不平衡根本上与训练过程中策略的熵动态有关。基于 Cui 等人（2025a）的理论见解，作者指出策略熵的变化由 Token 对数概率与其对应优势估计之间的协方差所决定。实证分析显示，一小部分具有极端协方差值的 Token 不成比例地主导了策略更新。这些异常值导致熵不稳定，进而引发对次优方案的过度自信（过度利用）或训练动态不稳定（过度探索），最终导致下游性能次优。

方法论

提出的解决方案是协方差感知 GRPO（CW-GRPO），这是一种无需超参数的优化方法，它基于 Token 级协方差动态重加权优势信号。

1. 理论基础

该方法基于以下观察：在自然策略梯度更新下，策略熵的变化（ $\Delta H$ ）大致与 Token 对数概率和优势之间的负协方差成正比：
$\Delta H \approx -\eta \cdot \text{Cov}_t(\log \pi_\theta(o_t|q, o_{<t}), \hat{A}_i)$
该协方差中的极端值会驱使熵偏离稳定、平衡的状态。

2. 高斯核优势重加权

为了减轻极端 Token 的不稳定影响，作者引入了一种重加权机制：

协方差计算：对于响应 $i$ 中的每个 Token $t$ ，该方法计算中心化的对数概率与中心化的优势之间的协方差：
$c_{i,t} = (\log \pi_\theta(o_{i,t}|\dots) - \overline{\log \pi}) \cdot (\hat{A}_i - \overline{\hat{A}})$
高斯加权：应用高斯核来抑制具有高幅度协方差的 Token。带宽设定为协方差分布的经验标准差（ $\sigma$ ）：
$w_{i,t} = \exp\left(-\frac{c_{i,t}^2}{2\sigma^2}\right)$
该函数柔和地过滤掉原本会导致熵崩溃或爆炸的“异常”Token，同时保留具有中等协方差的 Token 的学习信号。
归一化：对权重进行归一化，以保持整个批次中期望的损失幅度。
修改后的目标：在应用标准 GRPO 目标之前，通过将优势 $\hat{A}_i$ 乘以重加权因子 $\tilde{w}_{i,t}$ 来更新 Token 级损失。

主要贡献

极端 Token 的识别：本文通过实证证明，在普通 GRPO 中，一小部分具有极端协方差值的 Token 不成比例地驱动策略更新和熵不稳定。
无需超参数的优化：提出的 CW-GRPO 方法利用高斯核自动降低极端更新的权重，无需额外的可调超参数。
稳定的熵动态：通过抑制极端协方差更新，该方法将策略熵维持在合理水平，有效平衡了整个训练过程中的探索与利用。

实验结果

作者在两个模型规模（1.5B 和 7B）上，使用 Open-RS 训练数据集和五个数学推理基准（AIME24、MATH-500、AMC23、Minerva、OlympiadBench）评估了 CW-GRPO。

性能提升：
- 1.5B 模型（DeepSeek-R1-Distill-Qwen）：CW-GRPO 相比基线模型平均提升了 +6.4%，相比普通 GRPO 提升了 +2.7%。在 AMC23 和 Minerva 上观察到了显著增益。
- 7B 模型（Qwen2.5-Math）：CW-GRPO 相比基线模型平均提升了 +4.3%，相比普通 GRPO 提升了 +2.4%，在 AMC23 和 OlympiadBench 上取得了显著增益。
熵稳定性：
- 普通 GRPO 表现出显著的熵不稳定性，随着训练进行性能下降（例如，随着熵波动，MATH-500 分数从 85.0% 降至 79.8%）。
- CW-GRPO 在训练检查点之间保持了稳定的性能（MATH-500 上为 86.2%–87.0%），验证了控制极端协方差值与稳定且优越的推理性能之间的相关性。

意义与主张

本文声称，其方法提供了一种原则性机制，用于在 GRPO 中平衡探索与利用，而无需手动调整超参数。通过直接解决熵不稳定的根本原因——极端 Token 级协方差更新——该方法实现了更鲁棒的策略优化。

作者将这项工作定位为迈向更稳定的推理强化学习的一步，表明适度处理极端更新能在不同的模型架构和数学基准上带来一致的下游改进。他们承认了局限性，指出实验是在高达 7B 参数的模型上进行的，且主要集中在数学推理上，表明需要在更大规模的模型和多样化任务上进行进一步验证，以确认其广泛的适用性。