💬 NLP

Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities

本文提出了 ProGRPO，这是一种新颖的强化学习方法，它采用了一种优势重加权机制（Advantage Re-weighting Mechanism），通过动态重塑奖励信号以平衡不同正确解法之间的置信度，从而缓解模式崩溃并增强大语言模型在推理中的探索能力，进而显著提升了在数学和编程基准测试上的准确性与生成多样性。

原作者： Pengyi Li, Elizaveta Goncharova, Andrey Kuznetsov, Ivan Oseledets

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pengyi Li, Elizaveta Goncharova, Andrey Kuznetsov, Ivan Oseledets

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大背景：那个“过度自信”的学生

想象一下，你正在训练一名天才学生（AI）来解决复杂的数学问题或编写代码。你使用一种叫做**带有可验证奖励的强化学习（RLVR）*的系统。你可以把它想象成一位严厉的老师，只有当学生给出完全正确*的答案时，才会给予一颗金星。

问题所在：
目前的方法（称为 GRPO）就像一位只表扬学生最自信猜测的老师。

如果学生说：“答案是 42”，并且他们有 99% 的把握，他们会得到一颗金星。
如果学生说：“答案是 42”，但他们只有 60% 的把握，他们什么也得不到。

随着时间的推移，学生学会了只用最大的信心去说“42”。他们不再尝试其他解决问题的方法。如果“42”是错的，这个学生就没有备选方案。在 AI 术语中，这被称为熵崩溃（entropy collapse）或模式崩溃（mode collapse）。AI 变成了一个无聊的机器人，只会重复同样的几个答案，即使这些答案是错误的，或者即使存在许多其他有效的解题方法。

解决方案：ProGRPO（一位“公平”的老师）

作者提出了一种名为 ProGRPO 的新方法。这位新老师不再仅仅奖励声音最大的那个人，而是观察学生思考的全貌。

他们引入了一种名为**优势重加权（Advantage Re-weighting, ARM）**的机制。以下是使用简单类比进行的解释：

1. “信心检查”

想象学生正在解一个谜题。

场景 A： 学生看到一个非常简单的谜题，并立即以 100% 的信心大声喊出答案。
场景 B： 学生看到一个很难的谜题，思考了很久，得出了正确的答案，但他们对此有点紧张（信心较低）。

旧的老师（GRPO）会大力奖励场景 A，而忽略场景 B。
新的老师（ProGRPO）则说：“等等，场景 B 实际上更令人印象深刻，因为它很难！即使这个学生不是 100% 确定，我们也应该因为他们的努力给他们一点额外的加分。”

这防止了学生仅仅固守那些“简单、自信”的答案，并鼓励他们探索不同的、有效的解题路径。

2. 忽略“无聊”的部分

当学生写下一长段解释（“思维链”）时，大部分词汇都是显而易见的。

例子： “首先，我把 2 加 2。然后，我乘以 2……”
“首先”、“然后”和“乘以”这些词很无聊；学生对它们了如指掌。

论文指出，统计这些无聊的、高置信度的词汇会稀释奖励。这就像是在批改试卷时，竟然因为学生正确写出了“的”这个字而给分一样。

ProGRPO 使用了低概率 Token 长度归一化（Low-Probability Token Length Normalization）。它忽略了答案中那些无聊、容易的部分，只关注那些学生真正需要思考并做出选择的难点部分。这能提供一个关于推理过程好坏的更清晰信号。

结果：更多多样性，同样的准确度

作者在 Qwen 和 DeepSeek 等模型上，针对数学和编程任务测试了这种新方法。

旧方法 (GRPO)： AI 在第一次尝试时正确率为 37.6%。但如果你让它尝试 32 次，它大多只是重复同样的 3 到 4 个答案。
新方法 (ProGRPO)：
- 准确度： 它在第一次尝试时的正确率为 43.3%（大幅提升）。
- 多样性： 当被要求尝试 32 次时，它能找到正确的答案，成功率达 68.5%。至关重要的是，这些答案彼此之间是不同的。

隐喻：
如果说旧的 AI 是一位因为觉得那是稳妥之选而只做一种类型意面的厨师，那么新的 AI 则是一位既能做意面，也能做烩饭和汤，且每样都美味可口的厨师。它不仅仅是运气好，它学会了更有效地探索厨房。

结论摘要

论文声称，通过调整 AI 计算“信心”的方式，并忽略其自身思考中的无聊部分，ProGRPO 实现了以下目标：

阻止 AI 陷入循环，即重复同样的几个答案。
提高准确度，特别是在困难的数学和编程问题上。
生成更广泛的多样化正确解法（这对于可能存在多种正确路径的复杂任务至关重要）。

作者总结道，这在探索（尝试新事物）与利用（使用已知有效的方法）之间取得了更好的平衡，使 AI 的推理更加稳健且可靠。

技术摘要：回归本质：通过生成概率重新审视强化学习中的探索过程

1. 问题陈述

具有可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）推理能力的支配范式，特别是在生成长思维链（CoT）路径方面。然而，标准的策略优化方法，如组相对策略优化（GRPO），存在**熵崩溃（entropy collapse）和模式崩溃（mode collapse）**的问题。

核心问题源于奖励加权似然最大化目标。在优化过程中，该目标会不成比例地放大高奖励（正确）轨迹的概率质量。因此，模型会收敛到低熵策略，从而抑制了有效的替代推理链，导致输出多样性严重缺失。虽然现有的解决方案（如熵正则化或动态裁剪）试图缓解这一问题，但它们通常仅限于奖励最大化框架内的局部修改，无法从根本上改善对多样化推理路径的建模。

2. 方法论：ProGRPO

作者提出了 ProGRPO（基于概率的 GRPO），这是一种全新的范式，它从生成概率的角度重新审视了优势函数（Advantage function）的构建。其核心创新是优势重加权机制（Advantage Re-weighting Mechanism, ARM），旨在平衡所有正确回答的置信度水平。

2.1. 优势重加权机制 (ARM)

ProGRPO 并非直接修改奖励信号（因为如果组内所有答案都正确或都错误，直接修改可能会扭曲更新），而是通过引入模型内部信号来调整优势 ( $\tilde{A}_i$ )：

提示词置信度 ( $c_\theta(q_i)$ )： 模型对输入提示词的置信度，计算方式为提示词中低概率 token 的平均对数概率的指数。
回答置信度 ( $c_\theta(o_i | q_i)$ ： 模型针对提示词 $q_i$ 生成特定回答 $o_i$ 的置信度，同样通过回答中低概率 token 计算得出。

重加权后的优势定义为：
$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$
其中 $A_i$ 是标准的 GRPO 优势， $\alpha$ 是权重系数。该机制动态地重塑了奖励信号：它减弱了过度自信的推理路径的梯度更新，并将概率质量重新分配给那些尚未被充分探索的正确解。

2.2. 低概率 Token 长度归一化

作者观察到，对整个序列应用长度归一化会使奖励信号被“平凡”的高置信度 token 所稀释。预测不确定性通常集中在极小比例的生成步骤中（约 20%）。

策略： 该方法识别出一个关键的 token 子集（ $T^{low}$ ），代表了具有最高预测不确定性的位置。
实现： 提示词和回答的置信度分数仅在该信息丰富的子集上进行计算，从而保留了能够反映推理质量而非表面确定性的有效变化。

2.3. 目标函数

最终的目标函数将这些重加权后的优势整合到标准的 GRPO 损失中，利用裁剪代理目标（clipped surrogate objective）来确保训练稳定性，同时鼓励多样化探索。

3. 核心贡献

方法论创新： 引入了 ProGRPO，通过引入感知置信度的优势重加权机制（ARM）扩展了 GRPO。这实现了有针对性的探索，且不损害训练稳定性。
广泛的有效性： 在多种模型规模（Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B）以及多样化的基准测试（数学和代码生成）中进行了验证。该方法始终优于 GRPO 和 FlowRL 等主流基准。
分布外（OOD）鲁棒性： 展示了卓越的 OOD 适应能力，在未见数据分布（如 GPQA, MMLU-Pro）上保持了稳健的表现。
显著的性能提升： 该方法实现了探索与利用之间更优的权衡，显著增强了准确性和输出多样性。

4. 实验结果

实验在数学推理（AIME, AMC, MATH, OlympiadBench）和代码生成（LiveCodeBench, CodeForces, HumanEval+）基准测试上进行。

数学推理：
- 在 Qwen2.5-7B 上，ProGRPO 的 Pass@1 比 GRPO 高出 5.7%，Pass@32 高出 13.9%。
- 在 Qwen2.5-32B 上，其 Pass@1 比 GRPO 提升了 4.8%。
- 在 DeepSeek-R1-Distill-Qwen-1.5B 上，Pass@1 从 49.4% (GRPO) 提升至 58.3% (ProGRSO)。
代码生成：
- 在 CodeForces 上，ProGRPO 达到了 1422.49 的分值，超过 GRPO 近 180 分，超过 FlowRL 293 分。
- 在 HumanEval+ 上，它达到了 84.01% 的 Avg@16 分数，在对比方法中表现最佳。
多样性与熵：
- 训练熵分析显示，虽然 GRPO 导致了熵崩溃，但 ProGRPO 表现出稳定的熵上升趋势，表明其维持了持续的探索。
- 在 AIME 2024 上的多样性指标（Self-BLEU, Semantic Cosine）显示，与 GRPO 相比，ProGRPO 的输出冗余度显著降低，证实了其生成的推理路径在结构上具有多样性。
消融实验：
- 研究发现超参数 $\alpha$ （权重系数）至关重要。 $\alpha$ 取值为 0.3 时，在性能和稳定性之间达到了最佳平衡。取值为 0（纯 GRPO）时结果较弱，而取值过高（0.7, 1.0）则会因过度强调置信度信号而导致性能下降。

5. 重要性与主张

论文声称 ProGRPO 解决了 LLM 推理任务中根本的**探索与利用权衡（Exploration-Exploitation trade-off）**问题。通过将重心从简单的奖励最大化转向平衡生成概率与置信度，该方法：

缓解了熵崩溃： 防止模型收敛到单一的主导推理路径。
增强了多样性： 生成了更多样化的有效推理链，这在 Pass@k 指标（当 $k > 1$ 时）的显著提升中得到了证实。
提升了泛化能力： 在 OOD 数据集上保持了稳健的表现，表明所学习的推理能力更具迁移性。

作者将这项工作定位为一种“回归本质”的方法，通过重新审视 LLM 生成的概率本质来解决当前 RLVR 范式的局限性，为推理模型的更稳定、更具探索性的强化学习铺平了道路。