💬 NLP

SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models

该论文提出了一种名为“概率转向挤压”（SPS）的训练范式，通过交替结合强化学习与逆强化学习来缓解概率质量过度集中问题，从而增强大语言模型在推理任务中的探索能力并提升多样本通过率（Pass@k）。

原作者： Yifu Huo, Chenglong Wang, Ziming Zhu, Shunjie Xing, Peinan Feng, Tongran Liu, Qiaozhi He, Tianhua Zhou, Xiaojia Chang, Jingbo Zhu, Zhengtao Yu, Tong Xiao

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yifu Huo, Chenglong Wang, Ziming Zhu, Shunjie Xing, Peinan Feng, Tongran Liu, Qiaozhi He, Tianhua Zhou, Xiaojia Chang, Jingbo Zhu, Zhengtao Yu, Tong Xiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 SPS（概率挤压转向）的新方法，旨在让大语言模型（LLM）在解决复杂推理问题（如数学题）时，变得更聪明、更有创造力。

为了让你轻松理解，我们可以把训练 AI 的过程想象成**“教一个学生参加数学竞赛”**。

1. 现状：传统的训练方法出了什么问题？

场景：你有一个学生（AI 模型），你让他做很多道数学题。
传统方法（RL，强化学习）：
你给他出题，他做。如果做对了，你给他一颗糖（奖励）；做错了，你批评他（惩罚）。

问题出现了：经过几轮训练，这个学生发现，只要他死记硬背某一种解题套路，就能拿到糖。
“概率挤压”效应：于是，他不再尝试其他可能的解法了。他的思维变得非常狭窄，所有的时间都花在那一种“最安全”的套路上了。
- 比喻：就像一个人走迷宫，发现了一条路能走到终点，他就再也不看旁边的岔路了。哪怕旁边有一条更近的路，他也视而不见。
- 后果：如果题目稍微变一下，或者那条“死路”突然堵了，他就彻底卡住了。虽然做对单道题的概率（Pass@1）提高了，但他失去了探索多种解法的能力，导致在需要尝试很多次才能蒙对答案时（Pass@k），表现反而不好。

2. 核心发现：为什么学生会“变傻”？

论文作者发现，这种“变窄”不是学生故意的，而是训练机制本身的副作用。

比喻：想象学生的脑子里有一个天平。当你惩罚那些“不太可能做对”的解法时，你并没有把那些解法从脑子里删掉，而是把天平上的砝码强行压到了那个“最可能做对”的解法上。
结果就是：那个“最可能”的解法越来越重，其他所有解法越来越轻，直到完全被挤出去。这就是论文说的**“概率挤压”（Probability Squeezing）**。

3. 解决方案：SPS（概率挤压转向）

为了解决这个问题，作者提出了 SPS。它的核心思想是：不要只盯着“做对”的那条路，要故意把学生拉回“没走过的路”去看看。

SPS 是怎么做的？（两步走策略）

第一步：常规训练（RL）
- 像往常一样，让学生做题，做对的给奖励，做错的给惩罚。这时候，学生确实会变得更擅长做题，但也会开始变得“固执”，只走那条最熟的路。
- 比喻：学生已经找到了一条通往宝藏的捷径，但他开始变得很固执，只走这一条。
第二步：反向引导（IRL，逆强化学习）—— 这是关键！
- 这时候，老师（算法）说：“等等，你刚才走的那条路虽然对，但太拥挤了。让我们看看你刚才没走的那些路，里面有没有宝藏？”
- 老师利用学生刚才自己生成的（哪怕是没做对的）解题过程作为“演示”，反过来教学生：“看，虽然这条路没拿满分，但它很有创意，值得保留。”
- 比喻：老师把学生从那条“拥挤的独木桥”上拉下来，强行把他推到旁边那些“荒草丛生的小径”上，告诉他：“这里虽然难走，但风景好，说不定有更快的路。”
- 关键点：老师不需要请外面的专家来教，而是利用学生自己产生的数据来纠正他的“固执”。
循环往复
- 老师让学生走一会儿“常规路”，再把他拉回“探索路”，再走“常规路”……
- 通过这种**“走一步、退一步、再探索”**的循环，学生的思维既保持了正确率，又恢复了多样性。

4. 效果如何？

实验结果显示，使用 SPS 方法后：

单题正确率（Pass@1）：保持得很好，甚至略有提升。
多题探索能力（Pass@k）：大幅提升！这意味着如果让模型尝试 128 次，它能找到正确答案的概率比传统方法高得多。
比喻：以前学生只有一条路能走到终点；现在他脑子里有几十条路，虽然大部分路可能不通，但只要给他足够的时间（多试几次），他总能找到那条最完美的路。

5. 总结

这篇论文就像给 AI 训练装了一个**“防固执开关”**。

以前：AI 越学越“钻牛角尖”，只认死理，虽然偶尔能蒙对，但缺乏灵活性。
现在（SPS）：AI 学会了在“追求正确”和“保持好奇”之间找平衡。它知道什么时候该走捷径，什么时候该去探索未知的荒原。

一句话总结：
SPS 通过一种巧妙的“推拉”战术，防止 AI 在解题时变得太“固执”，强迫它去探索更多样化的解题思路，从而在复杂的推理任务中表现得更加强大和灵活。

论文技术总结：SPS - 通过概率挤压引导增强大语言模型推理中的探索能力

1. 研究背景与问题定义

背景：
强化学习（RL）已成为训练大语言模型（LLM）推理能力的关键范式，特别是利用基于规则的奖励信号（如数学题的正确答案验证）。然而，现有的 RL 训练方法（如 GRPO）存在一个显著缺陷：它们倾向于提高单样本成功率（Pass@1），但在多样本探索（Pass@k）方面表现不佳。这意味着模型虽然能更频繁地生成正确答案，但缺乏生成多样化推理轨迹的能力，导致在采样多次时难以发现新的、更优的解法。

核心问题：概率挤压效应 (Probability Squeezing Effect)
作者通过初步分析发现，RL 训练中存在一种根本性的“概率挤压”现象：

机制： 在标准的对比式 RL 优化中，当对低概率的负样本应用负梯度更新时，由于 Softmax 函数的归一化特性，这些被移除的概率质量并没有均匀地重新分配，而是被不成比例地“挤压”到了原本就占主导地位的高概率（贪婪）响应上。
后果： 这导致输出分布进一步集中（Sharpening），熵值降低，模型过早收敛于少数几条主导轨迹，从而限制了真正的探索能力。这种现象被称为“概率挤压”，是 RL 推理模型探索能力受限的内在原因。

2. 方法论：SPS (Steering Probability Squeezing)

为了解决上述问题，作者提出了引导概率挤压 (Steering Probability Squeezing, SPS) 框架。SPS 的核心思想是将传统的策略梯度 RL 与逆强化学习 (Inverse Reinforcement Learning, IRL) 交替进行，以显式地重塑轨迹分布。

2.1 核心流程

SPS 采用迭代循环的训练策略，包含两个互补阶段：

RL 阶段 (探索与收集)：
- 使用标准的 RL 算法（如 GRPO）在数据集上进行策略更新。
- 收集策略生成的 Rollouts（轨迹）。
- 从这些 Rollouts 中采样一个子集作为“演示数据”。为了增强探索，作者引入了低概率轨迹强调 (L2TE) 策略，优先采样那些模型当前认为可能性较低但可能包含正确解的轨迹。
IRL 阶段 (引导与重塑)：
- 将 RL 阶段生成的 Rollouts 视为“专家演示”（无需外部标注）。
- 使用前向 KL 散度 (Forward-KL) 目标函数来训练策略，使其分布与演示数据的分布对齐。
- 关键作用： 这一步显式地重新分配概率质量，将原本过度集中在主导轨迹上的概率“引导”回那些未被充分探索但具有潜力的轨迹上，从而对抗概率挤压效应。

2.2 迭代策略

SPS 不是单次执行，而是构建了一个 RL $\leftrightarrow$ IRL 的持续循环：

RL 阶段负责利用当前策略挖掘新解。
IRL 阶段负责修正分布，防止过早收敛，保持探索的多样性。
更新后的策略再次进入下一轮 RL 训练，逐步扩大可解问题的边界。

3. 主要贡献

理论分析与实证发现：
- 深入分析了 RL 训练动态，首次明确指出了“概率挤压效应”是限制 RL 推理模型探索能力的根本原因。
- 通过理论推导（基于 Softmax 归一化性质）和实证实验，证明了该效应会导致分布过度集中，并识别出 Pass@k 的实证上限。
提出 SPS 框架：
- 设计了一种结合 RL 和 IRL 的新型训练范式。
- 利用 IRL 显式地重塑轨迹分布，将概率质量从主导模式重新分配给未探索模式，且无需引入外部监督或先验知识（完全基于 On-policy 生成的 Rollouts）。
- 提出了迭代训练策略和低概率轨迹强调机制，进一步增强了探索效果。
广泛的实验验证：
- 在五个奥林匹克级别的数学推理基准（AIME, BRUMO, HMMT 等）上进行了评估。
- 证明了 SPS 能显著提升 Pass@k 指标，同时保持 Pass@1 的性能。

4. 实验结果

基准测试： 在 Qwen2.5-Math-1.5B 和 7B 模型上，使用 OpenR1-Math 数据集进行训练。
关键指标提升：
- Pass@128 显著提升： 在 BRUMO 基准上，Qwen2.5-Math-1.5B 模型使用 SPS 达到了 63.33 的 Pass@128 分数，相比基线 GRPO 提升了 +10.00 分。
- 数据效率： 即使在仅使用 3k 训练样本的情况下，SPS 也能在 1.5B 模型上取得优异表现，证明了其在数据受限场景下的有效性。
- 对比基线： SPS 在 Pass@128 指标上 consistently 优于 GRPO、DAPO 和 GSPO 等主流 RL 算法。
多样性分析： 实验显示，SPS 生成的轨迹相似度更低，表明其确实增加了推理路径的多样性，而非简单的概率平滑。
计算成本： IRL 阶段仅占总训练时间的约 3%，计算开销极小，具有极高的性价比。

5. 研究意义与结论

理论突破： 本文从学习动力学的角度重新审视了 RL 在 LLM 推理中的局限性，揭示了“概率挤压”这一内在机制，为理解 RL 为何难以提升多样本性能提供了新的理论视角。
方法创新： 证明了在 RL 训练周期中交替引入 IRL 是一种有效且低成本的扩展探索能力的方法。它不需要额外的奖励模型或人工标注，仅利用模型自身生成的轨迹即可实现分布重塑。
应用价值： SPS 为训练具有更强推理能力和探索能力的 LLM 提供了一条切实可行的路径，特别是在需要发现多种解法或处理复杂逻辑推理的任务中。
未来方向： 研究指出，单纯依靠 RL 可能无法突破某些探索上限，而结合 IRL 的混合范式可能是解锁大模型推理潜力的关键。

总结： SPS 通过“引导”而非“抑制”概率分布的集中趋势，巧妙地利用 IRL 将 RL 训练中的“副作用”（概率挤压）转化为“正向调节”工具，显著提升了大语言模型在复杂推理任务中的多样本探索能力。