💬 NLP

Exploration vs Exploitation: Rethinking RLVR through Clipping, Entropy, and Spurious Reward

本文通过证明伪奖励并非通过直接对齐，而是通过诱导降低策略熵度的裁剪偏差（clipping bias）来提升性能，从而阐明了该框架中探索与利用的截然不同的角色，进而研究了带有可验证奖励的强化学习（RLVR）在增强大语言模型推理能力方面的悖论式成功。

原作者： Peter Chen, Xiaopeng Li, Ziniu Li, Wotao Yin, Xi Chen, Tianyi Lin

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peter Chen, Xiaopeng Li, Ziniu Li, Wotao Yin, Xi Chen, Tianyi Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但有点困惑的学生（一个大语言模型）如何解决复杂的数学问题。你希望通过让他们尝试不同的解决方案并获取反馈来进行教学。这就是**带有可验证奖励的强化学习（RLVR）**的核心。

通常情况下，老师只在最后给出“是”或“否”的反馈：“你得到正确答案了吗？”如果是，太棒了；如果不是，再试一次。

这篇论文研究了一个奇怪的现象：如果老师不再给出真实的反馈，而是通过抛硬币来决定答案是正确还是错误，会发生什么？令人惊讶的是，在某些情况下，尽管老师在撒谎，学生竟然变得更擅长数学了。作者深入挖掘了为什么会发生这种情况，并重点研究了三个角色：裁剪（Clipping）、熵（Entropy）和伪奖励（Spurious Rewards）。

以下是他们研究结果的简单类比拆解：

1. “抛硬币”老师（伪奖励）

在正常的课堂上，老师会奖励正确的答案。但在这次实验中，老师抛硬币。正面 = “做得好！”（奖励），反面 = “再试一次”（无奖励），无论数学题实际是否正确。

悖论： 逻辑告诉我们，这应该会让学生感到困惑并变得更差。但论文发现，对于更强、更聪明的学生来说，这种随机噪声实际上帮助他们提高了分数。对于较弱的学生来说，这只会让他们感到困惑和不稳定。
教训： 关键不在于奖励的“真实性”。关键在于学生对噪声的反应。如果学生已经很优秀，噪声就像是一个温柔的推动，帮助他们集中注意力。如果学生正在挣扎，噪声只会淹没他们。

2. “减速带”（裁剪）

在训练过程中，有一个叫做**裁剪（Clipping）**的安全机制。想象一下学生正在飞快奔跑。如果他们试图在一步之内过于剧烈地改变答案，老师会设置一个“减速带”（即裁剪）来阻止他们过度反应。

旧观点： 人们认为这个减速带是让学生变聪明的“英雄”，因为它放大了好的答案。
论文的发现： 作者通过计算发现，这个减速带实际上是一个微小的、几乎看不见的凸起。它并不能提供主要的学习信号。它太小了，不足以成为学生进步的原因。
减速带的真正职责： 它的真正作用是防止学生惊慌失措。如果没有它，学生可能会做出巨大的、疯狂的逻辑跳跃，从而导致“大脑崩溃”（梯度爆炸）。裁剪让训练保持稳定，但它并不教数学。

3. “信心计”（熵）

**熵（Entropy）**是一个高级词汇，指的是“学生有多不确定”。

高熵： 学生在瞎猜。“也许是5，也许是10，也许是个香蕉。”（高探索性）。
低熵： 学生非常有信心。“它肯定就是5。”（高利用性）。

通常在学习过程中，你需要一种平衡：既要探索，也要利用已知的知识。但在这次数学训练中，论文发现，**降低学生的信心（降低熵）**往往能带来更好的分数。

联系： “减速带”（裁剪）在无意中充当了一个信心提升器。通过阻止学生进行剧烈的波动，它迫使他们更贴近当前更有信心的答案。
代价： 拥有信心并不总是好事。
- 如果学生已经很聪明且题目很简单，变得更有信心有助于他们锁定正确答案。
- 如果学生很弱或者题目很难，强迫他们变得有信心只会让他们固执己见（错得离谱）。他们会停止探索新想法，并陷入错误的习惯中。

大局观：到底发生了什么？

这篇论文解开了一个谜团：为什么向学生撒谎（随机奖励）有时反而会让他们变得更聪明？

不是因为谎言本身： 随机的硬币投掷并不能教数学。
不是因为减速带： 裁剪机制太小了，不足以作为主要的老师。
而是关于“信心锁定”： 随机噪声和减速带的结合，迫使学生变得更加确定性（减少随机性，增加信心）。
- 对于优秀的学生，这种“信心锁定”帮助他们停止自我怀疑，并坚持正确的路径。
- 对于较弱的学生，这种锁定将他们困在了错误之中，导致表现变差。

一句话总结

论文揭示了在 AI 数学训练中，“随机噪声”之所以能帮助强大的模型，并不是因为噪声本身有用，而是因为训练规则（裁剪）在无意中迫使模型停止猜测并开始变得自信且具有确定性，而这只有在模型本身已经足够聪明且能得出正确答案时才有效。

技术摘要：RLVR 中的探索与利用

1. 问题陈述

具有可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）推理能力（特别是在数学领域）的主要驱动力。然而，近期的经验观察呈现出一种悖论式的动态：RLVR 的性能提升被归因于两种看似与标准强化学习（RL）关于“探索-利用”权衡直觉相矛盾的机制：

伪造奖励（Spurious Rewards）： 研究观察到，使用随机或失配的奖励（例如，独立于真实值的 Bernoulli(1/2) 信号）可以在某些模型（如 Qwen-Math）中提高性能，而经典 RL 理论认为此类噪声应该阻碍利用过程。
熵最小化（Entropy Minimization）： 降低策略熵以鼓励确定性、高置信度的输出，被认为与性能增益有关，尽管主流观点认为熵的减少会导致过早收敛和次优策略。

本文研究了协调这些效应的底层原理，特别质疑了伪造奖励是否提供了有意义的学习信号、裁剪偏差（clipping bias）如何与策略熵相互作用，以及观察到的增益仅仅是数据污染的产物还是特定模型的特性。

2. 方法论与理论框架

作者结合了理论分析和针对多种模型家族（Qwen-Math, Llama, QwQ）及规模（7B 到 32B）的广泛经验评估。

2.1 裁剪与熵的理论分析

本文分析了强化学习中常用的算法——组相对策略优化（GRPO）。

裁剪偏差（Clipping Bias）： 作者推导了上裁剪校正项（ $C^+_{tot}$ ）量级的显式界限。他们证明在随机奖励下，裁剪偏差并不构成有意义的学习信号。理论界限（定理 3.2，定理 3.4）表明，原始代理总和（ $N_{raw}$ ）的量级显著大于裁剪校正项（ $E[|N_{raw}|] \gg E[|C^+_{tot}|]$ ），这意味着裁剪并不直接驱动性能增益。
熵动力学（Entropy Dynamics）： 本文挑战了先前工作（Cui 等人，2025）中认为在随机奖励下熵保持不变的近似假设。通过引入裁剪项和高阶项，作者推导出了一个“单步策略熵偏移”公式。
- 未裁剪训练： 熵的变化取决于初始策略的偏斜度（ $\Phi(\pi_{old})$ ）。如果策略足够偏斜，熵可能会增加；否则，熵会减少。
- 裁剪训练： 作者证明（定理 4.3）上裁剪起到了隐式熵最小化机制的作用。裁剪系统性地降低了策略熵，驱动策略向更具确定性、更高置信度的展开（rollouts）演进。

2.2 奖励失配模型

为了解释为什么随机奖励对某些模型有效而对另一些模型无效，作者引入了一个概率性的奖励失配模型。他们将“损伤”（ $\Delta$ ）定义为由于随机误标（假阳性和假阴性）导致的正确展开的优势质量（advantage mass）损失。

模型强度依赖性： 分析表明，随着正确展开数量（ $n_c$ ）的增加，预期损伤及其方差都会减少。因此，较强的模型（其中 $n_c > n_i$ ）经历的总失配损伤较小且训练动态更稳定，使其更有可能从随机奖励中获益。
污染假设： 该模型表明，性能提升不仅仅是由于数据污染（对验证集的记忆），而是一种取决于模型初始能力相对于数据集难度的更广泛现象。

3. 核心贡献

关于裁剪的理论界限： 本文推导了显式界限，证明在伪造奖励下，裁剪偏差不提供有意义的学习信号。相反，它建立了一个确定性联系，即裁剪会系统性地降低策略熵。
解耦熵与性能： 作者证明，策略熵减少与性能提升之间不存在直接的因果关系。虽然熵最小化可能与增益同时发生，但它也可能导致性能崩溃，尤其是在较弱的模型或困难的数据集上。
超越污染的泛化性： 通过在非污染模型家族（Llama, QwQ）和不同数据集难度（DeepScaleR vs. AIME）上的实验，本文表明随机奖励下的性能增益是稳健的，并不局限于可能存在污染的 Qwen-Math 模型。
奖励失配框架： 一个新的理论模型解释了随机奖励何时是有益的，将成功与模型强度以及正确轨迹与错误轨迹的比率联系起来。

4. 实验结果

裁剪 vs. 未裁剪： 在使用随机奖励的 Qwen2.5-Math-7B 实验中，禁用裁剪导致策略熵增加，并在某些情况下带来了性能提升。启用裁剪则导致熵单调下降。至关重要的是，对于在困难 AIME 数据集上的较弱模型 Qwen-Math-7B，熵最小化（通过裁剪）导致了次优性能，而较强的模型（QwQ-32B, R1-Distill-Llama-8B）则表现出稳定的增益。
梯度爆炸： 作者观察到，在没有裁剪的情况下，具有大梯度范数的模型（如 R1-Distill-Llama-8B）可能会遭受梯度爆炸和训练崩溃，这凸显了裁剪作为稳定性机制的作用，而非性能驱动器。
模型强度： 实验证实，较强的模型（如 Llama-8B 蒸馏版）在随机奖励下有所提升，而较弱的模型（如 Qwen-1.5B）则表现出退化或不稳定。这支持了奖励失配理论，即增益取决于模型生成足够数量正确轨迹的能力。
超参数敏感性： 改变裁剪比例（ $\epsilon$ ）和组大小（ $G$ ）的结果显示，虽然更严格的裁剪可以减少方差，但它并不能从根本上改变“裁剪作为熵调节器”这一结论。

5. 重要性与主张

本文声称澄清了 RLVR 中“伪造奖励”现象背后的机制，推翻了普遍认为性能提升完全源于数据污染或裁剪偏差提供学习信号的观点。

重构裁剪的定义： 作者断言，RLVR 中的裁剪主要作为一种正则化器，用于强制执行局部信任区域并降低策略熵，而不是作为信息丰富梯度的来源。
上下文相关的收益： 本文得出结论，伪造奖励和熵最小化的益处是依赖于具体情境的（regime-dependent）。对于已经在正确轨迹上集中的强模型和较易数据集，它们是有效的；但对于较弱模型或困难任务，它们可能会强化错误的模式并导致性能下降。
无统一的熵-性能联系： 本研究明确反驳了低熵与高性能之间存在单调关系的观点，证明了熵的减少可能伴随着性能的崩溃。

总而言之，本文认为 RLVR 在伪造奖励下的成功并非悖论，而是模型强度、数据集难度以及裁剪对策略熵的隐式正则化效应之间特定相互作用的结果。这些发现为更有效的 RLVR 训练提供了原则，建议应将熵控制视为一种稳定正则化手段，而非提升性能的通用目标。