💬 NLP

The Invisible Leash: Why RLVR May or May Not Escape Its Origin

本文通过实证研究表明，尽管具有可验证奖励的强化学习（RLVR）显著提高了大语言模型的精度，但由于其受支持集约束的优化过程收窄了模型的解空间，导致其往往会忽略原本基础模型可以获取的正确答案，因此最终未能扩大推理边界。

原作者： Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“隐形的牵引绳”

想象你有一个非常有天赋的学生（基座模型），他读过大量的书籍，掌握了丰富的知识。他能解决数学问题，但有时会卡住，或者给出一个略显混乱的答案。

为了让他变得更好，你引入了一位严厉的教练（RLVR 系统）。这位教练并不教学生全新的学科，而是观察学生解决问题的过程。每当学生给出了完全正确的答案时，教练就会给他一个击掌作为奖励（正向反馈）；如果答案错了，教练就会温柔地提醒他“再试一次”。

这篇论文提出了一个至关重要的问题：这种教练训练真的教会了学生“新的思考方式”，还是仅仅训练他们以更高的自信度去重复那些他们原本就已经知道的特定答案？

作者将这种现象称为**“隐形的牵引绳”**。他们发现，虽然学生在拿到“第一个正确答案”的能力上有了很大提升，但他们实际上仍然被束缚在最初那套有限的思想集合中。他们无法轻易地跳过围栏，去发现那些他们原本并未察觉到的全新解决方案。

核心发现详解

1. “支持集”陷阱：保留旧地图

把学生的知识想象成一张城市地图。 “基座模型”拥有一张显示通往目的地之各种可能路径的地图，其中也包括一些偏僻、蜿蜒的小径。

RLVR 在做什么： 它看着地图说：“嘿，这条路线完美！让我们用黄金铺设它，并让它成为我们行驶的唯一道路。”
结果： 学生在这条铺设好的道路上变得极其快速且准确。然而，他们开始遗忘原始地图上那些其他有效的、蜿蜒的小径。
论文的发现： 在几乎所有的测试（数学、逻辑、编程）中，经过 RLVR 训练的模型保留了它们原本已知的“好”答案（约 93–99%），但却失去了获取其他原本基座模型可以找到的正确答案的能力。它们并没有在地图上增加新的道路，只是将交通流量收窄到了单车道。

2. “精准度 vs. 多样性”的权衡

想象你正在湖中钓鱼。

基座模型 撒开了一张大网。它捕捉到了一些大鱼，但也捕捉到了一些不同种类的小鱼。它可能有点乱，但它能找到那里存在的所有东西。
RLVR 模型 使用的是一柄长矛。它极其精准。如果它看到一条鱼，它每次都能刺中。但因为过于专注于击中目标，它不再像那样广撒网。

症结所在： 如果你只需要一条鱼（一个正确答案），长矛（RLVR）更好。但如果你需要在一个大桶里捕捉任何鱼（尝试多次以寻找解法），宽大的网（基座模型）其实更好，因为它覆盖的面更广。论文发现，虽然 RLVR 在第一次尝试时表现出色，但如果你给基座模型很多次尝试的机会，它往往会胜出。

3. “混乱噪声”的错觉

有时，经过 RLVR 训练的学生看起来像是思考得更深入了。他们可能会停顿更久，说更多的词，或者在说话时显得更加“不确定”（这被称为Token 级熵）。

类比： 想象一位厨师在非常响亮且混乱地切菜。看起来他似乎在尝试新的烹饪技巧。
现实： 尽管伴随着这些噪声，他其实仍在制作那原本就有的三种菜肴。他并没有发明新食谱，只是把旧食谱做得更有戏剧性了。
论文的发现： 尽管模型在每一步的表达上听起来更具“不确定性”，但它们最终收敛到的最终答案集合却小得多。它们的最终多样性反而降低了。

4. 何时它真的学到了新东西？

论文确实发现了两个极少数的例外，在这些场景下 RLVR 模型确实找到了新的解决方案。这仅发生在两种特定情况下：

重新组合拼图碎片： 学生已经知道了单个拼图碎片（子技能），但无法将它们正确地组合在一起。教练帮助他们把这些碎片拼合在了一起。
修正格式： 学生知道答案，但不知道如何按照教练要求的特定格式写下来。教练教会了他们格式规则，从而释放了原本就隐藏在那里的答案。

在这些案例中，模型并不是在发现一个“新的宇宙”，而是在打磨那些原本就隐藏在初始知识阴影中的内容。

结论：打破牵引绳

论文得出结论：目前的 RLVR 方法更像是一种精密工具，而非创造力引擎。它们非常擅长精炼和完善模型已知的内容，但它们被“拴”在了基座模型的初始分布之中。它们无法轻易发现那些基座模型概率为零的解决方案。

要真正扩展模型的推理能力——让它去发现从未见过的东西——我们需要在其中加入一些新的东西：显式的探索（Explicit Exploration）。我们需要刻意将概率质量推向解空间的“黑暗角落”，而不是仅仅通过锐化已知亮点处的焦点来工作。

简而言之： RLVR 让模型成为了已知思想的更佳执行者，但不一定让它成为新思想的更佳思考者。

技术摘要：隐形的枷锁？为什么 RLVR 可能无法也可能正在逃离其起源

问题陈述

大型语言模型（LLM）在数学和逻辑推理方面的最新进展是由基于可验证奖励的强化学习（RLVR）驱动的。虽然 RLVR 在单次采样准确率（pass@1）方面表现出了显著提升，但一个根本性的争论仍然存在：RLVR 究竟是真正扩展了模型的推理边界以发现新的解法，还是仅仅放大了基础模型已经拥有的高奖励输出，从而以牺牲多样性为代价来提高精确度？

现有文献观点不一。一些研究表明 RLVR 是在现有能力范围内的保守优化，而另一些研究则认为它在特定领域扩展了推理能力。此外，标准的评估指标（如 pass@k）主要捕捉的是解的检索能力，而非产生新颖推理的能力。目前缺乏系统的实证研究来调查 RL 函数在整个训练过程中如何重塑模型的有效推理支持集，特别是 RLVR 是否能够发现此前对基础模型而言无法触及的解。

本文引入了一个以**经验支持（Empirical Support）**为核心的框架，该概念定义为模型在有限采样下能够实际发现的正确解集合。作者通过考察基础模型（ $q$ ）和经过 RLVR 训练的模型（ $\pi_\theta$ ）是否对某个正确补全分配了非微不足道的概率质量（高于阈值 $\epsilon$ ），将正确补全分为四个区域，从而形式化了解的可及性动态：

支持保留（Support Preservation）： 两个模型均可触及的正确解。
支持扩展（Support Expansion）： RLVR 新增触及的正确解（在基础模型中概率微不足道，在 RLVR 中非微不足道）。
支持收缩（Support Shrinkage）： 基础模型可以触及但在 RL-VR 后丢失的正确解。
不在支持范围内（Out of Support）： 两个模型都未能触及的正确解。

为了量化这些动态变化，论文提出了四个指标：

支持保留率（SRR）： 衡量基础模型解的保留程度。
净发现率（NDR）： 衡量新发现的真实解的比例。
支持动态得分（SDS）： 平衡保留与发现的调和平均数。
净支持变化率（NSCR）： 捕捉解空间的净扩张或收缩。

本研究在多种模型规模（1.5B 到 32B 参数）和领域（数学、逻辑推理、事实问答、代码生成和视觉推理）中进行了广泛的实证实验。评估的模型包括 ProRL、Nemotron、Skywork、AceReason、Phi4 以及 DAPO 的变体。作者还分析了熵的动态变化，区分了Token 级熵（生成过程中的局部不确定性）和答案级熵（最终输出的全局多样性）。此外，他们还提供了关于在策略（on-policy）RL 更新极限方面的理论证明。

核心贡献与结果

1. 以有限扩展为主的普遍保留现象

实证结果表明，RLVR 主要是一种受支持约束的优化机制。在所有测试的模型和领域中：

高保留、低发现： 支持保留率（SRR）持续保持在高位（0.90–0.99），表明 RLVR 能够可靠地保留基础模型的可用解。然而，净发现率（NDR）极低（通常 $\le 0.04$ ），这意味着发现全新的推理路径是非常罕见的。
净收缩： 在几乎所有案例中，丢失的正确解数量（收缩）都超过了新发现的解的数量（扩展）。净支持变化率（NSCR）始终为负，表明 RLVR 系统性地缩小了可及的解集。
悖论式表现： 虽然 RLVR 模型在低采样预算（如 pass@1）下通常优于基础模型，但在高采样预算（如 pass@8192）下，基础模型往往占据优势，因为基础模型拥有更广泛的解覆盖范围。

2. 精确度与多样性的权衡

研究识别了一个基本的权衡：RLVR 通过将概率质量集中在已知的的高奖励轨迹上，增强了精确度，但降低了全局解的多样性。

熵的动态： 虽然某些 RLVR 模型表现出增加的 Token 级熵（在生成过程中显得更加不确定），但它们一致表现出降低的答案级熵。这表明尽管存在局部随机性，模型仍会收敛到较小的一组不同最终答案上。
困惑度分析： 当针对多样化的外部推理轨迹（如来自 DeepSeek-R1 或 Claude Sonnet 的轨迹）进行评估时，RLVR 模型的困惑度更高，这证实了它们降低了为多样化解风格分配概率的能力。

3. 罕见扩展的机制

当扩展发生时（例如在 Dice、Arc 1D 或 Boxnet 等任务中），论文识别了两种特定机制：

子技能的重组（Recomposition of Subskills）： 基础模型拥有必要的子组件（片段），但无法进行全局组装。RLVR 放大了这些被弱表达的组件。
提示词格式对齐（Prompt-Format Alignment）： RLVR 纠正了响应格式中的不匹配问题，从而解锁了那些因指令遵循失败而被抑制的能力。
至关重要的是，这些扩展并不代表发现了真正不存在于基础分布中的解，而是对现有长尾能力的重新加权。

4. 理论极限

论文提供了理论证明（定理 C.1 和推论 C.2），证明了标准的在策略（on-policy）RLVR 更新无法将策略的支持集扩展到超出初始基础模型支持集的范围。如果基础模型对某个正确解分配的概率为零，RLVR 则无法发现它。此外，RLVR 模型的渐近 pass@k 性能受限于其基础模型。

意义与主张

该论文声称揭示了约束当前 RLVR 实践的**“隐形枷锁”**。这项工作的核心意义在于：

重新定义 RLVR 的角色： 它将 RLVR 定位为一种精确度增强器，旨在通过锐化分布来聚焦已知的高奖励模式，而非一种解锁新推理视野的能力扩展器。
挑战现有范式： 它挑战了“RLVR 本质上会导致更深层推理或新颖问题解决”的假设。相反，它表明如果没有明确的探索策略，RLVR 本质上受限于基础模型的初始化。
对评估的影响： 研究结果表明，仅依赖 pass@1 或低预算指标可能会夸大 RLVR 的能力，因为这些指标倾向于 RLVR 所产生的集中分布，却忽略了损害高预算或多解场景表现的多样性损失。
未来方向： 作者总结道，要打破这种“隐形枷锁”，未来的创新需要明确地将概率质量注入到未被充分表达的解区域，从而超越标准的在策略优化，转向混合策略或显式的探索机制。

这项工作并不声称解决了这些局限性，而是旨在为理解基于可验证奖励的强化学习中精确度与多样性之间的内在权衡提供严谨的实证和理论基础。