🤖 machine learning

Understanding Diversity Collapse in RLVR via the Lens of Overtraining

本文将带有可验证奖励的强化学习（RLVR）中的“多样性崩溃”识别为一种使模型推理边界变窄的过拟合现象，并提出了“贝叶斯边界门控”（Bayesian Boundary Gating）以将优化方向重新引导至未解决的问题上，从而提升了在多种推理基准测试中高 $k$ 值下的 Pass@ $k$ 性能。

原作者： Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心观点：通过“过度训练”的视角理解 RLVR 中的多样性崩溃

大局观：“一招鲜”问题

想象你正在训练一名学生（AI）解决数学题。你给他们一份练习卷，他们可以尝试无数次直到得到正确答案。

目标： 你希望学生能够更好地解决从未见过的新问题，并且希望他们即使在需要多次尝试时也能找到答案。
问题： 这篇论文发现，虽然学生在第一次尝试就能做对（Pass@1）方面变得非常出色，但如果允许他们尝试多次（Pass@k），他们寻找答案的能力反而变差了。

作者们称之为**“多样性崩溃”（Diversity Collapse）**。这就像是学生停止了创造性思考。他们不再尝试五种不同的方法来解决一个问题，而是只是重复那一种已知有效的办法，一遍又一遍地重复。如果那一种办法失败了，他们就会放弃，尽管如果他们尝试其他路径，可能在第二次或第三次尝试时就能找到答案。

原因：“在错误的东西上过度训练”

为什么会发生这种情况？作者认为这是**过度训练（Overtraining）**的一个案例。

把它想象成一位教练，只有当球员进球时才会给予表扬。

设定： 教练（AI 训练系统）给球员出一个题目。球员尝试了 8 次（这被称为“rollouts”）。
陷阱： 如果球员在 8 次尝试中哪怕只有一次做对了，教练就会认为：“太棒了！这个问题已经解决了！”
错误： 教练不断告诉球员要专注于这个“已解决”的问题，强化这种特定的解题方式。球员不再尝试新的角度，而只是精进那一个特定的招式。

论文表明，在标准的 AI 训练中，AI 大部分用于训练的时间都浪费在了那些它至少已经成功解决过一次的问题上。 因为 AI 不断练习这些“容易”的胜利，它便忘记了如何探索新的路径。它成为了一个特定技巧的大师，却失去了保持灵活性的能力。

“推理边界”类比

作者引入了一个概念叫做**“推理边界”（Reasoning Boundary）**。想象一堵墙，代表了 AI 能够解决的所有范围。

Pass@1 就像是在问：“AI 能在第一次尝试时就解决这个问题吗？”
Pass@k (High-k) 就像是在问：“如果我们让 AI 尝试 256 次，它能找到解法吗？”

论文声称，标准训练会将这堵墙向内推。AI 在处理它已经掌握的具体问题时变得更强，但它停止了扩展这堵墙以包含它之前无法解决的新问题。这就像一个园丁，不断给其中几朵花浇水，直到它们长得巨大无比，而花园的其他部分（那些未解决的新问题）却因为没有得到水分而枯萎了。

证据：并不是 AI 学不会

有一种普遍的看法是，性能下降意味着 AI 仅仅是无法学习新的推理技能。作者通过两个实验证明了这是错误的：

观察： 他们观察了 AI 在训练期间的表现。他们看到 AI 确实学会了解一些在开始时无法解决的问题。然而，与此同时，它开始在以前能轻松解决的问题上失败。这种“收益”被“损失”掩盖了。
干预： 他们尝试了一个简单的修复方法：停止在 AI 已经解决的问题上进行训练。 他们告诉 AI：“如果你曾经做对过一次，就停止练习那个题。只练习那些你做错的题。”
- 结果： 当他们这样做时，AI 解决难题的能力（Pass@256）实际上升到了初始水平之上。这证明了 AI 能够学习新事物，但标准的训练方法通过让它过度练习简单的东西，无意中阻碍了它。

解决方案：“贝叶斯边界门控”（BBG）

为了解决这个问题，作者提出了一种新方法，称为贝叶斯边界门控（Bayesian Boundary Gating, BBG）。

把 BBG 想象成一个聪明的过滤器，为教练提供指导。在教练决定练习哪些问题之前，BBG 会询问：

“这个问题已经解决了吗？如果是，跳过它。”
“这个问题完全没解决吗？如果是，重点关注它！”
“这个问题处于中间状态吗？也许给它一点关注。”

通过数学化地估算哪些问题仍有“增长空间”，BBG 将 AI 的精力从过度训练容易的胜利转向那些真正需要帮助的问题。

结果

当他们在几个困难的数学基准测试中测试这种新方法时：

标准 AI： 在第一次尝试做对方面变得更好，但在允许多次尝试时，解决问题的能力却变差了。
BBG AI： 在第一次尝试做对方面变得更好，并且维持（或提高）了在允许多次尝试时的解题能力。

总结

论文认为，AI 模型之所以变得“固步自封”，是因为它们被迫练习那些已经掌握的问题。这使得它们变得僵化且缺乏创造力。通过停止让 AI 练习它已经知道的东西，并只专注于它目前还不知道的东西，我们可以帮助它成为一个更全面、更有能力的解题者。

技术摘要：通过过拟合视角理解 RLVR 中的多样性坍缩

问题陈述

强化学习结合可验证奖励（RLVR）已成为增强大语言模型（LLM）在具有客观可检查结果的任务上推理能力的主要方法。然而，一个被称为**多样性坍缩（diversity collapse）**的持久问题困扰着这一范式：虽然模型的单样本准确率（Pass@1）有所提高，但其在多次尝试中找到正确解的能力（高 k 值 Pass@k）却随着训练的进行频繁下降。

先前的解释将其归因于在策略更新（on-policy updates）的自我强化性质，即已经倾向于成功的轨迹会被更频繁地采样和强化，从而使策略分布收敛并锐化到不断缩小的解子集上。本文认为，这种“锐化偏差”是 RLVR 更新的一个普遍属性，但它并不能完全解释何时一次更新是在扩展模型的推理边界，以及何时仅仅是在已有的可达解之间重新分配概率质量。作者建议通过**过拟合（overtraining）**的视角来观察多样性坍缩：一旦一个问题的对参考指标（特别是高 k 值 Pass@k）的贡献达到饱和，进一步的更新就无法扩展推理边界，而只会继续浓缩概率质量，从而导致坍缩。

方法论

理论分析：过拟合与饱和

作者使用 Pass@k 来形式化定义推理边界，其中 Pass@k 定义为 $1 - (1-p)^k$ ，对于成功概率为 $p$ 的问题。他们证明了在标准的 RLVR 设置下（通常每个问题进行 $n=8$ 次展开采样），经验成功率 $\hat{p}$ 是量化的（例如 $0/8, 1/8, \dots$ ）。

激进饱和（Aggressive Saturation）： 对于较大的 $k$ （例如 $k=256$ ），即使只有一个观察到的成功案例（ $\hat{p}=1/8$ ），也会产生接近 1 的 Pass@256 值。
过拟合机制： 因此，任何已经产生过至少一个正确展开轨迹的问题，在关于推理边界的维度上实际上都处于“饱和”状态。对这些问题的更新（无论是强化正确轨迹还是抑制错误轨迹）对高 k 值 Pass@k 的边际收益微乎其微，但会持续使策略变得尖锐，从而导致多样性坍缩。
零成功桶（The Zero-Success Bucket）： 唯一能够有效扩展推理边界的“桶”是 $B_{0/n}$ ，即未观察到任何正确展开轨迹的集合。

实证研究

该研究采用了两种互补的方法来验证 RLVR 确实在扩展推理边界，即使聚合指标表现得并非如此：

观测追踪： 追踪在基座模型下最初无法解决的问题（Pass@256 = 0）。作者发现，在标准训练过程中，即使有更大数量的先前可解问题退出了边界，仍有相当比例的此类问题变得可解。
干预性限制： 训练针对特定展开成功桶（ $B_{m/8}$ ）进行更新的变体。将更新限制在 $B_{0/8}$ （唯一的非饱和桶）会导致在困难基准测试上实现 Pass@256 的提升，而对更高成功桶的更新则会导致性能下降。

提议的解决方案：贝叶斯边界门控（BBG）

为了缓解过拟合，作者提出了贝叶斯边界门控（Bayesian Boundary Gating, BBG），这是一种问题层面的方法，旨在将优化过程从饱和问题中重定向。

机制： BBG 使用 Beta-Binomial 贝叶斯模型来估计一个问题对推理边界的预期边际贡献。给定 $n$ 次展开中的 $m$ 个成功案例，真实成功概率 $p$ 的后验分布为 $Beta(m+1, n-m+1)$。
效用计算： 预期边际效用 $u(m; n, k)$ 被计算为 Pass@k 目标函数导数的期望值： $E[k(1-p)^{k-1}]$ 。
门控策略： 对于边际边界效用极低（即估计的边际贡献低于阈值 $\tau$ ）的问题，进行硬门控处理并将其排除在反向传播之外。只有具有显著估计效用的问题（主要是那些处于低成功率桶中的问题）才会接收更新。
实现： BBG 被用作问题层面的损失系数，与现有的目标设计（如 W-RF，带负反馈的加权强化学习）兼容。

关键结果

实验使用在 MATH 数据集上训练的 Qwen2.5-Math-7B 进行，并在四个基准测试上进行了评估：MATH-500、OlympiadBench、MinervaMath 和 AIME 2025。

基线性能： 标准 RLVR 方法（REINFORCE, GRPO, W-RF）一致地提高了 Pass@1，但在中等难度的基准测试上经历了显著的高 k 值 Pass@k（例如 Pass@256）退化，证实了多样性坍缩现象。
BBG 性能：
- BBG 在所有基准测试中，在 $k \in [1, 256]$ 的整个范围内实现了最高的平均 Pass@k。
- 至关重要的是，BBG 是唯一一种在所有四个基准测试中相对于基座模型保持或提高 Pass@256 的方法，有效地防止了在其他方法中观察到的坍缩。
- 在最难的基准测试（AIME 2025）上，BBG 在整个评估范围内都显示出实质性的增益，而其他方法在高 $k$ 值时会出现退化。
消融实验洞察： 作者展示了简单的干预措施（如提前停止——当验证集 Pass@1 饱和时停止；或桶掩码——排除高成功率桶）可以部分恢复高 k 值性能，从而验证了过拟合假设。然而，BBG 提供了一个更具原则性和更有效的解决方案，它根据估计的边界效用动态地加权更新。

意义与主张

本文声称有三个主要贡献：

多样性坍缩的形式化： 它将多样性坍缩重新定义为不仅仅是一个采样偏差问题，而是过拟合相对于推理边界的一个后果。它证明了在标准的展开预算下，绝大多数 RLVR 更新都是针对高 k 值 Pass@k 的过拟合。
对聚合下降的重新解读： 本文提供了证据，表明广泛报道的高 k 值 Pass@k 的整体下降并不意味着获取新推理能力的失败。相反，它反映了一个净结果，即在最初无法解决的问题上的增益被在已解决问题上的过拟合导致的损失所掩盖。
通过 BBG 有效缓解： 通过将优化重定向至具有非饱和边界贡献的问题，BBG 成功地将 Pass@1 的提升与高 k 值 Pass@k 的退化解耦，提升了模型的整体推理多样性。

作者对局限性保持了谦逊的态度，指出其实验仅限于 7B 规模的模型和单一训练集。他们承认多样性坍缩可能有其他原因（例如 token 级别的信用分配），并且 BBG 对高成功率问题的更新抑制可能会在以单样本准确率为唯一优先级的情景下降低 Pass@1。然而，这项工作为 RLVR 训练动态建立了一个新的视角，即策略的“锐化”往往是优化一个对于特定问题而言已经达到最大化的指标的副产品。