Depth-Breadth Synergy in RLVR: Unlocking LLM Reasoning Gains with Adaptive Exploration

该论文提出了结合自适应探索（DARS）与大规模数据广度（DARS-Breadth）的协同策略，通过针对性重加权困难样本和全批量更新，有效解决了现有 RLVR 算法在深度与广度探索上的不足，显著提升了大语言模型的推理能力。

要点

这篇论文主要讲的是如何让大语言模型（LLM）变得更聪明，特别是在做数学题或逻辑推理时。

想象一下，大语言模型就像一个正在备考的超级学生。为了让他考高分，我们需要给他做练习题（训练）。这篇论文发现，以前的训练方法有两个大问题，而作者提出了一套新的“深度与广度协同”的训练法（DARS），完美解决了这些问题。

我们可以用**“刷题策略”**来打比方，把这篇论文的核心内容拆解如下：

1. 以前的训练方法出了什么问题？

以前的训练方法（比如 GRPO 算法）在给学生布置作业时，存在两个误区：

• 误区一：只盯着“中等难度”的题（深度不够）

  • 比喻：老师发现学生做“简单题”太容易了，做“极难题”又完全不会（全错）。于是老师觉得：“既然极难题全错，那做再多也没用，不如把时间花在‘中等难度’的题上，这样提分最快。”
  • 后果：学生虽然中等题做得很溜，但遇到真正的“奥数题”或“高难度逻辑题”时，因为缺乏练习，依然束手无策。这就导致模型在Pass@K（即尝试多次能解出一次题的概率）上表现不佳。它不敢挑战“深水区”。

• 误区二：每次只练很少的题（广度不够）

  • 比喻：老师每次只给学生发 128 道题，做完就换下一批。
  • 后果：学生每次只接触一点点新知识，容易“钻牛角尖”，或者过早地觉得自己“学会了”（过早收敛）。这导致他在Pass@1（即第一次尝试就答对的概率）上不够稳定，因为他的思维不够开阔，容易走偏。

2. 作者的新方法：DARS（自适应滚动采样）

作者提出了一套新的“刷题策略”，叫 DARS。它包含两个核心动作：“深度挖掘”和“广度拓展”。

动作一：深度挖掘（针对难题“加量”）

• 比喻：老师不再“一刀切”。他先让学生快速试做一遍所有题目（预滚动）。
  • 如果学生做对了（简单题）：老师就说“这题你稳了，不用多练，下一题。”
  • 如果学生做错了（难题）：老师会立刻说“这题你还没掌握，多给你发 32 份类似的练习题，直到你找到解题思路为止！”
• 原理：这就叫**“困难自适应”**。以前是难题被忽略，现在难题被“重点关照”。通过给难题分配更多的“尝试次数”，模型被迫去探索那些深奥的解题路径，从而真正学会了高难度的推理。
• 效果：大大提升了Pass@K（多试几次总能做对的能力）。

动作二：广度拓展（一次练一大波）

• 比喻：以前老师一次只发 128 道题，现在老师一次发3072 道题（大 Batch）。
• 原理：
  • 减少噪音：就像你听一个人说话可能听错，但听 3000 个人同时说话，你就能听清真正的“真理”是什么。大样本让模型的学习方向更准确。
  • 保持好奇心（熵）：如果题目太少，学生容易“想当然”地用一种死板的方法解题。题目多了，学生必须保持思维的活跃和多样性（高熵），不敢偷懒，从而提高了Pass@1（第一次就答对的概率）。
• 效果：大大提升了Pass@1（单次准确率）。

3. 终极奥义：深度 + 广度 = 完美协同

作者发现，“深度”（死磕难题）和**“广度”（大量刷题）不是互相打架的，而是互补**的。

• 以前的做法：要么只加难题（深度），要么只加题量（广度），效果都不完美。
• 现在的做法（DARS-Breadth）：
  • 对难题疯狂加量（深度）；
  • 同时一次性刷海量题目（广度）。
• 比喻：这就像让一个学生，既在“奥数班”里死磕最难的压轴题（深度），又每天在“题海战术”中保持思维的活跃和全面（广度）。
• 结果：学生不仅第一次就能做对（Pass@1 高），而且多试几次肯定能做对（Pass@K 高）。这就是论文标题说的“深度与广度的协同效应”。

4. 总结：这对我们意味着什么？

这篇论文告诉我们，想要让 AI 变得更聪明（特别是像 OpenAI o1 那样会思考的 AI），不能只是简单地“多跑几次”或者“多给点数据”。

• 关键策略：要聪明地分配算力。
  • 遇到简单题，少花点时间。
  • 遇到难题，不惜代价多给它几次尝试机会（深度）。
  • 同时，一次训练要覆盖足够多的题目，防止模型变“死板”（广度）。

一句话总结：
以前的训练像是“平均用力”，导致模型在难题上“吃不饱”，在简单题上“吃撑了”；现在的 DARS 方法像是“因材施教 + 题海战术”，让模型在保持灵活性的同时，死磕难题，最终实现了**“既快又准，还能举一反三”**的超级推理能力。

技术摘要

这篇论文提出了一种名为 DARS (Difficulty Adaptive Rollout Sampling，难度自适应 rollout 采样) 的新方法，旨在解决基于可验证奖励的强化学习（RLVR）在大语言模型（LLM）推理能力提升中的局限性。论文的核心观点是：现有的 RLVR 方法在**深度（Depth，即问题难度）和广度（Breadth，即训练实例数量）**两个维度上存在探索不足，而通过协同优化这两个维度，可以显著提升模型的 Pass@1（单次生成正确率）和 Pass@K（K 次采样中至少一次正确率）性能。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：RLVR（如 GRPO 算法）已成为提升 LLM 数学和代码推理能力的关键技术，它利用自动可验证的奖励（如数学答案正确性或代码单元测试通过）进行训练。
• 核心问题：现有的 RLVR 框架（特别是 GRPO 及其变体）在探索深度和广度上存在两个主要缺陷：
  1. 深度不足（Depth Bias）：现有的优势估计（Cumulative Advantage）机制存在偏差。在分组计算优势时，算法倾向于给中等难度的问题分配更多权重，而低估了高难度、低准确率问题的权重。这导致模型难以从最难的问题中学习，限制了 Pass@K 的上限。
  2. 广度不足（Breadth Limitation）：传统的 RLVR 训练通常使用较小的 Batch Size（如 128）。研究发现，简单地增加 rollout 数量（深度）并不总能提升 Pass@K，有时甚至有害；而增加训练批次大小（广度）能显著提升 Pass@1，但现有方法未充分挖掘这一点。
  3. 深度与广度的割裂：现有方法未能有效结合“针对难题的自适应采样”与“大规模批处理训练”，导致 Pass@1 和 Pass@K 难以同时提升。

2. 方法论 (Methodology)

论文提出了 DARS 及其扩展版本 DARS-Breadth，通过两个阶段实现深度与广度的协同：

A. 难度自适应 Rollout 采样 (DARS) - 解决“深度”问题

DARS 旨在重新分配计算资源，向高难度问题倾斜，以修正累积优势的偏差。它包含两个阶段：

1. 预 Rollout 难度估计 (Pre-Rollout Difficulty Estimation)：
   • 对每个问题 $q_j$ 进行轻量级的首轮采样（例如 $N_{pre}=8$ 次）。
   • 计算经验准确率 $\hat{a}_j$，并定义难度分数 $x_j = 1 - \hat{a}_j$。
2. 多阶段 Rollout 重平衡 (Multi-Stage Rollout Re-Balancing)：
   • 根据难度分数动态分配额外的采样次数 $\Delta n_j$。
   • 提出了两种重平衡策略：
     • ET (Equal-Treatment)：将所有低准确率问题的累积优势提升至中等难度（准确率 0.5）的水平。理论上诱导 Log-Odds 优化目标。
     • HW (Hardness-Weighted)：根据难度线性增加采样次数，难度越高采样越多。理论上诱导 最大似然 (Maximum Likelihood) 优化目标。
   • 效果：通过增加对难题的采样，DARS 有效地重新加权了累积优势分布，使模型能更有效地学习“深度”样本，从而提升 Pass@K。

B. 广度扩展 (Breadth Scaling) - 解决“广度”问题

• 全批次更新 (Full-Batch Updates)：由于 DARS 导致每个问题的采样数量不一致（ragged batch），传统的 PPO 小批量更新不再适用。论文采用全批次梯度下降（Full-batch updates）配合多轮 PPO 训练。
• 机制：显著增加训练批次大小（从 128 增加到 3072）。
• 作用：
  • 减少梯度噪声，使梯度方向更准确。
  • 作为隐式的熵正则化 (Entropy Regularization)，维持训练过程中的 Token 级熵，防止模型过早收敛（Premature Convergence），从而显著提升 Pass@1。

C. DARS-Breadth (深度与广度的协同)

将上述两者结合：使用 DARS 进行深度自适应采样，同时使用大 Batch Size 进行全批次训练。这种方法被证明是正交且互补的，能同时提升 Pass@1 和 Pass@K。

3. 关键贡献 (Key Contributions)

1. 揭示了累积优势偏差 (Cumulative Advantage Bias)：系统性地分析了 GRPO 算法，发现其分组优势计算机制会系统性地低估高难度样本的权重，这是限制 Pass@K 性能的根本原因。
2. 提出了 DARS 算法：
   • 通过多阶段采样重新分配计算资源给难题。
   • 理论证明 ET 和 HW 调度分别对应 Log-Odds 和最大似然优化目标。
   • 在保持计算效率的同时（相比盲目增加 rollout 总数），显著提升了 Pass@K。
3. 阐明了深度与广度的协同效应 (Depth-Breadth Synergy)：
   • 发现广度（Batch Size）主要影响 Pass@1，深度（Adaptive Sampling）主要影响 Pass@K。
   • 证明了两者结合（DARS-Breadth）能同时突破 Pass@1 和 Pass@K 的性能瓶颈，且比单一维度优化效果更好。
4. 理论连接：建立了 DARS-HW 与最大似然强化学习（MaxRL）在期望梯度上的等价性，并证明了 DARS 在方差控制上优于直接缩放优势函数的 MaxRL 方法。

4. 实验结果 (Results)

实验在 Qwen2.5-Math (1.5B, 7B) 和 Llama-3.1-8B 模型上，使用 MATH-500, AIME24, OlympiadBench 等基准进行测试：

• Pass@1 提升：
  • 仅增加广度（Breadth-Naive）即可显著提升 Pass@1。
  • DARS-Breadth 在所有模型和基准上均取得了最高的 Pass@1 分数（例如 Qwen2.5-7B 在 AIME24 上从 26.8 提升至 33.0）。
• Pass@K 提升：
  • 盲目增加 rollout 数量（Depth-Naive）有时会导致 Pass@K 下降。
  • DARS 显著提升了 Pass@128 性能。例如，Qwen2.5-7B 在 AIME24 的 Pass@128 从 73.3 提升至 76.7（HW-Breadth 甚至达到 76.7，且 maj@16 提升巨大）。
• 测试时扩展性 (Test-Time Scaling)：
  • DARS 训练的模型在测试时进行多数投票（Majority Voting）时表现更佳，表明其探索到了更丰富的解空间。
• 效率与稳定性：
  • DARS 比盲目增加 rollout 总数（如固定 N=32）需要更少的平均 rollout 次数，训练效率更高。
  • 模型在训练过程中保持了更高的 Token 熵，且生成了更长的推理链条（Thinking Length），表明模型学会了更深入的思考。
• 泛化性：方法在 Llama-3 和 OpenPangu 等不同架构模型上均有效，且对非数学领域（如代码 HumanEval）也有正向迁移。

5. 意义与影响 (Significance)

• 理论突破：打破了 RLVR 中 Pass@1 和 Pass@K 难以兼得的“权衡”迷思，证明了通过**深度（自适应探索）和广度（大规模迭代）**的协同，可以同时优化这两个指标。
• 算法创新：DARS 提供了一种高效、低成本的策略，无需训练额外的奖励模型，仅通过调整采样策略即可解决 GRPO 的固有偏差。
• 实践指导：为未来的 LLM 推理模型训练提供了明确的方向——不仅要关注“做多少题”（广度），更要关注“如何针对难题分配算力”（深度），并采用全批次训练来维持探索能力。
• 开源贡献：作者开源了代码库，推动了社区对 RLVR 深度与广度协同机制的研究。

总结：这篇论文通过深入分析 RLVR 的优化偏差，提出了 DARS 算法，成功地将“针对难题的自适应采样”与“大规模批处理训练”相结合，实现了 LLM 推理能力在单次生成（Pass@1）和多采样生成（Pass@K）上的双重突破，为构建更强大的自进化推理模型奠定了重要基础。