💬 NLP

DeepSearch: Overcome the Bottleneck of Reinforcement Learning with Verifiable Rewards via Monte Carlo Tree Search

DeepSearch 通过将蒙特卡洛树搜索（MCTS）直接嵌入强化学习验证奖励（RLVR）的训练循环，利用全局前沿选择、熵引导策略及自适应回放缓冲区，有效解决了传统方法因探索不足导致的性能瓶颈，在数学推理基准测试中实现了新的最先进水平，且计算效率远超单纯延长训练的方法。

原作者： Fang Wu, Weihao Xuan, Heli Qi, Ximing Lu, Aaron Tu, Li Erran Li, Yejin Choi

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fang Wu, Weihao Xuan, Heli Qi, Ximing Lu, Aaron Tu, Li Erran Li, Yejin Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DeepSearch 的新方法，旨在解决大语言模型（LLM）在“数学推理”和“逻辑思考”方面遇到的一个瓶颈。

为了让你轻松理解，我们可以把训练一个聪明的 AI 模型，想象成教一个学生参加数学竞赛。

1. 现在的困境：死记硬背 vs. 盲目刷题

现状（传统 RLVR 方法）：
目前的训练方法有点像让学生盲目刷题。

做法：老师（算法）给学生出一道题，学生尝试写答案。如果写对了，老师给个糖（奖励）；写错了，老师给个苦头（惩罚）。
问题：学生为了拿糖，往往只会走自己最熟悉的那条路（比如死记硬背某种解题套路）。如果这道题需要一种全新的、复杂的解题思路，学生因为没走过那条路，就根本探索不到。
结果：刷了成千上万道题，成绩却卡住了（训练平台期）。就像学生每天只会在同一条路上跑，跑得再快也发现不了新大陆。

2. DeepSearch 的解决方案：带着“寻宝图”去训练

DeepSearch 的核心创新：
它不再让学生盲目刷题，而是给训练过程装上了一个**“蒙特卡洛树搜索”（MCTS）引擎。这就像给学生发了一张动态的“寻宝图”**。

我们可以用三个生动的比喻来理解它的三大核心功能：

比喻一：全局探路者（Global Frontier Selection）

传统做法：学生做题时，只盯着眼前的几步看，容易走进死胡同（局部最优）。
DeepSearch 做法：想象有一个全知全能的向导，他站在山顶俯瞰整个迷宫。他不仅看哪条路看起来好走，还会计算哪条路虽然难走但潜力最大。
效果：系统会优先去探索那些“最有希望”的分支，而不是在死胡同里浪费时间。这就像向导直接告诉学生：“别在那条死路上了，去试试左边那个看起来有点难但藏着宝藏的路口。”

比喻二：从“最自信的错误”中学习（Entropy-based Guidance）

传统做法：学生做错了题，老师随便挑一个错误答案让他改，或者只关注做对的题。
DeepSearch 做法：系统会专门寻找学生**“最自信但做错了”**的地方。
- 想象学生非常笃定地说：“答案肯定是 5！”结果答案是 3。这种“自信的错误”往往暴露了学生思维中最顽固的误区。
- DeepSearch 会重点“攻击”这些点，因为纠正这些根深蒂固的错误，比纠正那些“瞎蒙猜错”的点，进步要快得多。

比喻三：智能错题本（Adaptive Replay Buffer）

传统做法：学生做过的题，不管会不会，下次还随机抽出来练，效率很低。
DeepSearch 做法：它有一个智能错题本。
- 如果一道题学生已经彻底搞懂了（找到了正确答案），系统就把这道题**“缓存”**起来，下次不再浪费时间去重新搜索，直接复用答案。
- 系统把宝贵的精力（算力）全部集中在那些**“还没做出来”**的难题上。
- 这就好比一个聪明的教练，只让学生反复练习那些还不会的题，已经学会的题就放一边，极大地节省了时间。

3. 惊人的效果：少花钱，多办事

这篇论文最厉害的地方在于效率：

传统方法：想提高成绩，就得让学生没日没夜地刷题（增加训练步数），消耗巨大的电力和算力，但效果越来越差（边际效应递减）。
DeepSearch 方法：它通过**“聪明的搜索策略”，用5.7 倍更少的算力（GPU 时间），就达到了更高的成绩**。
- 在数学竞赛测试中，它的平均准确率达到了 62.95%，刷新了同类小模型（15 亿参数）的纪录。
- 它证明了：与其盲目地“堆时间”、“堆算力”，不如在训练过程中加入“系统性的思考策略”。

总结

DeepSearch 就像是给 AI 装上了一个**“思考的导航仪”**。

它不再让 AI 在黑暗中盲目摸索，而是教它：

往哪走（全局探索最有希望的路）；
在哪改（重点纠正那些“自信的错误”）；
怎么省（学会的题别重复练，专攻难题）。

这项研究告诉我们，未来的 AI 变强，不仅仅靠“吃得更多”（更多数据、更大模型），更靠**“想得更好”**（更聪明的训练算法）。

1. 研究背景与问题 (Problem)

背景：
可验证奖励强化学习 (RLVR) 已成为提升大语言模型 (LLM) 推理能力的关键技术。然而，现有的 RLVR 实践存在明显的训练瓶颈：

训练平台期 (Training Plateaus)： 在数千步优化后，性能增长停滞，即使增加计算投入（延长训练步数），收益也呈边际递减。
稀疏探索 (Sparse Exploration)： 现有方法主要依赖有限的直接 rollout（直接采样），导致模型难以覆盖关键的推理路径，无法系统地探索解空间。
训练与推理的割裂： 目前的结构化搜索（如树搜索）通常仅用于推理阶段，未能将其整合到训练过程中，导致模型无法从系统的探索过程中学习。

核心问题：
如何打破 RLVR 中因探索不足导致的性能瓶颈，在不单纯依赖增加计算量（Brute-force scaling）的情况下，通过算法创新实现推理能力的系统性提升？

2. 方法论 (Methodology)

作者提出了 DeepSearch 框架，其核心思想是将 蒙特卡洛树搜索 (MCTS) 直接嵌入到 RLVR 的训练循环中，从“扩展训练深度”转向“扩展训练广度”。

2.1 核心架构

DeepSearch 在训练过程中构建搜索树，根节点为问题 $x$ ，子节点为模型生成的中间推理步骤。通过 MCTS 迭代生成轨迹，并利用可验证的奖励（如数学题的正确答案）进行反馈。

2.2 关键创新组件

全局前沿选择策略 (Global Frontier Selection Strategy)：
- 传统局限： 传统 MCTS 使用 UCT (Upper Confidence Bounds for Trees) 进行根到叶的遍历，容易陷入局部最优且计算冗余。
- DeepSearch 方案： 维护整个搜索树的全局视角，直接比较所有“前沿节点”（即未扩展的叶子节点）。
- 优先级评分函数： $F(s) = \lambda_1 \tanh(Q_{parent}) + \lambda_2 H(\pi_\theta) + \lambda_3 D(d(s))$ $F (s) = λ_{1} tanh (Q_{p a r e n t}) + λ_{2} H (π_{θ}) + λ_{3} D (d (s))$
  - 质量潜力 (Quality Potential)： 基于父节点的 Q 值，鼓励高价值路径。
  - 不确定性奖励 (Uncertainty Bonus)： 基于策略熵，引导模型探索高不确定性区域或高置信度区域。
  - 深度奖励 (Depth Bonus)： 鼓励更深层次的推理探索。
- 优势： 避免了冗余的根到叶遍历，实现了跨子树的全局资源分配。
基于熵的引导选择 (Selection with Entropy-Based Guidance)：
- 当没有发现正确答案时，系统不会随机选择错误路径，而是选择置信度最高的错误轨迹（即平均轨迹熵最低的错误路径）。
- 原理： 模型最自信的错误往往暴露了系统性的推理缺陷，针对这些路径进行监督比随机错误更有效。
自适应回放缓冲与训练 (Adaptive Replay Buffer Training)：
- 渐进式过滤： 根据模型当前的成功率（Pass@K），动态筛选出“困难样本”进入下一轮训练，集中算力攻克难点。
- 解决方案缓存 (Solution Caching)： 将 MCTS 找到的正确轨迹存入回放缓冲区。对于已缓存的问题，直接复用正确轨迹并补充少量直接采样，避免重复计算；对于未解决的问题，执行完整的 MCTS 搜索。
- 优势： 防止灾难性遗忘，显著减少冗余计算，提高样本效率。
Tree-GRPO 训练目标：
- 结合节点级 Q 值进行细粒度的信用分配 (Credit Assignment)。
- 引入 Q 值软截断 (Soft Clipping) 防止中间节点 Q 值爆炸。
- 使用序列级归一化计算优势函数，稳定训练过程。

3. 主要贡献 (Key Contributions)

训练范式的转变： 首次将 MCTS 深度整合进 RLVR 训练循环，证明了“训练时的系统性探索”比单纯增加训练步数更有效。
算法创新：
- 提出了全局前沿选择机制，解决了传统 UCT 的短视问题。
- 设计了基于熵的错误路径选择策略，利用高置信度错误进行针对性监督。
- 构建了自适应回放缓冲机制，实现了计算资源的动态优化分配。
效率与性能的双重突破： 在数学推理基准测试中，DeepSearch 以极少的计算成本（GPU 小时）实现了 SOTA 性能。

4. 实验结果 (Results)

基准测试表现：
- 在 AIME 2024/2025, AMC2023, MATH500, Minerva, Olympiad 等 6 个数学推理基准上进行了评估。
- DeepSearch-1.5B 模型取得了 62.95% 的平均准确率，超越了之前的 SOTA 模型 (Nemotron-Research-Reasoning-Qwen-1.5B v2, 61.70%)。
- 在 AIME 2024 上提升了 1.88 个百分点 (53.65% vs 51.77%)，在 AMC 上提升了 1.56 个百分点。
计算效率：
- 显著节省资源： DeepSearch 仅用 330 GPU 小时 就达到了 62.95% 的准确率。
- 对比传统扩展训练： 传统的扩展训练方法（Extended Training）需要消耗 1,883.2 GPU 小时 才能达到 62.02% 的准确率（甚至出现性能平台期）。
- 效率提升： DeepSearch 比传统扩展训练方法节省了 5.7 倍 的 GPU 时间，且性能更高。
消融实验结论：
- 全局前沿选择比传统 UCT 减少了 10.4% 的迭代次数，并提升了轨迹奖励。
- 选择“最自信的错误轨迹”比随机选择或选择“最不自信的错误”效果好得多。
- 每个组件（Q 值更新、细粒度优势、归一化、前沿选择）都对最终性能有显著贡献。

5. 意义与影响 (Significance)

重新定义 RLVR 的扩展路径： 论文挑战了“通过增加计算预算和训练步数来提升 RLVR 性能”的常规假设，证明了算法创新（系统性探索） 比单纯的资源堆砌更具可扩展性。
弥合训练与推理的鸿沟： DeepSearch 成功地将推理阶段的高级搜索能力（如树搜索）转化为训练阶段的监督信号，使模型在训练过程中就能学会如何“思考”和“搜索”。
解决训练瓶颈： 为 RLVR 中常见的性能平台期提供了解决方案，通过细粒度的信用分配和智能探索，让模型能从更复杂的推理路径中学习。
实际应用价值： 在资源受限的情况下（如小参数模型 1.5B），通过 DeepSearch 框架也能达到甚至超越更大模型或更长训练时间的效果，具有极高的落地潜力。

总结： DeepSearch 通过引入基于树的搜索机制，将 RLVR 从“盲目采样”升级为“结构化探索”，在数学推理任务上实现了性能与效率的双重突破，为未来推理模型的发展指明了新的方向。