💬 NLP

Training Multi-Turn Search Agent via Contrastive Dynamic Branch Sampling

本文介绍了 BranPO，这是一种无价值函数（value-free）的强化学习方法，通过利用对比动态分支采样从轨迹尾部生成步级监督，从而在长程设置中改进多轮搜索智能体，进而克服稀疏奖励和计算效率低下的问题，并在问答基准测试中实现了更高的准确率。

原作者： Yubao Zhao, Weiquan Huang, Sudong Wang, Ruochen Zhao, Chen Chen, Yao Shu, Chengwei Qin

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yubao Zhao, Weiquan Huang, Sudong Wang, Ruochen Zhao, Chen Chen, Yao Shu, Chengwei Qin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教导一名侦探破解谜题

想象一下，你正在训练一名初级侦探（AI智能体）去破解复杂的谜案。这些案件需要多个步骤：提出问题、收集线索，最后还要撰写报告。

这篇论文解决的问题是：当你只能在最后得到反馈——即**“案件破获”或“案件失败”**时，该如何教导这位侦探。

如果侦探在报告的最后一句话上出了错，旧的训练方法会说：“你失败了”，并因此惩罚侦探之前所做的所有事情，即便他在前90%的调查过程中表现得完美无缺。这就像一个学生因为在期末考试中写错了名字而导致整场考试不及格，尽管他所有的数学题都答对了。这既令人困惑又效率低下。

核心问题：“责任归属”中的博弈

在 AI 世界中，这被称为信用分配问题（Credit Assignment Problem）。

旧方法 (GRPO)： AI 尝试从头到尾走完整个路径。如果最后失败了，AI 会认为：“也许我不该问第一个问题。”但实际上，第一个问题可能是完美的！错误其实发生在最后一步。
树状方法 (The Tree Method)： 一些研究人员尝试构建一个“可能性之树”，在每一步都进行分支以观察结果。但这就像是在每一次转折处都派出 100 名侦探去尝试所有可能的路径。这极其昂贵且缓慢。

发现：错误究竟发生在何处

作者分析了数千个这类 AI 侦探故事，并发现了一个模式：

开头通常没问题： AI 擅长开始调查并提出前几个问题。
结尾才是崩溃的地方： 错误几乎总是发生在最后的步骤——要么是 AI 过早放弃，要么是在试图撰写最终答案时开始“幻觉”（捏造事实）。

类比： 想象你在烤蛋糕。AI 擅长搅拌面糊和把蛋糕放入烤箱（早期步骤）。但通常，它会把蛋糕烤焦或者忘了涂抹糖霜（后期步骤）。如果你因为蛋糕烤焦了就扔掉整个蛋糕，那就浪费了那份搅拌得完美的面糊。

解决方案：BranPO（分支相对策略优化）

作者提出了一种名为 BranPO 的新训练方法。以下是它的工作原理，分步详解：

1. “回溯并重试”策略

与其每次失败时都让 AI 从头开始，BranPO 说：“让我们保留好的部分。”

行动： 当 AI 完成任务后，系统会观察结尾。如果答案错误，它会**截断（truncate）**最后几个步骤。
分支： 它保持“前缀”（良好的早期步骤）完全不变，然后要求 AI 仅对最后几个步骤进行重采样（resample）（即重试）。
结果： 它创造了一个“对比”对：
- 路径 A： 原本的尝试（在结尾失败了）。
- 路径 B： 新的尝试（在相同的开头下，于结尾成功了）。

类比： 想象你在写一篇论文。你写了一个很棒的引言和正文，但结论写得很烂。与其重写整篇论文，不如保留前 90% 的内容，只尝试写 10 个不同的结尾。然后你教导 AI：“看，开头是对的。问题只出在结尾。下次，试着换个结尾。”

2. 智能采样（感知难度）

并非所有的任务都需要同等程度的帮助。

简单任务： 如果 AI 轻松得到了正确答案，系统就不会浪费时间让它重试，而是直接进入下一步。
困难任务： 如果 AI 陷入挣扎，系统就会变得激进。它会在不同的点截断任务，并强迫 AI 尝试许多不同的结尾，以找到那个行得通的结尾。
类比： 把它想象成一名教练。如果球员轻松射门得分，教练会说“做得好，下一球！”但如果球员一直射偏，教练会暂停比赛，说“让我们针对这个特定的动作练习 10 次”，并只专注于修正那个特定的动作。

3. “冗余步骤”过滤器

有时，AI 虽然得到了答案，却仍在进行不必要的搜索（就像一个侦探找到了凶手，却还在屋子里搜寻了 10 分钟）。

修复方案： 系统拥有一个“冗余步骤掩码（Redundant Step Mask）”。如果 AI 找到了答案，但随后又采取了额外的步骤，系统会在训练期间忽略这些多余的步骤。它教会 AI 在任务完成后立即停止搜索。
类比： 这就像告诉学生：“你用 5 分钟就解出了这道数学题。很好！但之后你又花了 10 分钟反复检查。下次，请在 5 分钟时就停下来。我们不需要额外的 10 分钟。”

为什么这种方法更好

精准度： 它防止了 AI 因为后期的错误而责怪其早期的正确决策。
高效性： 它不会浪费金钱和时间去重新模拟整个过程。它只模拟需要修复的部分（结尾）。
稳定性： 通过在保持起始部分相同的情况下，将一个“好的结尾”与一个“坏的结尾”进行对比，AI 能准确学习到需要改变什么。

结果

作者在各种问答基准测试（如解决多步谜题）上测试了该方法。

结果： BranPO 始终优于其他强力方法。
关键优势： 它在处理长篇、复杂任务时表现得显著更好，且不需要比标准方法更多的计算资源或时间。

一句话总结

BranPO 通过保留 AI 优秀的早期工作成果，并仅强制它们重试混乱的最后步骤，有效地向它们展示哪里出了错，而无需浪费时间去重做那些已经做对的部分。

技术摘要：通过对比动态分支采样训练多轮搜索智能体

1. 问题陈述

智能体强化学习（RL）已使大语言模型（LLMs）能够执行复杂的多轮规划和工具使用。然而，在长程（long-horizon）设定下训练这些智能体仍然具有挑战性，原因在于稀疏的、轨迹层级的结局奖励。在标准的 RL 设置中，整个轨迹仅被分配一个表示最终正确性的单一奖励信号。这导致了信用分配歧义（credit assignment ambiguity），即早期的正确决策可能会因为后期的错误而被惩罚，并导致学习信号的高方差。

旨在缓解这一问题的先前尝试（例如基于树的展开，如 Tree-GRPO）通常面临高方差和计算效率低下的问题。它们依赖于对中间状态进行深度的蒙特卡洛估计，而这种估计往往具有噪声且计算成本高昂。此外，经验分析揭示了搜索智能体的一种特定失败模式：虽然不同展开过程中的早期交互通常非常相似，但性能的分歧主要源于轨迹尾部附近的决策（例如，在最后的综合步骤中探索不足或出现幻觉推理）。对整个展开过程进行统一监督无法利用这一观察结果。

2. 方法论：BranPO

作者提出了分支相对策略优化（Branching Relative Policy Optimization, BranPO），这是一种无需价值函数（value-free）的方法，旨在提供无需密集奖励的步级对比监督。其核心洞察是：最有信息的学习信号来自于对比轨迹尾部附近的替代决策，而非从起点重新采样。

核心机制

BranPO 通过在靠近轨迹尾部进行递归截断并重采样替代的延续部分，来构建基于共享前缀的对比后缀（contrastive suffixes）。

初始展开与截断： 给定一组轨迹，该方法在选定的转折点 $k$ 处截断轨迹，以获得共享前缀 $B$ （搜索历史）。
分支（Branching）： 从由前缀定义的中间状态出发，采样多个分支延续（后缀） $C$ 。
对比过滤： 仅保留结局与原始轨迹不同的分支（例如，如果原始轨迹是错误的，则寻求正确的延续；如果原始轨迹是正确的，则寻求错误的延续）。这确保了具有意义的对比信号。
优势分解（Advantage Decomposition）：
- 前缀优势（Prefix Advantage）： 共享前缀的奖励被计算为其分支延续的平均回报。通过平均化尾部的随机性，该方法稳定了早期步骤的梯度，实际上成为了组相对策略优化（GRPO）的一个低方差变体。
- 后缀优势（Suffix Advantage）： 对于分支后缀，优势是相对于所有分支组进行计算的。这诱导了一种类似于直接偏好优化（DPO）的对比更新，即在给定相同前缀的情况下，最大化成功延续与失败延续之间的似然差距。

关键组件

难度感知分支采样（Difficulty-Aware Branch Sampling, DBS）： 为了提高效率，分支预算根据任务难度（通过组级准确率推断）进行自适应分配。
- 简单任务/正确轨迹： 简单分支（仅截断最后一步）。
- 困难任务/错误轨迹： 递归分支（向后截断多个步骤），以探索多样化的对比后缀。
冗余步骤掩码（Redundant Step Masking, RSM）： 搜索智能体经常表现出冗余行为（例如，在获取足够证据后仍在进行搜索）。RSM 识别那些交互长度超过正确答案组平均值的轨迹。它从倒数第二步开始分支；如果找到了更短的正确延续，则原始轨迹中冗余步骤的优势在梯度计算期间将被掩码（设为零）。这防止了对不必要工具使用的强化。

3. 主要贡献

识别失败模式： 本文通过经验研究发现，在长程搜索智能体任务中，错误主要源于轨迹后期的分歧决策，而早期步骤通常保持有效。
BranPO 框架： 一种新型的无需价值函数的 RL 方法，它将 GRPO 的稳定梯度与高效的类 DPO 对比学习相结合。它在理论上统一了轨迹级 RL 与基于偏好的优化。
效率机制： 引入了难度感知分支采样和冗余步骤掩码，以自适应地分配计算资源并抑制无信息/冗余行为。
经验验证： 大量实验表明，在多跳问答任务中，BranPO 在不增加整体训练预算的情况下，表现优于强基线模型（如 GRPO、Tree-GRPO、GiGPO）。

4. 实验结果

作者在七个问答基准测试上评估了 BranPO，包括单跳（Natural Questions, TriviaQA, PopQA）和多跳数据集（HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle），以及真实世界的网络搜索任务（GAIA）。

性能： BranPO 在多跳数据集上始终优于基线，在 F1 分数和 LLM-as-a-Judge 指标上均取得了显著提升。例如，在 Qwen2.5-7B-Instruct 模型上，BranPO 在多跳任务上的平均 F1 为 55.7，而 GRPO 为 54.0。
可扩展性： 该方法在训练期间将交互时长从 4 轮扩展到 8 轮，并在评估期间扩展到 16 轮时展现了鲁棒性。BranPO 学会了比 GRPO 更快地增加搜索使用频率，以确保准确性的同时抑制冗余步骤。
泛化能力： 在 GAIA 基准测试（真实世界网络搜索）上，BranPO 优于 GRPO，展示了强大的泛化能力。
效率： 尽管存在额外的分支展开开销，但由于 BranPO 由于方差降低和针对性监督，所需的有效训练样本更少，因此其墙钟训练时间（wall-clock training time）与 GRPO 相当。
消融实验： 移除难度感知分支采样或冗余步骤掩码中的任何一个，都会导致性能持续下降，证实了两者皆有必要。

5. 意义与主张

本文声称，与仅依赖轨迹级奖励相比，BranPO 为智能体 RL 提供了一种显著更高效的训练范式。通过构建专门针对轨迹尾部的步级对比监督，BranPO 有效地缓解了信用分配歧义。

作者强调，其方法：

通过前缀平均化减少梯度更新的方差，从而稳定训练。
通过将计算资源集中在最可能发生错误的尾部高不确定性决策上，提高样本效率。
通过冗余步骤掩码防止向不必要的延续产生偏差。

论文总结道，虽然 BranPO 提高了训练效率和优化质量，但它并未消除搜索类推理的基本局限性（如幻觉或错误的客观事实信息），因此仍需适当的评估保障措施。这项工作强调，对于长程任务，最有效的学习信号通常是在失败决策点附近通过对比替代结果获得的，而非对整个轨迹进行统一监督。