🤖 AI

ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

该论文介绍了 ABSeeker，这是一种通过一种新颖的答案回溯式信用分配（ABC）框架进行训练的长程搜索智能体，该框架将稀疏的轨迹结果转化为稠密的步级奖励，以区分有用动作与错误，从而使一个紧凑的 4B 模型能够超越同规模智能体，并在复杂的搜索基准测试中媲美规模大得多的 30B 模型。

原作者： Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, Songhua Liu, Siheng Chen

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, Songhua Liu, Siheng Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人去解决一个庞大且多步骤的谜题。在人工智能领域，这被称为训练一个“搜索智能体”（search agent）。这些智能体就像数字侦探，它们不仅仅是查找单一的事实，而是必须在互联网中穿梭，阅读数十个网站，将各种线索联系起来，并拼凑出一个复杂的答案。这就像一场寻宝游戏，但地图丢失了，机器人必须通过提问、检查线索，有时甚至在意识到自己正在原地打转时，来摸索出正确的路径。科学家们面临的巨大挑战在于，如何教这些机器人变得更擅长这种“狩猎”。通常情况下，当机器人完成一次狩猎后，老师只会根据最终是否找到了宝藏给出一个简单的“做得好！”或“再试一次！”。这就像是仅根据期末考试的分数来评定一名学生的整个学期成绩，而忽略了他们为了考试数周努力学习，却仅仅因为最后犯了一个低级错误而失利；或者忽略了有人虽然没怎么下功夫，却靠运气第一次就猜中了正确答案。

这篇名为《ABSeeker》的论文正是针对这一问题展开研究的。来自上海交通大学的研究人员意识到，要让搜索智能体真正变得聪明，我们需要观察它们采取的每一个步骤，而不仅仅是最终结果。他们提出了一种新的训练方法，称为“答案回溯式信用分配”（Answer-Backtracked Credit Assignment，简称 ABC）。该系统不再只是说“你答对了，所以你走的每一步都是对的”，而是从正确答案出发，反向推导应该在过程中发现哪些特定的线索。然后，它会回到机器人的旅程中，为发现这些线索的行为给予奖励——即使机器人最终迷失了方向；同时，对于那些浪费时间或忽略了优质线索的步骤，即使机器人最后偶然得到了正确答案，也会给予“时间惩罚”。他们在一款相对较小的 AI 模型（40 亿参数）上进行了测试，发现它解决复杂搜索谜题的能力优于规模大得多的模型，这证明了教机器人“如何一步步思考”比单纯把机器人做大更为重要。

“全有或全无”评分的谜团

让我们深入了解其工作原理。想象一下，你正在训练一只狗在巨大的公园里寻找一个隐藏的玩具。在旧的训练方式（论文称之为“轨迹级监督”）中，只有当狗把玩具带回你身边时，你才会给它奖励。如果狗找到了玩具，但在回来的路上掉进了水坑，你不会给它奖励。如果狗迷路了，绕着圈子跑，最后却意外撞到了玩具，你也会给它奖励。这对狗来说非常令人困惑！它不知道找到玩具是好事，也不知道绕圈子是坏事。

本文作者认为，这种“全有或全无”的方法是训练 AI 搜索智能体的一个重大缺陷。他们注意到，即使 AI 未能找到最终答案，它在过程中也往往采取了许多正确的步骤——比如找到了正确的网站或阅读了正确的段落。相反，AI 可能会靠运气或通过某种跳过重要事实的奇怪捷径来得到正确答案。论文指出，我们需要一种方法来对 AI 做的每一次移动进行评分，而不仅仅是看最终得分。

“回溯式”侦探

为了解决这个问题，研究人员发明了一个聪明的技巧，叫做答案回溯式线索恢复（Answer-Backtracked Clue Recovery）。这里有一个类比：想象 AI 是一名刚刚破获案件并知道了罪犯姓名（即“标准答案”）的侦探。论文建议，与其仅仅庆祝胜利，不如让侦探进行反向推理：“好吧，我知道罪犯是约翰。为了证明是约翰，我必须发现了他的指纹、他的不在场证明和他的汽车。”

在 AI 的案例中，系统会获取正确答案，并使用一个强大的 AI 来进行“回溯”，列出为了得出该答案而必须发现的所有中间线索。例如，如果答案是某个特定品牌的洗发露，那么线索可能是“拥有该品牌的公司”、“创始人毕业的年份”以及“成分表”。这些线索成为了衡量 AI 表现的“地图”。

步骤评分

一旦线索地图准备就绪，系统就会进入线索锚定步骤评分（Clue-Anchored Step Scoring）阶段。这是见证奇迹的时刻。AI 的旅程会被重新播放，每一步都会对照线索地图进行检查。

优秀的步骤： 如果 AI 找到了一个线索（如成分表），即使 AI 最终放弃并未能解决整个谜题，它也会获得高分。
糟糕的步骤： 如果 AI 忽略了一个线索或丢弃了一个好的线索，即使它后来通过某种方式偶然得到了正确答案，也会受到惩罚。
中性的步骤： 仅仅是在四处游荡而没有发现任何东西，则会被评为中性分数。

这把简单的“通过/失败”等级变成了一份关于 AI 每一步动作的详细成绩单。论文表明，这种方法能让 AI 更快地从错误中学习，因为它清楚地知道哪一步做错了，而不仅仅是知道整个尝试失败了。

结果：小脑瓜，大胜利

研究人员利用这种方法构建了一个新的搜索智能体——ABSeeker。他们使用的是 Qwen3.5-4B 模型，在 AI 世界里这属于相对较小的模型（可以把它想象成一个聪明的高中生，而不是博士级别的超级计算机）。他们仅用了 8,500 个示例进行训练——这与通常需要的数百万个示例相比，规模极其微小。

结果令人惊喜。在名为 BrowseComp 的高难度测试中（AI 需要在网上寻找复杂、多部分的答案），ABSeeker 取得了 37.3% 的成绩。当他们加入了一个帮助 AI 管理记忆的功能（称为“上下文管理”）时，分数跃升至 55.3%。

为了直观对比，论文将 ABSeeker 与规模大得多的 AI 智能体（约 300 亿参数，相当于专业侦探）进行了比较。ABSeeker，这个“高中生”，在几项困难测试中竟然超越或匹配了这些规模大得多的智能体。例如，在中文版本的测试（BrowseComp-ZH）中，它取得了 52.9% 的成绩，表现优于得分较低的大型模型。

这为什么重要

论文表明，核心秘诀不仅在于把 AI 做大，还在于教它如何评估自己的进度。通过使用“答案回溯式信用分配”，AI 学习去重视有用的行动并避免无用的行动，无论它最终是赢是输。作者发现，即使在失败的尝试中，大约有 10% 的步骤实际上是高质量的发现，理应获得奖励。在旧系统中，由于最终答案错误，这些优秀的步骤也会受到惩罚。

简而言之，这篇论文表明，如果你给 AI 一张详细的“优秀旅程”地图，它就能更高效地在互联网中导航，即使它最初只有一个较小的“大脑”。研究人员相信，这种方法可以成为训练未来 AI 智能体解决复杂问题的游戏规则改变者，让它们不仅仅靠猜测，而是通过仔细思考每一步来解决问题。

技术摘要：ABSeeker —— 通过答案回溯式信用分配训练长程搜索智能体

1. 问题陈述

长程搜索智能体需要通过多个连续动作来检索、验证并整合证据，以解决复杂的查询。然而，现有的智能体训练方法（包括监督微调 SFT 和强化学习 RL）通常依赖于轨迹级监督（trajectory-level supervision）。在这种范式下，轨迹中的所有步骤都被同等对待：成功的轨迹获得全部奖励，而失败的轨迹则受到全部惩罚。

这种统一的处理方式造成了一个根本性的信用分配问题（credit-assignment problem）：

假阴性（False Negatives）： 一个失败的轨迹可能包含非常有用的中间步骤（例如，发现了决定性的证据或完善了假设），但由于最终答案错误，这些步骤的奖励为零。
假阳性（False Positives）： 一个成功的轨迹可能包含错误、冗余或具有误导性的步骤，尽管这些步骤阻碍了搜索过程，但仍获得了全额奖励。
缺乏粒度： 现有方法无法区分特定动作的个体贡献，从而限制了对关键搜索和推理行为的优化能力。

2. 方法论：答案回溯式信用分配 (ABC)

作者提出了答案回溯式信用分配（Answer-Backtracked Credit Assignment, ABC），这是一个精细化的框架，旨在将稀疏的轨迹级结果转化为稠密的步级（step-level）监督。其核心洞察是：一旦有了标准答案，搜索任务就自然具备了可回溯性。通过从验证后的答案进行回溯，可以恢复出应当被发现的中间证据（线索）。

该框架通过两个主要阶段运行：

2.1 答案回溯式线索恢复

给定查询 $q$ 及其经过验证的标准答案 $a^*$ ，系统利用 LLM 来重建解决该问题所需的证据链。

过程： 恢复模型作为一个主动智能体，执行网络搜索并访问页面（使用与前向智能体相同的工具调用协议），从而将证据从答案回溯至查询约束。
输出： 一组中间证据线索 $C = \{c_1, c_2, ..., c_K\}$ 。这些线索是具体的、可验证的信息（实体、事实、属性或关系），它们构成了连接查询与答案的经过验证的证据链。
角色： 这些线索作为固定锚点，用于评估搜索轨迹中每一步的质量，且独立于最终结果。

2.2 以线索为锚点的步骤评分

收集到的轨迹中（无论成功或失败）的每一步 $s_t$ 都会根据恢复的线索集 $C$ 进行评估。

评分机制： 每一步从基础分 1.0 开始。分数根据步骤中检测到的具体行为（推理、工具调用及响应）进行调整：
- 正向增量： 发现/验证正确线索 (+0.8)，排除错误候选对象 (+0.4)，或提交验证后的答案 (+1.0)。
- 负向增量： 错误地排除正确线索 (-0.8) 或提交错误答案 (-1.0)。
最终奖励： 步骤奖励 $r_t$ 是累积得分，并被裁剪（clip）在 $[0, 2.0]$ 范围内。至关重要的是，失败轨迹中发现正确线索的步骤会获得正向奖励，而成功轨迹中丢弃有用证据的步骤则会受到惩罚。

2.3 训练流水线

基于这些稠密的步级奖励，作者开发了两种训练算法：

ABC-SFT（奖励加权监督微调）： 对标准 SFT 进行修改，通过对每一轮的损失进行重加权。权重 $w(r_t)$ 通过步级奖励的 Sigmoid 函数计算，使得高质量的步骤能对梯度产生更强的贡献，同时降低错误步骤的权重。
ABC-GRPO（步级强化学习）： 步级得分作为 Group Relative Policy Optimization (GRPO) 算法中的奖励。该算法不再使用单一的轨迹级优势（advantage），而是为每个 token 计算折扣后的步级优势，从而实现精细化的策略更新。

3. 核心贡献

答案回溯式信用分配 (ABC)： 一种新颖的框架，通过利用验证后的答案来重建中间证据线索，从而实现对单个搜索步骤的评估，无论最终轨迹结果如何。
ABC-SFT 与 ABC-GRPO： 基于 ABC 开发的两种训练算法，分别利用稠密的步级奖励来重加权 SFT 损失并优化 RL 策略。
ABSeeker： 一个基于 4B 参数骨干网络（Qwen3.5-4B）训练的搜索智能体，仅使用了 8.5k 个样本。它证明了精细化的过程监督可以在不需要大规模模型规模的情况下实现高性能。

4. 实验结果

作者在五个基准测试上评估了 ABSeeker：BrowseComp、BrowseComp-ZH、xbench-2505、xbench-2510 和 GAIA-text。

性能表现：
- BrowseComp： 37.3%（不含上下文管理），在使用上下文管理后提升至 55.3%。
- BrowseComp-ZH： 39.1%（不含上下文管理），在使用上下文管理后提升至 52.9%。
- xbench-2505： 77.0%。
- x-bench-2510： 46.0%。
- GAIA-text： 81.6%。
对比分析：
- ABSeeker 在 4B 规模搜索智能体中表现最佳（超越了 QUEST-4B、DR-Venus 和 AgentCPM-Explore）。
- 它显著优于同规模的基线模型，并在多个基准测试中达到或超过了规模大得多的智能体（约 30B），如 Tongyi DeepResearch 和 OpenSeeker。
消融实验：
- 使用 ABC-SFT 代替标准 SFT 在各基准测试中均带来了持续的提升。
- 使用 ABC-GRPO 代替标准轨迹级 GRPO 进一步提升了性能，证明了步级信用分配能同时改善搜索准确性和探索行为。
- 奖励分布分析显示，即使在成功的轨迹中，也有约 4% 的步骤是低质量的；而在失败的轨迹中，约有 10% 的步骤是高质量的。ABC 成功识别并奖励了后者，同时惩罚了前者。

5. 意义与主张

论文声称，答案回溯式信用分配通过提供显式的、精细化的过程监督，有效地解决了长程搜索中的信用分配挑战。

效率： 该方法使紧凑的 4B 模型能够超越规模大得多的智能体，这表明对于搜索任务而言，训练监督的质量（区分有用步骤与错误步骤）比单纯的模型规模更为关键。
泛化能力： 尽管仅在 BrowseComp 风格的问题上进行训练，ABSeeker 仍能有效地泛化到 xbench 和 GAIA，展现了强大的跨基准能力。
过程监督： 实验结果验证了：奖励失败轨迹中的有用动作并抑制成功轨迹中的错误行为，可以带来更高效且更具深思熟虑性的搜索行为。

作者总结道，这种方法强调了显式过程监督对于可扩展搜索智能体训练的重要性，并提议将该框架扩展到其他可以将结果回溯为中间证据的长程任务中。