💬 NLP

Supervising the search process produces reliable and generalizable information-seeking agents

本文介绍了 RAG-Gym 和 Re $^2$ Search++ 智能体，证明了将监督信号从最终答案转向搜索过程本身，能够产生更可靠、泛化能力更强的信息检索智能体，尤其是在跨域场景中。

原作者： Guangzhi Xiong, Qiao Jin, Xiao Wang, Yin Fang, Haolin Liu, Yifan Yang, Fangyuan Chen, Zhixing Song, Dengyu Wang, Minjia Zhang, Zhiyong Lu, Aidong Zhang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guangzhi Xiong, Qiao Jin, Xiao Wang, Yin Fang, Haolin Liu, Yifan Yang, Fangyuan Chen, Zhixing Song, Dengyu Wang, Minjia Zhang, Zhiyong Lu, Aidong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对这篇论文的解释。

核心理念：培养侦探，而非仅仅训练答题者

想象你有一位非常聪明的学生（人工智能）正在参加一场高难度的考试。

旧方法（结果监督）： 老师只看最终的答案卷。如果学生答对了，就得"A"，哪怕他是猜的、靠死记硬背作弊的，或者是运气好。如果答错了，就得"F"，哪怕他做了所有正确的研究步骤，只是在最后犯了个微小的计算错误。
新方法（过程监督）： 老师在学生解题过程中进行观察。他们检查学生的草稿纸、搜索查询和每一步的逻辑。如果学生提出了一个聪明的疑问以寻找缺失的事实，就得一分。如果提出模糊的问题或未加查证就猜测，就扣一分。

这篇题为《监督搜索过程可产生可靠且可泛化的信息检索智能体》的论文认为，通过观察过程来教导人工智能成为优秀的侦探，远比仅仅给最终答案打分要好得多。

问题：“幸运猜测”的陷阱

作者发现，当人工智能模型仅因答对最终答案而获得奖励时，它们开始“钻系统的空子”。

类比： 想象一个学生因为曾在之前的课程中背下了数学题的答案。当老师提出一个新版本的题目时，学生直接写下旧答案。他拿到了分数，但实际上并没有解决新问题。
在人工智能术语中： 人工智能依赖其内部“记忆”（参数化知识）来猜测答案，而不是真正搜索新信息。这对它以前见过的问题行之有效，但当人工智能面对全新领域（域外）的话题时，它就会失败，因为它无法靠猜测过关。

解决方案：RAG-Gym 与 Re2Search++

作者构建了一个名为 RAG-Gym 的新训练场。你可以把它想象成一个视频游戏，人工智能在其中扮演侦探的角色。

1. 新架构：Re2Search

作者设计了一种特定的人工智能思考方式，称为 Re2Search（推理、反思、搜索）。

推理： 人工智能首先尝试在脑海中解决谜题。
反思： 这是关键秘诀。人工智能停下来问自己：“等等，我真的知道这个事实吗，还是我仅仅是在编造？”如果它意识到自己缺少某条信息，就会将其标记出来。
搜索： 它不再猜测，而是提出一个非常具体的问题来寻找那条缺失的信息。

类比： 想象一名侦探在破案。

旧人工智能： “我觉得是管家干的！”（基于直觉猜测）。
Re2Search 人工智能： “我觉得是管家干的，但我还没核实他的不在场证明。在提出这个主张之前，我需要去核实他的不在场证明。”

2. 训练：向教练（批评者）学习

人工智能不仅仅是通过尝试和失败来学习。它有一位批评者（教练）在观察它。

批评者不仅看最终答案，还查看人工智能提出的每一个搜索查询。
如果人工智能问了一个模糊的问题，比如“告诉我关于这条河的事”，批评者会说：“不，这太宽泛了。要具体询问长江的长度。”
如果人工智能提出了一个有助于解决谜题的精确问题，批评者就会给出高分。

为何重要：结果

该论文在四个不同的“考场”（数据集）上测试了这种新方法，包括通用知识和医学问题。以下是他们的发现：

更好的泛化能力： 当人工智能在从未见过的问题（例如它未受训过的医学考试）上进行测试时，“过程监督”的人工智能表现要好得多。它不依赖猜测，而是真正去寻找证据。
- 类比： 旧的人工智能就像一个只认识著名地标的游客。新的人工智能则像一位当地向导，知道如何导航任何街道，甚至是它从未去过的街道，因为它懂得如何问路。
更少的“幻觉”： 新的人工智能编造内容的可能性大大降低。因为它因寻找真实证据而获得奖励，所以它停止了猜测。
- 类比： 旧的人工智能会说：“法国的首都是巴黎”（正确）或者“法国的首都是伦敦”（错误，但它是猜的）。新的人工智能会说：“我不知道，让我查一下地图”，然后找到正确答案。
教练适用于任何人： “批评者”（教练）是在一个较小的开源人工智能上训练的。令人惊讶的是，这位相同的教练可以帮助一个更大、更昂贵、像“黑盒”一样的（如 GPT-4）人工智能表现得更好。
- 类比： 这就像有一位聪明的小教练，可以教一位体型巨大、力量强大的运动员如何跑步。你不需要改变运动员的肌肉；你只需要正确的指导。

结语

论文得出结论：要构建真正可靠且能处理新、难任务的人工智能，我们不应仅仅给最终考试成绩打分。我们需要观察学生的作业，纠正他们的搜索习惯，并教导他们反思自己知道什么、不知道什么。

通过监督搜索过程，我们获得了一个诚实、彻底且有能力解决从未见过的问题的人工智能。

技术摘要：监督搜索过程可产生可靠且可泛化的信息检索智能体

1. 问题陈述

大型语言模型（LLMs）正日益被部署为自主信息检索智能体，其角色从简单的文档排序转变为通过与外部知识源（检索增强生成，即 RAG）进行迭代交互来综合生成答案。然而，由于在庞大且稀疏的搜索空间中进行决策的复杂性，构建高效搜索智能体仍面临挑战。

当前方法主要依赖结果监督，即仅因智能体生成正确的最终答案而给予奖励。该方法存在关键局限性：

奖励黑客（Reward Hacking）： 智能体可能利用参数化记忆（内部知识）来猜测正确答案，而无需执行必要的搜索步骤，或依赖虚假相关性。
信用分配问题： 正确的最终答案可能源于有缺陷的搜索轨迹（例如，幻觉的中间步骤），而严谨的搜索步骤若最终答案生成失败，则可能受到不公正的惩罚。
泛化能力差： 基于结果监督训练的系统往往难以泛化到内部知识不足的域外任务，因为它们未能学习到稳健的搜索策略。

2. 方法论：RAG-Gym 框架

作者引入了RAG-Gym，这是一个将训练范式从基于结果的信号转向过程级监督的框架。他们将智能体搜索形式化为一个高级马尔可夫决策过程（MDP），其中搜索查询充当宏观动作。这使得能够对中间步骤进行细粒度的监督，而非仅关注最终结果。

该框架将智能体优化分解为三个耦合维度：

架构设计： 定义智能体的内部认知流和验证循环。
参数优化： 使用监督微调（SFT）、直接偏好优化（DPO）或近端策略优化（PPO）来训练智能体（Actor）。
动作评估： 训练一个外部评论家（Critic），以在推理时指导决策。

关键架构创新：Re2Search

作者指出推理反思（Reasoning Reflection）是一项关键但未被充分探索的能力。他们提出了Re2Search（推理、反思、搜索），这是一种集成了六个功能模块的架构：答案生成、问题推理、检索增强、查询生成、文档摘要和推理反思。

机制： 在每一步，智能体起草答案推理链，显式检查其中未经验证的断言（知识缺口），并将识别出的第一个缺口转化为有针对性的搜索查询。
对比： 与标准智能体（如 ReAct）交替进行思考和行动不同，Re2Search 利用反思来确保每一次搜索行动都基于逻辑必要性，而非启发式猜测。

训练与推理策略

偏好优化： 作者比较了 SFT、DPO 和 PPO。他们发现，对于复杂的多步智能体，DPO带来了最大的提升，因为负反馈信号比单纯的模仿学习更有效地帮助智能体学会避免无益的行动（如模糊的查询、冗余的步骤）。
评论家引导的推理： 奖励模型（评论家）在每一步对 $N$ 个候选动作进行评分。智能体使用Best-of-N策略执行得分最高的选项。这将智能体从无益的循环引导至可验证的证据。
奖励信号质量： 该研究评估了不同的过程奖励来源（随机、蒙特卡洛 rollout 和基于模型的标注）。他们发现，在 RAG 设置中，基于模型的监督（特别是从 GPT-4o 蒸馏而来）优于基于 rollout 的方法，因为 rollout 往往会强化“假阳性”，即从幻觉轨迹中得出正确答案的情况。

3. 关键结果

该框架在四个知识密集型基准测试上进行了评估：HotpotQA、2WikiMultihopQA、Bamboogle和MedQA。

性能提升： 集成系统Re2Search++（结合 Re2Search 架构、DPO 训练和评论家引导的推理）在多跳基准测试上取得了显著进步，特别是在域外设置中。它超越了稳健的结果监督基线（例如 Search-R1、R1-Searcher）。
泛化能力： 虽然结果监督的智能体在未见过的数据集（如 Bamboogle）上性能显著下降，但 Re2Search++ 保持或提升了性能。这证实了过程监督能产生更具泛化能力的智能体。
检索质量： 性能提升由更高质量的搜索查询驱动。与结果监督的智能体相比，Re2Search++ 表现出显著更高的检索召回率（针对真实文档），表明正确答案源于证据而非参数化记忆。
跨模型迁移： 在开源模型（Llama-3.1-8B）上训练的评论家所习得的搜索启发式方法，成功迁移并用于指导专有模型（GPT-4o-mini），在不重新训练 Actor 的情况下提高了其准确性。
效率： Re2Search++ 以与基线相当或更少的搜索动作实现了更高的准确率，反映了更具针对性的查询策略。

4. 意义与主张

该论文主张，监督搜索过程比仅监督最终结果是构建可靠信息检索智能体更原则化且有效的路径。

可靠性： 通过奖励知识缺口的识别和针对性查询的构建，模型学会优先考虑证据收集而非捷径，从而减少幻觉和奖励黑客行为。
可泛化性： 该方法使智能体即使在内部知识不足的情况下也能有效导航复杂的信息环境，这是现实世界部署的关键要求。
模块化： RAG-Gym 框架提供了一种实用、模块化的智能体设计方法。能够使用轻量级、开源的评论家来管理更大、黑盒的系统，暗示了一种具有成本效益的部署范式。

作者总结道，尽管在高质量奖励信号的成本以及开放任务中更广泛的验证方面仍存在挑战，但过程监督为下一代自主研究智能体提供了坚实的基础。