技术摘要：SAAS——面向智能体搜索中过度搜索缓解的自我感知强化学习

1. 问题陈述

智能体搜索系统使大语言模型（LLM）能够通过迭代推理和外部检索解决复杂的多跳问题，但在实践中面临一个关键局限：过度搜索。尽管这些系统行之有效，但智能体往往无法识别自身的知识边界。这具体表现为两种形式：

1. 不必要的搜索：即使智能体的内部参数化知识足以回答问题，它们仍会触发搜索查询。
2. 冗余搜索：在已收集到足以形成正确答案的外部证据后，智能体仍继续搜索。

缺乏对这些边界的自我感知会导致严重的过度搜索，产生巨大的推理延迟和过高的计算成本。现有方法，包括基于提示的路由和基于结果奖励的强化学习（RL），存在三个关键局限：

• 它们依赖静态启发式规则或固定阈值，无法捕捉智能体在训练过程中不断演变的能力。
• 仅基于结果的奖励无法提供关于“何时”启动或终止搜索的信号，使智能体对搜索的必要性“视而不见”。
• 天真地增加搜索惩罚往往会触发奖励黑客（reward hacking），即智能体为了最小化惩罚而学会完全避免搜索（即使搜索是必要的），而非发展出真正的边界感知能力。

2. 方法论：SAAS 框架

作者提出了SAAS（面向智能体搜索的自我感知强化学习），这是一种旨在培养动态自我感知的新型 RL 框架。SAAS 通过三个核心组件在不损害准确性的前提下调节搜索行为：

(i) 搜索边界建模

SAAS 不依赖静态标注，而是在不断演变的策略下动态识别每个问题的搜索边界。它通过对比当前策略 $\pi_\theta$ 生成的两组轨迹来实现这一点：

• 禁用搜索组（$G_d$）：智能体仅使用参数化知识尝试回答问题。
• 启用搜索组（$G_e$）：允许智能体与搜索引擎交互。

通过比较这两组的成功率，系统将每个问题 $q$ 分类为以下三种状态之一：

• NOSEARCH（无需搜索）：模型可以在没有外部证据的情况下可靠地回答（表现为 $G_d$ 中有足够数量的正确轨迹）。
• NEEDSEARCH（需要搜索）：模型需要外部证据（表现为 $G_d$ 失败但 $G_e$ 成功）。
• UNDETERMINED（未确定）：基于当前轨迹，边界尚不明确。

(ii) 边界感知奖励模块

SAAS 将识别出的搜索边界转化为轨迹级惩罚，以选择性地抑制不必要和冗余的搜索：

• 对于 NOSEARCH 问题：对任何搜索动作施加零容忍惩罚（$R_{search} = -\alpha N_i$），阻止智能体在不该搜索时进行搜索。
• 对于 NEEDSEARCH 问题：搜索本身不受惩罚。相反，系统计算 $N_{min}$，即启用搜索组中正确轨迹所需的最小搜索动作次数。仅对超过该阈值的搜索动作进行惩罚（$R_{search} = -\alpha \max(0, N_i - N_{min})$）。这专门针对冗余搜索。
• 对于 UNDETERMINED 问题：不施加额外约束，以避免限制推理。

为了确保训练稳定，该框架在 GRPO（组相对策略优化）算法中采用组间优势归一化，以处理禁用搜索组和启用搜索组之间的分布不匹配。

(iii) 分阶段优化策略

为防止奖励黑客（即智能体在学习工具使用能力之前避免必要的搜索），SAAS 采用循序渐进的课程：

• 阶段 1（能力获取）：智能体仅使用基于结果的奖励（答案正确性）进行训练，以学习基本的推理和工具使用能力，不受搜索约束。
• 阶段 2（效率优化）：一旦智能体展现出能力，即激活边界感知奖励以优化搜索行为，在保持准确性的同时抑制过度搜索。

3. 主要贡献

论文声称以下贡献：

1. 局限性的识别：作者指出，现有的智能体搜索模型缺乏动态自我感知，导致过度搜索，且静态约束无法适应不断演变的模型能力。
2. SAAS 框架：他们提出了一种新型 RL 框架，通过对比禁用搜索和启用搜索的轨迹，动态建模智能体的搜索边界。
3. 边界感知优化：SAAS 建立了一种机制，将这种边界感知转化为轨迹级惩罚，在不触发奖励黑客的情况下抑制不必要和冗余的搜索，这是通过分阶段优化策略实现的。
4. 实证验证：大量实验表明，SAAS 在各种基准测试和模型骨干网络中始终能缓解过度搜索，同时保持或提高答案准确性。

4. 实验结果

作者在七个开放域 QA 基准测试（TriviaQA, PopQA, NQ, HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle）上评估了 SAAS，使用了 Qwen2.5-3B 和 Qwen2.5-7B 模型。

• 准确性与效率：SAAS 在 Qwen2.5-3B 上实现了最佳平均准确率（45.8%），超越了最强的基线（HiPRAG）2.2%，同时将平均搜索次数从 1.89（HiPRAG）降低至1.13。在 Qwen2.5-7B 上，它实现了 48.7% 的准确率，平均搜索次数为0.97，而 HiPRAG 为 2.19。
• 过度搜索减少：
  • 问题级过度搜索比率（QOR）：SAAS 将平均 QOR 降低至 45.9%（RFT 为 52.5%，StepSearch/HiPRAG 为 100%），表明模型在参数化知识充足时成功利用了它。
  • 步骤级过度搜索比率（SOR）：SAAS 实现了最低的平均 SOR，为6.3%（RFT 为 14.8%，StepSearch 为 24.3%），证明了其在收集到足够证据后停止搜索的能力。
• 消融研究：移除分阶段优化导致准确率显著下降（从 45.8% 降至 40.9%），证实了早期搜索正则化会阻碍工具使用学习。移除同策略边界建模也会降低性能，验证了动态边界跟踪的必要性。

5. 意义与主张

论文认为，SAAS 的意义在于其能够动态建模智能体不断演变的搜索边界。与依赖静态启发式规则或固定惩罚的先前方法不同，SAAS 使搜索决策与模型实际且不断变化的能力保持一致。

作者声称，这种方法使智能体能够：

1. 区分必要性：识别内部知识是否充足，以避免不必要的工具调用。
2. 判断充分性：识别收集到的证据是否足以停止冗余检索。
3. 稳定训练：通过优先进行能力获取而非效率优化，避免朴素惩罚型 RL 中常见的“奖励黑客”现象。

最终，论文论证了动态搜索边界感知对于构建更高效、更有效的搜索增强推理系统至关重要，它能在不牺牲推理质量的前提下降低计算成本。作者指出，虽然当前的评估侧重于基于文本的检索，但核心机制与模态无关，未来工作可将其扩展至多模态推理。