APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution

1. 研究背景与问题定义 (Problem)

背景：
检索增强生成（RAG）已成为连接大语言模型（LLM）与外部知识的关键技术。然而，面对复杂的多跳问题（Multi-hop Questions）（即需要综合多份相互依赖的证据才能回答的问题），传统的单次检索或简单的迭代检索往往表现不佳。

现有方法的局限性：

• 缺乏全局规划： 现有的迭代 RAG 方法（Iterative RAG）通常采用“战术性”执行，即根据当前找到的信息决定下一步查什么。它们缺乏“战略性”的全局规划能力，导致搜索路径低效、容易陷入死循环或受无关文档干扰。
• 忽视任务分解能力： 现有研究多关注增加检索次数或优化查询表述，却忽视了 LLM 内在的**任务规划（Task Planning）**能力，即如何将复杂问题逻辑地拆解为可执行的子问题序列。
• 幻觉与效率问题： 缺乏规划的盲目检索容易导致信息冗余、路径重复，甚至产生事实性幻觉。

核心问题：
如何提升 LLM 在复杂多跳检索任务中的表现？论文认为，关键在于增强 LLM 的代理规划（Agentic Planning）能力，使其能够先制定全局搜索策略，再执行具体的检索探索。

---

2. 方法论 (Methodology)

论文提出了 APEX-Searcher 框架，其核心思想是将复杂的搜索任务解耦为两个协同阶段：高层任务规划（High-Level Task Planning） 和 低层多轮检索探索（Low-Level Multi-Round Retrieval）。

2.1 整体架构

框架包含三个主要阶段（如图 1 所示）：

1. 阶段 I：RL 驱动的代理规划 (RL-Driven Agentic Planning)
2. 阶段 II：SFT 引导的探索与推理 (SFT-Guided Exploration & Reasoning)
3. 阶段 III：综合与输出 (Synthesis & Output)

2.2 核心组件详解

A. 阶段 I：基于强化学习 (RL) 的代理规划

• 目标： 将复杂问题 $Q$ 分解为逻辑连贯的子问题序列 $S = \{s_1, s_2, ..., s_n\}$。子问题之间可能存在依赖关系（例如 $s_2$ 需要用到 $s_1$ 的答案，通过 #1 引用）。
• 训练方法： 使用 组相对策略优化 (GRPO) 算法训练“规划代理”。
  • 奖励函数设计： 不依赖人工标注的中间步骤，而是基于生成的计划 $S_{gen}$ 与黄金标准分解 $S_{gold}$ 之间的语义对齐程度。
  • 计算过程： 使用 Sentence-Transformer 计算子问题的语义相似度，通过匈牙利算法进行最优二分匹配，最终计算 F1 分数 作为奖励信号。
• 优势： 无需监督数据即可让模型学会如何拆解复杂问题，避免过分解或无效分解。

B. 阶段 II：基于监督微调 (SFT) 的代理探索

• 目标： 在给定规划（子问题序列）后，执行多轮检索以获取每个子问题的答案。
• 执行流程：
  1. 知识充分性评估： 判断当前累积的知识库是否足以回答当前子问题。若足够，直接生成答案；若不足，进入检索循环。
  2. 自适应多跳检索循环：
     • 续行决策 (Continuation Decision)： 动态判断是否需要继续检索，避免无效迭代。
     • 动态查询生成： 基于当前信息缺口和已生成的查询历史，生成新的搜索查询。
     • 去重与过滤： 确保检索到的文档是新的，避免重复。
  3. 知识库增强： 将新获得的问答对 $(s_i, a_i)$ 加入累积知识库 $K_{acc}$，供后续子问题使用。
• 训练方法： 构建高质量的多轮检索指令数据集（基于 2WikiMultiHopQA, HotpotQA, MuSiQue 等），通过 监督微调 (SFT) 训练“执行代理”，使其内化复杂的迭代检索逻辑。

C. 阶段 III：最终答案合成

• 执行代理根据完整的累积知识库 $K_{acc}$ 和原始问题 $Q$，生成最终答案，并计算置信度分数。

---

3. 主要贡献 (Key Contributions)

1. 提出 APEX-Searcher 框架： 一种新颖的 RAG 框架，通过“代理规划”和“代理探索”两个阶段显著增强 LLM 的检索与推理能力。
2. 引入基于 RL 的任务分解： 针对复杂多跳问题，利用带有任务分解奖励的强化学习（GRPO）提升 LLM 的规划能力，使其能生成逻辑严密的子问题链。
3. 构建基于规划的检索范式： 通过监督微调（SFT）优化 LLM 在多轮检索中的探索能力，使其能够动态管理上下文、判断检索终止条件并有效合成信息。
4. 广泛的实验验证： 在多个具有挑战性的多跳 QA 基准测试中验证了框架的有效性，证明了“规划 + 执行”分离策略的优越性。

---

4. 实验结果 (Results)

实验设置：

• 基准数据集： HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle。
• 评估指标： 精确匹配率 (Exact Match, EM)。
• 对比模型： 包括直接推理、CoT、标准 RAG、迭代 RAG (IRCoT) 以及多种代理 RAG 方法 (Search-o1, Search-R1, StepSearch 等)。
• 基座模型： Qwen2.5-3B-Instruct 和 Qwen2.5-7B-Instruct。

主要发现：

1. 性能显著提升：
   • APEX-Searcher 在所有基准测试中均优于现有最先进的方法。
   • 在 7B 模型上，平均性能比标准 RAG 提升了 0.226，比最强的基线方法（StepSearch-instruct）提升了 8.2% (EM)。
   • 在 3B 模型上，提升更为显著，平均性能提升了 0.230，比基线提升了 13.1%。
2. 消融实验 (Ablation Study)：
   • 协同效应： 同时启用“规划 (Plan)"、"RL 优化规划 (Plan+RL)"和"SFT 优化探索 (Exp+SFT)"时效果最佳。
   • 规划模块的作用： 单独引入规划模块（无 RL/SFT）对 3B 小模型甚至有害（导致任务难度增加且无指导），但结合 RL 后显著提升（3B 模型从 12.63 提升至 18.10）。
   • SFT 的重要性： 对于小模型，SFT 对提升执行能力至关重要（3B 模型仅开启 SFT 即可从 13.42 提升至 23.52）。
3. 参数敏感性分析：
   • 检索文档数量： 检索 1-3 篇文档时性能提升明显，超过 3 篇后性能趋于平稳甚至下降（噪声干扰）。
   • 推理跳数 (Hops)： 允许的最大推理跳数从 1 增加到 5 时，准确率持续上升。
4. 规划质量分析：
   • 经过 RL 训练后，模型的任务分解准确率（Plan Score）显著提升（7B 模型提升 89.2%）。
   • 案例研究表明，APEX-Searcher 能更准确地分解任务，避免冗余子任务，并正确使用引用机制（如 #1）。

---

5. 意义与展望 (Significance & Future Work)

意义：

• 范式转变： 本文证明了在 RAG 系统中，“战略规划”比单纯的“战术执行”更重要。通过显式分离规划与执行，并分别利用 RL 和 SFT 进行优化，可以解决复杂多跳推理中的核心痛点。
• 小模型赋能： 实验表明，通过针对性的规划训练和 SFT，即使是较小的模型（如 3B 参数）也能在复杂检索任务中表现出超越大模型基线的性能，降低了高性能 RAG 系统的部署门槛。
• 可解释性： 生成的子问题序列提供了清晰的推理路径，增强了系统的可解释性。

未来工作：

1. 探索在检索探索阶段是否可以通过多轮 RL 进一步优化性能。
2. 将检索范围从本地数据库扩展到互联网搜索，以拓宽应用场景。

---

总结：
APEX-Searcher 通过“先规划，后执行”的策略，利用强化学习优化任务分解能力，利用监督微调优化检索执行能力，成功解决了现有 RAG 系统在处理复杂多跳问题时缺乏全局视野和高效路径的缺陷，为构建更智能的检索增强系统提供了新的技术路线。