技术摘要：Search-E1

问题陈述

尽管大语言模型（LLMs）已展现出强大的推理能力，但它们仍受限于预训练知识，无法整合训练后出现的新信息。搜索增强型推理智能体通过将内部推理与外部检索调用交错进行来解决这一问题。然而，当前针对这些智能体的后训练流程依赖于结果级强化学习（RL），通常使用基于最终答案正确性的奖励进行组相对策略优化（GRPO）。

这种轨迹级监督存在一个关键局限：无论特定的搜索查询是否构建得当或是否冗余， rollout 中的每个 token 都会接收到相同的梯度信号。为了克服这一局限，近期研究引入了复杂的机制，包括：

• 外部监督：从更强的教师模型（例如 72B 模型）中蒸馏子问题，或从 GPT-4o 等模型的标注中推导逐步奖励。
• 辅助模块：附加过程奖励模型、回顾性批评器或内在估计器，这些模块需要独立的训练阶段或具有严格的假设。
• 结构变更：通过树搜索或多阶段课程重新构建 rollout。
• 手工设计的奖励：针对特定检索步骤调整奖励和惩罚。

虽然这些方法带来了收益，但它们膨胀了训练流程，并将方案绑定在可能并非普遍可用的资源或设计上。本文探讨了此类复杂机制是否必要，并提出了一种仅利用策略自身数据实现逐步监督的方法。

方法论：Search-E1

Search-E1 是一个自进化流程，在标准GRPO和**离线自蒸馏（OFSD）**之间交替进行。它不需要外部教师、不需要辅助模块，也不需要标准问答对之外的任何标注。

1. GRPO 轮次（探索）

流程始于使用精确匹配结果奖励的标准 GRPO 轮次。

• 对于每个问题 $q$，从当前策略 $\pi_{\theta}$ 中采样一组 $G$ 条轨迹。
• 根据最终答案的正确性分配奖励。
• 使用标准 GRPO 损失更新策略，其中优势值在轨迹中的所有 token 上共享。这一阶段探索了轨迹空间，但缺乏密集的逐步信号。

2. OFSD 轮次（巩固）

在 GRPO 轮次收敛后，策略执行离线自蒸馏步骤，从其自身的 rollout 中提取密集的 token 级信号。

• 配对挖掘：从收敛策略的 rollout 池中，为每个问题构建轨迹对 $(\tau_{ref}, \tau_{stu})$。
  • 参考轨迹（$\tau_{ref}$）：正确轨迹（$R=1$）中检索调用次数最少的那一条。
  • 学生轨迹（$\tau_{stu}$）：与参考轨迹差异最大的错误轨迹（$R=0$）；若不存在错误的兄弟轨迹，则选择差异最大的正确轨迹。
• 非对称条件：相同的策略参数 $\theta$ 既充当教师又充当学生，但在不同的提示下运行：
  • 学生：基于标准推理提示 $P_S(q) = [\text{instruction}] \parallel q$ 进行条件设定。
  • 教师：基于特权提示 $P_T(q, \tau_{ref}) = [\text{instruction}] \parallel q \parallel \tau_{ref}$ 进行条件设定，该提示将高效的参考轨迹作为专家指南暴露出来。
• Token 级前向 KL 目标：训练学生在特权上下文下使其推理时的分布与教师的分布对齐。
  • 损失计算覆盖策略生成的位置（不包括检索到的文本）。
  • 采用逐点截断机制（$\tau_{clip}$）限制高发散 token 的贡献，防止稀有异常值主导梯度。
  • 目标函数为：$L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$。
• 实现：OFSD 通过附加到 GRPO 检查点的 LoRA 适配器实现。教师传递使用冻结的基础权重，而学生传递使用活动的 LoRA 权重。

3. 交替循环

流程迭代进行：

1. GRPO 轮次：通过结果级 RL 更新策略。
2. OFSD 轮次：从更新后策略的 rollout 中挖掘配对，并训练 LoRA 适配器以最小化 KL 散度，随后将适配器合并回基础权重。
   此循环重复进行，每次迭代都带来正向收益，直到模型接近骨干网络的容量上限。

主要贡献

1. Search-E1 流程：一个自进化框架，将原生 GRPO 与离线自蒸馏交替进行，消除了对外部教师、辅助模块或非标准标注的需求。
2. OFSD 目标：一种配对的离线自蒸馏机制，策略在不同条件上下文中同时充当教师和学生。它利用带有逐点截断的 token 级前向 KL，提供完全源自策略自身 GRPO rollout 的密集逐步监督。
3. 实证性能：在七个问答基准测试（包括单跳和多跳）上的演示表明，Search-E1 在无外部监督的情况下，在开源方法中取得了最先进的结果。

实验结果

该方法使用 Qwen2.5-3B-Instruct 和 Qwen2.5-7B-Instruct 在七个问答基准测试上进行了评估。

• 整体性能：Search-E1 在 3B 模型上实现了 0.440 的平均精确匹配（EM）得分，超越了该规模下所有开源基线。
• 与结果奖励基线的比较：其平均表现比最强的结果奖励基线（AutoRefine-Base）高出 3.5 分。在多跳数据集上收益尤为显著（例如 Bamboogle 上 +12.0，2Wiki 上 +6.6），这表明当轨迹涉及复杂的多步搜索链时，逐步对齐最为有益。
• 与过程监督基线的比较：Search-E1 在七个基准测试中的六个上优于依赖外部标注（StepSearch）和基于状态分组（GiGPO）的方法。
  • 在未使用 GPT-4o 标注的情况下，它在所有四个多跳基准测试上超越了 StepSearch。
  • 它在 2Wiki、MuSiQue 和 HotpotQA 上超越了 GiGPO。唯一的例外是 Bamboogle，作者将其归因于测试集划分较小以及桥接实体查询的特定性质，这些因素有利于 GiGPO 的锚点状态分组。
• 消融实验：结果证实，GRPO 和 OFSD 的交替循环产生了持续的正向收益，其信号足以缩小并逆转 RL 设置中"Base"和"Instruct"模型变体之间通常存在的性能差距。

意义与主张

本文主张，Search-E1 证明了复杂的外部机制对于改进搜索增强型推理并非绝对必要。通过利用标准 GRPO 训练期间生成的兄弟轨迹之间的对比，该方法自然地提供了密集的逐步监督。

• 简洁性：该方法依赖于“原生”GRPO 和自蒸馏目标，避免了训练独立奖励模型、批评器或从更大教师模型中蒸馏的复杂性。
• 资源效率：它消除了对外部系统（如 GPT-4o）或特定 rollout 结构（如树搜索）的依赖，使该方案更具可及性和鲁棒性。
• 泛化性：收益在单跳和多跳任务中保持一致，最显著的改进出现在逐步决策质量至关重要的场景（多跳推理）中。

作者总结道，探索（GRPO）与巩固（OFSD）的交替方案是搜索增强型智能体自进化的一条可行路径，为该领域日益复杂的流程提供了更简单的替代方案。未来的工作建议探索更丰富的特权上下文（例如多个正确的兄弟轨迹）以及更长的自进化周期。