OpenResearcher: A Fully Open Pipeline for Long-Horizon Deep Research Trajectory Synthesis

这篇论文介绍了一个名为 OpenResearcher 的全开源管道，旨在解决深度研究（Deep Research）智能体训练数据稀缺、成本高且难以复现的问题。该研究提出了一种完全离线的轨迹合成方案，能够生成高质量的长视野（Long-Horizon）深度研究轨迹，并基于此训练出了在深度搜索和推理任务上表现卓越的模型。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 深度研究智能体的需求：深度研究智能体需要具备迭代搜索、证据聚合和多步推理的能力，这要求训练数据包含长视野的交互轨迹（通常涉及数十甚至上百次工具调用）。
• 现有方法的局限性：
  • 成本高昂：现有的数据收集管道通常依赖实时的商业网络搜索 API（如 Google Search），大规模合成轨迹的成本极高。
  • 不稳定与不可复现：实时网络环境是动态变化的，导致相同的数据管道在不同时间运行会产生不同的结果，难以复现。
  • 分析困难：由于缺乏对内部搜索事件（如是否检索到了黄金文档）的精确控制，难以进行受控的归因分析。
  • 数据稀缺：现有的开源数据集（如 Search-R1）通常只包含短视野（2-5 轮）交互，无法满足深度研究的训练需求。

2. 方法论 (Methodology)

OpenResearcher 的核心思想是将昂贵的“搜索 - 浏览”循环从实时网络转移到完全离线的受控环境中，同时保留真实网络研究的复杂性和噪声。

A. 离线轨迹合成管道

该管道分为三个主要阶段：

1. 问题收集 (QA Question Collection)：
   • 从 MiroVerse-v0.1 数据集中筛选出需要长视野、多跳推理的问题（约 6,000 个 QA 对）。
   • 这些问题无法通过浅层检索解决，证据分散且可能相互矛盾。
2. 离线语料库构建 (Offline Corpus Construction)：
   • 一次性在线引导 (One-time Online Bootstrapping)：为了确保语料库覆盖所有问题的答案，首先使用 Serper API 在线检索每个问题对应的“黄金文档”（Gold Documents），共提取约 10,000 个文档。
   • 混合语料库：将上述黄金文档与 1500 万份来自 FineWeb 的文档（作为干扰项/Distractors）合并，构建一个包含约 1500 万文档的离线语料库。
   • 索引：使用 Qwen3-Embedding-8B 对文档进行嵌入，并通过 FAISS 建立索引，模拟搜索引擎。
3. 轨迹生成 (Trajectory Synthesis)：
   • 教师模型：使用 GPT-OSS-120B 作为教师模型。
   • 显式浏览器原语 (Explicit Browser Primitives)：为了模拟真实的人类浏览行为，定义了三个最小化的工具原语：
     • Search (搜索)：返回查询的前 K 个结果（标题、URL、摘要）。
     • Open (打开)：获取并展示文档的完整内容（模拟点击链接）。
     • Find (查找)：在当前打开的文档中查找特定字符串（模拟在长文中定位证据）。
   • 生成过程：教师模型在离线环境中，仅使用上述工具，针对 6,000 个问题生成多轮交互轨迹。每个问题生成 16 条不同种子轨迹，最终获得 97,000+ 条长视野轨迹（部分轨迹超过 100 次工具调用）。

B. 模型训练

• 学生模型：基于 NVIDIA Nemotron-3-Nano-30B-A3B 架构。
• 监督微调 (SFT)：使用生成的轨迹对教师模型进行过滤（仅保留最终答案正确的轨迹，约 55,000 条），然后对学生模型进行全量监督微调。
• 训练配置：使用 Megatron-LM 框架，在 8 张 H100 GPU 上训练，上下文长度扩展至 256K tokens 以容纳长轨迹。

3. 关键贡献 (Key Contributions)

1. 首个完全开源的深度研究轨迹合成管道：
   • 实现了从语料引导到轨迹生成的全流程离线化，彻底摆脱了对实时商业 API 的依赖，大幅降低了成本并保证了可复现性。
2. 显式的浏览器抽象结构：
   • 提出了 Search + Open + Find 的最小化浏览器原语集合。研究表明，仅靠搜索是不够的，显式的“打开文档”和“文中查找”操作对于长视野推理至关重要。
3. 深入的实证分析：
   • 利用离线环境的可控性，对深度研究管道的设计进行了系统性分析，包括：
     • 数据过滤：发现仅使用正确轨迹或仅使用错误轨迹进行训练，效果差异不大（约 54.8% vs 55.0%），表明错误轨迹中包含了有价值的搜索结构信息。
     • 语料库覆盖：证明了“一次性在线引导”构建黄金文档集是离线合成有效的必要条件（移除后准确率从 54.8% 暴跌至 6.35%）。
     • 工具设计：证明了 Open 和 Find 工具能显著提升准确率（从仅 Search 的 43.8% 提升至全工具的 62.1%）。
     • 检索与推理的关系：发现检索到黄金文档是必要条件（正确轨迹中 99.38% 检索到了），但并非充分条件（检索到后仍需正确的推理，否则准确率仅为 61.8%）。

4. 实验结果 (Results)

OpenResearcher 在多个基准测试中取得了显著成果：

• BrowseComp-Plus (离线封闭环境)：
  • 准确率：54.8%。
  • 提升：相比基线模型 Nemotron-3-Nano-30B-A3B (20.8%) 提升了 +34.0 个百分点。
  • 对比：显著超越了 GPT-4.1 (36.4%)、Claude-4-Opus (36.8%) 和 DeepSeek-R1 (16.4%) 等闭源强基线。
• Open-Web 基准 (真实网络环境)：
  • 在 BrowseComp、GAIA 和 xbench-DeepSearch 上，模型展现了强大的泛化能力，尽管训练完全基于离线数据。
  • 在 BrowseComp 上达到 26.3%，GAIA 达到 64.1%，xbench-DeepSearch 达到 65.0%，均优于现有的开源深度研究智能体（如 ASearcher, WebDancer）。

5. 意义与影响 (Significance)

• 降低门槛：OpenResearcher 证明了无需昂贵的实时 API 和私有基础设施，社区也可以构建高质量的深度研究训练数据。
• 可复现性与分析：离线环境使得对智能体行为的“黑盒”分析成为可能，能够精确追踪检索失败、推理错误等具体原因，为未来智能体设计提供了宝贵的洞察。
• 性能突破：通过 SFT 长视野轨迹，30B 参数量的模型在深度搜索任务上超越了参数量更大的闭源模型，展示了数据质量和训练策略的重要性。
• 开源生态：作者公开了管道代码、合成轨迹数据、模型检查点以及离线搜索环境，极大地推动了开源深度研究智能体的发展。

总结：OpenResearcher 通过创新的离线合成策略，解决了深度研究智能体训练中的“数据饥渴”和“成本/复现”瓶颈，不仅训练出了性能卓越的模型，还揭示了深度搜索任务中检索、浏览和推理之间的关键关系，为未来构建更强大的自主智能体奠定了坚实基础。