OpenResearcher: 長期的な深層研究軌跡合成のための完全オープンパイプライン

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）による「深層研究（Deep Research）」タスクを学習させるための、**再現性が高く、低コスト、かつ大規模にスケーラブルなデータ合成パイプライン「OpenResearcher」**を提案するものです。既存の手法が抱える課題を解決し、オフライン環境で高品質な研究軌跡を生成することで、オープンソースモデルがプロプライエタリなシステムと競合する性能を達成することを示しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳述します。

---

1. 背景と課題（Problem）

深層研究エージェントは、検索、証拠の集約、多段階推論を繰り返す「長期的（Long-Horizon）」なタスクを実行する必要があります。しかし、既存のデータ収集パイプラインには以下の重大な課題がありました。

• コストとスケーラビリティ: 既存手法の多くは、Google 検索などのライブ Web API に依存しています。大規模な軌跡合成を行う際、失敗した検索パスであっても API コストが発生し、大規模データ生成が極めて高価になります。
• 再現性の欠如: ライブ Web は常に変化するため、同じデータパイプラインを時間を超えて再現することが困難です。
• 分析の難しさ: ライブ環境では、検索イベントや関連証拠の露出タイミングを制御・分析することが難しく、失敗原因の特定が困難です。
• 軌跡の質: 既存のオープンソース手法（例：Search-R1）は、2〜5 回程度の短いターンしか生成できず、現実的な深層研究（100 回以上のツール呼び出しが必要なもの）を反映していません。

2. 提案手法：OpenResearcher（Methodology）

OpenResearcher は、「コーパスの構築」と「軌跡の生成」を分離し、検索・閲覧ループを完全にオフライン環境で実行するパイプラインです。

A. オフライン検索環境の構築

1. ゴールドドキュメントの収集（One-time Online Bootstrapping）:
   • 6,000 件の QA ペア（MiroVerse-v0.1 Dataset から抽出）に対し、一度だけオンライン検索（Serper API）を行い、正解を導くための「ゴールドドキュメント（10,000 文書）」を収集します。
   • このステップはコーパス構築時のみ行われ、その後の軌跡生成では使用されません。
2. オフラインコーパスの構築:
   • FineWeb から収集した 1,500 万文書（約 10 兆トークン）をベースとし、上記のゴールドドキュメントをマージします。
   • FineWeb 文書は「ノイズ（ダミー）」として機能し、ゴールドドキュメントが「正解の根拠」として機能します。
   • Qwen3-Embedding-8B を用いて文書を埋め込み、FAISS でインデックス化し、ローカル検索エンジンとして機能させます。

B. ブラウジングの明示的モデル化（Browser Primitives）

人間の研究行動を模倣するため、3 つの最小限のブラウザプリミティブ（ツール）を導入しました。

1. Search: 検索クエリを実行し、タイトル、URL、スニペット（抜粋）を返す。
2. Open: 特定の URL のドキュメント全文を取得する。
3. Find: 開いているドキュメント内で特定の文字列を検索する（Named-entity lookup や事実確認に必須）。
   これにより、エージェントは「検索」だけでなく、「ドキュメントの精査」と「証拠の局所化」を学習できます。

C. 教師モデルによる軌跡合成

• Teacher Model: GPT-OSS-120B を使用。
• 生成プロセス: 教師モデルは、オフライン検索環境に対して上記 3 つのツールを使用し、ステップバイステップで推論を行いながら検索・開封・探索を繰り返します。
• 制約: 生成中は正解（Reference Answer）にアクセスできず、多段階の検索と推論のみで回答を導き出す必要があります。
• 出力: 97,000 以上の軌跡を生成。その多くは 100 回以上のツール呼び出しを含む「長期的な尾（Long-tail）」を形成しています。

D. 学生モデルの学習

• 生成された軌跡（正解が得られたもののみをフィルタリングし、約 55,000 件）を用いて、NVIDIA Nemotron-3-Nano-30B-A3B ベースモデルを教師あり微調整（SFT）します。
• 最大コンテキスト長 256K トークンに対応し、推論チェーンの切断を防ぎます。

3. 主要な貢献と知見（Key Contributions & Insights）

1. 完全オープンで再現可能な合成パイプライン:

   • 高価な API 呼び出しをオフライン化し、大規模な長期的軌跡合成を初めて可能にしました。
   • 生成されたモデルは、オフライン評価だけでなく、ライブ Web ベンチマークでもプロプライエタリなシステムと競合する性能を示しました。

2. 深層研究のための明示的なブラウザ構造:

   • Search, Open, Find の 3 つのプリミティブを導入し、情報の発見から証拠の特定までのスケーラブルなプロセスをモデル化しました。
   • アブレーション研究（RQ4）により、Search 単体では性能が低く、Open と Find を組み合わせることで、ゴールドドキュメントのヒット率と最終正答率が大幅に向上することが実証されました。

3. 深層研究パイプライン設計に関する実証的知見:

   • データフィルタリング（RQ1）: 最終回答の正誤だけで軌跡をフィルタリングする必要はなく、失敗した軌跡（失敗例）も検索構造やツールの使用順序を学ぶために有用であることが示されました。
   • コーパスカバレッジ（RQ2）: 一度限りのオンラインブートストラッピングによるゴールドドキュメントの収集が不可欠であり、これを欠くとオフライン合成の性能が劇的に低下します。
   • ターン予算（RQ3）: 約 100 ターンまで性能は向上しますが、それ以降は限界効用が逓減します。
   • 検索成功と正答率の関係（RQ5）: ゴールドドキュメントを検索結果として見つけること（Search-hit）は必要ですが、十分ではありません。ドキュメントを開いて（Open-hit）証拠を明示的に確認することが、高い正答率に直結します。

4. 実験結果（Results）

• BrowseComp-Plus（オフライン評価）:
  • OpenResearcher-30B-A3B は 54.8% の精度を達成。
  • ベースモデル（Nemotron-3-Nano-30B-A3B）の 20.8% から +34.0 ポイント 改善。
  • GPT-4.1 (36.4%) や Claude-4-Opus (36.8%) などの強力なプロプライエタリモデルを凌駕しました。
• ライブ Web ベンチマーク（一般化性能）:
  • BrowseComp, GAIA, xbench-DeepSearch において、オープンソースの深層研究エージェント（ASearcher, WebDancer など）を大幅に上回り、最先端のプロプライエタリモデルと互角以上の性能を示しました。
  • ライブ Web データでの学習は一切行っておらず、オフライン合成データのみで学習したモデルが実世界の検索環境に一般化できることを示しました。
• コスト効率:
  • 576 万件の検索リクエストを生成する際、Serper API を使用すると約 5,760 ドル（または SerpAPI で 28,800 ドル）かかるのに対し、オフライン検索では 0 ドル で済みます。

5. 意義（Significance）

OpenResearcher は、深層研究エージェントの学習における「データと環境のボトルネック」を解消する画期的なアプローチです。

• 民主化: 高価なプロプライエタリな検索 API や計算リソースに依存せず、誰でも高品質な深層研究データとモデルを構築・研究できる基盤を提供します。
• 分析可能性: 制御されたオフライン環境により、検索失敗の原因、証拠の露出タイミング、推論の破綻など、エージェントの内部挙動を詳細に分析可能にしました。
• 将来の指針: 検索データのフィルタリング戦略、エージェントのツール設計（特に Open と Find の重要性）、および長期的推論におけるターン予算の最適化など、今後の研究開発に対する具体的な指針を提供しています。

要約すれば、OpenResearcher は「高コスト・非再現性のライブ Web 依存」から「低コスト・完全再現性のオフライン合成」へのパラダイムシフトを提案し、オープンソースモデルが深層研究タスクにおいて世界最高峰の性能を発揮できることを実証した研究です。