技術要約: SearchMaster

問題定義

大規模言語モデル（LLM）ベースの検索エージェントのトレーニングには、真のマルチホップ検索タスクと、検索ツールを効果的に活用する軌跡（trajectory）を備えた高品質なデータが必要である。既存のパイプラインは通常、高価な人間によるアノテーション、エキスパートによるデモンストレーション、あるいはより強力な教師モデルに依存してこれらのデータを生成している。自己対戦（self-play）は、自律的にデータを生成するための潜在的な解決策を提供するが、現在の検索エージェントの自己対戦手法は、以下のような明確な失敗モードに陥る。

1. 擬似マルチホップ質問（Pseudo Multi-Hop Questions）: モデルが、一見複雑に見えるものの、実際には単一のドキュメントやシードテキストのみから回答可能な質問を生成してしまう。これは、ドキュメント間の証拠を必要とする要件を満たしていない。
2. 誤解を招く難易度信号（Misleading Difficulty Signals）: ロールアウトの成功率のみに頼ってタスクの難易度を推定すると、浅いルックアップ・タスクと、深い多段階検索を必要とするタスクを区別できないことが多い。
3. 過剰なオープン漂流（Over-Opening Drift）: モデルが open ツールの使用に依存しすぎ、新しいターゲットとなる証拠を獲得するのではなく、既に見たドキュメントを再訪問してしまう。これにより、探索の軌跡が長く、かつ浅いものになる。

核心となる課題は、単に多くのデータを生成することではなく、証拠に基づいたタスク、多段階の検索、および効率的なツール利用を学習信号として強化するために、自己対戦ループを安定させることである。

手法: SearchMaster フレームワーク

SearchMasterは、ローカル検索環境内で、提案者（Proposer）（タスク生成器）および解決者（Solver）（タスク応答器）の両方の役割を果たす単一のLLMポリシー（$\pi_\theta$）を訓練する、接地型（grounded）かつ規制された自己対戦フレームワークである。初期モデルの凍結されたコピーが**検証者（Verifier）**として機能する。本フレームワークは、標準的な自己対戦の失敗モードに対処するために、3つの特定のメカニズムを採用している。

1. 証拠連鎖生成器 (Evidence-Chain Generator: ECG)

擬似マルチホップ質問を防ぐために、提案者は探索中に明示的にドキュメント間の証拠連鎖を構築することが求められる。

• プロセス: シードドキュメントから開始し、提案者は反復的にエンティティや事実を選択し、接続されたドキュメントを検索し、連鎖（$c_j = e_{j,1} \to \dots \to e_{j,n}$）を拡張する。
• 制約: 最終的な質問（$q_j$）は、この完全な連鎖から厳密に導出され、回答が単一のドキュメントからは見つからないという明示的な要件が付与される。
• フィルタリング: 候補は、ツール使用、フォーマット、妥当性、およびパラメトリック知識の4つのフィルタリングを経て、質問が有効であり、連鎖によって裏付けられており、かつツールなしでは回答できないことを保証する。

2. 検索深度報酬 (Search-Depth Reward: SDR)

成功率に基づく難易度推定の限界に対処するため、SearchMasterは単なるバイナリの成功結果ではなく、成功したロールアウトの検索深度に基づいてタスクに報酬を与える。

• 指標: タスクの難易度は、すべての成功したSolverロールアウトにおける最小検索深度（$h_{min}$）によってスコア化される。もしタスクが浅い検索で解決できる場合、低い報酬が与えられ、「ショートカット」的なタスクの学習を防ぐ。
• 関数: 報酬は目標深度（$H_{sdr}$）で飽和し、非自明な検索深度を必要とするタスクが優先される一方で、不当に長い検索に対して報酬が与えられないようにする。

3. 過剰オープン・ペナルティ (Over-Opening Penalty: OOP)

ツールの使用を規制し、冗長なドキュメントの開封を防ぐために、ProposerとSolverの両方の報酬にOOPを適用する。

• メカニズム: ペナルティは、search アクションに対する open アクションの比率（$\rho_{oop}$）に基づいて計算される。open の数が search の数を大幅に上回る軌跡に対してペナルティを課すことで、正当なマルチドキュメント探索は許容しつつ、既に見たドキュメントの再訪問を抑制する。
• 適用: 同一のポリシーを共有しているため、ペナルティは両方の役割のベース報酬から差し引かれる。

最適化

フレームワークは Group Relative Policy Optimization (GRPO) を使用する。

• データフロー: 各シードドキュメントに対して、Proposerは $K_P$ 個の候補タスクを生成する。通過したタスクは、Solverによって解決される（$K_S$ ロールアウト）。
• 選択: 最も高い報酬を得た通過タスクに対するSolverのロールアウトのみがSolverグループとして保持され、すべてのProposerのロールアウトがProposerグループとして保持される。
• 更新: 共有ポリシーは、SDRおよびOOPコンポーネントを含む正規化された報酬から導出されたトークンレベルのアドバンテージを用いて、共同で更新される。

主な貢献

1. 接地型自己対戦の定式化: 本論文は、検索エージェントの自己対戦を、自己生成された監督を接地および規制する問題として定式化し、潜在的にノイズの多いループを信頼できる学習メカニズムへと変貌させた。
2. 3部構成の制御メカニズム: ECG、SDR、およびOOPの導入により、検索自己対戦の具体的な失敗モード（擬似マルチホップ、浅い難易度推定、ツールの誤用）を明示的に解決した。
3. 人間不在のトレーニング: 本フレームワークは、人間によるラベル付きQAペアやエキスパートのデモンストレーションに頼ることなく、ローカル検索環境のみを用いて、効果的な検索エージェントのトレーニングデータを生成・活用できることを示した。

実験結果

著者らは、Qwen3.5-9Bをバックボーンとして、6つのディープサーチ・ベンチマークを用いてSearchMasterを評価した。

• 性能向上: 本フレームワークは、平均精度を 38.19% から 51.52% へと向上させた（+13.3ポイント）。
• 特定ベンチマーク: BrowseComp-Plus ベンチマークにおいて、モデルは 30.1ポイントの向上 を達成し、30.12% から 60.24% に上昇した。
• データの効率性: これらの結果は、外部の人間によるデータを使用せず、20回のイテレーションを通じて生成されたわずか1,280個の適格なシードドキュメントのみを使用して達成された。

意義と主張

本論文は、SearchMasterが自己対戦ループを安定させることで、検索エージェントを訓練するためのスケーラブルなソリューションを提供すると主張している。証拠の構築、タスクの難易度（検索深度による）、およびツールの使用バランスを、学習目的の明示的な一部とすることで、本フレームワークは検索エージェントの「自己進化」を可能にする。結果は、接地され規制された自己対戦が、人間のアノテーションやより強力な教師モデルに依存する手法に匹敵する高品質なトレーニングデータを生成できることを示唆しており、真のマルチホップ検索と効率的なツール利用を行う能力を大幅に向上させている。