技術的概要：Search-E1

問題定義

大規模言語モデル（LLM）は強力な推論能力を達成しているものの、事前学習の知識に制約され、学習後に出現する情報を取り込むことができない。検索拡張型推論エージェントは、内部推論と外部検索呼び出しを交互に行うことでこの課題に対処する。しかし、これらのエージェントに対する現在のポストトレーニングパイプラインは、最終回答の正否のみに基づく報酬を用いたグループ相対方策最適化（GRPO）など、**結果レベルの強化学習（RL）**に依存している。

この軌道レベルの教師信号は重大な制限を生み出す：特定の検索クエリが適切に形成されたものか冗長なものかにかかわらず、ロールアウト内のすべてのトークンが同一の勾配信号を受け取る。これを克服するため、近年の研究では以下のような複雑な機構が導入されている：

• 外部教師信号： 強力な教師モデル（例：72B モデル）からサブ質問を蒸留する、または GPT-4o などのモデルによるアノテーションからステップごとの報酬を導出する。
• 補助モジュール： 別々のトレーニングフェーズまたは制限的な仮定を必要とする、プロセス報酬モデル、回顧的クリティック、または内在的推定器を付加する。
• 構造変更： 木探索や多段階カリキュラムによるロールアウトの再構成。
• 手動設計報酬： 特定の検索ステップに対するボーナスやペナルティの調整。

これらの手法は性能向上をもたらすものの、トレーニングパイプラインを肥大化させ、普遍的に利用可能とは限らないリソースや設計にレシピを縛り付けている。本論文は、そのような機構が本当に必要なのかを問いかけ、ポリシー自身のデータのみを用いてステップごとの教師信号を実現する手法を提案する。

手法：Search-E1

Search-E1 は、標準的なGRPOと**オフライン自己蒸留（OFSD）**を交互に行う自己進化パイプラインである。外部教師、補助モジュール、標準的な質問 - 回答ペア以外のアノテーションを一切必要としない。

1. GRPO ラウンド（探索）

パイプラインは、完全一致の最終結果報酬を用いた標準的な GRPO ラウンドから始まる。

• 各質問 $q$ に対して、現在のポリシー $\pi_{\theta}$ から $G$ 個の軌道群がサンプリングされる。
• 報酬は最終回答の正否に基づいて割り当てられる。
• ポリシーは標準的な GRPO 損失を用いて更新され、ここでアドバンテージは軌道内のすべてのトークンで共有される。この段階は軌道空間を探索するが、密なステップごとの信号は欠如している。

2. OFSD ラウンド（統合）

GRPO ラウンドが収束した後、ポリシーは自身のロールアウトから密なトークンレベルの信号を抽出するために、オフライン自己蒸留ステップを実行する。

• ペアマイニング： 収束したポリシーのロールアウトプールから、各質問に対して軌道のペア $(\tau_{ref}, \tau_{stu})$ が構築される。
  • 参照 ($\tau_{ref}$)： 検索呼び出し数が最少の正解軌道 ($R=1$)。
  • 学生 ($\tau_{stu}$)： 参照と最大限に異なる不正解軌道 ($R=0$)、または不正解の兄弟軌道が存在しない場合の最も特徴的な正解軌道。
• 非対称条件付け： 同じポリシーパラメータ $\theta$ が教師と学生の両方として機能するが、異なるプロンプト下で動作する：
  • 学生： 標準的な推論プロンプト $P_S(q) = [\text{instruction}] \parallel q$ に条件付けられる。
  • 教師： 効率的な参照軌道を専門家ガイドとして露出させる特権プロンプト $P_T(q, \tau_{ref}) = [\text{instruction}] \parallel q \parallel \tau_{ref}$ に条件付けられる。
• トークンレベル前方 KL 目的関数： 学生は、特権コンテキスト下での教師の分布と、推論時の分布を整合させるように訓練される。
  • 損失は、ポリシーによって生成された位置（検索されたテキストを除く）に対して計算される。
  • ポイントワイズクリッピング機構 ($\tau_{clip}$) は、稀な外れ値による勾配の支配を防ぐため、高発散トークンの寄与を制限する。
  • 目的関数は以下の通り：$L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$。
• 実装： OFSD は、GRPO チェックポイントに接続された LoRA アダプターによって実現される。教師パスは凍結されたベース重みを使用し、学生パスはアクティブな LoRA 重みを使用する。

3. 交互ループ

パイプラインは以下のように反復する：

1. GRPO ラウンド： 結果レベルの RL によってポリシーを更新する。
2. OFSD ラウンド： 更新されたポリシーのロールアウトからペアをマイニングし、KL 発散を最小化するために LoRA アダプターを訓練し、そのアダプターをベース重みにマージする。
   このサイクルが繰り返され、各イテレーションで正の利益がもたらされ、モデルがバックボーンの容量限界に近づくまで続く。

主要な貢献

1. Search-E1 パイプライン： 外部教師、補助モジュール、または非標準的なアノテーションを不要とする、バニラ GRPO とオフライン自己蒸留を交互に行う自己進化フレームワーク。
2. OFSD 目的関数： ポリシーが異なる条件付けコンテキスト下で教師と学生の両方として機能する、ペア化されたオフライン自己蒸留機構。これは、ポリシー自身の GRPO ロールアウトから完全に導出される密なステップごとの教師信号を提供するために、ポイントワイズクリッピングを備えたトークンレベルの前方 KL を利用する。
3. 実証的パフォーマンス： 7 つの QA ベンチマーク（シングルホップおよびマルチホップの両方）で実証され、Search-E1 は外部教師なしのオープンソース手法の中で最先端の結果を達成した。

実験結果

本手法は、Qwen2.5-3B-InstructおよびQwen2.5-7B-Instructを用いて 7 つの QA ベンチマークで評価された。

• 全体的なパフォーマンス： Search-E1 は 3B モデルで平均 Exact Match (EM) 0.440を達成し、そのスケールにおけるすべてのオープンソースベースラインを上回った。
• 結果報酬ベースラインとの比較： 最も強力な結果報酬ベースライン（AutoRefine-Base）を平均して 3.5 ポイント上回った。特にマルチホップデータセットで顕著な改善が見られた（例：Bamboogle で +12.0、2Wiki で +6.6）。これは、複雑な多段階検索チェーンを含む軌道において、ステップごとの整合性が最も有益であることを示唆している。
• プロセス教師ベースラインとの比較： Search-E1 は、外部アノテーションに依存する手法（StepSearch）および状態ベースのグループ化（GiGPO）を、7 つのベンチマークのうち 6 つで上回った。
  • GPT-4o アノテーションを使用せずに、4 つのマルチホップベンチマークすべてで StepSearch を上回った。
  • 2Wiki、MuSiQue、HotpotQA で GiGPO を上回った。唯一の例外は Bamboogle であり、著者らはこれをテスト分割のサイズが小さいこと、および GiGPO のアンカー状態グループ化を有利にするブリッジエンティティクエリの性質に起因すると帰属している。
• アブレーション： 結果は、GRPO と OFSD の交互ループが一貫した正の利益をもたらすことを確認しており、その信号は RL 設定において通常見られる「Base」と「Instruct」モデル変種間の性能ギャップを埋め、逆転させるのに十分であることを示している。

意義と主張

本論文は、Search-E1 が複雑な外部機構が検索拡張型推論の改善に厳密には必要ではないことを実証していると主張する。標準的な GRPO 訓練中に生成される兄弟軌道間の対比を利用することで、この手法は自然に密なステップごとの教師信号を提供する。

• 単純性： このアプローチは「バニラ」GRPO と自己蒸留目的関数に依存し、個別の報酬モデルやクリティックの訓練、あるいは大規模な教師からの蒸留といった複雑さを回避する。
• リソース効率： 外部システム（GPT-4o など）や特定のロールアウト構造（木探索など）への依存を排除し、レシピをよりアクセスしやすく堅牢にする。
• 汎用性： 獲得はシングルホップおよびマルチホップタスク全体で一貫しており、ステップごとの決定品質が重要なシナリオ（マルチホップ推論）で最も顕著な改善が見られる。

著者らは、探索（GRPO）と統合（OFSD）の交互レシピが、検索拡張型エージェントにおける自己進化のための実行可能な道筋であり、分野内で増大する複雑なパイプラインに対するより単純な代替案を提供すると結論付けている。今後の研究として、より豊かな特権コンテキスト（例：複数の正解の兄弟）や、より長い自己進化スケジュールの探求が提案されている。