APEX-Searcher: 自律的計画と探索による LLM の検索能力強化

本論文は、複雑な多段推論（Multi-hop Reasoning）タスクにおける既存の検索拡張生成（RAG）フレームワークの限界を克服し、大規模言語モデル（LLM）の検索能力を大幅に向上させる新しいフレームワーク「APEX-Searcher」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

現状の課題

• 従来の RAG の限界: 標準的な RAG は、単一の検索パスで情報を取得することを前提としています。しかし、複数の証拠を統合して回答を導き出す必要がある「多段質問（Multi-hop Questions）」に対しては、単発の検索では不十分であり、精度が低下します。
• 反復型 RAG の課題: 既存の多段検索アプローチ（Iterative RAG）は、検索回数を増やすことで対応しようとしていますが、本質的な「戦略的計画（Strategic Planning）」の欠如を指摘しています。
  • 現在の手法は「直前の情報に基づいて次に何を検索するか」という**戦術的（Tactical）**な反応に留まっています。
  • 「複雑な質問に答えるための全体計画は何か？」「どの部分問題をどの順序で解決すべきか」という**戦略的（Strategic）**な視点が不足しており、無関係な文書に惑わされたり、非効率的な検索経路をたどったりする原因となっています。
• LLM の計画能力の軽視: 既存研究は検索の反復回数やクエリ改良に注力する一方で、複雑な検索タスクを解決するために不可欠な LLM 固有の「タスク計画能力」への注目度が不足していました。

2. 提案手法：APEX-Searcher

APEX-Searcher は、**「自律的計画（Agentic Planning）」と「探索（Exploration）」**の 2 つの段階に分けて LLM を最適化する階層的なフレームワークです。

全体アーキテクチャ

フレームワークは以下の 3 つのフェーズで構成されます（図 1 参照）：

1. 高レベル：自律的計画（RL 駆動）
   • 複雑な質問を論理的なサブ質問の連鎖（計画）に分解します。
2. 低レベル：多段探索と推論（SFT 駆動）
   • 生成された計画に基づき、各サブ質問に対して反復的な検索と推論を実行します。
3. 統合と出力
   • 得られた情報を統合し、最終回答を生成します。

主要な技術的要素

フェーズ 1: RL による自律的計画（Agentic Planning）

• 目的: 複雑な質問を、論理的かつ実行可能なサブ質問のシーケンスに分解する「計画エージェント」を訓練します。
• 手法: 強化学習（RL）、具体的にはグループ相対方策最適化（GRPO）アルゴリズムを使用します。
• 報酬関数: 生成された計画（$S_{gen}$）と人間が作成した正解の計画（$S_{gold}$）との間の意味的整合性を測定する F1 スコア を報酬として用います。
  • 意味的類似度計算（Sentence-Transformer）と、最適二部マッチング（ハンガリアン法）を用いて、サブ質問の順序に依存しないロバストな評価を行います。
• 出力: 前のサブ質問の答えを参照するプレースホルダー（例：#1）を含む構造化された計画リスト。

フェーズ 2: SFT による自律的探索（Agentic Exploration）

• 目的: 計画に基づき、各サブ質問を正確に解決するための「実行エージェント」を訓練します。
• 手法: 教師あり微調整（SFT） を適用します。
• データ生成: 自己指示（Self-instruct）を用いて、多段推論の論理に従った高品質な多ターン検索指示データを構築し、フィルタリングを行いました。
• 実行プロセス:
  1. 知識充足性評価: 既存の知識ベースで回答可能か判断。
  2. 適応的多段検索ループ: 必要に応じて検索を実行。
     • 継続判断: 情報収集が十分か判断し、不要であればループを終了。
     • 動的クエリ生成: 取得済みの文脈と過去のクエリを考慮して、新規性を保ったクエリを生成。
     • 文書検索と重複排除: 新規文書の取得と重複フィルタリング。
  3. 知識ベースの更新: 得られた回答を累積知識ベースに追加し、次のサブ質問の文脈として利用。

3. 主要な貢献

1. 新規 RAG フレームワークの提案: 自律的計画と探索に焦点を当て、LLM の検索・推論能力を強化する「APEX-Searcher」を提案。
2. RL による計画能力の向上: 複雑な多段質問に対し、タスク分解報酬を用いた強化学習で LLM の計画能力を飛躍的に向上させた。
3. SFT による探索能力の強化: 計画ベースの検索パラダイムを構築し、教師あり微調整を通じて多ターン検索中の LLM の探索効率を大幅に改善。
4. 広範な実験的検証: 複数の多段 QA ベンチマーク（HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle）において、既存の最良の手法を上回る性能を実証。

4. 実験結果

評価設定

• モデル: Qwen2.5-3B-Instruct および 7B-Instruct を使用。
• ベースライン: 直接推論、CoT、標準 RAG、反復型 RAG（IRCoT）、および他の自律型 RAG（Search-o1, Search-R1, StepSearch-instruct など）と比較。
• 指標: 厳密な一致（Exact Match: EM）を主要指標として使用。

主要な結果（Table 1）

• 全体性能: APEX-Searcher はすべてのベンチマークで最上位の性能を記録しました。
  • 7B モデルの場合、標準 RAG に対して平均 22.6%、最良のベースライン（StepSearch-instruct など）に対しても 8.2%〜13.1% の EM 向上を達成。
  • 3B モデルにおいても、同様に大幅な改善が見られました（平均 33.5% 程度）。
• アブレーション研究（Table 2）:
  • 相乗効果: 「計画（Plan）」、「RL による計画最適化（RL）」、「SFT による探索（SFT）」のすべてのコンポーネントを組み合わせた場合に最高性能を発揮しました。
  • 計画モジュールの重要性: 計画モジュール単独では性能向上が限定的であり、特に小規模モデル（3B）ではノイズとなり性能が低下する可能性がありました。しかし、RL による最適化を加えることで計画品質が向上し、SFT による実行能力の強化と組み合わせることで、3B モデルでもベースラインから 149% 以上の劇的な改善が見られました。

分析

• パラメータ感度: 検索ドキュメント数が増加すると性能は向上しますが、3 文書を超えるとノイズの影響で性能が頭打ちまたは低下する傾向がありました。推論ステップ数（Hops）は 1〜5 の範囲で増加するほど性能が向上しました。
• 計画学習の分析: RL 訓練により、タスク分解の精度（Plan Score）が大幅に向上し、モデルの回答長が最適化（過剰な分解の削減）されることが確認されました。

5. 意義と結論

APEX-Searcher は、LLM による複雑な情報検索タスクにおいて、「戦術的な検索実行」から「戦略的な計画立案」へのパラダイムシフトの重要性を浮き彫りにしました。

• 理論的意義: 単に検索回数を増やすだけでなく、LLM に「全体像を把握し、論理的なサブタスクに分解する能力」を付与することが、多段推論の精度向上に不可欠であることを実証しました。
• 実用的意義: 小規模モデル（3B）であっても、適切な計画と実行の訓練により、大規模モデルに匹敵する、あるいはそれ以上の検索能力を獲得できる可能性を示唆しています。
• 将来展望: 探索フェーズにおける多段 RL の適用や、ローカルデータベースから Web 検索への展開など、さらなる応用範囲の拡大が期待されます。

本論文は、自律的エージェントシステムが複雑な情報探索タスクにおいて、明示的な計画能力を備えることの可能性を大きく広げる重要な研究です。