SubSearch: 複雑な検索における非教師あり誘導推論のための中間報酬

本論文「SubSearch: Intermediate Rewards for Unsupervised Guided Reasoning in Complex Retrieval」は、大規模言語モデル（LLM）が複雑な検索タスク（多段階推論や情報集約を要する質問応答）を処理する際の問題点に焦点を当て、**「中間報酬（Intermediate Rewards）」**を用いた新しい学習フレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

背景

• LLM の限界: 大規模言語モデルは確率的な性質を持ち、外部情報（検索エンジンなど）と組み合わせることで性能が向上します。しかし、複雑なクエリは単一の検索では解決できず、複数のステップにわたる推論と情報の集約が必要です。
• 既存手法の課題:
  • 教師あり微調整（SFT）: 人間の注釈や大規模 LLM による評価に基づく推論経路（トレース）の学習はリソース集約的であり、無限に近い推論空間を網羅できないため、汎化性に限界があります。
  • 結果のみに基づく強化学習（Outcome-only RL）: 最終的な答えの正誤のみで報酬を与える手法（例：Search-R1）は、**「報酬ハッキング（Reward Hacking）」**を招くリスクがあります。つまり、中間推論が誤っていても最終答えが偶然合っていれば報酬を得てしまい、モデルが誤った推論経路を学習してしまう可能性があります。
  • プロセス報酬モデル（PRM）の課題: 従来のプロセス報酬モデルは、人間や別の LLM による注釈付きの軌跡（トラジェクトリ）を必要とし、外部監督に依存しています。

解決すべき課題

外部の注釈や追加リソースに依存せず、モデル自体が自律的に高品質な推論経路を計画・生成できるようになるための、データ効率の良い非教師あり（Unsupervised）な中間報酬メカニズムの確立です。

---

2. 提案手法：SubSearch

SubSearch は、生成モデル（ジェネレーター）を直接最適化するために、**内在的プロセス報酬（Intrinsic Process Rewards）**を用いるフレームワークです。これは外部の注釈家やジャッジモデルを必要とせず、モデルの状態から報酬を導出します。

主要な構成要素

1. 学習テンプレートとクエリ分解

複雑なタスクをサブクエリに分解するテンプレートを導入します。モデルは以下のループを繰り返します：

1. 思考（Thinking）: 現在の知識を評価し、不足情報を特定。
2. 検索（Search）: 必要に応じてサブクエリを生成し、検索エンジンに送信。
3. 情報取得（Retrieval）: 検索結果を取得。
4. 回答（Answer）: 十分な情報が揃えば回答を生成。

モデルは、クエリが複雑な場合、それを最大 3 つのサブクエリに分解（並列または逐次）することを促されます。

2. 中間報酬の設計（Intrinsic Process Rewards）

最終的な正解（Outcome Reward）に加え、推論の各段階で以下の内在的報酬を計算します。これらは外部ラベルなしで計算可能です。

• サブクエリの回答可能性（Answerability Reward）:

  • 生成されたサブクエリが、検索エンジンによってどの程度適切に回答されているかを評価します。
  • 計算方法：サブクエリの埋め込みと、検索された上位 k 件のドキュメントの埋め込み間のコサイン類似度を平均化します。
  • 目的：検索エンジンが関連する情報を返すかどうかを指標とし、情報網羅性を評価します。

• クエリ分解の質（Decomposition Reward）:

  • 親クエリを子クエリに分解する際の質を評価し、「クエリドリフト（意味の逸脱）」を防ぎます。
  • 2 つの目的の重み付き組み合わせ：
    1. 意味的カバレッジ（Semantic Coverage）: 分解されたサブクエリの集合が、親クエリの情報を保持しているか（平均埋め込みの類似度）。
    2. グループ内分割性（In-group Splitability）: サブクエリ同士が重複せず（相互排他的）、かつ親クエリに関連しているか。
  • 目的：包括的かつ排他的な情報要求を持つサブクエリを生成させる。

• フォーマット報酬（Format Reward）:

  • 推論トレースが正しいタグ（<search>, <answer> など）で構造化されているかを評価し、学習の安定化を図ります。

3. 報酬の集約（Aggregation）

最終的なスパースな正解報酬（EM: Exact Match）と、連続的な中間報酬を統合します。

• 適応的残差報酬集約（Adaptive Residual Reward Aggregation）:
  • 最終答えが正解でない場合のみ、中間報酬の影響を強める動的な重み付けを行います。
  • 正解に達している場合は最終報酬を優先し、失敗している場合は中間プロセスの改善を促すように調整します。これにより、正解に至った場合でも中間推論が不適切な場合に罰せられることを防ぎつつ、学習を安定させます。

---

3. 主要な貢献

1. 非教師ありなプロセス報酬の導入:
   • 人間や大規模 LLM による注釈を必要とせず、モデルの内部状態（検索結果との類似度など）から直接プロセス報酬を導出する手法を提案しました。これにより、データ効率と自律性が向上しました。
2. サブクエリレベルの報酬設計:
   • 「回答可能性」と「分解の質」という 2 つの内在的指標を組み合わせることで、複雑な推論経路の各ステップを質的に評価・最適化します。
3. 適応的報酬集約メカニズム:
   • 最終結果と中間プロセスのバランスを動的に調整する集約関数を提案し、学習の安定性と性能向上を両立させました。

---

4. 実験結果

設定

• データセット: Natural Questions (NQ), TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle の 7 つのベンチマーク。
• ベースライン: 直接推論、CoT、RAG、および SFT 不要の強化学習エージェント（Search-R1, ZeroSearch, R-Search など）と比較。
• モデル: Qwen2.5-3B (Base および Instruct) を使用し、GRPO（Group Relative Policy Optimization）で学習。

結果の要点

• 全体的な性能向上:
  • SubSearch は、単純な QA データセット（NQ, TriviaQA）および多段階推論データセット（HotpotQA, 2WikiMultiHopQA, Bamboogle）の両方で、既存の RL ベースの検索エージェント（Search-R1 など）を凌駕する性能を示しました。
  • 特に複雑なベンチマークでは顕著な改善が見られました（例：HotpotQA で +6.5 EM、Bamboogle で +13.5 EM の向上）。
• 中間報酬の重要性:
  • 単なるクエリ分解（デコンポジション）のみを行う場合よりも、中間報酬（回答可能性と分解の質）を組み合わせた場合の方が、特に構造的に複雑なタスク（Bamboogle など）で大幅な性能向上が見られました。
• SFT 不要な手法としての競争力:
  • 人間の注釈付きデータ（SFT）や追加のトレーニングデータに依存しない SubSearch は、InForage や O2-Searcher といった高コストな SFT+RL 手法と同等かそれ以上の性能を達成しました。
• アブレーション研究:
  • 分解（Decomposition）の導入は、多段階推論が必要なデータセットで特に効果的でした。
  • 適応的残差集約関数が、単純な重み付き和や残差報酬よりも安定した学習と高い性能をもたらしました。

---

5. 意義と結論

SubSearch は、複雑な情報検索タスクにおける LLM の推論能力を向上させるための重要なステップです。

• 自律性の向上: 外部の注釈やジャッジモデルに依存せず、モデル自身が「良い推論」を学習できるため、スケーラビリティと実用性が高まります。
• 報酬ハッキングの防止: 最終結果だけでなく、中間プロセスを評価することで、誤った推論経路でも正解にたどり着く「ハッキング」を防ぎ、より堅牢な推論トレースを生成させます。
• 将来の展望: 計算コストの削減や、検索エンジン（リトリーバー）自体も同時に最適化するパイプラインへの拡張が今後の課題として挙げられています。

総じて、SubSearch は、外部情報に基づく複雑な推論タスクにおいて、**「プロセス指向の内在的報酬」**が効果的であることを実証し、自律的な情報集約エージェントの構築に向けた有力なアプローチを提供しています。