技術要約：検索拡張型LLM推論のための適応的情報制御

問題提起

外部検索と多段階の推論を交互に実行する検索拡張型推論エージェントは、「制御不能な情報の取得」という重大なボトルネックに直面している。既存のアプローチの多くは、疎な終端報酬（例：最終的な回答の正解性）を用いた結果ベースの強化学習（RL）に依存しているが、こうした監督は、「いつ」検索を行うか、「どの程度」取得するか、あるいは「どの程度の粒度」で証拠を提示するかといった中間決定に対して、限定的なガイダンスしか提供できない。

その結果、エージェントは以下のような最適ではない挙動を示す。

1. 過剰な検索（Over-retrieval）: 冗長またはノイズの多い証拠を蓄積し、コンテキストの飽和と意思決定の質の低下を招く。
2. 早すぎる停止（Premature Stopping）: 追加の証拠があれば有益であったにもかかわらず、検索を早期に終了してしまう。
3. 学習の不安定性（Training Instability）: 疎な報酬は、特にベースモデルが弱い場合、長い推論軌跡におけるエラーに対して最適化を敏感にしすぎる。

現在の手法は、検索の質、停止行動、または証拠の拡張を個別に扱うのが一般的であり、情報の取得をRLの下での統一された制御問題として扱うことはできていない。

手法：DEEPCONTROL

著者らは、情報の取得を「範囲（extent）」（検索を継続するかどうか）と「解像度（resolution）」（どの程度の詳細を露出させるか）という2つの補完的な軸に沿って制御する適応的情報制御フレームワーク、DEEPCONTROLを提案する。このフレームワークはオンラインRL訓練中に動作し、テスト時にはポリシーが自律的に運用できるよう、内部化されるように設計されている。

1. 情報ユーティリティ（Information Utility）

本フレームワークの核となるのは、取得された証拠の限界価値を状態依存的に推定する情報ユーティリティである。これは以下の2つの指標を組み合わせたものである。

• 新規性（Novelty）: 新たに取得されたリーフノードが、以前に取得された証拠とどの程度重複しているかを測定する（共有埋め込み空間における意味的類似性を用いて計算）。
• 有効性（Effectiveness）: 新しい証拠を注入した後の、モデルによる正解生成の尤度の向上度合いを測定する。
  ステップ $l$ におけるユーティリティ $U(e_l)$ は次のように定義される：
  $$U(e_l) = \rho \cdot \text{Novelty}(e_l | s_{t_l}) + (1 - \rho) \cdot \text{Effectiveness}(e_l | u, s_{t_l})$$
  ここで、$\rho$ はこれら2つの要素のバランスを調整する。このユーティリティは、疎な結果報酬とは対照的に、密で中間的な訓練シグナルとして機能する。

2. 二軸制御メカニズム

フレームワークは、ユーティリティ信号に基づいた2つの具体的なメカニズムを通じて制御を実装する。

• 粒度制御（解像度）:
  生の全文パスェージを注入する代わりに、システムは**階層的選択的拡張（hierarchical selective expansion）**戦略を使用する。取得されたソースはツリー構造（例：ドキュメント $\to$ セクション $\to$ 段落）としてモデル化される。エージェントは当初、ルートレベルの要約のみを受け取る。その後、より細かい粒度の内容を明らかにするための明示的な「展開（expand）」アクションを実行する。訓練中、コントローラーは高ユーティリティのリーフノードを特定し、それらの祖先を辿ってターゲットとなる拡張セットを生成することで、コンテキストの増大を抑えつつ、価値の高い証拠を優先するようにモデルを監督する。

• 検索継続制御（範囲）:
  システムは、ユーティリティの閾値に基づいて、エージェントの検索停止または継続の決定に介入する。

  • 終了（Termination）: ユーティリティが $m_{stop}$ 回連続で閾値 $\delta_{stop}$ を下回った場合、「検索停止」信号が注入される。
  • 継続（Continuation）: ユーティリティが高水準（$\ge \delta_{cont}$）であるにもかかわらず、正解に対する確信度が低い状態でエージェントが終了を試みた場合、「検索継続」信号が注入される。

3. アニールド・コントロール・フォーシングRL（Annealed Control-Forcing RL）

ポリシーが外部の介入に頼るのではなく、これらの挙動を内部化することを確実にするため、DEEPCONTROLはアニールド・コントロール・フォーシング・スキームを採用している。

• ロールアウト・モード: 訓練中、エージェントは「制御モード（コントローラーが信号を注入する）」と「自律モード（エージェントが単独で行動する）」を交互に切り替える。
• カリキュラム: 制御モードの確率（$p$）は、訓練エポックに従って徐々に減少（アニール）していく。初期の訓練では、学習を安定させ探索を導くために頻繁に制御を行う。後半の段階では制御を減らし、効果的な取得行動をポリシーに内部化させる。
• 報酬設計: 複合報酬は、F1スコアに基づく結果報酬と、ツール使用の違反および制御への不適合に対するペナルティを組み合わせたものであり、エージェントが訓練フェーズにおいて制御信号に従うことを学習するように設計されている。

主な貢献

1. 情報ユーティリティ: 新規性と有効性を組み合わせた、取得された証拠の限界価値に関する新しい状態依存的な尺度であり、中間制御のための実用的なシグナルとして機能する。
2. 統一制御フレームワーク: 検索継続制御（範囲の制御）と粒度制御（解像度の制御）という2つの補完的な制御メカニズムを、RLの下での統一された問題として導入した。
3. アニールド内部化: 制御信号を徐々に除去することで、テスト時の信頼性の高いパフォーマンスのために、外部の介入なしに効果的な情報取得行動をポリシーに内部化させる訓練戦略。

実験結果

著者らは、Qwen2.5-3BおよびQwen2.5-7Bモデルを用い、一般的なQA（NQ, TriviaQA, PopQA）およびマルチホップQA（HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle）をカバーする7つのベンチマークでDEEPCONTROLを評価した。

• 性能向上: DEEPCONTROLは、Search-R1（最先端の検索拡張RL手法）を含む強力なベースラインを一貫して上回った。
  • Qwen2.5-7Bにおいて、Search-R1に対し平均Exact Match（EM）を**+9.4ポイント**向上させた。
  • Qwen2.5-3Bにおいて、平均EMを**+8.6ポイント**向上させた。
• 学習の安定性: 本フレームワークは、特に報酬の崩壊やアクション形式の退化を防ぐ点において、バニラのPPOやGRPOと比較して高い訓練報酬と安定性を示した。
• 行動の改善: 分析により、「不十分な検索」および「支持証拠の欠如」のエラーが減少したことが示された。エージェントは、タスクの難易度（例：単純なQAには少ないステップ、マルチホップには多いステップ）に応じて検索の深さを適応することを学習した。
• 堅牢性: 本手法は、基礎となるリトリーバーをE5（高密度）からBM25（疎）に変更しても効果を維持しており、制御メカニズムが特定の検索バックエンドに依存していないことを示している。

重要性と主張

本論文は、適応的な情報制御が、検索拡張型推論における、これまで十分に扱われてこなかった重要な要素であると主張している。著者らは、エージェントが情報を「どのように」「いつ」消費するかを効果的に制御できないのであれば、単に検索の質や推論能力を向上させるだけでは不十分であると述べている。

情報の取得をユーティリティによって制御される制御問題として定式化することにより、DEEPCONTROLは、現在のエージェントを悩ませている「コンテキストの飽和」や「冗長な証拠」の問題に対処している。本研究は、訓練中に（具体的には制御信号のアニールを通じて）明示的かつ適応的な制御を行うことで、モデルが洗練された検索戦略を内部化でき、推論時の外部介入なしに、大幅な推論精度の向上と学習の安定化を実現できることを実証している。著者らは、これを、複雑な情報環境において動作可能な、より堅牢でリソース効率の高いエージェントへの一歩として位置づけている。