技術的概要：LLM 検索エージェントのための推論時予算制御

1. 問題定式化

本論文は、明示的なハードな二重予算（ツール呼び出しの制限 $B_{tool}$ と出力トークンの制限 $B_{tok}$）の下で、大規模言語モデル（LLM）検索エージェントを配備する際の課題に取り組む。先行研究は、反復サンプリングや自己洗練によるテスト時スケーリングを探求してきたが、これらのアプローチはしばしば計算リソースをトークンのみのリソースとして扱う。しかし、検索エージェントの場合、明示的に管理されない限り、追加の予算は冗長な検索、無駄な分岐、そして脆弱なコンテキストの増大につながる可能性がある。

核心的な問題は、二段階の推論時制御問題として定式化される：

1. 検索時アクション割当: 各ステップにおいて、エージェントは、証拠の検索（SEARCH）、質問の分解（DECOMPOSE）、または回答へのコミット（ANSWER）といった異質なアクション間で、残りの二重予算をどのように配分するかを決定しなければならない。これらのアクションはコストと潜在的なリターンが異なり、最適な選択は現在の証拠の状態と残りの予算に依存する。
2. 回答時最終化: 検索が終了した後、エージェントは、経路のベース回答（$a_{base}$）を維持するか、洗練された候補（$a_{ref}$）に置き換えるかを決定しなければならない。この決定は、正確性の潜在的な向上と、「介入害」（不要な書き換えによる正しいブリッジ構造の消去や比較意味論の変更）のリスクとのバランスを取る必要がある。

目的は、二重予算制約と回答置換による期待害の制約（$E[L_{harm}] \leq \rho_{harm}$）の下で、期待報酬 $E[R(\hat{a}, y)]$ を最大化することである。

2. 手法

提案手法である**VOI（Value-of-Information：情報の価値）**は、汎用的な木探索バックボーン（BAVT に着想を得た）の上に構築された、トレーニング不要の二段階コントローラーである。

ステージ 1：検索時予算割当

コントローラーは、タスクレベル VOI スコアを用いて実行可能なオプションをスコアリングすることで、次のアクションを選択する。このスコアは、シャノン情報利得や学習された価値モデルとは区別される、予算単位あたりの限界タスク価値の実用的な推定値である。

• ユーティリティ構築: 各アクション $k$ に対して、タスクレベルのユーティリティ $u_t(k)$ が以下のように計算される：
  $$u_t(k) = \hat{\Delta}_t(k) + \Psi_t(k) - \Pi_t(k; b_t)$$
  • $\hat{\Delta}_t(k)$: クリティックから導出された進捗シグナル。
  • $\Psi_t(k)$: 構造的シグナル（例：ブリッジ構造、ループ圧力、準備状態）。
  • $\Pi_t(k; b_t)$: 予算依存ペナルティ項。残存予算が逼迫している場合、SEARCH および DECOMPOSE アクションに対して増加し、オラクルのシャドウコストの代理として機能する。
• 正規化とガード: ユーティリティは、アクション固有の予算スケールで正規化され、VOI スコア $r_t(k)$ を生成する。その後、決定論的なガード演算子 $G_t$ がこのスコアを調整し、慎重な行動（例：早急な回答の抑制、合成質問に対する最小検索の強制）を強制する。
• 選択: 最も高いガード付き実行可能スコアを持つアクションが選択され、実行される。

ステージ 2：回答時最終化

検索が完了すると、選択的かつ証拠に基づく最終化モジュールが、回答を書き換えるかどうかを評価する。

• 利益 - リスクのトレードオフ: 最終化モジュールは、ベース回答 $a_{base}$ と（同じトレースから構築された）洗練された候補 $a_{ref}$ を比較する。期待される正確性の向上が、回答を損なうリスクを上回る場合にのみ介入する。
• 安全セット（$S_{safe}$）: 書き換えは、Yes/No の極性の修正、二値選択、型付きスロットの不一致、またはサポートされたファクトイドの完了など、低リスクのシナリオに制限される。
• 棄権: 経路に未解決のブリッジ構造、比較意味論、または直接的なサポートの欠如が含まれる場合、システムは書き換えを棄権する。これらのケースでの積極的な書き換えは、しばしば正確性を損なうためである。
• ゼロオーバーヘッド: このステージは、新しいツール呼び出しや LLM 推論呼び出しを追加しない。既存の候補に対する決定論的な選択ポリシーである。

3. 主要な貢献

1. 二段階定式化: 本論文は、LLM 検索エージェントにおける予算意識型推論を、ハードな二重予算下での検索時アクション割当とリスク制御された回答最終化の結合問題として形式化した。
2. タスクレベル VOI 制御: 価値モデルを学習することなく、予算依存ペナルティと構造的シグナルを組み込み、予算単位あたりの推定限界タスク価値に基づいてアクションをランク付けする、トレーニング不要のスコアラーを導入した。
3. リスク制御された最終化: 局所的な回答形式のエラーに対してのみ介入し、正しいマルチホップ推論経路の破壊を明示的に回避する、慎重な回答セレクターを提案した。
4. 実証的検証: 本手法は、4 つのマルチホップ QA ベンチマーク（HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle）、3 つの LLM バックボーン（Qwen3-32B, Qwen3.5-122B, GPT-5.4-Mini）、および厳格な共有ハード予算監査下での 4 つの予算レベルで評価された。

4. 実験結果

• 集計利益: VOI は、テストされた設定全体で、4 つの監査済みベースライン（BAVT, BATS, AFlow, Search-o1）に対して正味の集計利益をもたらした。Qwen3-32B において、16 のデータセット - 予算セルのうち 7 つで最良の F1 を達成し、2 つで最良とタイ、それぞれ 14/16、10/16、16/16、15/16 のセルでベースラインを上回った。
• 予算感応性: 最も顕著な改善は、低予算および中低予算領域で発生し、ここで慎重なアクション割当は、低収益のアクションにリソースを枯渇させるのを防ぐために重要である。
• コンポーネントアブレーション:
  • 検索時制御: 予算依存ペナルティ項を除去すると、最大の性能低下が生じ、予算意識型アクション割当が利益の主要な駆動因子であることを確認した。
  • 最終化: ステージ 2（最終化）は、検索経路が適切だが局所的な回答形式のエラーを含む場合に主に顕著な利益（MuSiQue において総利益の最大 41.9%）を提供する。エラーが構造的であるデータセット（例：MuSiQue）では、寄与は小さい。
• 効率性: VOI コントローラーは、予算を消費する低価値操作を回避するため、BAVT と比較して平均推論時間を 27.2% 削減した。

5. 意義と主張

本論文は、推論時予算制御が LLM 検索エージェントにとって不可欠であり、検索中の予算の使い方を支配するとともに、最終回答のコミット方法も支配すると主張する。

• 非単調スケーリング: 結果は、より大きな予算が常に良い回答をもたらすわけではないことを示している。明示的な制御がなければ、予算の増加は冗長な検索とノイズの多い最終化につながる可能性がある。
• 境界条件: 手法の有効性は均一ではない。より強力なバックボーン（例：Qwen3.5-122B）や、BATS などのベースラインが競争力のある高予算領域では、限界効用が逓減する。
• 安全性と展開可能性: 回答置換のリスクを明示的にモデル化し、ハードな予算監査を強制することで、エージェントの挙動をより予測可能で検査可能にする。これは、コスト制約またはレイテンシ制約のある環境での展開において重要である。

著者は、自らの手法が検索木のグローバルな最適性を主張するものではなく、厳格なリソース制約下で性能を大幅に向上させる局所的な意思決定レベルの制御メカニズムを提供するものであることを強調している。