技術概要：David は Goliath に勝てるか？リソース制約下におけるマルチホップ推論を伴うエージェントについて

問題定義

本論文は、厳格なリソース制約下において、小型言語モデル（SLM）エージェントをマルチホップ推論（例：マルチホップ質問応答）を実行するように訓練する課題に取り組む。強化学習（RL）は複雑なタスクに対するエージェントの訓練に成功してきたが、既存のアプローチは通常、大規模なバッチサイズと広範なオンポリシーロールアウト（例：更新あたり数千の軌道）を伴う高コストな設定に依存している。これらの設定は、汎用ハードウェア（例：4 枚の RTX 3090 GPU）を使用する研究者にはアクセス不可能である。

低予算制約（小規模バッチ、少数のロールアウト）の下では、Group Relative Policy Optimization（GRPO）などの標準的な RL 手法は重大なボトルネックに直面する：現在のポリシーからの有用な軌道が更新ごとに少なすぎて、意味のある優位性推定を形成できないからである。具体的には、マルチホップ検索において、エージェントは複数の支援ドキュメント（ブリッジ証拠と回答証拠）を蓄積しなければならない。スパースなロールアウトでは、エージェントは有用な証拠を一切検索できず、エージェントが報酬ゼロを受け取り学習できない「ポリシー崩壊」を招く。既存の解決策はこの領域では機能しない：

• SFT ベースの初期化は、注釈付き軌道が希薄な場合、過学習する。
• 検索レベルの報酬は、しばしば個々のドキュメントにクレジットを割り当てるだけで、完全な証拠セットのカバレッジを最適化しない。
• ロールアウト拡張（例：Tree-GRPO）は、証拠進展のシグナルを欠く接頭辞から拡張する際に計算資源を浪費する。

手法：DAVID-GRPO

著者は、外部および現在のポリシー内部の情報の両方を活用することで、小規模な軌道バッチをより有益にするように設計された予算効率型の RL フレームワークであるDAVID-GRPOを提案する。この手法は 2 つの中核コンポーネントから構成される：

1. 専門家ブートストラッピング（オフポリシー注入）

エージェント自身の探索が報酬をもたらさない初期段階でのポリシー崩壊を防ぐため、DAVID-GRPO は RL 更新グループに少数のオフポリシー専門家軌道を注入する。

• メカニズム：教師あり微調整（SFT）のために数千の注釈付き軌道に依存するのではなく、この手法は $k$ 個の例のみを含む（$k \ll |X_{train}|$）「数ショット」の専門家軌道プール（$X_{inj}$）を使用する。
• 統合：ある入力に対して、トレーニンググループは、1 つのオフポリシー専門家軌道（$\tau^*$）と、現在のポリシー（$\pi_\theta$）からサンプリングされた $G-1$ 個のオンポリシー軌道で構成される。
• 目的：損失関数は、模倣を促すために専門家軌道に特定の優位性を割り当て、オンポリシー軌道は標準的なグループ相対優位性を通じて更新される混合目的関数を含むように修正される。これにより、エージェントの探索が失敗した場合でも勾配シグナルが提供される。

2. 証拠誘導探索（オンポリシー再利用）

完全な報酬を達成する軌道が存在しない最適化されていないバッチの問題に対処するため、この手法はより密な報酬シグナルと部分的な成功を再利用するメカニズムを導入する。

• 証拠カバレッジ報酬（$r_g$）：最終的な回答の正しさ（$r_o$）のみに依存するのではなく、この手法は、軌道全体にわたって検索されたドキュメントの累積集合 $\hat{D}_{union}$ 内における完全な支援セット $D$ のリコールに基づいて報酬を計算する。
  $$r_g(\tau) = \frac{|\hat{D}_{union} \cap D|}{|D|}$$
  総報酬は重み付き和である：$R(\tau) = \lambda r_g(\tau) + (1-\lambda)r_o(\tau)$。これにより、エージェントは最終的な回答だけでなく、必要なすべてのブリッジドキュメントと回答ドキュメントを検索することが促される。
• 接頭辞継続：バッチ内の最良の軌道が依然として最適でない場合（すなわち、不完全な証拠カバレッジ）、この手法は証拠カバレッジが増加した最後のステップ $t'$ を特定する。軌道を $t'$ で切り取り、現在のポリシーから継続部分を再サンプリングする。新しい継続が報酬を改善した場合、それはバッチ内の最悪の軌道を置き換える。これにより、追加の完全なロールアウトを必要とせずに、有望な接頭辞を「リサイクル」して高品質な例を生成する。

主要な貢献

1. DAVID-GRPO フレームワーク：専門家ブートストラッピングと証拠誘導探索を組み合わせ、限られた計算資源で小型モデルにおけるマルチホップ推論の訓練を可能にする新規 RL フレームワーク。
2. 効率性の向上：小型エージェント（最大 15 億パラメータ）が、高コストなベースラインである Tree-GRPO が必要とするロールアウト予算のわずか**4.7%**のみを使用して、複雑なマルチホップ検索戦略を学習できることを実証。
3. 行動の変化：DAVID-GRPO は複数の検索アクションを実行し、完全な証拠セットを蓄積することを学習するのに対し、以前の低予算ベースラインは検索をスキップするか、浅い探索後に停止することが多いことを示す。
4. 堅牢性：この手法は、異なるモデルサイズ（05 億から 15 億パラメータ）全体で安定しており、ウィキペディアスタイルの QA 以外のツール使用チェーン（例：BFCL ツール使用ベンチマーク）にも汎化する。

実験結果

著者は、Qwen2.5 および Llama-3.2 モデル（05 億および 15 億パラメータ）を 4 枚の RTX 3090 GPU で訓練し、6 つのマルチホップ QA ベンチマーク（HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle、BamTwoogle、AntiLeakBench）において DAVID-GRPO を評価した。

• 高予算ベースラインとの比較：高コストな Tree-GRPO ベースラインのロールアウト予算のわずか 4.7% を使用したにもかかわらず、DAVID-GRPO は 2WikiMultiHopQA、MuSiQue、Bamboogle においてより高い完全一致（EM）スコアを達成した。
• 低予算ベースラインとの比較：同じ低予算制約下で、DAVID-GRPO は他の低予算手法（Tree-GRPO、StepSearch、Search-R1-v0.3）を大幅に上回った。例えば、15 億パラメータ規模の AntiLeakBench において、EM で 2 番目に良いベースラインを 19.6 ポイント上回った。
• 検索行動：分析により、DAVID-GRPO エージェントは平均して 2〜3 回の検索アクションを実行し、ブリッジドキュメントと回答ドキュメントの両方を正常にカバレッジしていることが明らかになった。対照的に、Tree-GRPO などのベースラインは、パラメトリック知識に依存して検索アクションを 0 回実行することが多かった。
• アブレーション研究：専門家ブートストラッピングまたは証拠誘導探索のいずれかのコンポーネントを除去すると性能が低下し、両方のメカニズムの必要性が確認された。また、この手法は「シルバース証拠」（固定された回答支援ペアと組み合わされた生成された質問）で訓練された場合にも堅牢性を示した。

意義と主張

本論文は、マルチホップ推論における小型エージェントの主なボトルネックはモデルサイズそのものではなく、リソース制約下における密な証拠レベルのトレーニングシグナルの欠如であると主張する。DAVID-GRPO を導入することで、著者は以下のことを実証する：

• 小型エージェントは、密なロールアウト予算なしでも効果的なマルチホップ検索戦略を学習できる。
• 少数のオフポリシー専門家軌道とオンポリシー証拠誘導再利用を組み合わせることで、トレーニングを安定させ、サンプル効率を向上させることができる。
• このアプローチは、エージェント研究の計算上の障壁を下げ、汎用ハードウェアを備えた学術ラボが、以前は資源に恵まれた組織に限定されていたエージェントの能力を再現し拡張することを可能にする。

著者は、彼らの仕事が汎用ハードウェア上で能力のある検索エージェントを訓練するための道筋を提供すると結論付けているが、将来的な研究では検索器の品質やコーパスのカバレッジへの依存をさらに軽減できる可能性に言及している。