技術要約: PathRouter

問題提起

エージェント型グラフ検索拡張生成（GraphRAG）システムは、言語モデルエージェントを利用して、グラフ構造の証拠を反復的に検索・推論します。これらのシステムは、複雑な情報ネットワークをナビゲートすることで意思決定を向上させることを目的としていますが、結果ベースの強化学習（RL）のみに依存する既存の学習手法には、2つの決定的な限界があります。

1. 回答経路の報酬エイリアシング（Answer-Path Reward Aliasing）: 標準的なRLは、最終的な回答の正誤のみに基づいて報酬を割り当てます。これは、有用な証拠経路から正解が導き出された軌跡と、証拠の検索に失敗したにもかかわらず、モデルのパラメトリックメモリ（ショートカット）から回答が取得された軌跡を混同してしまいます。その結果、モデルは、検索能力を向上させない「運の良い」成功に対して強化されてしまいます。
2. 検索更新の曖昧性（Search-Update Ambiguity）: スカラー値による軌跡レベルのフィードバック（例：インタラクション全体に対する単一の報酬スコア）は、どの特定の検索アクション（検索クエリや推論ステップ）が結果に寄与したのかを示すことができません。これにより、エージェントが失敗またはショートカットによって成功した場合に、自身の検索戦略を調整するための実行可能なガイダンスを得られなくなります。

メソドロジー: PathRouter

著者らは、報酬信号を検索の質に整合させるために設計された、パス（経路）を考慮した学習フレームワークであるPathRouterを提案しています。このフレームワークは、以下の3つのコアメカニズムを通じて動作します。

1. パスを考慮したルーティングと差別化されたアドバンテージ・スケーリング

すべての軌跡を一様に扱うのではなく、PathRouterは各軌跡を2つの軸に沿って評価します。

• 回答の正誤 ($C_i$): 最終的な回答が正しいかどうか。
• 証拠パスのオーバーラップ ($P_i$): 検索されたパッセージと、正解となる支持証拠との間のトークンレベルのF1オーバーラップ。

これらの指標に基づき、軌跡は4つのタイプに分類され、それぞれがグループ相対方策最適化（GRPO）のアドバンテージ・スケーリングに対して差別化された重みを受け取ります。

• 忠実な成功 (Faithful Success) ($C \uparrow, P \uparrow$): 正解であり、かつ証拠のオーバーラップが高い。フルウェイトを受け取る。
• ショートカットによる成功 (Shortcut Success) ($C \uparrow, P \downarrow$): 正解であるが、証拠のオーバーラップが低い（パラメトリックメモリに依存）。ショートカット行動の強化を抑制するために、減少したウェイトを受け取る。
• 証拠の取得 (Evidence Retrieved) ($C \downarrow, P \uparrow$): 不正解であるが、証拠のオーバーラップが高い（推論の失敗）。有用な検索行動を過度に罰することを避けるため、減衰させたウェイトを受け取る。
• 共同失敗 (Joint Failure) ($C \downarrow, P \downarrow$): 不正解であり、かつ証拠のオーバーラップも低い。フルウェイトを受け取る。

このルーティングにより、方策の更新が単なる最終回答の正誤ではなく、検索の質を反映するようにします。

2. 検索更新の曖昧性を解決する選択的ゴールド証拠ティーチャー

どの検索アクションを調整すべきかという曖昧さを解決するために、PathRouterは証拠が不足している軌跡（$P_i < \theta_P$）に対して**凍結されたゴールド証拠ティーチャー（frozen gold-evidence teacher）**を導入します。

• メカニズム: ティーチャーには、クエリと正解となる支持パッセージ（特権コンテキスト）がプロンプトとして与えられます。ティーチャーは新しい軌跡を生成するのではなく、生徒（student）のオンポリシー・ロールアウトをスコアリングします。
• トークンレベルのKLガイダンス: ティーチャーは、推論トークンおよび検索クエリ・トークンに特化したカルバック・ライブラー（KL）ダイバージェンスによる指導を提供します。
• 除外事項: 回答トークンおよび検索された観測ブロックは、直接的な応答の模倣を防ぎ、エージェントが単に回答を出力するのではなく、証拠を「見つける」方法を学習できるように、KL指導から除外されます。
• スケジューリング: 線形ウォームアップがKL係数に適用され、ティーチャーによる制約が効き始める前に、生徒がGRPO報酬を通じて探索を行えるようにします。

3. 学習目的

総損失は、ルーティングされたGRPO損失と選択的なティーチャーKL損失を組み合わせたものです。
$$\mathcal{L} = \mathcal{L}_{GRPO} + \lambda_T(s) \cdot \mathcal{L}_{TKL}$$
また、報酬関数には、徹底した証拠収集を促すための探索シェイピング（マルチターン検索へのボーナス、怠慢な停止、タイムアウト、冗長性へのペナルティ）も組み込まれています。

主な貢献

1. 報酬エイリアシングの特定: 本論文は、エージェント型GraphRAGにおける主要な失敗モードとして「回答経路の報酬エイリアシング」を特定し、回答の正誤と検索の質を分離するための、ルート条件付きGRPOアドバンテージ・スケーリングメカニズムを提案しています。
2. 選択的なトークンレベルの蒸留: 証拠が乏しい軌跡に対して、推論および検索クエリ・トークンにトークンレベルのKLガイダンスを適用する、新しい選択的ティーチャーメカニズムを導入しています。これにより、最終回答を模倣することなく、検索更新の曖昧さを解決します。
3. 実証的検証: 広範な実験により、PathRouterが6つのQAベンチマークおよび3つのモデルサイズ（1.5B, 3B, 7B）において、Graph-R1を含む強力なベースラインを一貫して上回ることを示しています。

実験結果

Qwen2.5モデルを用い、6つのベンチマーク（HotpotQA, 2WikiMultiHopQA, MuSiQue, NQ, PopQA, TriviaQA）で評価：

• 性能向上: PathRouterは、Graph-R1を含む強力なベースラインを一貫して上回りました。
  • 7Bモデルにおいて、平均F1スコアで4.9ポイント（57.82から62.74へ）、Exact Match (EM) で4.69ポイントの向上を達成しました。
  • 3Bモデルにおいて、平均F1スコアで3.1ポイントの向上を達成しました。
  • 改善はマルチホップ推論タスク（例：HotpotQAで+7.4 F1、MuSiQueで+8.2 F1 [7Bモデル]）で最も顕著でした。
• 軌跡のシフト: 軌跡分布の分析により、PathRouterが「ショートカット」および「共同失敗」のカテゴリから、「忠実な成功」および「証拠が存在する推論失敗」のカテゴリへと質量をシフトさせることに成功したことが示されました。これは、回答の正誤とは独立して、証拠獲得能力が向上したことを示しています。
• 汎用性: クロスデータセット転移テストにより、高いOOD（分布外）汎用性（平均比率95.7%）が明らかになり、学習された検索戦略が堅牢であり、特定のデータセット分布に縛られていないことが示されました。
• アブレーション研究の結果:
  • パス報酬（$r_p$）を除去すると、回答F1は維持されるものの、証拠の質（SF-F1）が著しく低下し、報酬が検索をターゲットにしていることが確認されました。
  • 選択的ティーチャーKLを除去すると、特にマルチホップタスクにおいて性能が低下し、検索更新の曖昧さを解決する役割が確認されました。
  • ティーチャーKLの有効性は容量に依存することが判明しました。小規模なモデル（1.5B）では、強力なティーチャーを用いると混合した結果や性能低下が見られ、生徒の容量が制限要因となることが示唆されました。

意義と主張

本論文は、PathRouterが、エージェント型システムにおける「結果のみに基づく強化学習」の根本的なクレジット割り当ての限界に対処することを主張しています。回答の正誤と証拠パスのオーバーラップを共同で評価することにより、このフレームワークは、方策の更新が最終的な出力ではなく、検索プロセスの質によって駆動されることを保証します。

著者らは、このアプローチにより、エージェントが回答精度が高く、かつ証拠に対して忠実な検索ポリシーを学習できると主張しています。本研究は、パスを考慮した学習が、データセット固有のショートカットを回避する、より汎用的な検索行動を生み出すことを示唆しており、複雑な推論タスクのためのより堅牢な基盤を提供します。また、ルーティングやスケジューリングに必要な追加のハイパーパラメータ、およびティーチャーのフォワードパスによる計算コストの増加といった課題についても言及しており、訓練効率と忠実性の向上との間のトレードオフを認めています。