技術要約: GTA-RAG

問題提起

検索拡張生成（RAG）は、知識集約的なタスクにおいて大規模言語モデル（LLM）が外部知識にアクセスすることを可能にする。しかし、複雑なマルチホップ質問に対して、エージェント型RAGに用いられる既存の強化学習（RL）手法は、しばしば**スパースな教師信号（sparse supervision）**という課題に直面する。これらの手法は通常、最終回答の報酬（例：完全一致）のみを用いて最適化される。この目的関数は、必要なエビデンスの連鎖を検索して正解に到達したモデルと、「ショートカット」（例：パラメトリックな知識に依存したり、偶然正解に導く無関係な文書を検索したりすること）によって正解に到達したモデルを区別できない。その結果、モデルは厳密なエビデンスへの根拠付けを必要とするシナリオに汎用できない、不誠実な検索行動を学習してしまう可能性がある。

手法: GTA-RAG

著者らは、マルチターン（多段階）の検索推論に対してスケーラブルなプロセスレベルの教師信号を提供するために設計されたフレームワーク、GTA-RAG（Graph-Trajectory-Augmented RAG）を提案する。この手法は、以下の3つのコアコンポーネントで構成される。

1. グラフ構造化された環境と検索

本フレームワークは、Open Information Extraction（OpenIE）を用いてコーパスからエンティティ・ドキュメントグラフを構築する。グラフは以下を含む：

• ノード: ドキュメントノードおよびエンティティノード。
• エッジ: ドキュメント–エンティティ間のエッジ、エンティティ間の関係エッジ、および断片化を軽減するための（埋め込み類似性に基づく）類義語エッジ。
• 検索メカニズム: ハイブリッドリトリーバーを用い、グラフ上の**パーソナライズド・ページランク（PPR）**による構造的に関連性の高いドキュメントの特定と、**高密度パッセージ検索（dense passage retrieval）**による意味的類似性を組み合わせる。最終的なエビデンスセットは、これら両方のソースの重複を除去した和集合である。

2. 自動化された軌跡（Trajectory）の合成と検証

手動による検索軌跡のアノテーション不足を克服するため、GTA-RAGは訓練データを自動的に合成する：

• パス・サンプリング: エンティティ–ドキュメントグラフから連結されたドキュメントパスをサンプリングし、潜在的なエビデンスの連鎖を定義する。
• 合成: 生成器としてのLLMが、サンプリングされたパスに基づき、マルチホップの質問と推論の軌跡を作成する。この際、推論は前のターンで明らかになった情報のみに条件付けられることを保証する。
• 検証: 極めて重要な点として、すべての合成検索クエリはデプロイされたリトリーバーに対して実行される。軌跡は、各ステップで意図された中間ドキュメントが正常に検索された場合にのみ保持される。これにより、教師信号が実行可能な検索アクションに根ざしていることが保証される。

3. GRPOを用いた2段階のRLポストトレーニング

ポリシーは、Group Relative Policy Optimization (GRPO) を用いて2段階で最適化される：

• ステージI (軌跡誘導型): 検証済みの合成軌跡を用いて、**軌跡誘導型報酬（trajectory-guided reward）**を用いてモデルを訓練する。この報酬は中間的なフィードバックを提供する：
  • 検索報酬: エビデンスの連鎖上にある新しいターゲットドキュメントを検索できた場合には正の報酬を与え、新しいターゲットの検索に失敗した場合には負の報酬を与える。
  • 回答報酬: 完全なエビデンスの連鎖が検索された場合にのみ、より高いボーナスを正解に対して付与する。これにより、ショートカットによる回答と区別する。
• ステージII (回答報酬への適応): 自然なQAインスタンス（例：HotpotQA）を用いて、標準的な回答レベルの完全一致（Exact Match）報酬による最適化を行う。このステージでは、明示的なグラフの軌跡が存在しない実世界の質問にモデルを適応させつつ、ステージIで学習した検索行動を維持する。

主な貢献

1. グラフベースのデータ拡張: エンティティ–ドキュメントグラフから、実行可能なマルチホップ検索軌跡を自動的に合成・検証する手順を確立し、手動アノテーションの必要性を排除した。
2. 軌跡誘導型GRPO目的関数: 正確な回答と忠実なエビデンス連鎖の獲得を同時に促進する新しい報酬関数を提案し、最終回答報酬のスパース性を解決した。
3. 実証的検証: マルチホップおよび単純なQAベンチマークの両方において一貫した改善を示し、その利得が回答のみのショートカットではなく、より良いエビデンスの網羅性に由来することを分析により確認した。

実験結果

実験は、HotpotQA, 2WikiMultiHopQA, MuSiQue（マルチホップ）および PopQA, Natural Questions（単純QA）の5つのベンチマークを用い、Qwen2.5-3B および Qwen2.5-7B をバックボーンとして実施された。

• パフォーマンス: GTA-RAGは、強力なRLベースのベースライン（例：Search-R1, RouteRAG, R1-Searcher）および学習なしのRAGシステムを一貫して上回った。
  • Qwen2.5-7Bを用いた場合、GTA-RAGは平均EM 50.5、F1 59.3 を達成し、マルチホップデータセットにおいて最高のRLベースラインであるRouteRAGを、EMで1.7ポイント、F1で1.9ポイント上回った。
  • 本手法は、エビデンスの連鎖が不可欠なマルチホップタスクで顕著な利得を示し、単純なQAにおいても競争力のある性能を維持した。
• 検索行動の分析:
  • エビデンスの網羅性: GTA-RAGは、ターゲットドキュメントの網羅率を68.1%（回答のみのRL）から**82.3%へ、完全な軌跡の網羅率を54.3%から74.1%**へと向上させた。
  • 効率性: モデルは、より少ない「ゼロターゲット」ターン（新しい関連ドキュメントが得られない検索）と、わずかに少ない総検索ターン数で、より高い網羅性を達成した。これは、より的を絞った検索が行われていることを示している。
• アブレーション研究: 軌跡誘導型報酬（TGR）を除去すると、完全な連鎖の網羅率が最大の低下（74.1%から58.7%へ）を示し、中間的な教師信号の必要性が検証された。また、軌跡検証（TV）またはグラフ検索（GR）を除去した場合も性能が低下し、実行可能なパスと構造的検索の重要性が確認された。

意義と主張

本論文は、グラフ構造がRAGエージェントを訓練するためのスケーラブルなプロセス・スーパーバイザリ（過程の教師信号）の源泉となると主張している。グラフの接続性を利用して実行可能な軌跡を合成し、エビデンス連鎖の獲得に対して報酬を与えることで、GTA-RAGはモデルに忠実なマルチターン推論を実行させることに成功した。

著者らは、本アプローチによって、オープンソースモデル（Qwen2.5）が、RLポストトレーニングを通じて、学習なしのプロプライエタリな手法（例：GPT-4o-mini + HippoRAG 2）の性能に近づけることを強調している。核心的な貢献は単なる性能向上ではなく、軌跡誘導型報酬が、検索行動を推論の要件に効果的に適合させ、モデルが不誠実なショートカットを学習することを防ぐことを示した点にある。本研究は、将来のRAGエージェントにおいて、グラフ由来の構造的教師信号を強化学習ループに統合することが、より効果的な訓練につながることを示唆している。