論文要約：ハイブリッドソース RAG におけるルール駆動型エージェントフレームワーク「Learning to Route」

1. 背景と課題 (Problem)

大規模言語モデル（LLM）は一般的な質問応答（QA）で高い性能を示しますが、専門分野や最新の情報が必要な場面では、モデルの内部知識（パラメトリックメモリ）の限界により誤答やハルシネーションが発生します。これを解決するため、外部知識を付与する「検索拡張生成（RAG）」が広く用いられていますが、既存のシステムには以下の課題があります。

• 知識ソースの偏り: 既存の RAG は主に非構造化文書（Wikipedia や Web 記事など）に依存しており、金融、医療、科学研究などで不可欠な「構造化されたリレーショナルデータベース（DB）」の活用が十分ではありません。
• 相補性の存在: 研究により、数値や事実を問うクエリは DB が、オープンエンドな記述的クエリは文書がそれぞれ得意であることが示されました。
• ナイーブなハイブリッド化の失敗: 両方のソースを単純に結合して LLM に渡す（Hybrid）アプローチは、トークン数の増加によるコスト増や遅延を招くだけでなく、冗長な情報がノイズとなり、精度が低下するケースが多いことが判明しました。
• ルートの必要性: 各クエリに対して、DB、文書、あるいはその両方（または直接回答）のいずれが最適かを動的に判断する「ルーティング機構」が不可欠ですが、既存の学習ベースのルーターはブラックボックス化しやすく、制御が困難です。

2. 提案手法 (Methodology)

著者らは、構造化データ（DB）と非構造化データ（Doc）の利点を活かしつつ、効率性と解釈性を両立させる**「ルール駆動型エージェントフレームワーク」**を提案しました。このフレームワークは以下の 3 つの主要コンポーネントで構成されます。

(1) ルール駆動型ルーティングエージェント (Rule-Driven Routing Agent)

• 機能: 入力されたクエリに対して、明示的なルールに基づいて候補パス（DB 拡張、文書拡張、ハイブリッド、直接回答）をスコアリングし、最適なパスを選択します。
• 仕組み: ドメイン専門家によって初期化された「If-Then」形式のルール（例：「数値を求めている場合は DB へのスコアを +3 する」「'how'や'why'が含まれる場合は文書へのスコアを +3 する」）を LLM が解釈・適用します。
• 特徴: 学習不要であり、意思決定プロセスが透明で解釈可能です。

(2) ルール作成エキスパートエージェント (Rule-Making Expert Agent)

• 機能: 初期ルールが特定のデータセットやドメインに最適化されていない場合、QA のフィードバック（正解/不正解）を用いてルールを自動改善・洗練させます。
• 仕組み: 処理されたクエリバッチの性能分析レポート（どのルールが適用され、どのパスが成功したか）を LLM に提示し、自然言語でルールを修正・追加させることで、静的なルールから動的に適応するルールセットへ進化させます。

(3) パスレベルのメタキャッシュ (Path-Level Meta-Cache)

• 機能: 推論時のレイテンシを削減するため、過去のルーティング決定を再利用します。
• 仕組み: 従来の「回答キャッシュ」ではなく、「ルーティング決定（どのパスを選ぶか）」をキャッシュします。クエリの埋め込み表現（Embedding）を用いて類似クエリを検索し、一致すればルーティングエージェントの呼び出しをスキップして過去のスコアと選択パスを再利用します。
• 利点: 動的に更新される DB 環境でも、回答そのものをキャッシュしないため、古い情報の返却リスクを回避しつつ、高速化を実現します。

3. 主要な貢献 (Key Contributions)

1. 相補性の実証: DB と文書が異なるクエリタイプにおいて相補的な役割を果たし、単純な結合では性能が低下する可能性を体系的に分析しました。
2. 新しいフレームワークの提案: 解釈性、精度、効率性をバランスさせるための「ルール駆動型ルーティングフレームワーク」を設計しました。これには、ルーティングエージェント、ルール改善エージェント、メタキャッシュが含まれます。
3. 高性能な評価: 3 つの QA ベンチマーク（TATQA, FinQA, WikiQA）での実験により、静的な戦略や既存の学習ベースのルーティング手法を凌駕する精度とコスト効率を達成しました。

4. 実験結果 (Results)

3 つのデータセット（TATQA, FinQA, WikiQA）および複数の LLM バックボーン（LLaMA-3, Qwen2.5, GPT-4o/4.1）を用いた実験結果は以下の通りです。

• 精度の向上: 提案手法（Ours）は、すべてのデータセットとモデルにおいて、単一ソース（DB のみ、Doc のみ）、ハイブリッド、および既存のルーティング手法（Agent-Based, Score Agent など）よりも高い F1 スコアと正解率を達成しました。
  • 例：Qwen2.5 を使用した WikiQA では、SOTA となる 0.302 の正解率を記録しました。
• 効率性（トークン数）: ハイブリッド戦略はトークン数を大幅に増加させますが、提案手法は最適なパスを選択することで、高い精度を維持しつつトークン使用量を抑制しました（TATQA で約 300 トークンで 0.21 以上の精度）。
• レイテンシの削減: ルーティングにかかる時間を比較すると、提案手法（特にキャッシュ有効化版 Ours-c）は、他のエージェントベース手法に比べてルーティング時間が極めて短く（ほぼ無視できるレベル）、高い精度を維持しています。
• パス選択の適切性: 提案手法が選択するパスの分布は、正解するパスを最適に割り当てる「Oracle（神）」の分布に非常に近く、ルールベースや単純なエージェント手法が偏った選択をするのに対し、バランスの取れた選択を行っていることが確認されました。
• ルールの改善効果: ルール更新頻度の分析により、適切なバッチサイズでのルール更新が精度向上に寄与することが示されました。

5. 意義と結論 (Significance)

本研究は、構造化データ（データベース）と非構造化データ（文書）を統合した RAG システムにおいて、「どのソースを使うべきか」をどう判断するかという核心的な課題に対し、以下の点で重要な示唆を与えています。

• 解釈性と制御性: 学習ベースのブラックボックスなルーターではなく、人間が理解・介入可能な「ルール」を基盤とすることで、信頼性の高いシステム構築を可能にしました。
• コストと精度のトレードオフの最適化: 単に「より多くの情報を渡す」のではなく、「必要な情報だけを必要なソースから取る」ことで、推論コストを抑制しつつ精度を最大化するアプローチの有効性を証明しました。
• 実用性: メタキャッシュによる高速化と、エキスパートエージェントによる自動ルール改善により、実世界の動的な環境（頻繁に更新される DB など）での展開が可能になりました。

結論として、この「Learning to Route」フレームワークは、より正確で効率的かつ解釈可能な次世代の RAG システム構築への道筋を示すものと言えます。