テクニカルサマリー：予算制約下におけるRAGの事実誤認の診断と修復

問題提起

Retrieval-Augmented Generation（RAG）は、外部のエビデンスに基づいた応答を行うことで、大規模言語モデル（LLM）の事実性を向上させることを目的としている。しかし、現実世界のデプロイメントにおいては、エビデンスの欠如や関連性の弱さ、あるいは取得したコンテキストを忠実に反映していない生成などにより、依然として脆弱であることが多い。これらの失敗モードは、厳格なレイテンシおよびハードウェア予算（例：限定的なGPUメモリ、レート制限のあるAPI、またはコスト制約のあるエッジ・デプロイメント）が存在する環境において特に問題となる。なぜなら、反復的なリトリーバルや計算リソースを大量に消費するリランキングは、計算コストの観点から実行不可能だからである。

既存のソリューションには、以下のような重大な限界がある：

• 学習時の修正（例：Self-RAG）は、ファインチューニングとアーキテクチャの結合を必要とするため、ブラックボックス型またはAPIベースの設定での利用が制限される。
• 推論時の制御（例：DRAGIN）は、ロジットへのアクセスといった内部モデル信号に依存することが多いが、これはクローズドソースのLLM APIでは利用できない。
• 学習ベースのポリシー（例：MBA-RAG、QueryBandits）は、特定のパイプラインの段階をターゲットにしているか、あるいは追加の監督やモデリングコンポーネントを必要とする。

したがって、観察可能なアーティファクトのみを使用して失敗を診断し、明示的なレイテンシおよびVRAMの制約下で、最小コストの是正措置を選択できる、モデルに依存しないリソース認識型のフレームワークが求められている。

手法：D2R-RAG

著者らは、標準的なRAGパイプラインに**失敗診断（Failure Diagnosis）と適応的修復（Adaptive Repair）**という2つの主要モジュールを付加するフレームワーク、D2R-RAG (Diagnose-to-Repair RAG) を提案している。

1. 失敗診断

このステージでは、クエリ ($q$)、取得されたエビデンス ($E$)、生成された応答 ($r$)、および予測ラベル ($y$) という、観察可能な信号のみを用いて、初期RAG出力の信頼性を判断し、失敗のタイプを特定する。システムは、以下の3つの補完的な信号を用いて検証を三角測量する：

• クエリ含意（Query Entailment, $e_q$）： エビデンスがクエリを包含しているかを確認する。
• 応答含意（Response Entailment, $e_r$）： エビデンスが応答を包含しているかを確認する。
• 知識グラフ（KG）整合性（Knowledge Graph Alignment, $\kappa$）： 応答から関係性トリプルを抽出し、それらをKGと照合してエンティティや述語の不一致を特定する。

これらの信号に基づき、システムは失敗を以下の4つの解釈可能なシグネチャに分類する：

• 述語誤り（Wrong-Predicate, WP）： KGとの衝突。
• エビデンス不足（Insufficient-Evidence, IE）： 取得されたエビデンスがクエリを包含していない（$e_q = \text{neutral}$）。
• 応答誤り（Wrong-Response, WR）： 応答がエビデンスによって包含されていない（$e_r \in \{\text{neutral, contradict}\}$）。
• ラベルとエビデンスの不一致（Label–Evidence Mismatch, LEM）： 特にFEVERタスクにおいて、予測されたラベルがクエリとコンテキストの含意関係と矛盾する場合。

FEVERタスクにおいて、IEおよびLEMの場合には、リトリーバル指向の修復を優先するために「未検証（Unverified）」という棄却ラベルがトリガーされる。

2. コンテキスト・バンディットによる適応的修復

失敗のシグネチャが特定されると、D2R-RAGは修復の選択を**コンテキスト・マルチアームド・バンディット（CMAB）**問題として定式化する。

• アクション空間 ($A$): ブラックボックスとしてデプロイ可能な、小規模な介入セット：
  1. プロンプトレベルの書き換え： 曖昧さを減らすために、クエリの言い換えや簡略化を行う。
  2. リランカーの起動： クロスエンコーダーを使用して、エビデンスの精度を高める。
  3. リトリーバルレベルの介入： 深度 ($k$) の調整、またはBM25と高密度（dense）リトリーバルの切り替え、あるいはインデックスの更新を行う。
• ポリシー学習： システムはLinUCBを使用して、期待される事実性の回復と計算コストのバランスを取るポリシーを学習する。ポリシーは線形報酬モデル $\hat{r}(a | x) = x^\top \theta_a$ を想定し、上限信頼区間を最大化することでアクションを選択する。
• リソース認識型報酬： 報酬関数 ($r(a)$) は、出力の信頼性（NoFailure、KGの一貫性、NLIの含意）と予算遵守に基づいて修復をスコアリングする。これには以下が含まれる：
  • ハードゲート： レイテンシ ($L_a$) またはVRAM ($V_a$) がアクションごとの予算 ($B_L, B_V$) を超えた場合、報酬をゼロにする。
  • 乗算項： 実行可能なアクションの中で、より安価なアクションを推奨する。

主な貢献

1. モデルに依存しないフレームワーク： D2R-RAGは、生成器のファインチューニングや内部ロジットへのアクセスを必要とせず、クローズドソースのLLM APIを用いたデプロイが可能である。
2. 解釈可能な失敗シグネチャ： 本システムは、観察可能なアーティファクトのみを使用して、リトリーバル側の不足と生成側の不誠実さを区別する。
3. 予算制約下での適応的修復： 修復を、明示的なレイテンシおよびVRAM制約を持つコンテキスト・バンディット問題として定式化することで、特定の失敗モードに対して「最小コスト」の是正アクションを選択することを学習する。
4. 実証的検証： FEVERおよびHotpotQA（マルチホップ質問回答）を用いて評価を行い、最新のベースラインと比較して、信頼性と精度・効率性のトレードオフが向上していることを示した。

実験結果

著者らは、GPT-4o-miniを用い、Naive-RAG、クエリ言い換え、コンテキスト拡張、およびThompson Sampling（コンテキストフリーのポリシー・ベースライン）に対してD2R-RAGを評価した。

• FEVER (事実検証):
  • D2R-RAG (Thompson Sampling) は 61.5% の精度を達成し、Naive-RAG (56.3%) およびコンテキスト拡張 (61.8% だがレイテンシが高い) を上回った。
  • LinUCBバリアント (1.47s, 0.36 MB) と比較して、優れたコストプロファイル (1.14s, 0.17 MB) を維持した。
• HotpotQA (マルチホップQA):
  • D2R-RAG (Thompson Sampling) は 40.4% の完全一致 (EM) と71.52%の忠実度（faithfulness）に達した。
  • LinUCBバリアントは39.8%のEMに達したが、より高いレイテンシ (3.41s vs 2.37s) を要し、時折VRAM予算を超過した。
• ポリシーの適応 (RQ2): 分析により、ポリシーが失敗タイプに応じて適切にアクションを条件付けていることが示された。例えば、FEVERにおける「エビデンス不足」のケースではリトリーバルの強化（より深いdense/BM25）が選ばれ、HotpotQAにおける「応答誤り」や「述語誤り」の失敗ではリランカーの起動へとルーティングされた。
• 予算の感度 (RQ3): アブレーション研究により、報酬の定式化が品質とコストのトレードオフを効果的に制御していることが確認された。「厳格な」予算設定はVRAM使用量を抑えつつ性能を維持し、「緩和された」設定はレイテンシを下げて忠実度を高めた。

重要性と限界

本論文は、ブラックボックスのRAG設定における信頼できる回復には、軽量な失敗タイプの診断能力と、リソース制約下での最小コストの是正アクションの選択という、二重の能力が必要であると主張している。D2R-RAGは、一律の戦略を用いるよりも、失敗のシグネチャに対して修復をターゲット化した場合に信頼性が最も向上することを示している。

著者らは、以下の2点の限界を謙虚に認めている：

1. 診断信号の不完全性： KGの整合性やNLIモデルは、ノイズの多いエビデンスやマルチホップの推論に苦戦する可能性があり、それが不適切な修復へと連鎖する可能性がある。
2. アクション空間の制約： ポリシーは公開されている修復アクションに限定されている。もしより安価な代替案が存在しない場合、高価なパッチを多用するか、あるいは複雑な失敗を解決する能力を欠くことになる。

結論として、D2R-RAGは、内部モデルパラメータへのアクセスを必要とせずに、制約のある環境においてRAGの信頼性を高めるための、実用的かつリソース認識型のプローチを提供している。