技術概要：AdaGATE

問題定義

検索拡張生成（RAG）システムは、特に多段推論（multi-hop）の質問に対処する際、現実的な展開環境において重大な課題に直面します。これらのシナリオでは、検索された証拠はしばしばノイズを含み、冗長であったり不完全であったりします。さらに、API コストやレイテンシといった実用的な制約は厳格なトークン予算を課し、システムが検索されたすべてのコンテンツを生成器に単純に渡すことを不可能にしています。

既存のコントローラーはこれらの課題に対処しようと試みますが、特定の限界に苦しんでいます：

• 加法的拡張：Adaptive-k などの手法は、文脈を加法的に拡張する傾向があり、結果としてトークン消費が高くなります。
• 固定 Top-k 選択：多くのアプローチは、固定されたトップ k のパッセージの集合から選択し、クエリ固有の情報ニーズに適応できません。
• 明示的修復の欠如：一部の方法は関連性を最適化しますが、多段推論に必要な欠落した「ブリッジファクト」を明示的に特定し、修復することに失敗することが多いです。
• 実装のギャップ：ギャップを認識した修復を目指す SEAL-RAG などの先行研究は、本研究において実装上の不一致に苦しんでいることが判明しました。すなわち、有用性に基づくランキングが、証拠を単一の文書に集約するメカニズムに事実上置き換えられており、多段タスクにおけるリコールを著しく制限していました。

著者らは、不完全な検索下での多段 RAG をトークン制約付き証拠修復問題として位置づけています。ここで目標は、冗長または誤解を招くパッセージを回避しつつ、推論を支援するコンパクトで高品質な証拠セットを構成することです。

手法：AdaGATE

著者らは、固定された検索器とブラックボックスの大規模言語モデル（LLM）の上に動作するトレーニング不要のコントローラーであるAdaGATE（Adaptive Gap-Aware Token-Efficient Evidence Assembly）を提案します。このシステムは、抽出、検索、スコアリング、置換の 4 つの段階を含む反復ループとして機能します。

中核コンポーネント

1. エンティティ中心の台帳とギャップ追跡：

   • システムは、現在の証拠セットを、信頼度スコアを伴うエンティティ - 関係 - 値のタプルに要約した構造化された台帳（$U_t$）を維持します。
   • 質問に答えるために必要な未解決の情報ギャップ（$G_t$）を特定します。

2. ハイブリッド検索戦略：

   • マイクロクエリ生成：特定された各ギャップに対して、システムは特定の欠落事実を検索するためのターゲットを絞ったマイクロクエリを生成します。
   • 質問意識型フォールバック：ギャップ抽出がノイズを含んだり抽象的であったりする際の堅牢性を確保するため、システムは元の質問（$q$）に直接アンカーされたフォールバッククエリを生成します。これらのクエリの和集合が候補プール（$C_t$）を形成します。

3. 有用性に基づく証拠スコアリング：
   候補は、5 つの次元をバランスさせる有用性関数（$S_t(c)$）を用いてスコアリングされます：

   • ギャップカバレッジ：未解決のギャップに対処するパッセージに報酬を与えます。
   • 裏付け：台帳内の低信頼度事実を支持することに報酬を与えます。
   • 新規性：横方向の反復よりも、新しいエンティティや関係を好みます。
   • 冗長性：既に選択された証拠と非常に類似したパッセージにペナルティを課します。
   • 質問関連性：元の質問への直接的な関連性を測定し、フォールバック信号として機能します。

4. トークン制約付き選択と適応的容量：

   • 固定 k 法とは異なり、AdaGATE はグローバルなトークン予算（$B$）の下で証拠を選択します。
   • 適応的容量ヒューリスティックを採用します：候補を有用性でソートし、有用性スコアの最大低下（$\Delta_i$）を特定して、高価値の候補を優先する実効容量（$K_{eff}$）を設定します。
   • システムは、現在の証拠セット（$E_t$）内の低有用性パッセージを、新しいプールからの高有用性候補で反復的に置換し、トークン予算を厳格に遵守します。

主要な貢献

1. 問題定式化：不完全な検索下での多段 RAG をトークン制約付き証拠修復問題として再定義し、ノイズや冗長な環境における固定 k コントローラーの限界を浮き彫りにしました。
2. AdaGATE コントローラー：エンティティ中心のギャップ追跡、冗長性と質問関連性を明示的にモデル化する有用性ベースのスコアリング、および適応的容量制御を統合したトレーニング不要のコントローラーの導入。
3. ストレステスト評価：クリーンなベンチマークを超えた堅牢性をテストするため、HotpotQA 上で、制御された冗長性注入（言い換え変種）とノイズ注入（構文歪曲およびクエリ間無関係パッセージ）を含む厳密な評価プロトコルの開発。

実験結果

著者らは、AdaGATE を、クリーン、冗長性注入、ノイズ注入の 3 つの条件において、5 つのベースライン（Basic RAG、Self-RAG、Adaptive-k、SEAL-RAG）と比較評価しました。

• 証拠品質（F1）：AdaGATE は 3 つのすべての設定で最高レベルの証拠 F1 を達成しました：
  • クリーンデータ：62.3%（SEAL-RAG より 8.2 F1 ポイント上回）。
  • 冗長性注入：71.2%（$L=3$ 回の反復時）。
  • ノイズ注入：62.7%。
• トークン効率：AdaGATE は、Adaptive-k よりも2.6 倍少ない入力トークンを使用しながら、実質的に高い F1 を達成しました。冗長性条件下では、冗長性ペナルティが低有用性の重複をフィルタリングするため、トークン使用量は適応的に低下しました（約 360 トークンから約 220 トークンへ）。
• グラウンディング（ARES）：AdaGATE は、文脈関連性、回答忠実度、回答関連性のグラウンディングスコアにおいて、SEAL-RAG よりも有意に高い中間的なスコアを達成しました。本研究は、SEAL-RAG の低いスコアは、単一の文書のみを選択する傾向に起因し、完全な推論チェーンが欠落している場合に生成器が幻覚を起こすのではなく棄権する原因となっていると指摘しています。一方、Adaptive-k は、8〜14 文書という巨大な文脈サイズにより、精度が低くても何らかの支持パッセージが存在する確率が高まるため、グラウンディングスコアが過大評価されていました。
• 堅牢性：冗長性シナリオでは、AdaGATE の F1 はクリーンデータと比較して実際には向上しました。これは、冗長な言い換えを抑制する能力に起因します。ノイズシナリオでは、精度が低下しましたが、F1 は安定しており、有用性関数が破損したパッセージを正常にペナルティ化したことを示しています。

意義と主張

本論文は、明示的なギャップ認識修復とトークン効率の高い証拠選択を組み合わせることで、不完全な検索条件下における多段 RAG の堅牢性が大幅に向上すると主張しています。

著者らが強調する主な教訓は以下の通りです：

• 複数文書構成の必要性：本研究は、証拠を単一の文書に集約すること（SEAL-RAG の実装で観察されたように）が多段質問に対するリコールのボトルネックを生み出すことを実証しています。AdaGATE が相補的な文書のコンパクトな集合を構成する能力は、推論ギャップを埋めるために不可欠です。
• 実装と理論の乖離：SEAL-RAG の理論的デザイン（有用性に基づくランキング）と実際の実装（1 つの文書に集約するエンティティ選択）の間に重要なギャップがあることを浮き彫りにし、厳密なパイプラインレベルの分析の重要性を強調しています。
• 制約としてのトークン効率：結果は、証拠選択を加法的な拡張ではなく、制約付き最適化問題として扱うことが、より良いコストと品質のトレードオフをもたらすことを示唆しています。
• ノイズへの堅牢性：特に冗長性と質問関連性の項を含む有用性スコアリング関数は、個々のパッセージの品質がノイズにより劣化しても、証拠の完全性を維持することを可能にします。

著者らは、AdaGATE がギャップカバレッジ、裏付け、効率性のバランスを取る証拠構成の原理的なアプローチを提供し、検索が完璧ではない現実的な展開制約に適していることを結論付けています。