技術要約：Retriever Portfolios: 適応型RAGへの原則に基づいたアプローチ

1. 問題定式化

Retrieval-Augmented Generation (RAG) システムは通常、あらゆるユーザーのクエリを処理するために、固定されたハイパーパラメータを持つ単一のリトリーバーに依存しています。しかし、現実世界のアプリケーションにおけるクエリ分布は非常に不均質であり、単純な事実確認の質問から複雑なマルチホップ推論タスクまで多岐にわたります。異なるリトリーバ構成（モデル、戦略、またはハイパーパラメータ）はそれぞれ特定の領域に特化する場合が多く、つまり、単一のリトリーバーがすべてのクエリに対して最適であるということはありません。Adaptive-RAGやVendi-RAGのような最近の研究は、リトリーバルの戦略を適応させようと試みていますが、それらは手動で設計された少数の戦略に基づいているか、あるいは推論時に高価なクエリごとのハイパーパラメータ・チューニングを行うため、高いレイテンシとトークンコストを招きます。

本論文は、「one-size-fits-all（万能型）」のリトリーバルの限界に対処するため、**Retriever Portfolio Optimization（リトリーバ・ポートフォリオ最適化）**への原則に基づいたアプローチを提案することで、この問題を解決します。核心となる問題は、大規模な候補プール $m$ から、多様な小規模なサブセット（ポートフォリオ）である $k$ 個のリトリーバを選択することと定義されます。目標は、単一のリトリーバーの平均性能を最大化することではなく、基礎となる分布からランダムに抽出されたクエリに対する「best-of-$k$」のリトリーバーの期待性能を最大化することです。

2. メソドロジー

2.1. 理論的枠組み

著者らは、expected best-of-$k$ 目標を用いてこの問題を定式化しています。$Q$ を未知の分布 $D$ を持つクエリの集合とし、$\mathcal{R}$ を候補リトリーバの集合とします。スコア関数 $s(q, r) \in [0, 1]$ は、クエリ $q$ に対するリトリーバー $r$ の適合性を測定します。ポートフォリオ $S \subseteq \mathcal{R}$（ここで $|S| \le k$）の品質は、以下のように定義されます：
$$F(S) = \mathbb{E}_{q \sim D} \left[ \max_{r \in S} s(q, r) \right]$$
目標は、$F(S)$ を最大化する $S$ を見つけることです。著者らは、任意の固定されたクエリ $q$ に対して、関数 $f_q(S) = \max_{r \in S} s(q, r)$ が非負、単調、かつ劣モジュラ（submodular）であることを証明しています。その結果、集団の目的関数 $F(S)$ およびその経験的推定値もまた、劣モジュラ集合関数となります。

2.2. アルゴリズム：Greedy Portfolio Selection

この最適化問題を効率的に解くために、本論文ではサンプルベースの貪欲法である Algorithm 1 を提案しています。

1. サンプリング: 分布 $D$ から $N$ 個の独立同一分布（i.i.d.）なクエリを抽出します。
2. 経験的推定: 集団の目的関数を、経験的推定値 $\hat{F}_Q(S)$ に置き換えます。
3. 貪欲な構築: 限界利得 $\hat{F}_Q(S \cup \{r\}) - \hat{F}_Q(S)$ を最大化するリトリーバー $r$ を反復的に選択します。アルゴリズムは、利得を効率的に計算するために、現在のクエリごとのベストスコアを保持するメモ化されたベクトルを維持します。
4. 保証: アルゴリズムは $O(k |\mathcal{R}| N)$ 時間で実行されます。理論的分析によれば、サンプルサイズ $N$ がプールサイズおよび所望の信頼度に対して適切にスケールする場合、最適なポートフォリオに対して $(1 - 1/e)$ 近似を達成することが示されています。

2.3. 推論パイプライン

提案されるシステムは、以下の2つのステージで構成されます。

1. オフライン・ポートフォリオ構築: Algorithm 1 を使用して、学習データに基づき、大規模なプール（Dense、Diversityベース、およびGraphベースのリトリーバーを含む）から、多様で補完的な $k$ 個のリトリーバーからなるポートフォリオを選択します。
2. 適応型推論: 軽量な ルーター（router） を訓練し、特定のクエリに対して最適なリトリーバー（複数可）を動的に選択します。
   • ルーターは、生のテキストとキャッシュされた高密度埋め込み（MPNet/E5）を使用してクエリをエンコードします。
   • 学習されたリトリーバー埋め込みとの類似性を通じて、ポートフォリオの $k$ 個のメンバーをスコアリングします。
   • 上位 $\ell$ 個のリトリーバーは、レイテンシを最小限に抑えるために並列に実行されます。
   • セレクターLLMが、並列実行されたリトリーバーからの回答を集約し、最終的な出力を生成します。

このアプローチは、適応のコストをオフラインに償却することで、推論時のチューニングに必要とされる反復的な探索を回避します。

3. 主な貢献

• 問題の定式化: 「RAGポートフォリオ最適化」問題の導入。期待 best-of-$k$ 目標を通じて、不均質なクエリ分布をカバーするための、多様で小規模なリトリーバ集合の選択を定式化しました。
• 理論的保証: 目的関数が劣モジュラであることを証明し、$(1 - 1/e)$ 近似保証を持つ、効率的なニア・オプティマル（近最適）なポートフォリオ構築を可能にしました。
• 実用的なパイプライン: オフラインでのポートフォリオ選択と、並列リトリーバルおよび回答を可能にする軽量なルーターからなる完全なシステム。これにより、逐次的な適応手法と比較して、推論レイテンシを大幅に削減しました。
• 実証的検証: 4つの多様なQAベンチマーク（HotpotQA, 2WikiMultiHopQA, TriviaQA, MusiQue）における包括的な評価により、単一のリトリーバー・ベースラインおよび推論時チューニング手法に対する優れた性能を実証しました。

4. 実験結果

本手法は、2つの回答モデル（Gemma-3-27B-IT および Llama-3.1-70B-Instruct）を用いて、4つのオープンドメインQAデータセットで評価されました。

• リトリーバルのカバレッジ: 学習されたポートフォリオは、「平均ベスト（average-best）」のリトリーバー選択を大幅に上回りました。例えば、$k=5$ のポートフォリオは、上位5つの平均リトリーバーの Support Recall が 0.492 であるのに対し、0.594 の Support Recall を達成しました。この向上は、単にドキュメント数を増やすことではなく、補完性（異なるクエリの部分集団をカバーすること）に起因することが示されました。
• エンドツーエンドの正確性: ルーティングされたポートフォリオは、単一のリトリーバー・ベースラインおよび Vendi-RAG（推論時チューニングのベースライン）よりも一貫して高い Exact Match (EM) スコアを達成しました。「all-pool」ポートフォリオ（Dense、Vendi、および GraphDense リトリーバーを組み合わせたもの）が、すべてのデータセットにおいて最高の平均 EM を記録しました。
• 効率性と正確性: 同一の Vendi 探索空間を用いた Vendi-RAG との制御された比較において、オフライン・ポートフォリオ・アプローチは、同等またはより高い精度を達成しつつ、大幅に低いレイテンシとトークンコストを実現しました。これは、Vendi-RAG が逐次的かつ反復的な生成と判定を必要とするのに対し、ポートフォリオは固定されたリトリーバーの並列実行を可能にするためです。
• ルーターの有効性: アブレーション研究により、学習されたルーターがランダムな選択を大幅に上回り、一貫して「単一の平均的なベストメンバー」を改善するリトリーバーを選択し、最も適したポートフォリオメンバーへとクエリをルーティングできることが示されました。

5. 意義と主張

本論文は、適応の負担を、高価で逐次的な推論時の適応から、効率的なオフラインのポートフォリオ構築へとシフトさせることで、RAGの分野を進展させると主張しています。著者らは以下のように述べています：

• 単一のリトリーバーが最適であることはない: 単一の戦略に固執することは、多様な情報ニーズに対するパフォーマンスの機会損失を意味します。
• 補完性が鍵である: 多様な少数のリトリーバーは、単一の「最良の」リトリーバーや、単にドキュメント予算を増やすことよりも、クエリ分布をより効果的にカバーできます。
• 効率性: 固定されたポートフォリオは、並列的なリトリーバルとLLMコールを可能にし、高い精度と予測可能な低レイテンシおよびトークン使用量を両立させる実用的なトレードオフを提供します。これにより、適応型RAGの実装環境へのデプロイが可能になります。

本研究は、すべてのRAGの課題を解決すると主張するものではなく、理論的に裏付けられ、かつ実証的に効果的な、リトリーバ戦略の選択とルーティングのための原則に基づいた手法を提供するものです。