RAISE: RAG Design as an Architecture Search Problem

技術サマリー：RAISE：RAG 設計をアーキテクチャ探索問題として扱う

問題定義
検索拡張生成（RAG）システムには、クエリ書き換え、チャンキング戦略、検索深度、再ランク付けメカニズム、コンテキスト圧縮など、多数の結合された設計選択が含まれます。実際には、これらのコンポーネントは通常、ヒューリスティックまたは試行錯誤によるチューニングを通じて設定されます。このアプローチは、体系的な評価、再現性、および異なる RAG システム間での公平な比較を妨げています。RAG 設定の最適化に向けた既存の取り組み（例：AutoRAG、Self-RAG、AutoRAG-HP）は、それぞれ異なるパイプライン、データセット、探索空間、評価プロトコルを利用しており、制御された条件下で最適化アルゴリズムを比較するための共通フレームワークが分野に存在しないままとなっています。

手法
著者らは、RAG 設計をアーキテクチャ探索問題として定式化し、特に固定された評価予算の下でエンドツーエンドのパフォーマンスを最適化するパイプライン設定の選択として扱います。制御された研究を可能にするため、包括的なフレームワークおよびベンチマークであるRAISE（RAG Intelligence Search Engine）を導入します。

• フレームワークアーキテクチャ：RAISE はシステムを 3 つのコンポーネントに分離します。

  1. パイプライン抽象化：RAG ワークフローを表すパラメータ化されたモジュール型有向非巡回グラフ（DAG）。探索空間 $\Theta$ は、6 つのモジュール（クエリ書き換え器、チャンク化器、テキスト/視覚検索器、再ランク付け器、プルーナー、生成器）の設定空間の直積です。これにより、テキストのみのパイプラインとマルチモーダル（テキスト - 視覚）パイプラインの両方がサポートされます。
  2. 評価層：設定をタスクレベルの報酬にマッピングします。目的関数は生成の品質のデータセットレベルの平均であり、語彙的（ROUGE-L、BLEU、METEOR、トークン-F1）、意味的、およびモデルベースの指標をサポートします。
  3. コントローラーインターフェース：13 の異なる最適化アルゴリズムが設定（$\theta_t$）を提案し、環境から報酬（$r_t$）を受け取るための標準化された API。これにより、RAG 設定をブラックボックス最適化問題として扱います。

• ベンチマーク環境：このフレームワークは、多様な RAG 課題を表す 7 つの公開データセットにインスタンス化されています。

  • テキスト：TriviaQA（長文書）、HotpotQA（マルチホップ）、MS MARCO（検索/再ランク付け）、SQuAD v2（抽出/幻覚制御）、LongBench-MF（長文脈/分野横断）、LongBench-Qasper（科学的推論）。
  • マルチモーダル：ScienceQA（視覚 - テキストのグラウンディング）。
    各環境は、タスク構造を維持しつつ計算の可行性を確保するために、固定されたプロキシ部分集合（100 組の QA ペア）を使用します。

• 最適化アルゴリズム：本研究は、7 つのファミリーに分類される 13 のアルゴリズムを評価します。ランダム探索、局所軌道（貪欲法、座標降下法、シミュレーテッドアニーリング、反復局所探索）、SMBO/ベイズ（TPE）、分布推定法（クロスエントロピー法）、進化的（正則化進化）、バンディット（トンプソンサンプリング、UCB）、および RL 風（GRPO、Dr. GRPO、Reinforce++）です。

主要な結果
著者らは、3 つのランダムシードと環境あたりアルゴリズムあたり 30 回の設定評価という予算を用いた制御された評価を実施しました。

1. オプティマイザーと環境の相互作用：すべての環境で優位に立つ単一の最適化アルゴリズムは存在しません。パフォーマンスはタスクに強く依存します。例えば、貪欲法は HotpotQA と TriviaQA で最良のパフォーマンスを示した一方、クロスエントロピー法（CEM）は MS MARCO で先行し、ランダム探索は ScienceQA で競争力がありました。集計ランキングは普遍的な優位性を反映するものではなく、むしろ結果は探索戦略と特定の RAG 環境との相互作用として解釈されなければなりません。
2. モジュールの感度：アブレーション研究により、特定のパイプラインモジュールの影響がタスク構造によって異なることが明らかになりました。
   • TriviaQA（長文書）は、クエリ書き換えとプルーニングに最も敏感です。
   • HotpotQA（マルチホップ）は、検索深度に大きく依存します。
   • LongBench-MFは、検索 top-k 設定に非常に敏感です。
     これは、最適なパイプラインの選択が普遍的に転用可能ではなく、タスクの証拠構造に依存することを確認しています。
3. 探索対ランダム：一致した予算の下では、明示的な最適化手法は一般的にランダムサンプリングを上回りますが、その改善はしばしば僅かです。適応的手法（例：バンディット、RL 風）は、有望な設定に焦点を当てることで、後続の試行においてより良いパフォーマンスを発揮する傾向があります。
4. プロキシの安定性：本研究では、100〜200 例のプロキシタスクサイズがオプティマイザーのランキングに十分な安定性を提供し、より大きな部分集合については限界効用が逓減することが判明しました。

意義と主張
本論文は、RAISE が RAG ハイパーパラメータ最適化に関する公平で再現性があり体系的な研究のための共通の実験基盤を提供すると主張しています。コントローラー、探索空間、環境を分離することで、RAISE はパイプラインの実装や評価プロトコルに関連する交絡因子を軽減します。

著者らは、RAG アーキテクチャ探索は、単一の普遍的なリーダーボードではなく、オプティマイザーと環境の相互作用として報告されるべきであると論じています。彼らは、特定の RAG 制約下で異なる探索バイアスがどのように機能するかという理解を深めるために、HPOBench や YAHPO Gym に類似した標準化されたベンチマークが分野に必要であると提唱しています。このフレームワークは拡張可能に設計されており、コアパイプラインの実装を変更することなく、新しい最適化アルゴリズムとベンチマークタスクを統合することができます。

限界
著者らは、実験が特定のモデル（Qwen3 シリーズ）と離散値に対する固定された探索空間をインスタンス化していることを認めています。代替のモデルファミリー、検索バックエンド、または連続的な探索空間は、アルゴリズムの動作を変化させる可能性があります。さらに、軽量なプロキシ環境と固定予算（30 回の試行）への依存は、広範な比較を容易にしますが、フルデータセットまたは大規模予算の研究に代わるものではありません。主要な目的は、語彙的およびトークンレベルの集計を等しく重み付けしたものであり、意味的およびモデルベースの指標を補助的なシグナルとして扱っています。