技術概要：経験駆動型検索戦略オーケストレーションのための Experience-RAG スキル

問題定義

現在の検索拡張生成（RAG）システムは、単一の固定的な検索パイプラインがすべてのタスクに対して十分であるという仮定の下で動作することが多い。しかし、この仮定は、タスク要件が著しく変化する現実的なエージェント環境では機能しない。例えば、事実ベースの質問応答、多段推論、科学的主張の検証は、それぞれ明確に異なる検索の好みを示す。直接的な事実には稠密検索器で十分である場合がある一方、複雑な多段推論や科学的証拠の照合には、ハイブリッド検索の方がより安定していることがよくある。特定された核心的な課題は、単に知識を検索することではなく、現在の特定のタスクに対して検索がどのように編成・オーケストレーションされるべきかを決定することである。

手法

本論文は、エージェントと検索器のプールとの間に位置する、エージェント指向でプラグ可能な検索オーケストレーション層である「Experience-RAG スキル」を提案する。検索を単一のステップとして扱うのではなく、このスキルは選択プロセスを再利用可能なエージェント機能としてカプセル化する。

フレームワークアーキテクチャ

本フレームワークは、6 つのモジュールを含む構造化されたパイプラインを通じて動作する。

1. スキルインターフェース: エージェントのための統一されたエントリーポイント。
2. シーンアナライザ: クエリ（$q$）、対話履歴（$h$）、タスクメタデータ（$m$）に基づいて、構造化されたシーン表現（$s$）を構築する。
3. 経験メモリ（$M$）: シーンの特徴、スコアベクトル、最高性能の戦略、および性能マージンの履歴記録を格納する。特徴には、タスクタイプ、ドメイン、コンテキスト長、質問の複雑さ、クエリスタイル、ドキュメント構造が含まれる。
4. ストラテジールーター: 現在のシーンに基づいて経験メモリを参照し、最適な検索器（$r^*$）を選択する。
5. 検索器プール（$R$）: 候補となる検索器のプール（例：BM25、Dense、Hybrid RRF）。
6. 結果パッケージャ: エージェントに対して標準化された構造化された証拠を返す。

動作フローは以下のように定義される。
$$s = \text{Analyze}(q, h, m)$$
$$r^* = \text{Route}(s, M)$$
$$o = \text{RetrieveAndPackage}(q, r^*)$$

ルーティングメカニズム

現在の実装では、最も強力な設定としてルールベースのルーティングを採用しており、直接的なタスクを稠密検索器に、多段推論/科学的タスクをハイブリッド RRF（Reciprocal Rank Fusion）にマッピングする。学習型ルーティングの変種も検討されたが、現在の経験データの規模では、ルールベースのベースラインを上回ることはなかった。システムは、純粋に複雑性駆動型の選択よりも、明示的な経験の再利用と構造化された証拠のパッケージングを優先する。

主要な貢献

著者は、3 つの主要な貢献を概説している。

1. 定式化: 検索戦略の選択を、上位ワークフローに直接埋め込まれる埋め込み選択ロジックとは区別される、エージェントスキルのオーケストレーション問題として再定義する。
2. 経験メモリの構築: 「最良」のラベルを格納するだけでなく、包括的なシーン特徴、複数検索器のパフォーマンススコア、および戦略マージンを記録するメモリシステムを構築する。
3. 実証的評価: 従来の固定的なベースラインおよび現代の適応型ルーティングアプローチの両方と比較して、異種検索タスクにおける本スキルの評価を行う。

実験結果

本システムは、サンプリングされた候補コーパスを使用し、データセットあたり 120 クエリを用いて、3 つの公開ベンチマーク（BeIR/nq、BeIR/hotpotqa、BeIR/scifact）で評価された。

固定的なベースラインとの比較

Experience-RAG スキルは、すべての固定的な単一手法ベースラインを上回る最高レベルの全体的なパフォーマンスを達成した。

• nDCG@10: 0.8924（最も強力な固定的ベースラインである Hybrid RRF の 0.8802 に対して）。
• Recall@10: 0.9428。
• MRR@10: 0.9006。
  これらの結果は、本スキルの主な利点が、個々のサブタスクをそれぞれ支配することではなく、異種オーケストレーションによって混合ワークロードを効果的に管理することにあることを示している。

現代のベースラインとの比較

HyDE、LongRAG 風、RAPTOR 風、Adaptive-RAG 風を含む現代のアプローチと比較すると、以下の結果となった。

• Adaptive-RAG 風は、わずかなリードを示した（nDCG@10 0.8934 対 Experience-RAG スキルの 0.8924）。
• HyDE、LongRAG 風、RAPTOR 風は、サンプリングされたコーパスを用いた検索のみの設定において、著しく低いパフォーマンスを示した。
  本論文は、Experience-RAG スキルが、最も強力な現代のルーティングベースラインと競争力を持ちながら、エージェント向けインタラクションに対してより明確なシステム境界を提供していると指摘している。

意義と主張

本論文は、検索戦略の選択をワークフローにハードコードするのではなく、再利用可能なエージェントスキルとして効果的にカプセル化できることを結論付けている。本研究は、経験駆動型のオーケストレーションが異種の検索ワークロードに対して有効であり、固定された候補プールに現代のベースラインが導入された場合でも競争力があることを実証している。

著者は、現在の研究の範囲について謙虚な立場を維持している。

• 実験は、大規模なデータセットではなく、サンプリングされたコーパスに依存している。
• 学習型ルーティングは、まだルールベースのベースラインを上回っていない。
• 実装は、動的なオンボーディングを除外した固定された候補プールを前提としている。
• ワークフロー分析は定性的であり、まだ完全なエンドツーエンドの対話型エージェントベンチマークを構成していない。

したがって、著者はこの研究を、スキル層の実用性を確立するショートペーパーまたはプレプリントとして位置づけ、将来の研究では動的な候補のオンボーディング、能力レベルのルーティング、包括的なエンドツーエンドのエージェント評価に対処する計画である。