技術要約: SAGE – ディープリサーチエージェントにおける検索のベンチマークと改善

1. 問題提起

ディープリサーチエージェントは、複数のソースを反復的に探索し、情報を統合することで複雑なクエリに対処できる強力なシステムとして台頭しています。LLM（大規模言語モデル）ベースのリトリーバー（検索器）は、指示への追従性と推論において高い能力を示していますが、極めて重要な疑問が残っています：LLMベースのリトリーバーは、ディープリサーチエージェントのワークフローに効果的に貢献できるのか？

既存の商用エージェントは、大規模なウェブコーパスに対して独自の検索APIに依存していることが多く、これらはしばか表面的な形式のマッチング（surface-form matching）に依存しています。対照的に、LLMベースのリトリ一バーは意味理解のために設計されています。しかし、ディープリサーチエージェント特有のクエリ生成行動（自然言語のクエリとは異なる可能性があるもの）が、セマンティック（意味論的）なリトリーバーの強みと一致しているかどうかは不明です。さらに、既存の科学文献検索用データセットは、時代遅れの論文に依存しているか、現代のエージェントに求められる多段階の推論能力を評価できていないことがよくあります。

2. メソドロジー

2.1 SAGE ベンチマーク

これを調査するため、著者らは、推論集約型の科学文献検索のために設計されたベンチマークである SAGE (Scientific AGentic retrieval Evaluation) を導入します。

• コーパス: コンピュータサイエンス、自然科学、ヘルスケア、人文科学の4つの領域にわたる、20万件の最新かつオープンアクセスの学術論文のコレクション。
• クエリ: 以下の2種類の1,200個のクエリ。
  1. 短文形式の質問 (Short-form Questions): メタデータ、図表、および論文間の関係性（例：引用の重複）にわたる集中的な推論を必要とする。回答は検証可能であり、一意的である。
  2. オープンエンド形式の質問 (Open-ended Questions): 実世界の研究シナリオ（例：文献レビュー）に基づき、複数の関連論文の合成を必要とする。回答には、関連度に応じた複数の正解が存在する。
• データ・キュレーション: LLM（GPT-5-mini）を用いて、論文のメタデータ、抽出された図表、および参照関係（少なくとも4つの共通の参考文献を共有する論文）からの情報を合成することを必要とするタスクを作成するようにプロンプトを出し、質問を生成した。

2.2 実験設定

本研究では、以下の2つの条件下でディープリサーチエージェントの性能を評価します。

1. ウェブ検索 (Web Search): 6つのエージェント（GPT-5やGemini-2.5-Proなどの独自システム、およびオープンソースのDR Tuluを含む）を、それぞれのネイティブなウェブ検索機能を用いて評価。
2. コーパス検索 (Corpus Search): DR Tulu を制御されたバックボーンエージェントとして使用し、そのウェブ検索ツールを特定の検索器に置き換える：
   • BM25: 伝統的な疎なレキシカル（語彙的）リトリーバー。
   • gte-Qwen2-7B-instruct: 一般的なLLMベースのリトリーバー。
   • ReasonIR: 推論集約型のタスク用に特別に訓練されたLLMベースのリトリーバー。

2.3 提案手法：コーパスレベルのテストタイム・スケーリング

観察された性能ギャップに対処するため、著者らはコーパスレベルのテストタイム・スケーリング・フレームワークを提案します。これは、エージェントのクエリ生成を修正するのではなく、文書コーパス自体を拡張するアプローチです。

• メカニズム: LLM（Qwen3-Next-80B-A3B-Instruct）が各論文を処理し、書誌メタデータと、核となる貢献を要約する8つのトピック関連キーワードを抽出する。
• 実装: これらのキーワードとメタデータを文書テキストの先頭に付加する。これにより、キーワードマッチングに依存する既存のリトリーバー、特にオフザシェルフ（既製品）のリトリーバーにとって、検索を容易にする信号でコーパスを強化する。

3. 主な結果

3.1 ウェブ検索におけるエージェントの性能

• プロプライエタリ vs オープンソース: 短文形式の質問において、GPT-5が全体でリードしている。しかし、オープンソースのDR Tuluは競争力があり、短文形式の質問においてクローズドソースのGemini-2.5シリーズのエージェントを上回っている。
• 検索効率: 検索量は精度の主要な要因ではない。より優れた性能を示すエージェント（GPT-5など）は、ブルートフォース的な検索ではなく、より正確なクエリ分解とターゲットを絞った証拠選択を行う傾向がある。
• クエリ分解: プロプライエタリなモデルは、フレーズ化された意味的に構造化されたクエリを生成する傾向があるが、DR Tuluは、より構造化されていない、キーワードを連結したサブクエリを生成することが多い。

3.2 コーパス検索におけるリトリーバーの性能

• BM25の優位性: 驚くべきことに、BM25は短文形式の質問において、LLMベースのリトリーバーを約30%大幅に上回った。
  • 理由: ディープリサーチエージェントはキーワード指向のサブクエリを生成する。この挙動は表面的な形式のマッチング（BM25）とよく一致するが、自然言語のクエリで訓練されているLLMベースのリトリーバーにとっては「クエリとリトリーバーのミスマッチ」を引き起こし、断片的なキーワード文字列に直面すると失敗する原因となる。
• オープンエンド形式の質問: オープンエンド形式の質問では、性能差が縮まる。BM25とgte-Qwenは同等の結果を達成するが、ReasonIRは両方のクエリタイプにおいて最下位となった。
• 多様性の問題: LLMベースのリトリーバーは、固定された検索予算の下では、BM25と比較して、検索される文書の多様性（検索あたりのユニークな参考文献数）が低い。

3.3 コーパスレベル・スケーリングの影響

• 短文形式での利得: コーパスレベルのスケーリング（キーワード/メタデータの追加）を適用することで、短文形式の質問におけるBM25の性能が8.18%向上した。LLMベースのリトリーバーによる向上はわずか（0.9%～2.5%）であった。
• オープンエンドでの利得: すべてのリトリーバーにおいて、改善は限定的（1.7%～2.5%）であった。著者らは、エージェントのクエリ分解における多様性が低いため、コーパスを強化しても、得られる証拠の幅が制限されるためであると考えている。

3.4 アブレーション研究

• 情報の感受性: クエリ構成要素（メタデータ、マルチモーダル詳細、関係性）の重要性は、検索方法によって変化する。ウェブ検索下ではエージェントは論文の詳細に敏感であるが、コーパス検索下では、論文間の関係性が支配的になる。
• リトリーバーへの意識: リトリーバーのバックエンドが、クエリ情報のどの部分が性能を駆動するかを大きく決定する。

4. 意義と主張

本論文は、制御された科学領域内における、ディープリサーチエージェントとLLMベースのリトリーバーの協調に関する最初の体系的な調査を提供すると主張している。

• 重要な発見: 著者らは重大な不整合を強調している。既存のディープリサーチエージェントは、キーワード指向のサブクエリを生成しており、これは最先端のLLMベースのセマンティック・リトリーバーよりも、伝統的な疎なリトリーバー（BM25）に適している。
• 実用的な貢献: 提案されたコーパスレベルのテストタイム・スケーリングは、エージェントやリトリーバーを再訓練しようとするのではなく、エージェントのクエリスタイルに合わせてコーパスを適応させることで、検索性能を向上させる実用的かつトレーニングフリーな手法を提供する。
• ベンチマークの有用性: SAGEは、推論集約型の検索を評価するための厳格かつ最新のベンチマークを提供し、時代遅れの文献に依存したり、多段階の推論要件を欠いたりしていた従来のデータセットの限界に対処している。

著者らは、リトリーバーとエージェントの効果的な協調にはさらなる適応が必要であると結論付けており、特に現在のエージェントは、基礎となるリトリーバーのタイプに合わせてクエリ生成戦略をまだ適応できていないことを指摘している。