技術要約: IDRBench – インタラクティブなディープリサーチ・エージェントのベンチマーク

1. 問題提起

大規模言語モデル（LLM）を搭載した現在のディープリサーチ・エージェントは、自律的なマルチステップ推論、ウェブ探索、および長文レポート生成において優れた能力を発揮している。しかし、既存のシステムは、ユーザーの意図が完全に指定され、かつ静的であることを前提とした完全自律型パラダイムの下で動作している。実際には、リサーチの目標は未指定であることが多く、探索が進むにつれて進化するものである。エージェントがフィードバックなしに長期的なタスクを実行する場合、研究の軌道がユーザーの実際のニーズから逸脱する「意図のドリフト（intent drift）」が発生するリスクがある。

さらに、既存のベンチマークは以下の理由により、このギャップに対処できていない：

1. 固定されたタスクを想定している： 現実世界の調査におけるインタラクティブかつ進化する性質を見落としている。
2. 制御されたインタラクション環境の欠如： 信頼できる評価には一貫したユーザーフィードバックが必要だが、人間によるループ（human-in-the-loop）のインタラクションは変動しやすく、スケールさせるのが困難である。
3. 静的な評価への依存： 最終的なレポートの品質のみを評価しており、インタラクションによってもたらされるアライメントの向上やコミュニケーションコストを無視している。

その結果、エージェントが意図の明確化を効果的に求めることができるかどうかを評価する方法や、インタラクションの便益とオーバーヘッドの間のトレードオフを測定する標準的な手法が存在しない。

2. メソドロジー: IDRBench

これらの制限に対処するため、著者らはIDRBench（Interactive Deep Research Benchmark）を導入する。これは、ディープリサーチ・エージェントのインタラクティブな能力を体系的に評価するために設計されたフレームワークである。

2.1 インタラクティブ・ディープリサーチ・フレームワーク

IDRBenchは、ディープリサーチを静的な生成タスクではなく、インタラクティブなプロセスとして定式化する。本フレームワークは、モジュール化されたパイプライン（プランニング、リサーチ・ループ、生成）に基づき、インタラクション・メカニズムによって拡張されている：

• エバリュエーター（Evaluator）： 曖昧さの解消による便益と、中断による認知負荷およびレイテンシのバランスを取り、インタラクションが必要な「タイミング」を決定する。トピックの曖昧さ、タスクの完全性、および残りの予算に基づいて根拠を生成する。
• クエスショナー（Questioner）： インタラクションがトリガーされた際、スコープ、方向性、または重点に関する的を絞った問い（1〜2問）を策定し、ユーザーのスタイルに合わせてトーンを適応させる。
• ユーザー・シミュレーター（User Simulator）： リファレンス文書を潜在的なユーザーの好みのプロキシ（代理）として使用し、標準化された意図レベルのフィードバックを提供する。極めて重要な点として、これは「リファレンスのリーク（漏洩）」を避けるよう制約されており、特定の文書内容を露呈することなく、高レベルのガイダンスを用いた自然な一人称スタイルで回答する。

2.2 データ構築

本ベンチマークは、DeepResearch Bench（100件の高品質なクエリ・リファレンス・ペア）に基づいて構築されている。現実世界の未指定状態をシミュレートするため、著者らは**曖昧性注入（Ambiguity Injection）**プロセスを導入している：

• クエリは、コアとなる意図を保持しつつ、LLMベースの要約を用いて10%〜90%に圧縮される。
• このプロセスにより、好み、制約、またはコンテキストの詳細を選択的に省略し、エージェントが完全に指定されたプロンプトを受動的に実行するのではなく、インタラクションを通じて能動的に不確実性を解消することを強制する。
• すべての圧縮されたクエリは、安全性と意図の保持を確認するために手動で検証されている。

2.3 モデル選定

本研究では、自律的およびインタラクティブな設定の両方において、7つの代表的なLLMを評価している：

• プロプライエタリ（商用モデル）: GPT-5.1, Gemini-2.5-Pro, Claude-Sonnet-4.5, Grok-4.1-Fast.
• オープンウェイト（公開重みモデル）: Qwen3-235B, Llama-4-Maverick, DeepSeek-V3.2.

2.4 評価スイート

IDRBenchは、2つの補完的な次元に沿ってパフォーマンスを測定する：

1. インタラクションの便益（アライメント・ゲイン）:
   • レポート類似度（Report Similarity）: 生成されたレポートとリファレンス・レポート間の正規化されたコサイン類似度。
   • マルチグラニュラリティF1スコア（Multi-Granularity F1-Score）: 文、段落、およびチャンクレベルでの構造的カバー率。
   • LLMアスペクト・カバレッジ・スコア（LLM-ACS）: レポートがクエリから導出された特定の意図のアスペクトをどの程度満たしているかを測定する。
2. インタラクションのコスト（オーバーヘッド）:
   • インタラクション・ターン数（Interaction Turns）: 入力を求めるために一時停止する頻度（プランニングで最大1回、リサーチで最大3回、生成で最大1回に制限）。
   • インタラクション・トークン数（Interaction Tokens）: 交換される情報の量（質問トークンおよび回答トークン）。

3. 主な結果

7つのモデルにわたる実験により、いくつかの重要な知見が得られた：

• 普遍的な改善: インタラクションは、すべてのモデルと指標において、一貫してリサーチの品質と堅牢性を向上させる。例えば、DeepSeek-V3.2は、インタラクションを有効にしたことで、GPT-5.1の自律スコアを上回った（78.64 vs 75.59）。
• 収穫逓減: モデルの能力とインタラクションによるゲインの間には逆相関関係が存在する。能力の低いモデル（例：Llama-4-Maverick、平均+10.96スコア）は、強力なモデル（例：GPT-5.1、+3.38）よりも、明確化からより大きな恩恵を受ける。
• 粒度のシフト: インタラクションは、弱いモデルがグローバルなトピック・カバレッジと意図のアライメントを確立するのを助ける（粗い粒度の改善）一方で、強力なモデルはローカルな詳細を洗練させることに恩恵を受ける（細かい粒度の改善）。
• コスト効率のトレードオフ:
  • インタラクションは一般にAPIコストを増加させるが、オープンウェイト・モデルのオーバーヘッドは無視できる程度である。
  • DeepSeek-V3.2は、最小限の追加コスト（+$0.039）で強力なゲインを提供し、最高の便益・コスト・トレードオフを達成した。
  • Qwen3-235Bはコストをわずかに削減しており（-$0.006）、インタラクションが推論と探索を効率化できることを示唆している。
• 堅牢性: インタラクションは極端な失敗を減少させる。強力なモデルにとっては最悪のケースにおける挙動を改善し、弱いモデルにとってはパフォーマンス分布全体を上方へシフトさせる。
• インタラクション戦略: モデルは明確に異なるスタイルを示す。一部のモデル（例：Claude-Sonnet-4.5）は、コンテキスト豊かな長い質問を行うが、他のモデル（例：Llama-4-Maverick）は簡潔なインタラクションを好む。頻繁にインタラクションを行うモデル（例：Gemini-2.5-Pro）は、短く漸進的な質問を行う傾向がある。

4. 意義と主張

本論文は、インタラクティブな能力が、生の自律的なモデルの強さとは別の、独立した評価次元であることを主張している。IDRBenchを導入することで、著者らは以下を確立した：

1. 静的で完全に指定されたタスク評価を超えた、将来のユーザーに整合したディープリサーチ・エージェントのための再利用可能なベンチマーク。
2. 人間によるループの変動性を排除し、インタラクションの便益とコストを再現可能な形で評価することを可能にする制御されたシミュレーション環境。
3. インタラクションは単なるオプションではなく、特に自律的な推論能力が低いモデルにとって、堅牢性を高めるための極めて重要な要素であるという証拠。

著者らは、IDRBenchを、ディープリサーチを「自律的な実行」から、エージェントがユーザーと反復的に進捗を通信し、方向性を洗練させていく「協調的かつインタラクティブなパラダイム」へと進化させるための基礎的なステップとして位置づけている。