テクニカルサマリー：単純なQAからディープリサーチへ

問題提起

ディープリサーチ（深い調査）タスクには、AIエージェントが単なる事実の検索を超えて、ドメイン知識を統合し、多段階の推論を行い、高品質でオープンエンドな回答を生成することが求められます。しかし、これらのタスクに対して信頼できるベンチマークを構築することは困難です。既存のベンチマークは、高価な専門家による作成や、既存の人間による資料に依存しており、スケーラビリティに限界があります。一方で、完全に自動化された構築手法は、一貫した追跡可能な検証を行うことが難しく、また、きめ細かな評価に必要なタスク固有の知識を欠くことがよくあります。現在のアプローチは、モデルを相対的に比較する（レポートの類似性に基づくランキング）か、信頼性や専門的な品質が保証されない評価基準（ルーブリック）を生成するかのいずれかです。解決すべき核心的な課題は、人間の専門家による執筆に頼ることなく、いかにして多様なプロフェッショナルレベルのディープリサーチ・タスクと、信頼性が高く根拠に基づいた評価基準を構築するかという点にあります。

手法

本論文では、Explorer（探索者）– Formalizer（定式化者）– Challenger（挑戦者）の反復ループを中心とした、完全自動のベンチマーク構築パイプラインを導入しています。このパイプラインは、単純な質問を複雑なディープリサーチ・タスクへと段階的に進化させます。

1. タスクの表現

タスクの核となる構造的表現は、**有向非巡回グラフ（DAG）**です。

• ノード（節点）： 原子的なリサーチステップを表し、「証拠的（evidential）」（追跡可能な事実の検索）または「分析的（analytical）」（推論や比較の実行）のいずれかに分類されます。
• エッジ（枝）： ステップ間の論理的な依存関係を表します。
• チェックポイント： 各ノードには、エージェントと環境との相互作用から導出された、検証可能なチェックポイントが含まれます。
  この構造により、解決プロセスが明示的、分解可能、かつ追跡可能になります。

2. 構築パイプライン

パイプラインは、単純なクエリ $q_1$ をディープリサーチ・タスク $q_T$ へと進化させるために、3つの役割を反復します。

• Explorer（探索者）： ツール（検索、ウェブスクレイピングなど）を用いて、オープンな環境で現在のクエリを解決します。これは、探索された情報、証拠、および分析の軌跡（トラジェクトリ）を生成します。このステップは、検索意図が洗練されたときに初めて発見可能となる、ロングテールで希薄な知識を掘り起こすように設計されています。
• Formalizer（定式化者）： Explorerの軌跡を解析し、タスクのDAG ($G$) を更新し、対応する一連の検証可能なルーブリック ($R$) を導出します。
  • 軌跡をDAGに整理し、グラフがクエリに答えるのに十分であり、かつ最小限（無関係なノードの削除や意味的に同等のノードの統合）であることを保証します。
  • 見つかった具体的な証拠に基づき、各ノードに対するポイントごとのルーブリックを生成します。
  • DAG構造に基づいてノードに重みを割り当て（葉から根へと重みを伝播）、異なるリサーチステップの相対的な重要性を反映させます。
• Challenger（挑戦者）： 軌跡の中で、探索されたもののタスクにはまだ使用されていない、論理的には接続されている手がかりを特定します。これら「未使用」の方向性を利用して、次のラウンドのためのより困難なクエリ ($q_{t+1}$) を生成し、実質的にタスクの範囲（幅）または推論の深さを拡張します。重要な点として、新しいクエリが解決経路を露呈させないよう、特定のチェックポイントをマスクします。

停止条件： DAGの構造（ノードとエッジ）が2回連続で変化しなくなった場合、タスクがこれ以上関連する知識を統合できない飽和点に達したと判断し、進化を停止します。

3. クエリ設計

収束した最終的なタスクから、補完的な能力を調査するために、3つの異なるクエリ形式が生成されます。

• ヒントありクエリ ($q^h_T$)： 分析の次元や制約を含む、完全で複雑なクエリ。豊富な手がかりの下での情報処理能力をテストします。
• ヒントなしクエリ ($q^o_T$)： 複雑なクエリから制約を取り除き、簡潔で日常的な表現にしたもの。隠れた制約の下での分解能力とプランニング能力をテストします。
• 割り当てられたトピック・クエリ ($q^a_T$)： 指向性のあるトピックを示す宣言的なリサーチタイトル。明示的な問いの形式を持たない、方向性のあるトピックの下での論証形成能力をテストします。

主な貢献

1. 検証可能なベンチマーク： 著者らは、31のトピックと10の主要カテゴリにわたる500のディープリサーチ・タスクを構築しました。各タスクには、事実に基づいたポイントごとのルーブリックと、前述の3種類のクエリ形式が対になっています。
2. 完全自動構築パイプライン： 単純なクエリを原子的なステップのDAGへと反復的に拡張する、新しいパイプラインを導入しました。このアプローチにより、人間の執筆や事前に用意された専門家資料なしに、クエリ、タスク構造、およびルーブリックを共に進化させることが可能になります。
3. きめ細かな評価： このベンチマークは、そのルーブリックが、バイナリ判定や相対的なランキングよりも効果的にモデルの性能を区別できる、安定した、人間と整合した、きめ細かな評価を可能にすることを実証しています。

結果

10の人気モデル（GPT-5.6、Claude Sonnet 5、DeepSeek-V4-Pro、および各種Qwenを含む）に対し、エージェント・モード（ツールあり）とモデル・モード（内部知識のみ）の2つの設定で実験を行いました。

• 識別能： ベンチマークは、能力の異なるモデル間を明確に識別しました。強力なモデル（例：GPT-5.6 Terra）は、すべてのクエリタイプにおいて、弱いモデルを一貫して上回りました。
• 能力のグラデーション： スコアはクラスター化することなく連続的な広がりを見せ、ルーブリックが細粒度な満足度を提供していることを示しました。
• ツールの影響： すべてのモデルとクエリタイプにおいて、ツールを削除するとパフォーマンスが大幅に低下（平均0.14減少）しました。これは、タスクが事前学習データには存在しないロングテール情報をエンコードしていることを裏付けています。
• クエリタイプの感度： モデルはクエリタイプによって異なる強みを示しました。例えば、ヒントが少ない場合（$q^o_T$）は、パフォーマンスの差が分析的推論へとシフトし、小型モデルが広範な目標の分解や証拠の統合においてより苦戦することを明らかにしました。
• 人間との整合性： サンプリングされた100のタスクに対する人間のレビューでは、高い品質（「不適切」という評価なし）と、レビュアー間の高い一致が見られました。さらに、LLMによる自動判定も人間による評価と高い相関（ピアソンの $r \approx 0.90$）を示し、生成されたルーブリックの信頼性を検証しました。

意義

本論文の主な意義は、ディープリサーチ・ベンチマークへのニーズと、人間の専門家なしにそれらを信頼性高く構築することの困難さとの間のギャップに対処している点にあると主張しています。反復的なエージェント駆動型のプロセスによって、追跡可能で検証可能なルーブリックを持つタスクを生成できることを示すことで、本研究は次世代のAIエージェントを評価するためのスケーラブルな道筋を提示しています。このベンチマークは、ディープリサーチ能力を評価するための安定した細粒度の指標を提供し、既存のベンチマークでは捉えきれない現在のモデルの具体的な弱点（例：明示的なガイダンスなしに隠れた目標を発見したり証拠を統合したりする能力の欠如）を明らかにします。著者らは、構築コスト（パイプラインに最先端モデルを使用すること）を、コミュニティにとって信頼できるリソースを構築するための必要な投資であると考えています。