💬 NLP

DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents

本論文は、複雑で多段階の情報探索タスクにおけるディープリサーチ・エージェントを評価するために設計された、17の分野にわたる900のプロンプトからなるベンチマークであるDeepSearchQAを紹介しており、最先端のモデルであっても、体系的な情報の収集、エンティティ解決、および停止基準において、再現率と適合率のバランスを取ることに苦慮していることを明らかにしている。

原著者： Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

公開日 2026-01-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、情報を探してくれるリサーチアシスタントを雇っていると想像してください。以前は、私たちは主に「フランスの首都はどこですか？」といった単純な質問でこれらのアシスタントをテストしてきました。正解すれば合格、間違えれば不合格というものでした。これは多肢選択式のクイズのようなもので、採点は簡単ですが、アシスタントが本当の意味での複雑なリサーチプロジェクトをこなせるかどうかまでは教えてくれませんでした。

論文**「DeepSearchQA」**は、AIエージェントが単なるトリビア・ボットではなく、真のリサーチャーとして振る舞えるかどうかを検証するために設計された、より高度で困難な新しいテストを紹介しています。

以下に、彼らが行ったことと、その結果を簡単な比喩を用いて解説します。

1. 問題点：「干し草の山の中の針」対「干し草の山全体」

従来のテストは、干し草の山の中から特定の針を一本見つけることを求めていました（例：「フランスの首都はどこですか？」）。

問題点: 現実はそれほど単純ではありません。時には、干し草の山の中にある「すべての針」を知る必要があったり、あるいは「あらゆる種類の干し草」をリストアップする必要があったりします。
新しい挑戦: DeepSearchQAは、「販売台数が1億台を超え、携帯型ではなく、32ビットCPUを搭載しており、かつ親会社が2010年時点で1.7兆ドル以上の資産を持っていたビデオゲーム機をすべて挙げてください」といった質問を投げかけます。
ゴール: AIは単に一つの答えを推測することはできません。完全で完璧なリストを作り上げなければなりません。もし一つでも項目を見落とせば、それは不完全です。もし一つでも架空の項目を追加してしまえば、それは不正確です。

2. テストされた3つの高度なスキル

この新しいテストに合格するためには、AIエージェントは従来のテストでは無視されていた、以下の3つの困難なスキルを習得する必要があります。

スキル1：司書（体系的な収集）
想像してみてください。レポートを書こうとしているのですが、情報は50もの異なるウェブサイトに散らばっており、そのどれもが完全な物語を持っているわけではありません。AIはそれらすべてのサイトを訪れ、読み、断片を繋ぎ合わせて一つのマスターリストにする必要があります。最初に見つけたウェブサイトだけに頼ることはできません。
スキル2：探偵（エンティティ・レゾリューション／実体解釈）
例えば、「Apple」を探しているとします。あるサイトには「Apple Inc.」、別のサイトには「Apple Computer」、そして別のサイトには「スティーブ・ジョブズが設立した会社」と書かれています。人間はこれらが同じものであると理解できます。しかし、AIはしばしば混乱し、これらを3つの異なる会社としてリストアップしてしまいます。このテストは、AIがこれらが同一であることを認識し、重複を排除できるかどうかをチェックします。
スキル3：停止信号（停止に関する推論）
これが最も難しい部分です。通常の検索では、答えを見つけたら停止します。しかし、「ディープ・リサーチ」のタスクには、ゴールラインが存在しません。AIは、いつ検索を止めるべきかを知らなければなりません。
- 早すぎる場合: すべての答えを見つける前に止まってしまう（検索不足／アンダー・リトリーバル）。
- 遅すぎる場合: 検索を続けすぎて、リストを埋めるために答えを捏造し始める（過剰検索／ヘッジング）。これは、スープに具材を足し続けて、中身を揃えようとした結果、スープを台無しにしてしまうシェフのようなものです。

3. テスト：900の現実世界のシナリオ

研究者たちは、17の異なる分野（健康、金融、歴史、ゲームなど）にわたる900の困難な質問からなるベンチマーク、DeepSearchQAを作成しました。

ルール: 回答は静的な事実（例：2020年の国勢調査データ）に基づいているため、テストの実行中に変化することはありません。
採点方法: 彼らはAIがどのように答えを見つけたか（その経路）には関心がありません。彼らが重視するのは最終的なリストです。そのリストは100%正しいでしょうか？
- パーフェクト: リストが正確に正しい。
- 部分的: いくつかは合っているが、いくつかを見落としている。
- ハルシネーション（幻覚）: 正しい項目を含んでいるが、徹底しているように見せるために架空の項目を追加している。

4. 分かったこと：「ラストワンマイル」の問題

彼らは、利用可能な最もスマートなAIモデル（GoogleのGemini Deep ResearchやOpenAIのGPT-5 Proなど）をテストしました。結果は以下の通りです。

良いニュース: 最先端のAIエージェントは、この分野で非常に上手くなりつつあります。トップクラスのモデルは、リストの約**66%**を完全に正確に作成できました。これは旧来のモデルと比較すると大きな飛躍です。
悪いニュース: 最も優れたモデルでさえ、「ラストワンマイル」に苦戦しています。
- ギャップ: AIは90%の正解を見つけ出す能力（高い再現率）を持っていても、停止できずに5つの誤った回答を追加してしまうことがあります。これによりスコアが台無しになります。
- 「ヘッジング（保険をかける）」の罠: AIは、作業が終わったかどうか確信が持てないとき、確信が持てないものも含めて考えつく限りすべてをリストアップすることで、安全策を取ろうとします。これは、部分点をもらうためにテストで勘に頼って回答する学生のようなものですが、この場合は逆に成績を下げてしまいます。
「ステップ関数的」な低下: より小さく安価なAIモデルを使用する場合、パフォーマンスは単に少し下がるのではなく、崩壊します。これらの複雑なタスクには、検索を計画するための一定レベルの「脳の力」が必要です。一定の閾値を下回ると、AIは即座に迷走し、何も見つけられなくなります。

5. 結論

論文は、私たちが転換点にいると主張しています。私たちはAIに対して「答えは何ですか？」と聞く段階から、「トピック全体をマスターできますか？」と問う段階へと移行しています。

現在のAIモデルは、針を見つけることはできますが、道に迷ったりデタラメを言ったりすることなく、干し草の山全体をマッピングする方法をまだ学習している最中です。DeepSearchQAは、研究者がこの特定の問題を解決するためのツールです。つまり、AIに対して「いつ検索を止めるべきか」、そして「不注意になることなく、いかに完璧に徹底できるか」を教えるためのものです。

要約すると、 私たちはAIに対し、単なるトリビアのチャンピオンであることをやめ、複雑で多段階の調査をミスなく遂行できるプロのリサーチャーになることを教えているのです。

技術要約：DeepSearchQA：ディープリサーチ・エージェントにおける包括性のギャップを埋める

1. 問題提起

人工知能の分野は、静的な大規模言語モデル（LLM）から、動的な環境と相互作用できる自律的なウェブエージェントへと移行しつつある。しかし、現在の評価手法は「包括性のギャップ（Comprehensiveness Gap）」という問題を抱えている。従来のベンチマーク（例：TruthfulQA、SimpleQA）は、主に単一回答の検索や広範な事実性（factuality）に焦点を当てている。これらはナビゲーションや検索戦略を分離して評価するには有効であるが、ユーザーが単一のデータポイントではなく、網羅的なリストを必要とする現実世界の情報探索プロセスにおける複雑さを捉えるには不十分である。

既存のベンチマークは、多くの場合、原子的な（atomicな）回答に依存しており、以下の能力をテストできていない：

分散したソースから断片的な情報を体系的に収集する能力。
重複を排除し精度を確保するためのエンティティ解釈（entity resolution）を行う能力。
明示的な終了信号がないオープンエンドな探索空間において、停止基準について推論する能力。

このギャップにより、エージェントが「干し草の山の中の針」を見つけることはできても、包括的なリサーチ・タスクに求められる「干し草の山」全体を回収できないという状況が生じている。

2. 手法：DeepSearchQA ベンチマーク

データセットの構築

DeepSearchQAは、17の多様なドメイン（政治、金融、科学、健康、歴史など）にわたる900個の手作りプロンプトで構成されるベンチマークである。

タスク構造： タスクは因果関係の連鎖として設計されており、あるステップでの情報の発見が、前のステップの成功に依存するように設計されている。これにより、長期的なプランニングとコンテキスト保持の重要性が強調される。
グラウンドトゥルース（正解）： すべてのタスクはオープンウェブに基づき、客観的に検証可能な回答セットを持つ。プロンプトは時間の経過によるデータの変化（drift）を最小限に抑えるため、特定の時点に固定されているか、静的なデータソースを参照している。
回答タイプ：
- 単一回答： 希薄さや矛盾する証拠のために深いリサーチを必要とする、ユニークなエンティティ。
- 集合回答： アイテムの集合。これには列挙（制約に一致するすべてのアイテムをリストアップすること）や複合的なレスポンスが含まれる。
検証： 厳格な3フェーズ・プロトコル（独立したリサーチ、検証・比較、競合解決）により、グラウンドトゥルースの正確性を確保している。曖昧なプロンプトは除外されている。

タスクの分類学（Taxonomy）

タスクは、認知的および操作的な要求によって分類されている：

構造化された検索（「探索」）： 希薄でニッチな情報を取得するための多段階戦略。
コンテキスト管理（「組み立て」）： 大量の情報を取り込み、合成し、コンテキストウィンドウの制限を管理すること。
論理的推論（「思考者」）： 抽象的な演繹、プランニング、および不完全なデータからの潜在的な情報の推論。

評価指標

DeepSearchQAは、検索の軌跡ではなく、最終的に提出されたセットの完全性と正確性のみを判断するという、厳格な結果ベースの評価手法を採用している。

連続的指標： 標準的な情報検索指標、具体的には適合率（Precision）、再現率（Recall）、およびF1スコア（PとRの調和平均）を使用する。これにより、低信頼度の推測で「ヘッジ（言葉を濁すこと）」したり、再現率を最大化しようとして幻覚（hallucination）を起こしたりするエージェントにペナルティを課す。
カテゴリ分類： レスポンスは以下の4つの互いに排他的なカテゴリに分類される：
1. 完全な正解： 提出されたセットがグラウンドトゥルースと意味的に同一である場合（ $S = G$ ）。
2. 完全な不正解： 正解となるアイテムが一つも見つからない場合（ $S \cap G = \emptyset$ ）。
3. 部分的な正解： いくつかの正解は見つかっているが、すべてではない場合。
4. 余剰回答を含む正解： すべての正解は見つかっているが、不正解のアイテムも含まれている場合（停止基準の失敗またはヘッジング）。
自動パイプライン： LLM-as-a-Judge（Gemini 2.5 Flash）が、抽出された回答とグラウンドトゥルース間の意味的な等価性を判定する。

3. 主要な結果と分析

このベンチマークは、最先端のエージェントおよび推論モデル（例：Gemini Deep Research Agent、GPT-5 Pro High Reasoning、o3、o4 Mini）を用いて評価された。

パフォーマンスの階層： ディープリサーチ・エージェントは、スタンドアロンの推論モデルよりも優れた性能を示した。これは、包括性のギャップを埋めるためには、反復的なエージェント・ループが必要であることを裏付けている。
トップパフォーマー： Gemini Deep Research Agentが最高のF1スコア（81.90%）と最も低い「完全な不正解」率（9.95%）を達成し、GPT-5 Pro High Reasoning（F1: 78.98%、完全な不正解: 14.13%）と比較して、優れた効率性と堅牢性を実証した。
推論の閾値： 自律的なリサーチには明確な閾値が存在する。小規模なモデル（例：Gemini 2.5 Flash）は、パフォーマンスが急激に低下し（F1: 42.99%、完全な不正解: 45.27%）、DeepSearchQAのタスクが単純なセマンティック検索では困難であり、構造化された検索と多段階の推論を必要とすることを示している。
スケーリング挙動： テスト時計算量（ $n$ 回のサンプリング）を増やすことで、パフォーマンスは大幅に向上する。トップエージェントにおいて、「完全な正解」率は、 $n=1$ のときの67.18%から、 $n=8$ のときには85.71%へと上昇した。
「ラストワンマイル」問題： F1スコアと厳格な「完全な正解」率の間には、明確な乖離が存在する（例：トップエージェントで約15ポイントの差）。この差は、以下の2つの失敗モードによって引き起こされる：
1. 過小検索（Under-retrieval）： 希薄なエンティティの「ロングテール」を見落とす。
2. 過剰検索（Over-retrieval / Hedging）： 再現率は完璧だが、停止できず、余計なアイテムを幻覚として生成したり、隣接するトピックへ逸脱したりする。

観察された失敗モード

トップモデルの分析により、特定の失敗パターンが明らかになった：

定量的推定エラー： 候補を正しく特定しているものの、順位付けや数量の推定に失敗する。
ツールの限界： 読み取り不可能なファイル形式（例：Excel）に遭遇した際、代替ソースを探すのではなく、プロセスを停止してしまう。
停止基準の失敗： 初期のリストを抽出した後、プロンプトの制約に従ってデータポイントをフィルタリングすることに失敗する。

4. 重要性と主張

著者らは、DeepSearchQAを次世代のエージェント開発における重要な診断ツールとして位置づけている。論文では以下のことを主張している：

パラダイムシフト： このベンチマークは、評価の焦点を「精度ベースの検索」から「網羅的な回答セットの生成」へとシフトさせ、現在のエージェント評価における決定的な盲点を解消するものである。
診断的有用性： 網羅的な検索を報酬とし、過小検索とヘッジングの両方にペナルティを課すことで、DeepSearchQAは、高度なモデルであっても再現率と適合率のバランスに苦慮する「包括性のギャップ」を浮き彫りにする。
今後の方向性： 本ベンチマークは、堅牢なエージェントに求められる具体的な能力を特定している：
- 体系的な探索： 偶発的なキーワード検索を超えた、メソッドに基づいたツリー型またはグラフ型のナビゲーション。
- 高度な合成： 情報の統合とエンティティの曖昧さの解決を行うための堅牢なメカニズム。
- 動的な停止基準： 探索の完全性を推論し、明示的な終了信号なしに、いつ探索が網羅されたかを判断する能力。

著者らは、包括性のより深いレベルの最適化こそが、真に能力があり信頼できる自律的ウェブエージェントを構築するための重要なステップであると結論付けている。それは、単に質問に答えるエージェントから、トピックをマスターし、情報のランドスケープをマッピングできるエージェントへの進化である。