💬 NLP

DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents

该论文介绍了 DeepSearchQA，这是一个涵盖 17 个领域的 900 个提示词基准测试，旨在评估深度研究智能体在复杂、多步骤信息寻求任务中的表现，并揭示了即使是尖端模型在系统化信息整理、实体解析和停止标准方面也难以平衡召回率与精确度。

原作者： Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一名研究助理来为你寻找信息。过去，我们大多用简单的问题来测试这些助手，比如“法国的首都是哪里？”如果他们答对了，就算通过；如果答错了，就算失败。这就像是一场选择题考试：容易评分，但它无法告诉我们这个助手是否能够处理一个真正的、复杂的研究项目。

论文 "DeepSearchQA" 引入了一种全新的、难度更高的测试，旨在观察 AI 智能体是否能像真正的研究员一样工作，而不仅仅是百科知识机器人。

以下是他们所做的工作以及他们的发现，使用了简单的类比：

1. 问题所在：“大海捞针” vs. “整堆干草”

旧的测试要求 AI 在干草堆中寻找一根特定的针（例如，“法国的首都是哪里？”）。

问题在于： 现实生活并不像那样。有时你需要知道干草堆里的每一根针，或者列出干草的所有不同类型。
新的挑战： DeepSearchQA 会提出这样的问题：“列出所有销量超过 1 亿台、非便携式、拥有 32 位 CPU，且其母公司在 2010 年资产超过 1.7 万亿美元的游戏机。”
目标： AI 不能只靠猜测一个答案。它必须构建一个完整且完美的列表。如果它漏掉了一项，那就是不完整的；如果它增加了一个虚假项，那就是不准确的。

2. 测试的三项硬技能

要通过这项新测试，AI 智能体需要掌握三项旧测试忽略了的困难技能：

技能 1：图书管理员（系统性整理）
想象一下，你需要写一份报告，但信息散落在 50 个不同的网站上，没有一个网站拥有完整的故事。AI 必须访问所有这些网站，阅读它们，并将碎片拼接成一个总清单。它不能仅仅依赖它找到的第一个网站。
技能 2：侦探（实体消解）
想象你在寻找“苹果（Apple）”。一个网站说“苹果公司（Apple Inc.）”，另一个说“苹果电脑（Apple Computer）”，第三个说“史蒂夫·乔布斯创立的公司”。人类知道这些都是同一家公司。AI 则经常会感到困惑，并将其列为三家不同的公司。这项测试检查 AI 是否能意识到它们是同一个东西并去除重复项。
技能 3：停止信号（关于停止的推理）
这是最难的部分。在普通的搜索中，当你找到答案时，你就停止了。但在“深度研究”任务中，没有终点线。AI 必须知道何时停止搜索。
- 过早停止： 它在找到所有答案之前就停止了（检索不足）。
- 过晚停止： 它不停地搜索，并开始编造答案来填补列表（过度检索/回避行为）。这就像一位厨师不断往汤里加料，直到汤的味道变得糟糕，只为了确保自己没有漏掉任何东西。

3. 测试：900 个真实场景

研究人员创建了一个名为 DeepSearchQA 的基准测试，包含 17 个不同领域（如医疗、金融、历史和游戏）的 900 个难题。

规则： 答案基于静态事实（如 2020 年的人口普查数据），因此在测试运行期间不会发生变化。
评分： 他们不在乎 AI 是如何找到答案的（它采取的路径）。他们只关心最终的列表。它是否 100% 正确地得到了这个列表？
- 完美： 列表完全正确。
- 部分正确： 它对了一些，但漏掉了一些。
- 幻觉： 它得到了正确的项，但也增加了虚假的项以显得详尽。

4. 他们的发现：“最后一英里”问题

他们测试了目前最智能的 AI 模型（如 Google 的 Gemini Deep Research 和 OpenAI 的 GPT-5 Pro）。结果如下：

好消息： 最优秀的 AI 智能体正变得非常擅长此道。顶尖模型能做到约 66% 的列表完全正确。这比旧模型有了巨大的飞跃。
坏消息： 即便是最好的模型也在“最后一英里”问题上挣扎。
- 差距： 一个 AI 可能会找到 90% 的正确答案（高召回率），但却无法停止，从而在列表中加入了 5 个错误的答案。这会毁掉整个分数。
- “回避陷阱”： 当 AI 不确定是否已经完成时，它会尝试通过列出它能想到的所有事物来表现得稳妥，包括那些它不确定的事物。这就像一个学生为了拿部分分数而在考试中瞎猜，但在这种情况下，这反而降低了他们的成绩。
“阶梯式”下跌： 如果你使用较小、较便宜的 AI 模型，性能并不会只是小幅下降，而是会直接崩溃。这些复杂的任务需要一定的“脑力”来进行搜索规划。一旦低于某个阈值，AI 就会立刻迷失方向，什么也找不到。

5. 结论

论文认为我们正处于一个转折点。我们已经从询问 AI “答案是什么？”转向了“你能掌握整个主题吗？”

目前的 AI 模型足够聪明，可以找到那根针，但它们仍在学习如何绘制整堆干草的地图而不至于迷失方向或编造内容。DeepSearchQA 是一个帮助研究人员解决这一特定问题的工具：教导 AI 何时停止搜索，以及如何做到完美彻底而不显得草率。

简而言之： 我们正在教 AI 从一名百科知识冠军，成长为一名专业的调研员，能够处理复杂的、多步骤的调查，且不会掉链子。

技术摘要：DeepSearchQA：弥合深度研究智能体的全面性差距

1. 问题陈述

人工智能领域正在从静态的大语言模型（LLM）向能够与动态环境交互的自主 Web 智能体转型。然而，当前的评估方法存在“全面性差距”（Comprehensiveness Gap）。传统的基准测试（如 TruthfulQA、SimpleQA）主要侧重于单答案检索或广泛的真实性。虽然这些方法在隔离导航和搜索策略方面行之有效，但它们倾向于追求精确度而非召回率，未能捕捉到现实世界信息寻求过程中的复杂性——在这些过程中，用户需要的是详尽的列表，而非单一的数据点。

现有的基准测试通常依赖于原子化的答案，这无法测试智能体以下能力：

从分散的来源中系统地整理碎片化信息。
执行实体解析（Entity Resolution）以进行去重并确保精确度。
在没有明确终止信号的开放式搜索空间中，对停止准则进行推理。

这种差距导致了一种局面：智能体可能找到了“大海捞针”中的那根“针”，却无法检索出完成深度研究任务所需的整个“干草堆”。

2. 方法论：DeepSearchQA 基准测试

数据集构建

DeepSearchQA 是一个包含 900 个手工编写提示词的基准测试，涵盖 17 个不同的领域（包括政治、金融、科学、健康和历史）。

任务结构： 任务被设计为因果链，即发现某一步骤的信息取决于前一步骤的成功完成，这强调了长程规划和上下文保持的能力。
地面真值（Ground Truth）： 所有任务均基于开放网络，具有客观可验证的答案集。提示词具有时间锚点或引用静态数据源，以最大限度地减少地面真值漂移。
答案类型：
- 单答案： 由于隐晦性或证据冲突而需要深度研究的唯一实体。
- 集合答案： 项目的集合，包括枚举（列出所有符合约束的项目）和复合响应。
验证： 通过严格的三阶段协议（独立研究、验证/比较、冲突解决）确保地面真值的准确性。模糊的提示词会被过滤掉。

任务分类法

任务按认知和操作需求进行分类：

结构化检索（“搜索”）： 检索隐晦、小众信息的步骤策略。
上下文管理（“组装”）： 摄取并合成大量信息，管理上下文窗口限制。
逻辑推理（“思考者”）： 抽象演绎、规划以及从不完整数据中推断潜在信息。

评估指标

DeepSearchQA 采用严格的基于结果的评估方法，仅根据最终提交集合的完整性和正确性来判断性能，而非搜索轨迹。

连续型指标： 使用标准的信息检索指标，特别是精确率（Precision）、**召回率（Recall）**和 F1 分数（P 和 R 的调和平均数）。这会惩罚那些通过幻觉或使用低置信度猜测来进行“对冲（hedging）”以最大化召回率的智能体。
类别分类： 响应被分为四个互斥类别：
1. 完全正确： 提交的集合在语义上与地面真值一致（ $S = G$ ）。
2. 完全错误： 未找到任何正确项（ $S \cap G = \emptyset$ ）。
3. 部分正确： 找到了部分正确答案，但未找全。
4. 带有冗余答案的正确： 找到了所有正确项，但包含了错误项（属于停止准则失败/对冲行为）。
自动化流水线： 使用 LLM 作为评判者（Gemini 2.5 Flash）来确定提取答案与地面真值之间的语义等价性。

3. 关键结果与分析

该基准测试对最先进的智能体和推理模型进行了评估（例如，Gemini Deep Research Agent, GPT-5 Pro High Reasoning, o3, o4 Mini）。

性能层级： 深度研究智能体（Deep Research Agents）的表现优于独立的推理模型，证实了需要迭代的智能体循环来弥合“全面性差距”。
顶尖表现者： Gemini Deep Research Agent 实现了最高的 F1 分数（81.90%）和最低的“完全错误”率（9.95%），证明其与 GPT-5 Pro High Reasoning（F1: 78.98%, 完全错误: 14.13%）相比，具有更优越的效率和鲁棒性。
推理阈值： 自主研究存在一个硬性阈值。较小的模型（如 Gemini 2.5 Flash）表现出性能的急剧下降（F1: 42.99%, 完全错误: 45.27%），表明 DeepSearchQA 任务无法通过简单的语义搜索来完成，而是需要结构化检索和多步推理。
扩展行为： 增加测试时计算量（采样 $n$ 次）可以显著提高性能。对于顶尖智能体，其“完全正确”率从 $n=1$ 时的 67.18% 提升到了 $n=8$ 时的 85.71%。
“最后一英里”问题： F1 分数与严格的“完全正确”率之间存在明显的差异（例如，对于顶尖智能体，两者差距约为 15 个百分点）。这一差距由两种失败模式驱动：
1. 检索不足： 遗漏了“长尾”部分的隐晦实体。
2. 过度检索（对冲）： 实现了完美的召回率，但未能停止，出现了幻觉或漂移到相邻话题。

观察到的失败模式

对顶尖模型的分析揭示了特定的失败模式：

定量估计错误： 正确识别了候选对象，但在排序或准确估计数量方面失败。
工具限制： 在遇到无法读取的文件格式（如 Excel）时停止了进程，而不是寻找替代来源。
停止准则失败： 在检索到初始列表后，未能根据提示词约束对数据点进行过滤。

4. 重要性与主张

作者将 DeepSearchQA 定位为智能体开发下一阶段的关键诊断工具。论文主张：

范式转移： 该基准测试将评估从基于精确度的检索转向穷尽式答案集生成，解决了当前智能体评估中的一个关键盲点。
诊断效用： 通过明确奖励穷尽式检索并惩罚检索不足和对冲行为，DeepSearchQA 凸显了“全面性差距”，即即使是先进的模型在平衡召回率和精确度方面也面临困难。
未来方向： 该基准测试识别了构建鲁棒智能体所需的特定能力：
- 系统化探索： 超越机会主义式的关键词搜索，转向系统性的树/图导航。
- 高级综合： 具备强大的合并信息和解决实体歧义的机制。
- 动态停止准则： 能够对搜索完整性进行推理，并在没有显式终止信号的情况下确定何时完成了搜索。

作者总结道，优化这种更深层次的全面性是构建真正具备能力且可靠的自主 Web 智能体的关键下一步，目标是从“能回答问题的智能体”转变为“能掌握某一主题并绘制信息图谱的智能体”。