💬 NLP

Can Deep Research Agents Retrieve and Organize? Evaluating the Synthesis Gap with Expert Taxonomies

本文介绍了 TaxoBench，这是一个证明了当前的深度研究智能体在检索核心论文以及将其组织成连贯分类体系方面，均显著落后于人类专家，从而揭示了其在检索准确性和层级结构综合能力方面的明显瓶颈的基准测试。

原作者： Ming Zhang, Jiabao Zhuang, Wenqing Jing, Kexin Tan, Ziyu Kong, Jingyi Deng, Yujiong Shen, Yuhui Wang, Zhenghao Xiang, Qiyuan Peng, Yuhang Zhao, Ning Luo, Renzhe Zheng, Jiahui Lin, Mingqi Wu, Long Ma

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ming Zhang, Jiabao Zhuang, Wenqing Jing, Kexin Tan, Ziyu Kong, Jingyi Deng, Yujiong Shen, Yuhui Wang, Zhenghao Xiang, Qiyuan Peng, Yuhang Zhao, Ning Luo, Renzhe Zheng, Jiahui Lin, Mingqi Wu, Long Ma, Shihan Dou, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图为一座庞大且混乱的图书馆编写一本终极指南书。你不仅需要找到这些书，还需要弄清楚如何将它们在书架上进行编排，以便读者能够理解该领域的脉络。这就是“综述”（survey）的任务——它是一种总结我们对特定主题已知信息的学术论文。多年来，科学家们一直希望人工智能（AI）能自动完成这项繁重的体力活。他们构想出了“深度研究智能体”（Deep Research Agents）——超级聪明的 AI 机器人，它们可以搜寻互联网，找到每一篇重要的论文，然后将它们排列成一张完美的、逻辑严密的知识图谱。

但问题在于：找到一本书很容易；而组织好这些书却很难。为了测试这些 AI 机器人是否真的准备好胜任这项工作，我们需要测试两项特定的技能。首先是检索（Retrieval）：AI 能否找到与人类专家选择的完全相同的书籍？如果 AI 遗漏了最重要的论文，那么这本指南书就毫无价值。其次是组织（Organization）：一旦 AI 拿到了这些书，它能否构建一个“分类法”（taxonomy）？把分类法想象成思想的家族树。它不仅仅是一个列表，而是一个具有层级结构的体系，从顶端的中心主题出发，分支到大类，再到小类，一直延伸到单篇论文。一个好的分类法能帮你看到思想是如何连接的。如果 AI 只是把论文堆成一堆乱七八糟的资料，或者创建一个令人困惑的扁平列表，那么它并没有真正完成任务。

这篇题为《深度研究智能体能否检索并组织？》（Can Deep Research Agents Retrieve and Organize?）的论文，对世界上七个最先进的 AI 研究智能体进行了测试。研究人员构建了一个特殊的挑战赛——TaxoBench，它使用 72 篇由人类专家撰写的真实、高质量的综述作为“金标准”。他们要求这些 AI 智能体要么从零开始寻找论文，要么在第二次测试中，将一组预选的论文组织成树状结构。结果给 AI 界带来了一次现实的警示。

研究发现，虽然这些 AI 智能体在交流和写作方面变得越来越好，但在研究的基础环节仍然挣扎。当被要求寻找专家使用的核心论文时，表现最好的 AI 智能体也仅找到了大约 20.92% 的论文。这意味着它遗漏了图书馆中近 80% 的重要书籍。其他智能体的表现甚至更糟，有些找到的核心论文甚至不足 5%。这就像是请一位导游向你介绍一座城市的十大地标，而他们最终只指出了两三个，其余的都漏掉了。

第二个测试部分甚至更具启发性。即使研究人员给了 AI 智能体一份“完美”的论文清单（这样就不必担心寻找问题），这些智能体仍然无法像人类专家那样进行组织。人类专家构建的是深层的、多层级的树状结构，平均深度为 4.86 层（就像一棵拥有树干、大树枝、小树枝和细枝的树）。然而，AI 智能体构建的结构却很浅且扁平，平均深度仅为 3 层左右。它们缺失了中间的组织层级。

当研究人员尝试通过给出具体指令来强迫 AI 构建更深的树时，AI 并没有变得更聪明，反而变得更混乱了。它开始将树拆解成无数个单篇论文的小分支，创造出一种由孤立细枝组成的“森林”，而不是一个有结构的树。这被称为“过度细分”（over-segmentation）。AI 太害怕将事物归类在一起，以至于它几乎把每篇论文都放进了自己微小且孤独的类别中。

论文得出结论，在目前的 AI 所能做到的与人类专家所能做到的之间，存在着巨大的“合成差距”（synthesis gap）。目前的 AI 仍处于一个“底线”水平，其组织能力仅仅比随机猜测好一点点。尽管 AI 模型正在变得更加强大，但它们尚未填补这一差距。研究人员建议，在我们信任 AI 来撰写科学指南之前，我们需要解决两个独立的问题：一是教它们如何找到正确的证据，二是教它们如何构建一个深层的、逻辑严密的结构来承载这些证据。在此之前，人类专家仍然是唯一能够绘制知识版图的人。

技术摘要：TaxoBench —— 评估深度研究智能体的合成差距

1. 问题陈述

深度研究（Deep Research, DR）智能体正日益实现学术综述生成的自动化，通过搜索网络、检索论文并生成结构化概述。然而，现有的基准测试主要评估生成文本的质量、事实性或引用正确性，未能共同评估两个处于信息获取与结构化生成交汇点的基础能力：

检索（Retrieval）： 智能体能否检索出人类专家认为对于一篇综述至关重要的特定论文集？
组织（Organization）： 智能体能否将这些论文组织成一个镜像专家构建结构的层级分类法（Taxonomy）？

目前的评估方法通常依赖于扁平聚类指标（如 ARI、V-Measure），这些指标忽略了层级结构，或者使用缺乏“论文-类别”分配依据的 LLM 生成大纲。这造成了“合成差距”（Synthesis Gap），即目前尚不清楚智能体是否能够复制专家识别核心文献并将其合成为连贯的多级分类法的过程。

2. 方法论：TaxoBench

作者引入了 TaxoBench，这是一个旨在将检索和组织能力进行分离评估的基准测试。

数据集构建

TaxoBench 构建自 72 篇高被引 LLM 相关综述，涵盖 8 个 AI/ML 子领域。

地面真值（Ground Truth）： 每篇综述都包含一个专家编写的分类法（类别层级）以及一组由博士级标注员手动映射到专家类别的 3,815 篇引用论文。
统计数据： 该数据集每篇综述平均包含 354.5 篇引用，层级深度为 4.9，分类法包含 14.0 个论文类别。

评估模式

TaxoBench 通过两种不同的模式来分离检索与组织能力的评估：

深度研究模式（端到端）： 智能体仅接收综述主题。它们必须使用网络工具检索论文，然后将这些论文组织成分类法。这同时测试了检索和组织能力。
自底向上模式（组织隔离）： 智能体被提供完全一致的专家引用论文集（ $P^*$ ）。它们必须将这组固定的论文集组织成分类法。这隔离了组织能力，排除了检索作为变量的影响。

指标

论文提出了一套指标，用于评估叶层分配和层级结构：

叶层级（Leaf-Level）： 使用调整兰德指数（ARI）和 V-Measure（同质性/完备性）来评估论文到类别的分配。
层级级（Hierarchy-Level）：
- US-TED / US-NTED（无序语义树编辑距离）： 衡量模型分类法与专家参考之间全局结构的差异，考虑了语义标签的相似性（通过嵌入向量），并忽略了兄弟节点的顺序。
- Sem-Path（语义路径相似度）： 一个针对单篇论文的指标，用于衡量从根节点到叶节点的路径一致性。它对齐祖先链，并会对语义标签不匹配和路径长度不一致进行惩罚。
校准（Calibration）： 作者引入了“深度匹配”控制，以解释模型经常生成比专家更浅层树的问题，这种问题会人为地降低 Sem-Path 分数。他们还建立了“底线”（Floor）基准（例如扁平分类法）来解释原始分数。

3. 核心贡献

TaxoBench 数据集： 一个将 72 个专家分类法与 3,815 篇映射论文配对的基准，实现了检索与组织的分别评估。
层级感知指标： 开发了 US-TED、US-NTED 和 Sem-Path，这些指标捕捉了超越扁平聚类的结构和语义对齐。作者还区分了“基于对齐的发现”（与特定专家参考的一致性）和“基于能力的发现”（独立于特定标签的结构统计特性）。
全面评估： 对 7 种深度研究智能体和 16 种前沿 LLM 配置（包括 o3, GPT-5, Claude, Gemini 等）在两种模式下进行了评估。

4. 关键结果

检索瓶颈（深度研究模式）

严重的检索缺陷： 即便是表现最好的智能体（o3）也仅检索到了 20.92% 的专家引用论文（召回率）。七个智能体中有四个的 F1 分数低于 10%。
与组织能力的关联： 检索质量与层级结构强相关（F1 与 Sem-Path 的 Spearman $\rho=0.89$ ）。无法检索到核心论文的智能体也无法构建连贯的层级结构。
自我检索： 虽然某些智能体会检索综述本身，但这并不会提高召回率，因为综述标题并不在专家论文集中。

组织瓶颈（自底向上模式）

深度缺陷： 模型一致性地无法构建深层分类法。专家的平均深度为 4.86，而所有 70 次模型运行（跨越不同生成和配置）的平均深度在 2.99 到 3.97 之间。最深的配置仍比专家少了 0.89 层。
过度细分（Over-Segmentation）： 模型倾向于将分类法碎片化为细粒度的簇（高同质性），而不是像专家那样将其合并为更广泛的类别。例如，GPT-5.6-sol 生成了 28.3 个类别，且具有 43.5% 的单元素率（即论文属于大小为 1 的类别），而专家仅有 14.0 个类别和 17.0% 的单元素率。
Sem-Path 底线效应： 模型的原始 Sem-Path 分数紧密聚集在 28–30% 附近，与“扁平”分类法基准（27.49%）几乎没有区别。这是由于缺乏随机性修正以及深度缺陷导致的。
- 深度匹配分析： 当模型针对被压缩至模型深度的专家树进行评估时，分数上升至 32–42%，且分布变宽。然而，显著差距依然存在：人类（标注员）在匹配的综述上实现了 54.09% 的 Sem-Path，而模型平均仅为 38.71%。
提示词影响： 一项受控探测显示，强制模型匹配专家深度（通过明确指令）并不能改善组织能力；相反，这会导致进一步的碎片化（更高的单元素率）并降低对齐分数（ARI 下降，Sem-Path 下降）。这表明深度缺陷是无法构建连贯的层级细化，而非无法增加层级。

人类基准

在 10 篇综述的匹配子集中，两名独立的标注员（在未看到专家参考的情况下）实现了 53.91% 的 Sem-Path，深度约为 4.65。他们彼此之间的协议度（Sem-Path）为 50.56%。相比之下，模型得分接近底线（28–30%），且在扁平指标（ARI）上比人类彼此之间的协议度更接近专家，这表明 ARI 在此任务中已趋于饱和且不再可靠。

5. 重要性与主张

本文声称 TaxoBench 识别出了当前深度研究智能体中检索和层级组织这两个独立的、关键的瓶颈。

检索： 智能体目前无法复制专家的文献发现过程，其检索到的核心论文比例不足 21%。
组织： 即便拥有完美的检索结果，智能体也无法构建深层的、连贯的分类法。它们倾向于产生浅层的、过度细分的结构，缺乏专家综述中那种递进式的细化过程。
指标校准： 作者认为，如果不针对深度和底线基准进行校准，原始层级指标（如 Sem-Path）是无法解释的。他们证明了当一个模型生成的 ARI 提升 3.68 个百分点时，其原始 Sem-Path 几乎没有移动（仅 0.87 个百分点），这凸显了该指标在浅层树形态下的不敏感性。
未来方向： 这项工作呼吁开发经过随机性修正的层级指标、更丰富的智能体工作流（超越当前的成品界面）以及多参考评估，以应对分类法设计的客观性问题。

作者总结道，虽然深度研究智能体可以生成文本，但它们目前缺乏自主合成专家级综述结构的底层能力，因此需要专家监督而非完全自动化。