💬 NLP

Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models

本文介绍了深度数据研究（DDR）及其对应的基准测试 DDR-Bench，用于评估代理大语言模型在自主从原始数据中提取洞察方面的探究智能，结果表明，尽管前沿模型展现出初步的代理能力，但有效的长程探索需要超越单纯规模扩展或辅助搭建的内在策略。

原作者： Wei Liu, Peijie Yu, Michele Orini, Yali Du, Yulan He

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei Liu, Peijie Yu, Michele Orini, Yali Du, Yulan He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《与其等待，不如主动出击：评估大语言模型上的深度数据研究》的通俗解读，辅以生动的类比。

核心理念：从“订单接收员”到“侦探”

想象你有一座巨大的、杂乱无章的图书馆，里面堆满了数百万本书籍、收据和医疗图表。

旧 AI（订单接收员）： 如果你问旧 AI：“第 4 号书架上有多少本蓝色的书？”，它会找到答案并告诉你。它等待你给出具体指令。这被称为执行智能。
新 AI（侦探）： 这篇论文提出了一个更难的问题：“走进那座图书馆，告诉我你能发现什么有趣的故事。”AI 必须自己决定寻找什么、在哪里寻找，以及何时已经找得足够多。它必须独自搜寻线索。这被称为调查智能。

作者认为，虽然 AI 在遵循指令方面越来越出色，但在成为真正独立的侦探方面，它仍面临挣扎。

问题所在：我们缺乏针对“狩猎”的测试

直到最近，我们主要通过给 AI 提出具体问题（就像多项选择题测验）来测试它。但现实世界的数据分析不是一场测验；它是一次探索。

差距： 现有的测试并未检查 AI 是否能够审视原始数据、发现无人指示的模式，并据此撰写报告。
风险： 如果我们仅通过我们提出的问题来测试 AI，可能会高估它的真实智能。它可能只是在死记硬背答案，而非学习如何思考。

解决方案：DDR-Bench（“深度数据研究”测试）

为了解决这个问题，研究人员建立了一项名为DDR-Bench的新测试。不妨将其想象为一个“神秘盒子”挑战。

设置： 他们让 AI 模型访问三个巨大的真实世界数据库：
- MIMIC： 一个包含患者记录的大型医院数据库（就像侦探查看患者的完整病史）。
- GLOBEM： 收集自佩戴健身追踪器并回答心理健康调查的人员数据（就像心理学家分析一个人的日常习惯）。
- 10-K： 上市公司的财务报告（就像会计师深挖公司账本以寻找真相）。
规则： AI 收到的初始提示非常简单：“开始分析这位患者/用户/公司。”
- 无具体问题： 没有告诉 AI 要寻找什么。
- 无限制： AI 可以提出任意数量的问题（交互）。
- 目标： AI 必须探索数据，发现隐藏的见解，并撰写报告。
评分： 如何给一位发现了你未曾预料之物的侦探打分？
- 研究人员创建了一份**“事实清单”**。他们利用原始数据，列出了数百个具体、可验证的事实，这些事实可能被发现（例如：“患者是否发生过中风？”或“公司利润是否上升？”）。
- 在 AI 撰写报告后，研究人员会核查："AI 的报告是否包含足够的证据来证明这些事实？”
- 这使得评分客观且公平，避免了人为偏见。

研究发现：“狩猎”很难

研究人员测试了许多世界上最聪明的 AI 模型（如 Claude、GPT、Gemini 和开源模型）。以下是他们的发现：

1. “静观其变”策略胜出
表现最佳的 AI 并不急于求成。它在深入挖掘之前，会花时间进行广泛的探索。

类比： 想象一位侦探在犯罪现场四处走动，观察一切，然后才捡起特定的线索。表现最佳的 AI 自然地采用了这种“先计划后行动”的策略，即使没有被明确要求去规划。它们会推迟得出最终结论，直到收集到足够的证据。

2. 算力增强 ≠ 狩猎能力更强
令人惊讶的是，让 AI“变大”（增加参数）并不能自动使其成为更好的侦探。

类比： 如果侦探不知道如何使用放大镜，给他一个更聪明的大脑也无济于事。论文发现，训练比规模更重要。那些专门被训练为“智能体”（即能够思考和行动）的模型，表现远优于那些仅被训练用于聊天的庞大模型。

3. “停止”按钮很难掌握
成为侦探的关键在于知道何时停止搜寻。

发现： 许多较弱的模型要么过早停止（错过了大局），要么永远在原地打转（陷入死循环）。表现最佳的模型确切地知道何时已经找到了足够的内容来撰写一份好的报告。

4. “记忆”陷阱
研究人员测试了给 AI 一本“笔记本”（记忆）来总结其发现是否有所帮助。

发现： 这往往让情况变得更糟！AI 会被自己的总结搞糊涂，从而过早停止探索。有时，让 AI 查看自己行动的历史记录，而不是查看总结后的笔记，效果更好。

5. 幻觉（编造事实）很少见
人们主要担心 AI 可能会因为它从训练数据中“记住”了某些内容而编造事实。

发现： 论文发现，AI 很少编造数据库中不存在的事实。如果它答错了，通常是因为它不够努力地去寻找，而不是因为它在撒谎。

结论

这篇论文引入了一种测试 AI 的新方法：不要问它问题，让它去探索。

结果表明，虽然 AI 在遵循指令方面越来越出色，但它仍在学习如何成为一名真正的调查员。最成功的模型并非仅仅是最大的那些；而是那些学会了探索策略的模型：广泛观察、深入挖掘，并知道何时停止。

简而言之： 我们正在从构建能回答问题的 AI，转向构建能提出问题的 AI。但目前，只有少数模型真正准备好胜任这项工作。

技术摘要：评估大语言模型在深度数据研究中的表现

问题陈述

当前对代理型大语言模型（Agentic LLMs）的评估主要集中于执行智能——即完成预定义任务或回答特定用户查询的能力。这种框架将执行与探究智能混为一谈，后者是指自主决定探索内容、提出假设以及确定何时终止调查的能力。在现实世界的数据科学中，分析师从原始结构化数据开始，没有预定义的问题，随着模式的显现迭代地完善假设。现有的数据科学基准（LLM4DS）通常依赖预定义问题、主观的报告质量评估，或“以 LLM 为裁判”的机制，这些机制无法针对源数据客观地验证事实主张。此外，当前的基准通常将代理交互限制在短视野（几十步）内，未能捕捉长视野自主探索的复杂性。

方法论

深度数据研究（DDR）的形式化

作者将深度数据研究（DDR）形式化为一个开放式任务 $I = \text{DDR}(\text{LLM}, D, T)$ ，其中代理被赋予一个结构化数据库 $D$ 和一套工具集 $T$ （SQL 和 Python），但没有预定义的问题、目标或交互限制。

输入： 一个最小化的起始提示，指定任务实体（例如，“开始分析用户 ID=2048"）和基本的数据库元数据。
过程： 代理在多轮中进行 ReAct 风格的交互循环 $(r, t, o)$ ，其中 $r$ 是推理， $t$ 是工具调用， $o$ 是观察结果。代理自主决定何时停止探索。
输出： 两类洞察：
1. 逐消息洞察（ $I_m$ ）： 对每一轮交互的增量解读。
2. 轨迹洞察（ $I_t$ ）： 综合整个探索历史生成的全面报告。

DDR-Bench 的构建

为了评估 DDR，作者引入了DDR-Bench，这是一个包含三个不同现实世界场景的大规模基准：

MIMIC-IV： 一个去标识化的电子健康记录（EHR）数据库。代理必须从结构化表格和非结构化临床笔记中重建患者护理轨迹并提取临床洞察。
GLOBEM： 一个结合可穿戴传感器信号与调查数据的运动与运动心理学数据集。代理必须识别时间模式并将行为数据与心理状态联系起来。
10-K： 美国上市公司的财务报告，整合了结构化的 XBRL 财务报表和非结构化的文本披露。代理必须综合经济状况和财务趋势。

评估框架：

基于清单的验证： 基准不使用主观评分，而是使用源自数据库非结构化组件（如临床笔记、调查回复、财务披露）的事实清单。
客观评分： 针对每个任务实体，生成一个可验证事实的清单。一个作为检查器的 LLM（GPT-5-mini）评估代理生成的洞察是否提供了支持每个事实项目的充分证据。
新颖性分析： 为了解决清单无法覆盖所有有效洞察的局限性，作者对“新颖”洞察（未用于清单验证的洞察）进行成对比较，以根据未验证发现的有用性对模型进行排名。

实验设计

极简代理脚手架： 该基准使用轻量级的 ReAct 代理，没有外部记忆、规划模块或复杂的脚手架，以隔离模型的内在能力。
扩展性分析： 研究考察了交互轮次、令牌消耗和推理成本方面的性能。
消融研究： 作者分析了训练因素（参数规模、上下文长度、训练代次）和代理模块（记忆、推理预算）对性能的影响。

关键结果

整体性能

探究代理能力有限： 即使是前沿模型也难以应对 DDR。只有Claude 4.5 Sonnet的平均清单准确率超过 40%（总体为 47.73%）。其他顶级模型（GPT-5.2、DeepSeek-V3.2、GLM-4.6）的得分显著较低。
洞察类型的差异： 逐消息洞察（ $I_m$ ）和轨迹洞察（ $I_t$ ）之间的性能存在差异，表明整合全局背景与增量分析是不同的挑战。
新颖性相关性： 清单准确率与新颖洞察的有用性之间存在强相关性（Spearman $\rho > 0.72$ ），验证了基于清单的评估能够捕捉模型能力的主导信号。

扩展性与动态

交互扩展性： 性能遵循 S 形曲线。高性能模型（如 Claude、GLM）通常延迟快速提升，表现出通过隐式规划而非显式提示的“先规划后行动”动态。
令牌与成本扩展性： 性能提升不成比例地由后期阶段的高价值令牌（深入、有针对性的查询）驱动，而非早期的广泛探索。
探索模式： 成功的模型表现出平衡的探索机制，在保持高数据库覆盖率的同时具有低熵（聚焦访问）。较弱的模型要么探索过于狭窄，要么注意力分布过于分散。
自主终止： 较强的模型在自主终止方面表现出更高的信心，而较弱的模型则表现出波动的信心，往往过早终止或陷入循环。

训练与模块分析

扩展并非万能： 在没有特定代理训练的情况下，增加参数规模（例如在 Qwen 家族内）带来的收益微乎其微（参数增加 10 倍，改进幅度<3%）。
训练策略至关重要： 采用“代理优先”训练策略的模型（Qwen3 和 Qwen3-Next）显著优于其前身，即使激活参数更少。这表明系统性的代理训练（预训练和强化学习）比规模或上下文长度更为关键。
代理模块： 与极简的 ReAct 基线相比，添加外部记忆或复杂的规划模块往往会降低性能，这表明当前模型从内在能力中获益更多，而非外部脚手架。

失败模式与幻觉

主要失败： 58% 的错误源于探索不足（缺乏广度或深度），通常是由于过早的自主终止。
幻觉： 幻觉率较低（大多数模型<5%），并且与准确率没有显著相关性。这表明数据污染不是该设置下性能虚高的主要驱动因素。

意义与主张

本文声称建立了一个评估探究智能的严格框架，将其与执行智能区分开来。其主要贡献包括：

DDR 的形式化： 定义了一个开放式场景，其中代理必须在没有预定义目标的情况下自主探索结构化数据。
DDR-Bench： 提供了首个大规模、基于清单的基准，能够对长视野数据探索进行可验证的客观评估。
实证洞察： 揭示了当前的前沿模型虽然显示出新兴的代理能力，但远未掌握深度数据研究。向有效探究智能的转变，较少依赖外部脚手架或简单的参数扩展，而更多依赖于通过代理导向训练开发的内在策略。

作者得出结论，该领域必须超越查询 - 响应对齐，转向培养端到端自主性的训练范式，使代理能够主动定义目标并从大规模数据中推导有用的洞察。