💬 NLP

DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments

该论文介绍了 DRNOISE，这是一个基准测试，它证明了深度研究智能体在面对开放网络环境中看似合理的误导性文档时，其准确率会显著下降，这主要是由于一种被称为“验证惯性”的失效模式导致的，即智能体会过早地听从直接的错误主张，而不是积极地将其与佐证证据进行协调。

原作者： Jun Nie, Zhiqin Yang, Zhenheng Tang, Yonggang Zhang, Xiaowen Chu, Xinmei Tian, Bo Han

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jun Nie, Zhiqin Yang, Zhenheng Tang, Yonggang Zhang, Xiaowen Chu, Xinmei Tian, Bo Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜团的侦探。在人工智能的世界里，有一些特殊的程序被称为“深度研究智能体”（deep research agents）。你可以把它们想象成拥有超能力的实习生，能够阅读数千份文件、搜索互联网，并将线索拼凑起来以回答复杂的问题。它们的工作不仅仅是找到一句包含答案的话；它们需要钻研混乱的记录堆、交叉验证事实，并在给出结论之前构建一个稳固的案例。

但棘手的地方在于：互联网是一个嘈ole（嘈杂）的地方。它充满了有用的事实，但也充斥着过时的报告、令人困惑的摘要，以及有时看起来非常专业但完全错误的文档。研究人员提出的核心问题是：当这些 AI 侦探发现一份看起来像是完美答案的文档时，它们会立即信任它吗？还是会停下来，根据那些凌乱、难以阅读的证据进行反复核实？如果它们太快地相信了那个光鲜亮丽、易于理解的谎言，它们可能会给出一个自信但完全错误的答案。这就是“误导性证据”的危险，也是让 AI 在金融或法律等现实工作领域变得可靠的主要障碍。

于是，一项名为 DRNOISE 的新研究出现了，它就像一个陷阱，用来测试这些 AI 侦探到底有多聪明。研究人员创建了一个包含 100 个不同谜题的游戏。在“干净”版本的游戏中，AI 必须通过连接两条独立的线索链来找到正确答案。这就像是通过将海盗日记中的地图与船长日志进行匹配来寻找宝藏；这两份文件都没有直接说“此处有宝藏”，但当你把它们组合在一起时，答案就变得清晰了。AI 必须完成这种“连点成线”的艰苦工作。

接着，研究人员引入了“噪声”版本。他们使用了完全相同的谜题和完全相同的线索，但其中混入了一份额外的文档。这份新文档是一个“虚假摘要”——它看起来像是一份正常的商业报告，但却大胆地陈述了一个完全错误的答案。这在数字层面上相当于一个指向错误方向的指示牌，上面用大号粗体字写着：“宝藏就在这里！”

结果令人震惊。当 AI 智能体面对“干净”的谜题时，最聪明的那些几乎都能答对（有些得分超过 96%）。但一旦加入了那一份虚假的、具有误导性的文档，它们的表现便大幅崩塌。最优秀的智能体看到准确率下降了多达 88 个百分点。一些原本近乎完美的聪明模型，突然间几乎所有的题目都答错了，准确率低至 1%。

研究人员挖掘了 AI 的“思维过程”，以了解发生这种情况的原因。他们发现，AI 并不是因为找不到真相而失败。事实上，AI 通常在找到真实线索的同时，也找到了那份虚假文档。问题在于，AI 停止得太早了。它看到了那份带有直接答案的虚假文档，心想：“哦，这看起来既简单又可信，”然后便决定停止搜索。它遭遇了作者所称的“验证惯性”（verification inertia）。这就像一名侦探发现了一个看起来有罪的嫌疑人，便立即将其逮捕，而忽略了去核实不在场证明或指纹证据。

研究还测试了是否可以通过简单地告诉 AI“嘿，小心点并检查你的工作”来修复它。虽然这起到了一点作用，但并没有解决问题。AI 仍然倾向于信任那个光鲜、直接的谎言，而非那些凌乱、难以阅读的真相。即使研究人员让虚假文档看起来没那么正式（比如从正式报告变成随机的论坛帖子），AI 大多数情况下仍然会上当。

最具有启发性的测试发生在研究人员将所有线索一次性交给 AI，而不让它进行搜索时。当 AI 看到全貌时——即真实的线索和虚假的谎言并排摆在一起时——它通常能够找出正确答案。这证明了 AI 确实具备解开谜题的能力；它只是在发现诱人的捷径后，缺乏继续寻找下去的自律。

简而言之，这篇论文表明，即使是最聪明的 AI 研究智能体也有一个盲点。它们擅长寻找信息，但在验证信息方面却显得异常“懒惰”。如果一份文档看起来是一个直接的答案，它们往往会停止思考并直接复制它，即便旁边的证据已经证明它是错误的。作者总结道，要让 AI 在混乱的现实世界中真正可靠，我们不仅要教它们如何寻找答案，还要教它们如何抵御那些看似容易、实则错误的诱惑。

技术摘要：DRNOISE —— 在误导性证据环境下对深度研究智能体的基准测试

问题陈述

深度研究智能体正越来越多地被部署用于在开放网络上执行复杂的知识工作，在这些环境中，它们必须从权威记录、冗余摘要和冲突声明的混合物中综合得出结论。这类环境中的一个关键脆弱性在于存在“类答案”文档——例如执行摘要、缓存事实表或二次新闻文章——这些文档呈现出流畅、直接的答案，但并不具备权威性。

目前的评估基准（如 GAIA、BrowseComp）主要评估智能体检索信息或导航复杂搜索空间的能力。然而，它们对于智能体在面对刻意植入的可信假文档时，是否能保持稳健的证据标准，提供的洞察非常有限。具体而言，目前尚不清楚智能体会将此类文档视为充分的结论依据，还是会继续将其与底层记录级证据进行比对验证。本文认为，一个关键的失效模式并非无法检索到真相，而是在面对一个具有吸引力的、直接的捷径时，过早地停止了验证过程。

方法论：DRNOISE 基准测试

作者引入了 DRNOISE，这是一个包含 100 个任务的基准测试，旨在隔离并衡量“在误导性证据下的答案恢复能力”。

任务构建

每个任务实例由一个元组 $(q, a^\star, \tilde{a}, E_A, E_B, F)$ 定义：

$q$ ：研究问题。
$a^\star$ ：唯一的金标准答案。
$E_A, E_B$ ：两条独立的、相互印证的间接记录链。没有任何单一文档直接陈述 $a^\star$ ；答案必须通过交叉这些底层记录中的约束条件来重构（例如，将供应商 ID 与认证状态及运输日志进行关联）。
$F$ ：一个“噪声”文档。在噪声条件下，会添加一个看起来很普通的单一文档，该文档直接陈述了一个冲突的答案 $\tilde{a}$ 。

实验设计

该基准测试采用**配对的干净–噪声干预（paired clean–noisy intervention）**设计：

干净条件（Clean Condition）：智能体在一个仅包含间接证据链（ $E_A, E_B$ ）的语料库上运行。
噪声条件（Noisy Condition）：语料库与干净版本完全相同，唯独添加了单个虚假的摘要文档 $F$ 。

这种设计确保了任何性能下降都不是由于检索能力不足导致的（因为支持真相的记录在两种条件下都存在），而是由于智能体证据使用策略的变化。该基准测试涵盖了 10 个任务族（例如实体选择、日期选择、布尔验证、多跳连接、总成本聚合），以确保该现象并非局限于特定的推理模式。

评估协议

作者使用固定的 BrowseComp-Plus 搜索智能体框架，配合 ReAct 式接口，评估了五种当代语言模型（Gemini 3.5 Flash, MiMo v2.5, GPT-5.4, DeepSeek V4 Flash, Qwen3-32B）。

指标：
- 干净准确率（Clean Accuracy）：在没有误导性文档时的表现。
- 噪声准确率（Noisy Accuracy）：在存在误导性文档时的表现。
- 条件顺从度（Conditional Deference）：指在干净条件下能正确解决、但在噪声条件下随后回答了注入的虚假值 $\tilde{a}$ 的任务比例。该指标隔离了因顺从误导性捷径而导致的特定失效。

关键结果

1. 剧烈的准确率下降

在具有强大干净任务表现能力的智能体中，单个误导性文档的引入导致了巨大的准确率跌幅（66–88 个百分点）。

DeepSeek V4 Flash 和 MiMo v2.5 的准确率从约 82–89% 的干净准确率降至约 1% 的噪声准确率。
Gemini 3.5 Flash 从 96.3% 降至 26.0%。
GPT-5.4 从 81.7% 降至 15.7%。

2. 系统性的验证惯性

轨迹分析显示，主要的失效模式是过早停止（premature stopping）。

检索暴露：在噪声条件下，智能体在 100% 的案例中都检索到了真实的间接记录（与虚假摘要共同检索到）。
停止行为：尽管检索到了支持真相的证据，智能体往往在完成证据链之前就停止了搜索。对于 GPT-5.4，平均搜索调用次数从 7.1 次（干净）降至 4.5 次（噪声），且检索完整证据路径的速率从 45% 降至 16%。
顺从（Deferral）：智能体经常将直接的、类答案的文档视为充分的结论，即使底层记录对其进行了反驳，它们仍会顺从于该文档。

3. 跨任务族的泛化性

这种性能退化在符号型任务（如实体选择、布尔验证）和数值型任务（如总成本聚合）中均有观察到，表明该问题是一个通用的停止/验证问题，而非算术或特定的推理失败。

4. 失效机制分析

验证提示词：通用的“针对文档进行验证”指令虽然减少了差距，但未能消除它（例如，GPT-5.4 的噪声准确率从 12% 提升至 28%）。
来源可信度：将虚假文档的来源从低可信度的论坛帖子改为高可信度的审计报告，并未显著降低顺从度（54% 对比 84% 的条件顺从度），这表明该效应在超过某一低可信度阈值后趋于饱和。
检索器类型：该效应在词法检索（BM25）下依然存在甚至比稠密检索（dense retrieval）下更为剧烈，从而排除了检索伪影作为主要原因的可能性。
直接真 vs 直接假：当在噪声条件下加入一个直接的真文档（使真相变得像谎言一样直接）时，准确率显著回升（从 12% 升至 63%），尽管仍存在残余的顺从现象。这表明，衍生出的真相与陈述出的虚假之间的不对称性是一个主要因素，但并非唯一原因。
全上下文 Oracle：当完整的证据被直接提供在上下文中（绕过检索过程）时，条件顺从度从 84% 降至 8%。这证实了主要失效在于搜索过程中的过早停止，而非无法协调可见的冲突。

贡献与意义

本文做出了三个主要贡献：

DRNOISE 基准测试：一个受控的 100 任务基准测试，它隔离了在存在充足间接证据的情况下，因顺从误导性直接陈述而导致的特定失效模式。
能力-部署差距的实证证据：结果表明，高性能智能体拥有解决这些任务的能力（由干净性能证明），但在噪声环境下无法部署这种能力。这种失效是一种向“验证惯性”转变的策略偏移，而非缺乏推理能力。
机制识别：通过轨迹分析和消融研究，作者确定了过早停止是主要的机制。智能体检索到了真实的记录，但会在将这些记录与误导性文档进行比对之前就停止搜索，将后者视为一个充分的终点。

结论

论文得出结论，可靠的深度研究不仅需要检索和引用，更需要将直接陈述与记录级证据进行主动比对。当前的智能体表现出一种系统性的倾向，即倾向于将类答案的断言视为充分证据，即使存在相互矛盾的底层记录。作者认为，未来的评估必须超越对信息获取能力的测试，转而测试智能体是否能够抵御来自看似合理的、直接答案的“捷径”，转而通过相互印证的证据来重构结论。