🤖 AI

Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification

本文介绍了 DeepVerifier，这是一个通过基于新颖失败分类法导出的标准迭代验证和精炼输出，利用推理时扩展来增强深度研究智能体的自演进框架，在无需额外训练的情况下实现了显著的准确率提升，同时发布了相应数据集以支持开源进步。

原作者： Yuxuan Wan, Tianqing Fang, Zaitang Li, Yintong Huo, Wenxuan Wang, Haitao Mi, Dong Yu, Michael R. Lyu

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxuan Wan, Tianqing Fang, Zaitang Li, Yintong Huo, Wenxuan Wang, Haitao Mi, Dong Yu, Michael R. Lyu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但有时过于自信的研究助理，名叫“深度研究代理”（Deep Research Agent，简称 DRA）。这位助理擅长搜集信息、浏览数百个网站并撰写报告。然而，像任何人一样，他们也会犯错：可能会读错网站、误解问题，或自信地陈述一个并不存在的事实。

通常，如果这位助理犯了错，你必须叫停他们，解释哪里出了问题，并希望他们下次做得更好。但如果这位助理能在你看到结果之前自行检查工作，发现并即时修正自己的错误，那会怎样呢？

这正是本文所提出的方案。他们构建了一个名为DeepVerifier的系统，充当这些 AI 代理的“自我修正编辑”。

以下是其工作原理，分解为几个简单概念：

1. 问题：“全有或全无”的陷阱

当 AI 试图解决一个难题（例如“查找某位研究人员最早发表的成果”）时，它常常会在一系列步骤中迷失方向。如果你要求标准 AI“检查这个答案是否正确”，它往往会失败，因为检查一个复杂答案的难度与最初解决问题本身相当。这就像让学生在没有评分标准的情况下，给自己批改一篇 50 页的论文；他们可能会忽略细微的错误。

2. 解决方案：“评分标准”与“橡皮图章”

研究人员意识到，检查一个答案实际上比创建一个答案更容易。他们称之为“验证的非对称性”。

为了使这一机制生效，他们创建了一个失败分类法。你可以将其想象成一份巨大的清单，列出了 AI 可能出错的所有方式。他们分析了数千个过去的错误，并将其归类为 5 个主要类别和 13 个子类别（例如“使用了错误的来源”、“误解了指令”或“编造了事实”）。

DeepVerifier利用这份清单充当严格的编辑：

分解器：它不要求 AI 重新阅读整篇杂乱的报告，而是将问题拆解为微小、简单的问题。它不问“整篇报告对吗？”，而是问“来源 X 真的说过 Y 吗？”或“这个数字在最新报告中是否正确？”
验证器：它利用清单回答这些微小问题。
裁决者：它给出一个分数（1 到 4 分）和具体的反馈。如果答案错误，它不会只说“不对”，而是会说：“你在这个事实上使用了错误的来源。请回去查找原始文档。”

3. 魔法：“测试时自我进化”

最酷的部分在于，这一切发生在AI 工作过程中，无需重新训练 AI 的“大脑”（这既昂贵又缓慢）。

想象一下，AI 写出了一个答案。DeepVerifier 阅读后，发现一个缺陷，并说：“嘿，你漏掉了这个细节。”然后 AI 利用该反馈重写答案。他们在一个循环中重复此过程（就像一轮编辑）：

第 1 轮：AI 写出答案。
第 2 轮：DeepVerifier 发现错误，AI 修正它们。
第 3 轮：DeepVerifier 发现更多细微错误，AI 再次修正。

论文表明，只需经过几轮这种“自我编辑”，AI 就会变得显著更聪明。在困难测试（如 GAIA 基准测试）中，AI 的准确率提升了8% 到 11%。对于一个未经重新训练、仅获得了更好自我检查方法的 AI 来说，这是一个巨大的飞跃。

4. 给社区的礼物："DeepVerifier-4K"

研究人员没有将这一技巧据为己有。他们意识到，为了让开源 AI 模型（免费的那些）擅长这种自我检查，它们需要练习。

因此，他们创建了一个名为DeepVerifier-4K的数据集。你可以将其想象成一本包含 4,646 个示例的“训练手册”，内容包括：

AI 犯下的错误。
“编辑”（DeepVerifier）利用清单准确指出出错之处。
AI 修正错误。

他们利用这本手册教导开源模型如何成为自己的编辑。结果如何？这些开源模型在推理和捕捉自身错误方面变得更强，缩小了与昂贵闭源模型之间的差距。

总结

简而言之，这篇论文教导 AI 代理在提交工作前停下来思考。通过将大问题分解为可检查的小事实，并利用常见错误的严格清单，AI 可以实时自我修正。这就像给 AI 一面镜子和一本规则手册，使其能够即时进化并改进答案，而无需老师从头开始重新训练它。

以下是论文《推理时扩展验证：基于测试时评分指南验证的自进化深度研究智能体》的详细技术总结。

1. 问题陈述

由大型语言模型（LLM）驱动的**深度研究智能体（DRAs）**正在改变自动化知识发现，但存在可靠性问题。常见的失败模式包括幻觉、API 使用错误、依赖不完整的二手来源以及推理错误。

当前方法的局限性： 现有方法主要侧重于通过后训练（监督微调或强化学习）来增强策略能力。虽然存在“测试时扩展”（例如 Best-of-N 采样），但它往往失效，因为不同的生成轨迹倾向于重复相同的系统性错误。
差距： 缺乏可扩展的自动化框架，使智能体能够在推理过程中通过验证自身输出、生成针对性反馈并无需额外训练即可完善答案。此外，生成高质量反馈十分困难，因为它需要复杂的推理能力。

2. 方法论

作者提出了DeepVerifier，这是一个利用验证不对称性（检查答案通常比生成答案更容易）来实现迭代自我改进的框架。该方法由三个核心组件组成：

A. DRA 失败分类法

为了指导验证，作者基于对 WebAggregatorQA 数据集中 555 个错误点的分析，构建了智能体失败的系统分类法。

结构： 该分类法将失败分为5 个主要类别和13 个子类别。
关键发现： 最常见的失败模式是**“寻找来源”（例如，咨询错误的证据、进行通用搜索），其次是“推理”**（过早下结论、幻觉）。
用途： 该分类法作为创建结构化评分指南的基础，以指导验证过程。

B. DeepVerifier 框架

DeepVerifier 是一个三阶段、多模块的流水线，旨在分解复杂的验证任务：

分解智能体：
- 该智能体不要求 LLM 重新解决整个复杂任务（这容易出错），而是总结原始轨迹，并基于失败分类法识别潜在的错误点。
- 它提出高杠杆的后续问题，针对特定的弱点（例如，“来源 X 是否明确陈述了主张 Y？”）。
验证智能体：
- 使用外部工具（网络搜索、代码执行）执行后续问题，以收集具体证据。
评判智能体：
- 根据轨迹总结、潜在错误列表以及从后续问题中收集的证据，评估原始答案。
- 输出**基于评分指南的分数（1–4 分）**以及详细、可操作的反馈。

C. 测试时扩展与自进化

迭代循环： 智能体生成答案 $\rightarrow$ DeepVerifier 检查答案 $\rightarrow$ 提供反馈 $\rightarrow$ 智能体重试/完善答案。
评分指南引导的反馈： 反馈不是通用的；它源自特定的失败分类法，确保智能体确切知道为何失败（例如，“你依赖了通用搜索而不是主要来源”）。
无需训练： 此过程完全在推理时发生，无需对基础模型进行梯度更新。

D. DeepVerifier-4K 数据集

为了使开源模型具备强大的验证能力，作者创建了DeepVerifier-4K，这是一个精心策划的监督微调（SFT）数据集，包含 4,646 个高质量提示 - 响应对。这些对专注于反思和自我批评过程，使开源模型（如 Qwen）能够学习如何验证和完善其自身输出。

3. 主要贡献

智能体反思的形式化： 本文形式化了 DRAs 的反思流水线，利用验证不对称性，从整体评判转向针对性的证据检查。
DRA 失败分类法： 创建了一个全面的、自动构建的分类法（5 个类别，13 个子类别），系统地分类智能体失败，作为基于评分指南的奖励的蓝图。
DeepVerifier 框架： 一个即插即用模块，集成了验证和反馈生成，性能优于标准的“智能体即评判”和 LLM 评判基线。
DeepVerifier-4K 数据集： 向开源社区发布的高质量 SFT 数据集，用于训练模型的反思和自我批评能力，解决了该特定能力数据稀缺的问题。

4. 实验结果

验证性能（元评估）

DeepVerifier 显著优于普通的“智能体即评判”和标准 LLM 评判。
指标： 它在元评估 F1 分数上实现了**12%–48%**的提升。
消融实验： 移除分解模块会导致高精确度但低召回率（遗漏细微错误）。移除验证模块会导致准确性差。完整流水线平衡了两者。

推理时扩展（性能提升）

闭源模型（Claude-3.7-Sonnet）：
- 在GAIA基准测试中，准确率提高了8%–11%（例如，GAIA-Web 从约 52% 上升至约 63.5%）。
- 在XBench-DeepSearch上，提升达到6%。
- 在BrowseComp（极难）上，提升达到5%。
开源模型（Qwen3-8B / DeepVerifier-8B）：
- 在DeepVerifier-4K上微调的模型表现出卓越的反思能力。
- DeepVerifier-8B在经过 10 轮反思后实现了5.5% 的准确率提升，显著优于基础 Qwen3-8B 和仅在标准数据上训练的 CK-Pro-8B。

扩展趋势

性能通常在3–4 轮反馈时达到峰值。
早期轮次修复了许多错误（错误 $\to$ 正确），但后期轮次存在过度修正的风险（正确 $\to$ 错误）。该框架包含一个早期停止机制，当验证器接受答案时即停止。

5. 意义与影响

范式转变： 本文将重点从单纯训练更好的智能体转向在推理时扩展验证。它证明了智能体可以在没有额外训练成本的情况下有效地自我纠正。
可扩展性： 该方法与模型无关，既适用于强大的闭源 API，也适用于微调后的开源模型。
资源效率： 通过将验证分解为小个子任务而不是重新解决整个问题，与 Best-of-N 等暴力方法相比，它提供了更好的准确率与成本权衡。
社区贡献： 发布失败分类法和DeepVerifier-4K数据集，为未来增强反思的强化学习（RL）研究和可信智能体开发提供了关键基础。

总之，这项工作确立了结构化、评分指南引导的验证是扩展深度研究智能体可靠性的强大机制，将推理时计算转化为自我改进循环，显著提高了复杂多步推理任务的准确性。