🤖 AI

DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems

DoVer 是一个面向大语言模型多智能体系统的干预驱动型自动调试框架，它通过通过针对性干预来主动验证假设，并以任务恢复和进展而非归因准确性作为衡量成功的标准，从而克服了仅依赖日志进行故障定位的局限性。

原作者： Ming Ma, Jue Zhang, Fangkai Yang, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ming Ma, Jue Zhang, Fangkai Yang, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一支数字助手（AI 智能体）团队，正齐心协力解决一个复杂的谜题，比如在互联网上寻找某个特定的历史事实，或者解决一道高难度的数学题。有时，这个团队会卡住或给出错误的答案。这被称为“失败”。

长期以来，当这些团队失败时，开发人员试图通过阅读发生的“日记”（日志）来修复它们，并询问一个聪明的 AI：究竟是谁犯了错，以及在何时犯的错。这就像是在观看一场车祸电影，然后试图指出司机转向的确切秒数。

该论文认为，这种“猜谜游戏”存在缺陷，原因有两个：

日记很混乱： 通常并不存在单一清晰的错误。团队可能会尝试策略 A，失败，然后尝试策略 B，再次失败。定位一个单一的“罪魁祸首”往往是不可能的，因为整个过程非常混乱。
仅仅靠猜是不够的： 即便你猜对了那个人，在实际动手修复之前，你并不知道自己是否真的正确。

解决方案：DoVer (先做后验 - Do-then-Verify)

作者引入了一个名为 DoVer 的新系统。DoVer 不仅仅是猜测谁错了，它说：“让我们试着修复它，看看是否奏效。”

把 DoVer 想象成一个带着时光机的机械师，他不仅是看着那辆坏掉的车，而是真的回到过去，调整了一下引擎，然后再次驾驶它，看看它能否正常运转。

以下是 DoVEr 的工作原理，使用一个简单的类比：

1. 将故事拆分为章节 (尝试分段 - Trial Segmentation)

当 AI 团队失败时，它们通常会经历几个“尝试”或“章节”。在第一章中，它们尝试通过滚动网页来寻找答案。在第二章中，它们意识到那行不通，于是尝试使用日历工具。

DoVer 的动作： 它将冗长、混乱的故事切割成这些不同的章节（尝试），以便它可以分别分析每一次尝试。

2. 进行有根据的猜测 (假设生成 - Hypothesis Generation)

对于每个章节，DoVer 会询问一个聪明的 AI：“根据这个故事，哪里出了问题？”

猜测： “我认为问题在于‘网络浏览器’智能体尝试点击了一个不存在的按钮。”

3. “做”的部分：干预 (The Intervention)

这是神奇的一步。DoVer 不仅仅是写下它的猜测，它实际上改变了故事。它回到“日记”中的那个特定时刻，并修改了指令。

编辑： 它告诉网络浏览器智能体：“不要点击那个按钮。相反，请滚动到页面底部。”
类比： 想象你正在导演一场戏。演员说错了台词。DoVer 不仅仅是写下一张纸条说“你说错了台词”。DoVer 停止表演，走上舞台，向演员耳语正确的台词，然后说：“现在，说这一句。”

4. “验证”的部分：重新运行这出戏 (Re-Running the Play)

在做出编辑之后，DoVer 让 AI 团队从那个确切的点继续进行。

如果团队解决了谜题： 那么猜测是正确的！干预奏效了。
如果团队仍然失败： 那么猜测就是错误的。也许问题不在于那个按钮，而是其他完全不同的东西。

他们发现了什么？

研究人员在两种不同的 AI 团队设置和多个困难数据集（如 GAIA 和 AssistantBench，这些类似于 AI 的高难度考试）上测试了 DoVer。

化失败为成功： DoVer 成功地将 18% 到 28% 的失败尝试转化为了成功。在某一个特定的数学数据集中，它修复了 49% 的失败案例。
即使没有赢得胜利也能取得进展： 即使 DoVer 没有解决整个谜题，它也经常能帮助团队比之前“走得更远”（例如到达下一个里程碑）。
测试猜测的准确性： DoVer 证明了大约 30% 到 60% 的关于“谁错了”的初始猜测实际上是正确（或错误）的。这非常重要，因为这意味着我们可以停止依赖不确定的直觉猜测，转而开始使用实际的证据。

为什么这很重要（根据论文观点）

论文声称，干预（实际修复并重新运行）是一种比仅仅进行归因（猜测谁该负责）更好的 AI 团队调试方式。

旧方法： “我认为智能体 A 在第 5 步出错了。”（未经证实的猜测）。
DoVer 方法： “我修改了智能体 A 在第步的指令。现在团队成功了。因此，智能体 A 就是问题所在。”（经过证实的实事）。

作者总结道，这种“先做后验”的方法让 AI 系统变得更加可靠，因为它关注的是结果（是否奏效？）而不是仅仅关注责备（谁做的？）。它还强调，有时问题不仅仅是一个糟糕的指令，而是智能体所使用的工具缺乏能力（例如一个无法正常滚动的浏览器），而该系统现在可以识别出这一点。

简而言之： DoVer 停止了 AI 调试变成一场“谁是凶手？”的游戏，并将其转变为一场“让我们修复它并看看效果”的游戏。

技术摘要：DoVer —— 面向 LLM 多智能体系统的干预驱动型自动调试

问题陈述

基于大语言模型（LLM）的多智能体系统正越来越多地被部署于复杂任务中，然而调试其失败过程仍然是一个显著的瓶颈。与传统的软件错误（如崩溃）不同，这些系统在执行过程中通常不会中断，但由于冗长的、分支化的交互轨迹以及智能体间的失调，会导致产生错误或不理想的结果。

目前的调试方法依赖于基于日志的故障归因，即通过 LLM 分析执行日志，以识别导致失败的具体智能体和步骤。本文指出该范式存在两个根本性的局限：

缺乏验证： 仅基于日志的调试只能生成假设而无法进行验证，从而导致生成的归因结果未经测试且可能是不正确的。
归因问题定义模糊（Ill-Posed Attribution）： 在多智能体设置中，失败往往源于复杂的交互，其中多个不同的干预措施都可以独立地修复任务。因此，将失败归因于单个“决定性”步骤或智能体往往具有歧义性，且缺乏唯一的基准真相（Ground Truth）。

作者通过对 Who&When (WW) 数据集的重现研究证明，失败步骤的基准真相标注经常存在不确定性（标注者分歧度为 15–30%），这是由于单次会话中存在多次尝试、智能体间协作的歧义性以及跨标注者的一致性挑战所致。这种不确定性严重限制了基于日志的归因模型的准确性。

方法论：DoVer 框架

为了解决这些局限性，作者提出了 DoVer (Do-then-Verify)，一个干预驱动的调试框架。DoVer 不再仅仅依赖静态的日志分析，而是将调试转化为一个动态过程：先生成假设，随后通过有针对性的干预进行主动验证。

DoVer 流水线由四个阶段组成：

试验分割（Trial Segmentation）：
系统根据规划更新（重规划步骤）将长执行日志分割成不同的“试验（trials）”。这种分解方式承认了现代智能体系统通常采用包含多次规划-执行循环的 ReAct 式循环。通过对特定的因果链进行分割，可以实现独立的、并行的干预，而不是将整个会话视为一个单一的整体。
故障归因（假设生成）：
对于每个试验，系统会生成一个假设（ $h_i$ ），识别可疑的故障智能体及步骤，并给出理由。此阶段利用现有的基于日志的归因方法，但将其输出视为可测试的假设，而非确定的基准真相。
干预生成：
将假设转化为具体的、可操作的干预措施。该框架侧重于编排器层级的干预（orchestrator-level interventions），以保持对不同智能体架构的通用性。干预分为以下类别：
- 修改指令： 编辑编排器发送给子智能体的消息，以澄清意图、修正参数或补充缺失的上下文。
- 计划更新： 修订编排器的高层计划（例如，重新排序或分解步骤），以绕过已识别的故障点。
  系统避免直接修改子智能体的代码或能力，而是专注于消息传递层。
干预执行与验证：
系统从干预点开始重放轨迹，并保留之前所有的上下文。随后通过两个主要指标评估结果：
- 试验成功率： 干预是否使一个失败的试验转变为成功的试验。
- 进度提升： 一个细粒度的指标，衡量干预是否推动系统向成功迈进（例如，实现了更多的里程碑），即使未能达到完全成功。
- 假设验证： 系统将结果分类为：已验证（成功）、被驳回（尽管忠实执行但失败持续存在）、部分验证（取得了进展但未成功）或不确定（由于工具限制导致干预未能执行）。

核心贡献

DoVer 框架： 引入了一个干预驱动的调试流水线，将范式从静态日志分析转向主动的“先做后验（do-then-verify）”式调试。
对基准真相不确定性的分析： 通过详细分析证明，由于多次尝试和智能体间失调，基于日志的故障归因在多智能体系统中存在本质上的局限性，其基准真相标签具有歧义性。
实证验证： 实验证据表明，DoVer 不仅能恢复很大一部分失败案例，还能提供明确的假设验证或驳回，从而减少了对噪声较大的人工标注的依赖。

实验结果

作者在两个智能体框架（Magentic-One 和 AutoGen2）以及多个数据集（GAIA, AssistantBench, 和 GSMPlus）上对 DoVer 进行了评估。

失败恢复：
- 在使用 GAIA 和 AssistantBench 数据集的 Magentic-One 上，DoVer 将 18–28% 的失败试验转变为成功。
- 在使用 AutoGen2 框架处理 GSMPlus 数据集时，DoVer 在失败案例上的转化率达到了 49%。
进度测量：
- 即使未能实现完全成功，干预措施也在高达 16% 的案例中实现了可量化的进度（通过里程碑达成情况衡量）。
假设验证：
- 根据任务复杂程度的不同，DoVer 成功验证或驳回了 30–60% 的失败假设。
- “不确定”案例（即系统无法执行干预的情况）凸显了特定的子智能体能力差距（例如，缺少“滚动到底部”工具），这为针对性的工具增强提供了路径。
模型无关性：
- 消融研究显示，通过使用 few-shot 提示，DoVer 在使用开源模型（Qwen3-8B, Qwen3-32B）时表现出色，缩小了与闭源模型（GPT-4o）之间的性能差距。
对比：
- DoVer 显著优于自我改进基线（Self-Refine 和 CRITIC），后者在相同数据集上实现了 0% 的恢复率，这证明了原位干预（in-situ intervention）优于轨迹末端的优化（end-of-trace refinement）。

重要性与主张

本文主张 DoVer 是提高智能体系统可靠性的一个实用且可扩展的机制。通过将重心从“归因准确性”（这往往定义模糊）转向“面向结果的调试”（衡量修复效果和进度），DoVer 提供了一种更稳健的调试方法。

作者强调，干预作为一种实用的工具，具有以下作用：

减轻标注负担： 通过执行过程中的显式验证，减少了对模糊人工标签的依赖。
识别系统性瓶颈： “不确定”案例作为一种诊断工具，能够揭示特定的子智能体能力差距（如工具限制），从而需要人工或自动化的精炼。
实现自我改进系统： 该框架将故障分析与实际修复联系起来，为构建更稳健、可验证且能自我改进的多智能体系统奠定了基础。

作者保持了谦逊的态度，指出其结果是针对特定框架和任务领域（网页搜索和数学）的可行性证据，而非普遍性的保证，并指出未来仍需解决长时间运行的生产负载和安全性约束等问题。