💬 NLP

PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows

PROTEA 是一个用于多智能体大语言模型工作流的离线、测试驱动式优化的统一接口，它通过基于图的评分和反向评估来定位瓶颈，使开发者能够迭代地编辑和验证提示词修订，从而显著提升系统性能。

原作者： Kazuki Kawamura, Satoshi Waki, Kei Tateno

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Kazuki Kawamura, Satoshi Waki, Kei Tateno

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一部戏剧的导演，而整个演员阵容完全由 AI 机器人组成。每个机器人都有特定的工作：一个负责读剧本，另一个负责核查事实，第三个负责撰写对白，第四个则负责最终演出。这就是开发人员所称的“多智能体大语言模型（LLM）工作流”。

通常，这些机器人团队的表现优于单个机器人试图同时完成所有任务。但问题在于：如果最终演出效果不佳，要弄清楚哪个机器人出了错简直是一场噩梦。是事实核查员获取了错误信息？是编剧误解了语气？还是最终演员只是临场发挥失误？

目前，开发人员不得不观看整部戏剧数小时的录像（即“追踪记录”），猜测错误是从哪里开始的。这就像试图通过重读每一个字，在一本 500 页的书中找出一个错别字。

现在，PROTEA 登场了。

将 PROTEA 想象成一个智能、互动的“排练室”，带有一束魔法聚光灯。它帮助开发人员调试和改进这些机器人团队，而无需一遍又一遍地重看整部电影。

以下是其工作原理，使用简单的类比：

1. 魔法聚光灯（节点级诊断）

PROTEA 不是审视整部戏剧，而是在每个机器人的工作站上放置一个交通信号灯。

🟢 绿色：该机器人完美完成了工作。
🟡 黄色：该机器人表现尚可，但可能有点马虎。
🔴 红色：该机器人搞砸了。

当最终答案错误时，PROTEA 不会只说“戏剧失败了”。它会立即高亮显示红色机器人，并说：“嘿，看这里！这个机器人给下一个机器人提供了错误的信息。”这节省了开发人员翻阅整个剧本的时间。

2. “逆向工程”（反向推理）

有时，开发人员只知道最终答案应该是什么（例如，“戏剧必须以欢快的笑声结束”），但他们没有关于中间机器人具体应该说什么的特定剧本。

PROTEA 使用一种称为反向推理的技巧。想象一下，你知道公路旅行的目的地，却不知道沿途的转弯。PROTEA 从“欢快的笑声”倒推回去，问道：“为了让最终机器人发笑，编剧机器人需要说什么？而为了让编剧机器人说出那些话，事实核查员需要提供什么？”

它根据最终目标为中间步骤生成一个“幽灵剧本”。然后，它将机器人实际所说的内容与这个“幽灵剧本”进行比较，以找出薄弱环节。

3. “编辑按钮”（提示词优化）

一旦 PROTEA 找到红色机器人，它不会只是指向它，而是提供建议的修复方案。

它显示机器人当前的指令（即“提示词”）。
它建议一个改进后的新指令版本。
它展示一个“修改前 vs. 修改后”的对比，就像照片编辑工具并排显示原始版本和编辑版本一样。

开发人员可以接受建议、微调它，或者忽略它。

4. “即时回放”（自动重跑）

最棒的部分是？开发人员一点击“保存”，PROTEA 就会立即用新指令重新运行整部戏剧。然后，它会显示分数图表：“看？之前分数是 64%。经过你的修改后，现在变成了 84%！”

这创造了一个快速循环：发现问题 → 建议修复 → 测试 → 查看结果。不再需要等待数天来观察更改是否有效。

他们实际取得了什么成果？

该论文在两个现实场景中测试了该系统（尽管他们保密了具体公司名称）：

文档审查：一个用于检查严格规则的文档系统。PROTEA 帮助将其准确率从64.3% 提升至 83.9%。
推荐系统：一个建议物品（如电影或产品）的聊天机器人。PROTEA 帮助其更频繁地将正确的推荐列入前五名，将分数从0.30 提升至 0.38。

他们还在一组六名经验丰富的 AI 开发人员中进行了测试。这些开发人员非常喜欢该系统，因为它让他们不再盯着无尽的日志，而是让他们专注于修复那个造成麻烦的具体机器人。

核心结论

PROTEA 是一款工具，它将调试 AI 机器人团队这一令人困惑且混乱的工作，转化为一个清晰、可视化的过程。它就像一位带有精彩集锦的教练，在一个地方向你展示究竟是哪个球员掉了链子，并提供修复它的战术手册。

技术摘要：PROTEA

问题陈述
多智能体大语言模型（LLM）工作流将多个特定角色的 LLM 调用组合成有向无环图（DAG），其表现往往优于单提示基线。然而，优化这些系统是一项复杂的、系统级的调试任务。最终输出的失败通常源于中间节点输出的细微错误，这些错误会向下游传播。当前的评估工具（例如 AgentBench、OpenAI Evals、RAGAs）通常侧重于端到端的成功指标或组件级评估（如检索相关性），但缺乏对图结构的感知诊断。因此，开发人员必须手动检查漫长的执行轨迹，以推断需要修改哪个节点以及如何修订其提示。此外，在现实的生产环境中，团队通常仅拥有终端输出的标签，为每个中间节点创建参考输出既昂贵又不切实际。

方法论：PROTEA 框架
PROTEA 是一个统一的、离线的、测试驱动的接口，专为多智能体 LLM 工作流的迭代优化而设计。它在一个固定的套件迭代循环中运行：执行工作流、评估中间节点、定位瓶颈、修订提示并重新评估。该系统围绕三个核心机制构建：

后向节点评估：为解决中间参考数据稀缺的问题，PROTEA 从最终答案参考和图上下文中生成候选的节点级期望。形式上，从最终节点的监督信号（ $y^*_{final}$ ）开始，系统利用参考生成步骤（ $M_{gen}$ ）根据下游需求推断上游节点所需的输出。这使得系统能够以反向拓扑顺序评估中间节点，将观察到的输出（ $y_v$ ）与这些生成的期望（ $\hat{y}_v$ ）进行比较，从而生成评分和理由。
基于图的诊断：PROTEA 将每个节点的状态（通过/警告/失败）和评估器理由直接叠加在工作流图上。节点按状态和评分排序，引导开发人员定位可能的瓶颈，而无需手动检查执行轨迹。
局部提示优化：对于选定的节点，PROTEA 根据评估器的理由提出针对性的提示修订（ $I'_v$ ）。这些修订以可编辑的“修订前/修订后”对比形式呈现。系统强制执行约束，以保持变量传递、输出格式，并防止测试特定内容泄露到提示中。一旦接受，工作流将在离线测试套件上自动重新运行，以追踪分数轨迹并验证改进效果。

主要贡献

用于迭代优化的统一接口：PROTEA 将执行、评估、诊断和提示编辑集成到单个循环中，减少了将评估证据转化为修复方案所需的人工努力。
用于监督的后向推理：该系统引入了一种从最终答案生成中间节点期望的方法，即使在缺乏中间真实标签的情况下也能实现有效的调试。
以开发者为中心的工作流：与 DSPy、OPRO 等自动优化方法（它们自主地针对目标函数进行优化）不同，PROTEA 揭示候选瓶颈并提出可检查的修订方案，允许开发人员在上下文中采纳、编辑或回滚更改。

实验结果
作者通过两项贴近生产的工作流研究、一项自动迭代压力测试以及一项包含六名经验丰富的 LLM 开发人员的形成性用户研究，对 PROTEA 进行了评估。

贴近生产的研究：
- 文档检查：在一个 5 节点的企业工作流中，迭代优化将文档检查准确率从 64.3% 提升至 83.9%。
- 对话推荐：在一个 6 节点的推荐工作流中，Hit@5 指标从 0.30 提升至 0.38。
- 在这两种情况下，该系统帮助追踪了约束传播，并减少了端到端阅读长轨迹的需求。
自动迭代压力测试：
- 该系统在 11 个独立生成的工作流上进行了测试。在 5 个初始提示极简的工作流子集中，“自动循环”模式（自动提议 - 保留循环）在 5 个案例中的 4 个里取得了比无重写基线更高的最佳分数。
- 显著的提升包括在课程调度工作流中从 0.186 跃升至 0.800。
- 在具有近乎二元标准（例如精确匹配的单词问题）的任务中观察到了局限性，其中缺乏中间推理的分级信号阻碍了优化。
用户研究：
- 六名经验丰富的开发人员认为，图级定位、每个节点的理由以及将提示修订与自动重新运行进行对比的能力具有价值。
- 参与者确定了未来的优先事项，包括评估器校准、与现有工具链（CI/CD）的集成以及版本控制支持。

意义与主张
本文主张，PROTEA 解决了 LLM 工程生命周期中的一个关键缺口：在监督仅限于最终输出的情况下，调试复杂多智能体系统的困难。通过将后向推理与“人在回路”的开发者接口相结合，PROTEA 实现了快速、测试驱动的优化，而无需对中间步骤进行详尽的人工标注。作者将该工具定位为自动提示优化的补充；虽然像 DSPy 这样的方法针对目标优化程序行为，但 PROTEA 专注于具体多智能体图的开发者工作流，揭示具体、可操作的瓶颈和局部修复方案。结果表明，此类接口可以显著提高工作流性能（例如，文档检查准确率提升 +19.6%），同时降低在复杂智能体图中追踪错误所带来的认知负荷。