🤖 AI

MDIA: A Multi-Agent Diagnostic Intelligence Pipeline on HealthBench Professional

本文介绍了 MDIA，这是一种多智能体诊断系统，它利用基于未微调大语言模型的 7 节点专科路由图，在 HealthBench Professional 基准测试中显著优于标准临床聊天机器人，证明了架构设计和引擎级特性是驱动智能体临床性能的关键因素，同时凸显了不同评估评分模型所引入的变异性。

原作者： Roberto Cruz, David Rey-Blanco

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Roberto Cruz, David Rey-Blanco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个复杂的医学谜团。你可以请一位非常聪明的医生查看病例并给你一个答案。或者，你可以组建一个超级团队，由多位专家互相交流、核实事实，并在将最终报告交给你之前进行双重检查。

本文描述了名为MDIA的该超级团队的创建过程，以及它在名为HealthBench Professional的极具难度的测试中的表现。

以下是他们所做工作的分解，使用了简单的类比：

1. 核心理念：团队协作胜过单一天才

大多数人认为，让智能 AI 回答医学问题的最佳方式仅仅是让 AI 变得更聪明（通过更多训练）。但作者发现，如何组织团队比仅仅拥有一个聪明的个体更为重要。

旧方式：一个 AI 试图独自完成所有工作。这就像要求一位全科医生同时担任外科医生、神经科医生和药剂师。
MDIA 方式：他们构建了一个7 步流水线（一个“图”）。
1. 接待：一位接待员收集所有患者病史并运行药物安全检查。
2. 路由：一位经理查看问题并说：“这是胃部问题，转给胃肠团队”，或者“这是脑部问题，转给神经团队”。
3. 专家：三位特定专家（胃肠、眼科、神经）和一位通才承担繁重工作。
4. 综合者：一位撰写员将专家的笔记转化为给患者的清晰答案。
5. 验证者：一位安全检查员检查最终答案，确保其安全且不过长。

2. 关键秘诀：倾听完整故事

作者发现这些测试通常的运行方式中存在一个巨大的“漏洞”。

问题：想象一位患者说：“我胃痛。”然后在下一条消息中说：“哦，而且我还服用了这种特定的药片。”
错误：大多数测试系统只读取最后一条消息（“我服用了这种药片”），而忘记了第一条消息（“我胃痛”）。这就像侦探无视犯罪现场，只查看嫌疑人的不在场证明。
修正：MDIA 被设计为记住整个对话。当他们修正测试以包含完整故事时，分数大幅跃升（约 6 分）。这并不是因为 AI 变得更聪明了；而是因为测试终于允许 AI 使用它已有的信息。

3. 结果：击败“黄金标准”

作者将他们的系统与当前的“冠军”（OpenAI 的 ChatGPT for Clinicians）以及一组人类医生进行了测试对比。

分数：MDIA 得分为0.6272。
对比：
- 人类医生（基准）：约 0.44
- OpenAI 最佳系统：0.59
- MDIA：0.63
注意事项：论文承认这一胜利是“方向性”的，意味着这是一场胜利，但差距足够小，可能归因于运气或评分方式。这就像以几分之一秒的优势赢得比赛；你赢了，但非常接近。

4. “裁判”问题

这里是转折：论文使用两个不同的“裁判”（对答案进行评分的 AI 模型）测试了他们的系统。

裁判 A（GPT-5.4）：给 MDIA 打了0.6272分。
裁判 B（Gemini 2.5 Pro）：给 MDIA 打了0.6585分。
教训：分数取决于谁在评分。一位裁判喜欢冗长详细的回答；另一位则更喜欢简短的回答。作者认为，要真正了解 AI 是否优秀，你需要多位裁判，而不仅仅是一位。

5. 工程“管道”至关重要

许多改进并非来自用新数学让 AI 变得更“聪明”，而是来自修复管道：

安全门：他们添加了一条规则，阻止 AI 建议危险的药物组合（例如将退烧药与某种胃药混合）。
长度控制：测试会对过长的答案进行扣分。作者教会了 AI 保持简洁（去除废话），同时不削减重要的医学事实。这消除了因“冗长”而损失的分数。
可靠性：他们修复了系统偶尔崩溃或返回空答案的漏洞。修复这些“故障”恢复了约 3-4 分的性能。

总结

该论文声称，架构（如何构建团队）和工程（修复工具和规则）与大脑（AI 模型）本身同样重要。

他们建立了一个专门的医疗团队，在获得完整的对话背景并得到公平评分时，能够在特定且严格的测试中超越人类医生和当前的市场领导者。然而，他们警告说，结果对如何运行测试以及谁在评分非常敏感，因此我们不应将其视为最终完美的解决方案。这是一个强大的原型，表明医疗 AI 的未来在于专家团队，而不仅仅是一个超级大脑。

技术摘要：MDIA——基于 HealthBench Professional 的多智能体诊断智能流水线

问题陈述

本文探讨了在临床环境中评估大语言模型（LLM）所面临的挑战，具体使用了 OpenAI 的HealthBench Professional基准。该基准包含 525 个基于真实医生对话生成的、按评分标准分级的案例，旨在具有对抗性和多轮对话特性。

作者指出了当前文献中的两个主要差距：

架构与提示工程：尽管许多代理型 LLM 基准测试中报告的增益归因于提示工程，但作者假设通过架构和引擎级别的设计可以实现显著改进。
评估方法论：先前的工作未充分考察基准的多轮对话结构与标准评估工具设计之间的相互作用。具体而言，“简单评估（simple-evals）”的默认策略通常将对话扁平化为最后一条用户消息，静默地丢弃了后续轮次的上下文（这些后续轮次占基准案例的 22%）。

方法论：MDIA 架构

作者提出了MDIA（多智能体诊断智能代理），这是一个在 TietAI Hydra 平台上执行的协调式 7 节点有向无环图（DAG）。该系统运行在非微调的通用 LLM（用于推理的 Gemini 3.1 Pro）上，并利用了一套 14 种医疗工具。

图结构包含以下节点：

接诊编排器：一个调用工具的科研代理，使用 PubMed、DailyMed、UMLS、ICD-10 和经过站点过滤的网页搜索等工具收集结构化的临床档案。它具备多轮感知能力，保留对话历史。
路由器（专科分类器）：分析档案并将任务分支至三个领域专家推理器（胃肠病学、眼科、神经病学）或通才路径之一。
专科推理器：三个专用代理（胃肠、眼科、神经），配备精选的锚定知识（例如格拉斯哥 - 布拉奇福德评分、NIHSS 评分、东京指南）。
通才推理器：处理未被三位专家覆盖的“长尾”专科领域。
输出合成器：将推理器的简报转换为面向用户的回复，并施加长度约束（目标 2000–3000 字符，硬性上限 4000 字符）。
验证器：执行最终的安全性和格式检查。
药物状态安全门：在内容生成前进行的强制性检查，拒绝或警告危险的药物 - 患者状态组合（例如伴有发热时服用洛哌丁胺），同时排除教育性语境以防止过度拒绝。

关键工程干预措施：

多轮处理：修改了评估工具，使其传递完整的对话历史（multiturn 策略），而不仅仅是最后一条用户消息（last_user）。
引擎可靠性：修复措施包括去除 JSON 代码围栏、空输出重试以及针对特定模型的地点覆盖，以确保稳定执行。
搜索卫生：实施针对高权威性医疗来源（如 PubMed、NICE、UpToDate）的站点过滤查询，以减少噪声。
长度指导：明确约束以减少冗长，同时不丢失临床锚点，从而解决基准测试中的长度惩罚问题。

关键结果

本文报告了在完整 HealthBench Professional 数据集（ $n=525$ ）上使用两种不同评分器（OpenAI 的 GPT-5.4-2026-03-05 和 Google 的 Gemini 2.5 Pro）的结果。

在 GPT-5.4 评分器下的表现：

MDIA v1.0.53：得分为 0.6272。
对比：
- 比 OpenAI 的“临床医生 ChatGPT"（0.590）高出 3.72 个百分点。作者指出，该差距在自举标准差范围内（ $\sigma \approx 0.023$ ），应被视为方向性而非决定性的。
- 比 GPT-5.4 单智能体基线（0.481）高出 14.62 个百分点。
- 比医生撰写的回复（0.437）高出 19.02 个百分点。

在 Gemini 2.5 Pro 评分器下的表现：

MDIA v1.0.53：得分为 0.6585（v1.0.50 版本为 0.6771）。
观察：评分器的选择引入了显著的可变性。例如，长度指导干预（v1.0.53）提高了 GPT-5.4 的得分，但 Gemini 的得分略有下降，这表明不同的评分器对简洁性与详尽性的权衡方式不同。

特定干预措施的影响：

多轮上下文：从 last_user 扁平化切换到 multiturn 扁平化，使得分提高了 5.0 个百分点（Pro 评分）和 6.3 个百分点（GPT-5.4 评分）。这一提升完全来自于具有后续轮次的 22% 的案例。
引擎可靠性：执行引擎的修复挽回了约 3–4 个百分点 因基础设施不稳定而损失的分数（将空回复率从 3.8% 降低至 0.2%）。
专科路由：分支至特定推理器（胃肠、眼科、神经）比仅使用通才方法提供了 3.1 个百分点 的提升。

意义与主张

本文提出了四项主要贡献：

架构优越性：证明了在通用、非微调 LLM 上的多智能体流水线可以在同一评分器下优于专有、特定领域的模型（临床医生 ChatGPT）。作者将此归因于系统架构（专科路由、安全门控、多轮上下文），而非模型微调。
评估缺陷识别：本文强调，评估工具中标准的“最后一条用户消息”扁平化策略低估了上下文感知代理的性能，幅度约为 6 个百分点。它主张所有未来的 HealthBench Professional 报告必须披露扁平化策略。
工程稳健性：记录了引擎级别的可靠性（处理空输出、JSON 解析、地点覆盖）是一个关键但常被忽视的因素，可能导致 3–4 个百分点的性能差异。
评分器可变性：该研究重申，作为裁判的 LLM 评估对评分器的选择非常敏感。作者声称，稳健的评估需要在多个独立的评分器模型上进行评估，以确保公平性并减少偏差。

局限性与注意事项：

作者明确指出，与临床医生 ChatGPT 相比的 3.72 个百分点差距处于统计噪声范围内，且 OpenAI 未发布其系统的置信区间。
由于缺乏关于 OpenAI 自身评估工具（特别是是否使用了多轮上下文）的文档，对比变得复杂。
结果被呈现为系统能力的技术指标，而非确定的临床验证，并承认基准发布者（OpenAI）同时也是模型供应商。

本文结论认为，代理型临床基准测试的表现由基础模型和编排架构共同塑造，未来的基准测试必须优先考虑评估工具的透明度和多评分器验证。