💬 自然语言处理

AI Consilium: a Benchmark of LLM Clinical Multidisciplinary Second Opinions

该论文介绍了“AI Consilium”，这是一个利用 300 例 NEJM-MedQA 病例构建的基准测试，旨在证明与单模型输出相比，通过对大语言模型生成的临床意见进行结构化、多学科的综合处理，能显著增强事实依据、推理连贯性以及临床管理的可操作性，其中 GPT-5.6-Sol 脱颖而出成为表现最优的模型。

原作者： Alexey A. Bokov, Ivan I. Panin, Nikolay B. Nechaev, Mikhail Yu. Valkov, Valeria Yu. Chernina, Natalia Gombolevskaya, Ayyaz Hussain, Vladimir M. Agafonov, Victor A. Gombolevskiy, Aleksandr V. Nesterov

发布于 2026-10-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alexey A. Bokov, Ivan I. Panin, Nikolay B. Nechaev, Mikhail Yu. Valkov, Valeria Yu. Chernina, Natalia Gombolevskaya, Ayyaz Hussain, Vladimir M. Agafonov, Victor A. Gombolevskiy, Aleksandr V. Nesterov, Iaroslav R. Bespalov, Ivan V. Oseledets, Dmitry V. Dylov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

技术摘要：AI Consilium —— 大语言模型临床多学科第二意见的基准测试

问题陈述

尽管大语言模型（LLMs）在生成复杂临床病例的鉴别诊断方面已展现出熟练程度，但高质量的临床第二意见不仅需要诊断准确性，还必须具备事实依据、临床连贯性、可操作性和安全性。现有的评估往往仅依赖于诊断一致性，或将多智能体系统视为单一的“黑盒”，未能解构模型身份、响应结构（自由格式与结构化格式）以及合成过程本身的具体贡献。此外，关于多学科审议必然能提升结果的假设缺乏严谨的实证验证，特别是与计算量匹配的基线模型及孤立的角色特定意见进行对比时。因此，需要一个能够评估临床第二意见完整轨迹的基准测试——从独立的角色特定分析到多学科综合——并区分推理质量、最终结论与管理方案之间的差异。

方法论

作者利用来自 NEJM–MedQA 数据集（马萨诸塞州总医院病例记录）的 300 个已通过诊断解决的临床病例开发了一个基准测试。研究设计包含一个三阶段生成流水线和一个多维度评估框架。

1. 数据与流水线设计

数据集： 300 个独特病例被分为两部分：110 个病例用于医生标注和 LLM 裁判校准，190 个病例用于留出集评估。
生成流水线：
- 角色分配： 为每个病例分配 1–5 个临床角色（例如，放射科、内分泌科），并指定其中一个为主要角色。
- 前级会诊阶段（Pre-Consilium Stage）： 每个角色在两种条件下生成独立的第二意见：自由格式（叙述式）和结构化（受模式约束，包含症状、机制和管理等特定章节）。
- 交互式会诊阶段（Interactive Consilium Stage）： 通过交互式协议合成各角色意见。角色会对共享报告进行迭代审查（最多 5 轮），通过投“是”或“否”并附带评论进行投票。协调员负责解决分歧，最后由定稿者生成统一的病例级报告。
模型： 在留出集上评估了八个不同的单模型流水线（DeepSeek-V4-Pro, Gemma-4-31B, GLM-5.2, GPT-5.6-Sol, GPT-OSS-120B, Qwen3.5-27B, Qwen3-235B, Qwen3-Next-80B）。在校准集中，采用了 3+1 程序，即三个工作模型生成意见，第四个模型（GLM-5.2）进行合成。

2. 评估框架

医生参考： 六名具有跨学科专业知识的医生使用 0–3 分制对输出进行评分，涵盖八个响应质量标准：
1. 事实正确性与来源可靠性
2. 临床问题的识别与优先级排序
3. 数据使用的完整性与相关性
4. 临床推理的连贯性
5. 鉴别诊断的质量
6. 最终临床结论的质量
7. 管理方案的正当性与特异性
8. 临床安全性
- 特殊规则： 任何捏造的临床显著事实都将导致事实可靠性得分为 0，并限制相关指标最高为 1 分。
自动化裁判： 使用进化算法（GigaEvo）优化的医生校准 LLM 裁判（GPT-OSS-120B），旨在最小化针对每个独立标准的平均绝对误差（MAE），使其与医生评分保持一致。
指标： 研究分析了模型身份、响应格式、合成阶段贡献、审议动态（共识轮数）以及推理成本（Token 使用量）。

核心贡献

双重检查点基准： 首个评估独立角色特定意见与最终多学科综合作为同一病例下不同临床产品的基准，从而能够分离出合成过程的价值。
多维度质量框架： 由医生开发的评分量表，将事实依据、推理、管理和安全性进行分离，超越了简单的诊断一致性。
受控比较： 通过独立改变模型身份、响应结构和合成阶段的设计，解构它们各自的影响，包括将计算密集型多智能体交互与单模型基线进行对比。
校准后的裁判系统： 一个按准则校准的 LLM 裁判，能够提供针对开放式临床第二意见的可扩展评估，并经过针对特定维度的医生评分验证。

结果

模型身份的主导作用： 模型身份是报告质量最强的预测因子。GPT-5.6-Sol 在两种格式（自由格式和结构化）下的所有评估组件（角色推理、角色意见及最终结论）中均处于领先地位。表现最好与最差模型之间的差距（约 0.4–0.5 分）显著超过了单一模型内部响应格式带来的差异。
合成的价值： 在所有共享标准中，完整的结构化综合获得的汇总裁判得分高于前级会诊的主要角色意见。在问题优先级排序、事实依据和推理连贯性方面的提升最为显著，表明合成阶段有效地将零散的观点整合成了更具组织性的临床描述。
结构化的影响： 在八个模型流水线中，有七个模型的结构化最终报告显示出比自由格式报告更高的整体均值。这一优势主要源于管理方案质量的显著提升（2.740 对比 2.436），这表明结构化提示增强了输出的可操作性和计划性，而非统一提升所有临床维度。
审议动态： 交互式协议在 97.8% 的病例中达成了共识。然而，较长的审查轨迹（更多轮次）并未与更高的最终得分相关联。GPT-5.6-Sol 以最少的审查轮次（平均约 1.2 轮）实现了最高的质量得分，证明了强大的初始表现结合快速收敛比长期的审议更为有效。
推理成本： 相比自由格式流水线，结构化流水线需要的 Token 数量显著增加（每个病例额外增加约 26.5k 个 Token），凸显了管理质量的边际收益与计算成本之间的权衡。

意义与主张

论文声称 AI Consilium 基准成功捕捉到了诊断准确性本身无法捕捉的临床第二意见细微差别。它证明了：

多学科综合增加了价值： 聚合并修订角色特定意见的过程，将孤立的材料转化为更高质量、更具整合性的第二意见，特别是在优先级排序和连贯性方面。
模型选择至关重要： 底层 LLM 的身份是决定临床第二意见质量的关键因素，其重要性超过了特定的响应格式或审议协议的复杂程度。
结构化有助于可操作性： 结构化提示专门提升了管理方案的质量，使输出更具可操作性，尽管这伴随着更高的推理成本。
收敛效率： 高质量的模型可以快速达成共识，这表明过多的审议轮次并不一定会带来更好的临床结果。

作者总结道，虽然该基准提供了一个比较未来模型和合成策略的全面框架，但仍需开展前瞻性研究，以确定这些系统对实际临床医生决策和患者预后的影响。研究强调，应将临床质量、程序收敛性和推理成本作为互补的结果进行评估，而非仅仅依赖诊断准确性作为唯一的代理指标。