🧬 biology

Expert Evaluation of Clinical AI Tools on Real Point-of-Care Clinical Queries

由 30 个专科领域的 149 名医生进行的盲测评估表明，一款专门的临床 AI 工具在处理真实世界的临床诊疗查询时，表现显著优于三款前沿通用型大语言模型，这凸显了使用专家评审和真实临床数据来评估医疗 AI 的至关重要性。

原作者： Jean Feng, Vishal Patel, Patrick Heagerty, Yifan Mai, Venkatesh Sivaraman, Patrick Vossler, Jialin Ouyang, Anupam B. Jena

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jean Feng, Vishal Patel, Patrick Heagerty, Yifan Mai, Venkatesh Sivaraman, Patrick Vossler, Jialin Ouyang, Anupam B. Jena

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下你是一位正试图决定哪本食谱最适合你餐厅的厨师。你有两个选择：

“通才型”书籍： 巨大的百科全书，它们对各种事物（烹饪、历史、科学，甚至如何修理汽车）都略知一二。
“专才型”书籍： 一本专门针对你所从事的菜系编写的食谱，里面充满了只做这类特定食物的大师级厨师的技巧。

通常，当人们测试这些书籍时，他们会问类似“法国的首都是哪里？”或“如何煮鸡蛋？”这样的问题。这些都是简单的、虚构的问题。但在现实世界中，厨师不会问“如何煮鸡蛋？”而是会问：“我的汤太咸了，但我不能加水，因为汤底已经很完美了；我该怎么办？”

这篇论文是一场大规模的盲测，旨在看看哪种“食谱”（AI 工具）能真正帮助医生解决他们每天面临的真实且棘手的难题。

测试设置：一场盲测

研究人员收集了 620 个真实问题，这些是医生在治疗患者时向名为 OpenEvidence (OE) 的专业医疗 AI 工具提出的真实问题。这些不是虚构的考试题；而是医生当下真正需要知道的事情。

他们将这些问题输入到四个不同的 AI “厨师”中：

三个通才： 最先进、功能最强大的“全能型”AI（GPT-5.5、Gemini 3.1 Pro 和 Claude Opus 4.8）。
一个专才： OpenEvidence (OE)，一个专为医生打造的工具。

随后，他们聘请了来自 36 个不同州的 149 名真实医生 来担任评委。为了确保公平，他们让评委与问题进行匹配。如果问题是关于心脏病的，则由心脏病专家进行评分；如果是关于皮肤问题的，则由皮肤科医生进行评分。医生并不知道哪个答案是由哪个 AI 编写的（这是“盲测”），就像烹赛事的评委在最后才知道厨师的名字一样。

结果：专才胜出

医生们从五个维度对答案进行了评分：

准确性 (Accuracy)： 事实是否正确？
实用性 (Usefulness)： 我真的能用它来帮助病人吗？
来源质量 (Source Quality)： 它是否引用了优秀、可靠的书籍或期刊？
可验证性 (Verifiability)： 我能否轻松核实其真实性？
完整性 (Completeness)： 它是否回答了整个问题？

结果： 专用工具（OpenEvidence）在每一个类别中都胜出了。它大幅超越了那些通才巨头。

在“准确性”类别中，专才被选中的频率比通才高出约 25% 到 39%。
在“来源质量”方面，专才的领先优势接近 40%。

通才 AI（那些“全能型”模型）表现并不差，但它们在这些特定任务面前始终处于劣势，被专门为该工作打造的工具所超越。

“机器人评委”实验

研究人员还尝试了一个有趣的做法：让他们让 AI 模型互相评价彼此的答案（即“机器人评委”）。

问题： 机器人评委往往过度自信且带有偏见。例如，GPT 模型倾向于给自己打高分，即使人类医生认为它是错误的。
教训： 虽然机器人评委在“谁是整体最佳”这一点上与人类达成了一致，但在细节上却与人类存在分歧。你不能仅仅让一个 AI 去给另一个 AI 打分，而不经过真实人类专家的检验。

为什么这很重要（根据论文观点）

这篇论文提出了两个主要观点：

真实的测试需要真实的问题： 如果你只在虚构的考试题目上测试 AI，你并不知道它在现实世界中的表现如何。你需要用医生实际提出的那些复杂且具体的问题来测试它。
专业化取胜： 仅仅因为一个通用 AI 很聪明，并不意味着它是处理特定任务的最佳工具。专才工具的胜出并不意味着通才模型没用；它意味着针对特定领域（如医学）对 AI 进行定制化，会使其在该特定工作上表现得更好。

论文并未提及的内容

它没有说这些工具应该取代医生。
它没有说通才 AI 在所有方面都很“差”；它们只是在处理这些特定的医疗问题时不如专才出色。
它没有声称这是对 AI 的最终定论，因为这些模型更新迭代非常迅速。

简而言之： 当你需要一位医生来帮助解决特定的医疗问题时，一个专门为医生打造的工具比一个试图做所有事情的通用“聪明型”AI 效果更好。而且，要找出哪种工具最好，你必须用真实的医生和真实的问题去测试，而不是通过虚假的考试。

技术摘要：专家评估临床 AI 工具在真实诊疗点临床查询中的表现

1. 问题陈述

尽管医生在临床决策支持中采用 AI 工具的速度极快，但严谨的评估框架开发却相对滞后。目前的医学 AI 基准测试过度依赖于：

假设性或考试类问题： 数据集多源自执照考试或由 AI 智能体共同设计，无法捕捉到在诊疗点（Point-of-Care）提出的真实查询的复杂性、分布特征和细微差别。
评估方法不足： 评估通常使用固定的评分标准或由少数全科医生对跨多个领域的查询进行评分，忽略了定义现代医学的专业化特征。
对 LLM 裁判的依赖： 目前出现了一种争议，即使用大语言模型（LLM）作为裁判来取代人类专家，这种做法在涉及高风险临床推理时仍未得到充分测试。

作者认为，这些差距使得评估必须基于临床实践的现实，利用真实的查询以及来自匹配领域专家的判断。

2. 研究方法

这项名为 Real-POCQi（真实世界诊疗点查询）的研究采用了随机、盲法的成对评估设计。

数据收集与基准构建

查询来源： 主要数据集包含 620 个问题，这些问题采样自医生向 OpenEvidence (OE) 平台提交的超过一百万个每日查询中的一部分。这些问题涵盖 30 个医学专业领域（如心脏病学、胃肠病学、肾脏病学），主题从诊断到药物安全性不等。
敏感性数据集： 纳入了来自 HealthBench 基准测试的 187 个问题，用于敏感性分析。
预处理： 对问题进行了去标识化处理，并进行了轻微改写，以在保留临床内容的同时移除受保护健康信息 (PHI)。

评估设计

参与者： 从 IQVIA OneKey 数据库中招募了来自美国 36 个州的 149 名执业、持证医生。
匹配机制： 根据临床专业领域将评估者与问题进行匹配，以确保领域专业知识。
对比模型：
- 专业化工具： OpenEvidence (OE)。
- 通用型前沿模型： GPT-5.5、Gemini 3.1 Pro 和 Claude Opus 4.8。
流程：
- 医生对针对特定查询生成的两个 AI 回答进行头对头比较。
- 盲法： 隐藏了供应商身份。回答以相同的形式呈现（仅文本或文本 + 引用），以防止通过风格识别。
- 随机化： 采用嵌套随机化设计分配渲染模式（文本仅显示与文本+引用的 2:1 分配）、问题对以及回答位置（A/B）。
- 维度： 评估者使用 5 点李克特量表在五个维度上对配对进行评分：准确性 (Accuracy)、临床实用性 (Clinical Utility)、来源质量 (Source Quality)、可验证性 (Verifiability) 和完整性 (Completeness)。

统计分析

主要指标： 一胜多败差值 (One-vs-Rest Win Difference)，定义为 $(Wins - Losses) / N$。这衡量了一个系统相对于所有其他系统的净偏好率。
次要指标： 成对胜率矩阵 ( $P(A \succ B)$ )。
稳健性： 通过按回答长度、引用显示、评估者是否为 OE 用户以及数据集来源（Real-POCQi vs. HealthBench）进行分层，进行了敏感性分析。
LLM-as-Judge 对比： 同时提示三个前沿模型充当裁判，在相同数据上比较它们的排名与人类专家的排名。

3. 关键结果

专业化工具与通用模型的表现对比

专业化工具的优势： 在主要分析（仅文本）中，OpenEvidence (OE) 在所有五个评估维度上均取得了正向的胜差。
- 准确性： OE 胜差 = 24.7% ( $p < 0.001$ )。GPT-5.5 为 -21.1%，显著较低。
- 临床实用性： OE 胜差 = 29.6% ( $p < 0.001$ )。
- 来源质量： OE 取得了最高的胜差，为 38.8% ( $p < 0.001$ )。
通用型模型： GPT-5.5 在所有维度上均表现出最低的胜差（通常为负值）。Gemini 3.1 Pro 和 Claude Opus 4.8 的表现接近，但明显逊于 OE。
敏感性分析： 当根据以下维度进行分层时，结果保持一致：
- 引用显示： 趋势在“文本+引用”条件下依然成立。
- 回答长度： 无论相对回答长度如何，OE 的优势都持续存在，尽管准确性评分普遍受长度影响。
- 评估者身份： 对于现有的 OE 用户和非用户，OE 均优于通用模型，尽管对于非用户的效应量略有减弱。
- 数据集来源： 在独立的 HealthBench 数据集上，OE 在所有维度上均保持了正向胜差，尽管效应量略小。

人类 vs. LLM 裁判

排名分歧： 虽然 LLM 裁判在判定哪个模型最好（OE）方面与人类专家基本一致，但在对其他模型的排名上存在显著分歧。
自我偏好： GPT-5.5 在担任裁判时表现出高度的自我偏好，导致其与人类专家评分呈负相关（Kendall's $\tau = -0.200$ ）。
过度自信： 与人类专家相比，LLM 裁判报告了更极端的胜差（表现出过度自信）。
相关性： LLM 裁判与人类专家的相关性在 0.267（Claude）到 0.467（Gemini）之间，表明两者在细微临床判断方面存在实质性的不一致。

4. 核心贡献

Real-POCQi 基准测试： 发布了最大的公开真实临床查询基准数据集（620 个问题，30 个专业领域），并附带了 1,156 条专家评分。
专业匹配评估： 一种严谨的评估框架，将医生评分者与特定的临床主题相匹配，解决了现代医学专业领域中全科医生评分的局限性。
关于专业化的实证证据： 证明了针对性的工程化和定制化（如 OE 所示）能比前沿通用模型在诊疗点决策支持方面带来显著的性能和实用性提升。
LLM 裁判的局限性： 提供大规模证据，表明即使是前沿模型，目前的 LLM 也无法可靠地取代人类专家进行临床推理评分，特别是在排名和自我偏好偏差方面。

5. 重要性与主张

论文声称，专业化工具（OE）相对于通用模型的持续优势并不意味着通用模型无法回答临床问题，而是表明针对性的工程化和定制化对于高性能临床决策支持至关重要。

作者强调：

评估必须反映现实： AI 工具的评估必须超越标准化、假设性的基准测试，转而反映真实的查询分布，并利用能够体现现代医学专业化特征的专家裁判。
对自动化的警惕： 人类裁判与 LLM 裁判之间的系统性差异凸显了在没有进行大量微调和验证的情况下，将临床判断自动化的风险。
语境至关重要： AI 工具的表现高度依赖于部署环境；针对诊疗点查询优化的工具可能无法泛化到其他环境，反之亦然。

研究结论指出，通过发布数据集和分析代码，旨在推动临床 AI 评估科学的发展，目标是将研究重点转向衡量这些工具对临床判断和患者预后的净影响。