🤖 AI

EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses

本文介绍了 EarlyDx，这是一个针对基于 MIMIC-IV 仅含入院数据的开放式、证据支持型急诊诊断的大规模基准测试，该研究揭示了当前的语言大模型尽管经过了后训练改进，但在利用有限的初始证据可靠地推断诊断方面仍面临困难。

原作者： Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜题的侦探，但你被允许观察犯罪现场的时间只有最初的五分钟。你的笔记本里写满了线索：一个泥泞的脚印、一扇破碎的窗户，以及一名仍在发抖的目击者。你的任务是在警察到达之前、在实验室检测结果出来之前、在嫌疑人交代之前，去猜测此时此刻究竟发生了什么。这正是急诊科（ER）医生的日常现实。他们必须做出一个“工作诊断”——即根据患者走进门时所能获得的有限信息，对病情进行最好的推测。

长期以来，科学家们一直试图教会计算机从事这项工作，即使用人工智能（AI）。他们构建了“基准测试”，这些就像是衡量机器有多聪明的考试成绩。但大多数此类测试都是“作弊”的。它们给了 AI 关于患者整个住院过程的完整故事（包括几天后得出的最终诊断），然后要求它预测开端。这就像是给侦探提供了谜题的答案，却问他们如何通过线索进行推理。此外，这些测试强迫 AI 从一个简短且固定的列表中选择答案，就像做多选题一样，而不是让他们用自然语言书写自己的答案。这篇名为 EarlyDx 的论文决定纠正这种游戏规则。它构建了一个全新的、更公平的测试，迫使 AI 像真正的急诊科医生一样行动：仅根据入院那一刻可用的证据进行推理，并用自由文本写出诊断结果，就像人类那样。

新的游戏：EarlyDx

研究人员创建了一个巨大的新游乐场，名为 EarlyDx，它由超过 15.4 万次真实的急诊就诊记录组成。想象一下一个庞大的患者故事图书馆。在这个图书馆中，他们仔细地在每个故事被送入医院的那一刻将其切断。他们丢弃了之后编写的所有记录、第二天返回的任何化验结果，以及患者接受治疗后得出的任何最终诊断。他们只保留了“入院时”的证据：患者的年龄、主诉（哪里疼）、生命体征，以及当时进行的任何即时检查，如 X 光或心电监护仪。

但棘手的部分在于，这个图书馆里的“答案”不仅仅是最终诊断。研究人员使用了一个特殊的 AI“审计员”来检查患者档案中记录的每一项诊断。他们问道：“这个诊断是否仅凭我们入院时的证据就能得到证实？”

有支持的（Supported）： 证据就在那里（例如，X 光显示骨折）。
部分支持的（Partially Supported）： 证据是一个暗示，但不是板上钉钉（例如，患者有糖尿病史，但我们还没有血液检测结果）。
无支持的（Unsupported）： 诊断是正确的，但在入院时我们无法得知（例如，需要生长三天才能得到结果的血培养）。

AI 模型仅根据“有支持的”和“部分支持的”答案进行评分。如果 AI 给出的诊断需要我们当时尚不具备的信息，它将得不到任何分数。这确保了测试衡量的是真正的推理能力，而非幸运的猜测或死记硬背最终答案。

大惊喜：AI 依赖显性文本

当研究人员运行测试时，他们发现了一些令人惊讶的事情。他们测试了世界上最聪明的 AI 模型，包括大型通用模型和专业的医疗模型。结果显示，大多数这类“零样本”（zero-shot）模型（即未针对此新测试进行专门训练的模型）在进行诊断“推断”方面表现得很糟糕。

它们并没有像侦探那样思考，而是表现得像一台复印机。大约 43% 的情况下，正确的诊断直接以原话形式出现在患者的记录中（例如，记录写着“疑似肺炎”，AI 就直接复制了“肺炎”）。当 AI 需要进行“推断”——即连接那些并未被明确说明的逻辑点时——这些模型就会崩溃。它们只能找到 3% 到 31% 的隐藏诊断。这就像一个学生，如果答案写在黑板上他就能抄下来，但如果需要自己解数学题，他就会完全失败。

即使研究人员在这一特定任务上对一个较小的 AI 模型进行了“微调”（重新训练），它的表现也变好了许多，但仍未达到人类医生的水平。经过微调的模型可以找到大约 56% 的隐藏诊断，这虽然是一个巨大的进步，但仍然遗漏了许多关键病例。

人为因素与“时间敏感型”差距

研究还通过让一名人类医生查看相同的入院记录，将这些 AI 模型与人类医生进行了对比。人类医生在寻找隐藏线索方面表现得更好，捕捉到了约 68% 的有支持诊断。然而，人类医生也会列出许多种可能性，从而形成一个“鉴别诊断”（即可能是什么疾病的清单）。AI 模型往往要么列出的太少（忽略了危险），要么列出的太杂（过于笼统）。

最令人担忧的发现出现在观察时间敏感型状况（time-critical conditions）时——例如心脏病发作、中风或败血症等生死攸关的紧急情况。在这些情况下，漏诊比误报的后果要严重得多。人类医生会寻求一种谨慎的平衡：他们会标记许多潜在的危险以确保安全。然而，AI 模型在处理这一点时却很挣扎。有些模型因为过于谨慎而错过了危险；有些则因为过于鲁莽而把所有情况都标为危险。目前测试过的没有任何 AI 系统能达到人类医生的水平，即能以正确的置信度说出：“这看起来很危险，让我们检查一下。”

结论

论文得出结论：尽管 AI 在阅读医疗记录方面正在进步，但它尚未准备好取代急诊室所需的人类侦探式工作。目前的模型大多擅长提取（寻找已有的内容），但不擅长推断（弄清楚隐含的意思）。研究人员建议，要让 AI 真正发挥作用，它需要学习如何处理不确定性，学会承认自己的不确定，并标记潜在的危险，而不是仅仅试图猜出最终答案。在此之前，“早期诊断”这一游戏仍是人类的专长，而 AI 只能充当一个虽有帮助但并不完美的助手。

技术摘要：EarlyDx

问题陈述

医院入院时的临床诊断需要综合有限且不完整的证据（生命体征、实验室检查、影像学及病史），以在不确定性下形成初步诊断。现有的医学诊断基准测试在评估现代大语言模型（LLMs）于这一特定场景下的能力时并不适用，主要由于以下三个局限性：

闭集标签（Closed-Set Labels）： 诊断被映射到固定的 ICD 代码集，丢弃了临床细微差别，并在文本到代码的转换过程中造成了信息丢失。
受限的多模态（Restricted Modalities）： 基准测试通常倾向于使用表格特征，而排除了丰富的自由文本信号（如主诉、放射科发现）。
时间不一致性（Temporal Inconsistency）： 模型接收的是入院时的输入，但其监督信号却是包含了完整住院过程（包括入院时无法获取的信息）的出院诊断。

因此，目前的基准测试无法区分模型是具备从记录中提取显式信息的能力，还是具备从部分观察到的信号中推断诊断的能力。

方法论

作者引入了 EarlyDx，这是一个源自 MIMIC-IV 的大规模基准测试（ $N=154,834$ 次就诊记录），旨在评估严格锚定于入院时间（ $t_0$ ）的开放式早期诊断。

数据构建

队列： 包括所有导致住院的急诊科（ED）就诊记录。
输入： 一个序列化的文本提示词，仅包含在 $t_0$ （入院时间）或之前可获得的记录。这包括人口统计学、主诉、分诊生命体征、连续急诊生命体征、家用药物、基线测量值、实验室结果、心电图解读、放射学发现以及既往病史。影像学和生理信号以报告发现的形式呈现，而非原始数据。
标签： 参考诊断是来自急诊就诊诊断表的开放式词汇 ICD 标题，而非闭集代码或出院诊断。

基于证据的验证

一个关键的创新是使用 LLM 审计员（MiniMax M3）来验证每一个自由文本标签是否与入院时的证据相符。标签被分为：

有支持的（Supported）： 输入中的证据（化验、影像、生命体征）证实了该诊断。
部分支持的（Partially Supported）： 证据是间接或环境性的（例如，既往病史、家用药物），但在入院时并非决定性的。
无支持的（Unsupported）： 诊断依赖于入院时无法获得的信息（例如，微生物培养结果、入院后的进一步检查）。

主要评估赛道仅对完全支持的标签进行评分（占总标签的 32.7%），从而确保基准测试衡量的是诊断推理能力，而非对未来信息的检索能力。

评估协议

语义匹配： 精确的字符串匹配对于自由文本而言并不可靠。作者采用了 LLM-as-judge 协议（Qwen3.5-27B）来计算预测诊断与参考诊断之间的单对单匹配，从而处理同义词和缩写。
指标： 报告了微平均精确率（Precision）、召回率（Recall）和 F1 值。
基准线（Baselines）： 研究评估了零样本通用 LLM（如 GPT-5.5, Claude Opus）、医学专业化 LLM（如 MedGemma, HuatuoGPT）以及一个经过后训练的模型（使用金标准条件化思维链 [gold-conditioned CoT] 进行微调的 Qwen3.5-4B）。

核心贡献

入院锚定基准： 一个大规模数据集，其监督信息严格限制在入院时的证据内，并使用开放式自由文本标签而非闭集代码。
证据验证： 一个通过过滤标签来判断其是否由输入证据支持的流程，从而将“提取”任务与“推理”任务区分开来。
LLM 能力的实证分析： 通过系统性评估表明，当前的 LLM 在处理早期诊断推理方面存在困难，往往依赖于文本提取而非对不确定性的推理。

结果

性能差距： 零样本模型（无论是通用型还是医学型）在主要赛道上的 F1 分数通常低于 0.40。后训练带来了显著提升，经过微调的 Qwen3.5-4B 在支持性标签上的 F1 达到了 0.51，比最强的零样本基准高出 +0.11。
提取 vs. 推理：
- 43% 的支持性诊断在输入中是逐字出现的（显式）。零样本模型可以恢复其中的 37–65%。
- 57% 的支持性诊断是隐性的（必须通过推理得出）。零样本模型仅能恢复 3–31% 的此类诊断；其中医学专业化模型恢复的比例仅为 3–6%，而通用模型为 9–31%。
- 后训练将微调模型的隐性召回率提升至 56%，但与人类表现相比仍存在显著差距。
时间敏感型疾病： 在六种时间敏感型诊断（如心肌梗死、脓毒症）上，没有评估系统能达到临床医生那样的灵敏度与精确度的平衡。零样本模型往往具有高灵敏度但极低精确度（25–28%），而经过后训练的模型实现了高精确度（78%）但较低的灵敏度（54%）。
人类参考： 在相同的输入下，人类临床医生实现了最高的支持性召回率（0.68），但其 F1 分数与顶尖零样本模型相当，这主要是由于过度预测（列出广泛的鉴别诊断）导致的，这表明即使是专家也难以在缺乏完整临床过程的情况下缩小鉴别范围。

意义与主张

论文声称 EarlyDx 揭示了当前 LLM 的一个根本性局限：它们擅长从记录中提取明确说明的诊断，但无法通过综合证据来推断不确定性下的诊断。

负面但有用的发现： 该基准测试证明，“前沿”通用及医学 LLM 无法可靠地综合入院时的证据。瓶颈不在于医学知识，而在于将这些知识转化为确定性诊断的校准能力。
评估有效性： 通过筛选证据支持的标签，该基准测试避免了使用出院诊断导致的“时间泄露”问题，从而为早期诊断能力提供了更严苛的测试。
局限性： 作者指出，参考标签是行政计费代码（而非经证实的临床诊断），且输入缺乏体格检查发现（如患者外观），这限制了模型和人类所能达到的上限。他们建议未来的研究应探索分级预测（例如“疑似”诊断），以更好地符合临床实践中必须提出未确认危险的情况。

论文总结道，虽然后训练缩小了差距，但目前没有任何系统能在时间敏感型疾病上达到临床医生的运行点，这凸显了对不确定性下基于证据的推理进行进一步研究的必要性。