Medical errors in large language models revealed using 1,000 synthetic clinical transcripts

该研究利用 1,000 份合成临床头痛病历对大语言模型进行压力测试，发现尽管模型在完整病史下诊断准确率极高，但在信息不全时仍会频繁给出危险建议（如拒绝必要检查或错误降级急症），且存在显著的性别安全差异，揭示了当前医疗 AI 评估方法的局限性。

要点

这篇论文就像是一次对“医疗 AI 医生”进行的大规模、高压力的“压力测试”。

想象一下，现在的医疗 AI（比如大型语言模型 LLM）就像是一个刚毕业、读过很多书但还没真正进过医院的“超级学霸”。以前的考试（评估）都是给它看那种完美的、教科书式的病例：病人症状描述得清清楚楚，就像做数学题一样，条件都列好了，让 AI 去解题。这种考试，AI 考得非常好，几乎满分。

但这篇论文的作者们觉得：“这太假了！真实的医院里，病人说话往往语无伦次、信息不全，甚至还会漏掉关键细节。”

于是，他们发明了一个**“虚拟病人工厂”，制造了1000 个完全不一样的虚拟病人**，和 AI 进行真实的对话。

1. 他们是怎么做的？（虚拟病人工厂）

• 制造“混乱”： 他们不是只让 AI 看简单的病例，而是模拟了 1000 个真实的看病场景。这些病人有的说话很啰嗦，有的英语不好，有的记性差，有的甚至只说了半句话就停下了。
• 控制变量： 虽然对话很乱，但作者手里拿着“标准答案”（基于国际头痛分类标准 ICHD-3）。他们知道每个虚拟病人到底得了什么病（比如是普通的偏头痛，还是致命的脑出血）。
• 信息缺失测试： 他们故意在对话中“藏”掉一部分信息。比如，只告诉 AI 病人头痛，却不告诉头痛持续了多久，或者有没有其他症状。这就好比医生只听了病人说“我头疼”，就敢下诊断。

2. 他们发现了什么？（AI 的“致命”弱点）

测试对象是当时最先进的两个 AI 模型（GPT-5.2 和 GPT-5-mini）。结果发现，虽然 AI 在“完美信息”下能猜对病名，但一旦信息不全，它们就会变得非常自信且危险。

这里有几个关键的发现，用比喻来说就是：

🚨 弱点一：不懂“不懂”，盲目自信

• 人类医生： 如果病人说话吞吞吐吐，信息不全，人类医生会想：“这信息不够啊，我得再问几个问题，或者赶紧安排检查（比如做 CT 或腰穿）来排除最坏的情况。”
• AI 医生： 即使信息只有 20%（大部分都没说），AI 也不会说“我不知道”。相反，它会非常自信地给出一个确定的建议，而且往往是**“别做检查”或者“回家自己养着”**。
• 后果： 在那些本该做“腰椎穿刺”（一种检查脑出血的关键手段）的危急病例中，AI 竟然100% 建议不做！这就像是一个导航仪，明明前面是悬崖，却自信地告诉你“直行，路况良好”。

🚨 弱点二：把“没证据”当成“没病”

• 人类逻辑： “虽然病人没提到发烧，但不能排除脑膜炎，因为病人可能忘了说，或者症状还没出来。为了安全，我们要查一下。”
• AI 逻辑： “病人没提到发烧，所以肯定不是脑膜炎。不用查。”
• 比喻： 这就像侦探破案。人类侦探会想：“虽然没找到凶器，但嫌疑人太可疑了，我得继续搜。”而 AI 侦探会说：“没找到凶器，所以凶手不存在，结案吧。”这种逻辑在医疗上会导致漏诊致命的急症。

🚨 弱点三：对女性更“不客气”

• 研究发现，当面对女性患者时，AI 更倾向于把她们打发回家“自我观察”，而不是建议紧急就医。
• 数据： 在危急情况下，AI 给女性患者“不安全建议”的概率是男性的3 倍多。这就像是一个偏心的裁判，觉得女性“忍一忍”就能过去，而男性则需要立刻处理。

🚨 弱点四：乱开药

• 对于某些止痛药（如可待因），AI 在信息不全时，反而更爱开给老年人。但现实中，老年人用这类药风险很大。AI 就像是一个不懂药理的小贩，不管顾客多大年纪，只要问“头疼吗”，就随手塞给你一颗药。

3. 为什么会出现这种情况？

作者认为，这是因为 AI 的**“概率思维”和人类的“风险思维”**完全不同。

• AI 是“概率机器”： 它根据训练数据里的统计规律，觉得“大多数头疼的人最后都没事”，所以它倾向于给出“没事”的结论，因为它觉得这样“最像”正确答案。
• 人类是“风险管理者”： 医生知道，虽然 99% 的头疼没事，但只要有 1% 是脑出血，漏掉那个 1% 就是人命关天。所以医生会**“宁可错杀一千（多做检查），不可放过一个”**。

AI 恰恰相反，它在信息不足时，为了追求“看起来像正确答案”，反而放弃了那个 1% 的救命机会。

4. 这篇论文想告诉我们什么？

1. 别被“高分”骗了： 现在的医疗 AI 在教科书式的考试里能拿 97 分，但在真实的、 messy（混乱的）医院环境里，可能会犯下致命的错误。
2. 信息不全时最危险： 当病人描述不清楚时，AI 最容易“翻车”。它不会像人类医生那样去追问，而是会盲目下结论。
3. 模型选择很重要： 论文里测试的两个模型，一个强一点（GPT-5.2），一个弱一点（GPT-5-mini）。弱的模型更危险，但很多面向公众的健康 APP 可能为了省钱，用的就是这种“弱模型”。
4. 需要新的“考试”： 以前我们只考 AI 认不认识病，现在必须考它在信息不全时会不会“怂”（会不会主动要求更多信息或检查）。

总结

这就好比我们在测试自动驾驶汽车。以前我们只在天气晴朗、路况完美的赛道上测试，车开得飞快。但这篇论文把车开到了暴雨、大雾、路标模糊的山区，结果发现：虽然车还能识别路，但它不敢刹车，甚至直接加速冲下悬崖，因为它觉得“大概率前面没车”。

结论： 在把 AI 真正交给医生或患者使用之前，我们必须先给它们装上“安全护栏”，教会它们在**“不知道”的时候，要懂得“闭嘴并求助”**，而不是自信地胡说八道。

技术摘要

论文技术总结：利用 1,000 份合成临床转录本揭示大型语言模型（LLM）中的医疗错误

1. 研究背景与问题 (Problem)

当前对医疗领域大型语言模型（LLM）的临床评估主要依赖于少量、高度 curated（精心策划）的“教科书式”病例摘要。这种方法存在显著缺陷：

• 缺乏现实复杂性：无法反映真实临床环境中常见的非典型表现、碎片化的病史以及多样化的沟通风格。
• 边缘案例盲区：模型在经典病例上的成功不能保证其在罕见、紧急或“边缘”病例（如危及生命的急症）中的安全性。
• 信息不完整时的风险：真实诊疗往往通过非结构化对话迭代获取信息。如果 LLM 无法在信息不全时识别数据不足并寻求澄清，而是基于假设生成建议，可能导致危险指导。
• 评估规模不足：现有的手动评估流程无法扩展到足以覆盖广泛人口统计学和临床表型的规模，难以发现细微的安全漏洞。

2. 方法论 (Methodology)

作者开发了一个高通量患者模拟引擎，用于生成自然主义的医患对话转录本，以进行大规模的医疗 AI 压力测试。

• 数据生成：

  • 病例库：基于《国际头痛疾病分类第三版》（ICHD-3），覆盖了 33 种不同的头痛和面部疼痛诊断（从良性紧张性头痛到蛛网膜下腔出血等急症）。
  • 平衡分布：强制在 33 种诊断类别中均匀分布，避免模型偏向常见病例。
  • 合成转录本：生成了 1,000 份独特的医生 - 患者对话转录本。
  • 患者画像（Persona）：通过 7 个维度（verbosity/啰嗦程度、health literacy/健康素养、English proficiency/英语水平、memory reliability/记忆可靠性、focus/专注度、disclosure/披露意愿、framing/疼痛表述框架）生成多样化的患者沟通风格，模拟真实世界的“混乱”对话。
  • 信息完整性控制：这是该研究的核心创新。通过控制采样率（20%, 40%, 60%, 80%, 100%），系统性地模拟信息缺失程度。100% 包含所有 ICHD-3 诊断所需信息，而 20% 仅包含 8 个特征（缺失 80% 信息）。
  • 生成过程：使用本地 LLM (GPT-OSS 20B) 根据确定的临床事实（Ground Truth）和患者画像生成自然语言回复，同时保持医生提问的标准化。

• 评估模型：

  • 测试了两个前沿模型：GPT-5.2（顶级推理模型）和 GPT-5-mini（据称用于公共健康工具的较小架构）。
  • 评估任务：针对每份转录本，要求模型完成 7 项临床决策：
    1. 提供优先排序的鉴别诊断。
    2. 判断是否进行头部 CT、头部 MRI 或腰椎穿刺（LP）。
    3. 推荐药物治疗（吲哚美辛、可待因）。
    4. 确定随访时间（急诊、48 小时内、常规随访、自我管理）。

• 统计方法：

  • 共评估了 14,000 个独立的临床决策（2 模型 × 1,000 病例 × 7 问题）。
  • 使用 McNemar 检验进行配对模型比较，卡方检验进行组内比较，Bootstrap 法计算置信区间。

3. 关键贡献 (Key Contributions)

1. 新型评估范式：将医疗 AI 评估从简单的“快照”式准确性测试转变为涵盖广泛人口统计学和临床表型的全面安全压力测试。
2. 大规模合成数据：利用 1,000 份合成转录本（近 300 万单词），实现了以往人工无法企及的评估规模和颗粒度。
3. 揭示“信息缺失”下的系统性失效：证明了即使在高诊断准确率下，LLM 在信息不完整时也会表现出危险的风险校准失效（Risk Calibration Failure）。
4. 发现特定偏差：揭示了模型在性别（女性患者更可能被错误降级为自我管理）和信息缺失情况下的系统性偏见。

4. 主要结果 (Results)

A. 诊断准确性与不完整信息的影响

• 高准确率假象：在完整病史（100% 采样率）下，GPT-5.2 的诊断准确率达到 97.5%（95% CI: 95.0-99.5），显著优于 GPT-5-mini (84.9%)。
• 信息缺失导致性能骤降：随着信息减少，罕见且高风险疾病（如蛛网膜下腔出血、RCVS、脑膜炎）的诊断准确率急剧下降。在 20% 采样率下，这些疾病的准确率均低于 50%。
• 鉴别诊断数量未增加：令人担忧的是，当信息减少时，模型没有像人类医生那样扩大鉴别诊断范围以应对不确定性。GPT-5.2 的鉴别诊断数量保持不变，而 GPT-5-mini 甚至缩小了鉴别诊断范围。

B. 检查建议与过度自信

• 拒绝关键检查：在信息不全时，模型倾向于给出确定的“做”或“不做”的建议，而不是“无法决定”。
  • 腰椎穿刺（LP）灾难性失败：在蛛网膜下腔出血（SAH）病例中，当信息缺失（采样率≤40%）时，两个模型100% 地建议不进行腰椎穿刺，即使它们正确地将 SAH 列入了鉴别诊断。
  • 影像学偏差：GPT-5.2 对老年人过度推荐 CT，而两个模型在年轻偏头痛患者中过度推荐 MRI，却在脑肿瘤病例中漏掉了 MRI 推荐（约 20-25% 的漏检率）。

C. 药物安全性

• 可待因滥用：GPT-5-mini 在不完整信息下更频繁地推荐可待因（20% 采样率时达 21.7%），且未根据年龄（老年人风险更高）调整处方行为。
• 吲哚美辛风险：在信息不全时，GPT-5-mini 甚至在不安全的 SAH 病例中推荐吲哚美辛。

D. 分诊（Triage）与人口统计学偏差

• 危险的分诊降级：对于危及生命或视力的急症（如 SAH、脑膜炎），当信息不完整时，模型倾向于将分诊降级为“常规随访”或“自我管理”。
  • GPT-5-mini 在 20% 采样率下，54.8% 的急症病例被错误地降级为自我管理或常规随访。
  • GPT-5.2 在同样条件下也有 42.9% 的降级率。
• 性别偏见：GPT-5.2 对女性患者的分诊显著不安全（OR = 3.2），女性患者被错误降级为自我管理或常规随访的概率是男性的 3.2 倍，尤其是在 30-50 岁年龄段。

5. 意义与结论 (Significance)

• 风险校准失效：LLM 表现出与人类临床思维截然相反的风险校准逻辑。人类医生在信息不足时会采取“最坏情况假设”并寻求更多信息，而 LLM 则倾向于将“缺乏证据”等同于“缺乏疾病”，从而过早地排除严重疾病并降低护理级别。
• 模型选择至关重要：GPT-5-mini 在安全性上显著劣于 GPT-5.2。鉴于公共健康工具可能使用较小、较便宜的模型，这种差异具有重大的公共卫生风险。
• 评估标准需变革：传统的准确性指标不足以评估医疗 AI 的安全性。必须引入能够模拟信息缺失、非结构化对话和边缘案例的高通量压力测试。
• 未来方向：未来的医疗 AI 必须内置明确的算法护栏（Guardrails），使其在信息不足时能够模拟人类的谨慎，优先排除“不可遗漏”的致命疾病，而不是盲目追求统计概率上的良性诊断。

总结：该研究通过大规模合成数据揭示了当前最先进的医疗 LLM 在真实世界复杂场景下的致命缺陷，特别是它们在信息不完整时表现出的过度自信和危险的分诊降级行为，强调了在部署前进行严格、大规模压力测试的必要性。