Evaluation format, not model capability, drives triage failure in the assessment of consumer health AI

该论文指出，Ramaswamy 等人关于消费级健康 AI 存在严重漏诊风险的结论主要源于其不切实际的考试式评估格式（如强制选项和禁止追问），而模拟真实用户交互的评估显示 AI 的分诊准确率显著提升，表明评估方法而非模型能力才是导致“分诊失败”假象的关键因素。

要点

这篇文章就像是在给一场“健康 AI 大考”做阅卷复盘。

简单来说，之前有一篇著名的研究（Ramaswamy 等人）说：“现在的消费级健康 AI（比如 ChatGPT 健康版）太笨了，面对 50% 以上的紧急病情（比如心脏病发作、哮喘），它竟然建议患者‘在家观察’，而不是‘赶紧去医院’。这太危险了！”

但这篇新论文的作者（来自澳大利亚麦考瑞大学）发现：问题可能不出在 AI 的“脑子”上，而出在“考卷”的出题方式上。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这篇论文：

1. 比喻一：把“医生问诊”变成了“做选择题”

想象一下，你是一名经验丰富的急诊医生。

• 真实场景（自然交互）： 一个患者捂着胸口跑进来，语无伦次地说：“我胸口疼，像被大象踩了一样，而且我有点喘不上气。”医生会问：“疼多久了？以前有过吗？有没有流汗？”然后医生会根据这些对话，判断这是不是心脏病，并立刻叫救护车。
• 之前的“考试”（受限模式）： 研究人员给医生出了一道题，但规则很怪：
  • 禁止提问：“不许问患者任何问题，只能根据这段话判断。”
  • 禁止查资料：“不许用你脑子里的医学知识，只能看题目里给的那几个字。”
  • 强制选择题：“别写长篇大论，必须在 A、B、C、D 四个选项里圈一个，圈错了就是不及格。”

结果： 在这种怪异的规则下，医生（AI）被迫在信息不全、不能互动、还要强行选一个选项的情况下做决定。很多医生（AI）明明心里知道“这很危险，得叫救护车”，但题目逼它选一个“观察”的选项，或者它一紧张就选错了。

这篇论文发现： 之前的研究就像是在用这种“怪题”考医生，然后得出结论说“医生水平不行，会害死人”。但这其实是考试方式的问题，而不是医生（AI）真的不会看病。

2. 比喻二：AI 的“双重人格”

作者测试了 5 种最先进的 AI 模型（就像 5 位不同风格的顶级医生），让他们在两种模式下回答同样的病情：

• 模式 A（考试模式）： 像做试卷一样，必须选 A/B/C/D，不能多说话。
• 模式 B（聊天模式）： 像平时聊天一样，患者发一段话，AI 自由回答。

惊人的发现：

• 在**模式 A（考试）**中，AI 的表现确实很差，很多紧急情况被漏掉了（比如哮喘，只有 48% 能识别出来）。
• 在**模式 B（聊天）**中，只要允许 AI 自由发挥，它的表现瞬间飙升！哮喘的识别率从 48% 涨到了 80%。
• 最关键的证据： 有些 AI 在“考试模式”下被迫选了“在家观察”（被判定为不及格），但在“聊天模式”下，它们明明用文字大声喊出了“快去医院！”。
  • 这就好比： 一个学生心里知道答案是“苹果”，但老师非逼他在“香蕉”和“苹果”之间选一个，而且规则是“只能选香蕉”，结果老师就判定这个学生“不认识苹果”。

3. 比喻三：被“削足适履”的评估

之前的研究就像是用一把固定尺寸的尺子去量所有不同形状的物体。

• 如果物体是圆的，尺子量出来是直的，你就说“这个物体是歪的”。
• 这篇新论文说：尺子本身有问题！ 健康 AI 是用来和真人聊天的，真人说话含糊、会漏掉细节、需要医生追问。但之前的评估强行把 AI 关进一个“只能看题目、不能提问、必须选 ABCD"的盒子里。

结论就是： 那个"51.6% 的漏诊率”并不是 AI 真的那么笨，而是评估方法（Exam-style protocol）把 AI 逼疯了。

4. 几个具体的“翻案”案例

• 糖尿病酮症酸中毒（DKA，一种极度危险的急症）： 在之前的“考试”里，AI 似乎经常漏掉。但在新测试中，100% 的 AI 在所有模式下都正确识别了这种病。这说明之前的漏掉，可能是那个特定的“考试题目”出得太烂，或者是 AI 被特定的指令干扰了，而不是 AI 真的不懂这个病。
• 哮喘发作： 在“考试模式”下，AI 经常选错（漏诊）。但在“聊天模式”下，AI 能很好地理解患者的描述，并给出正确的急救建议。

总结：这对我们意味着什么？

1. 别被 headlines（头条新闻）吓到： 之前说"AI 看急诊会害死人”的结论，很大程度上是因为测试方法太死板，不符合真实情况。
2. AI 其实挺聪明的： 只要给它们像真人医生那样的环境（允许提问、允许自由表达、结合上下文），它们处理紧急病情的能力比“考试”里显示的要强得多。
3. 未来的评估要改： 要测试医疗 AI 安不安全，不能让它做“选择题试卷”，而应该模拟真实的“医患聊天”。如果还在用那种“禁止提问、强制选 ABCD"的试卷来评估，得出的结论就是误导性的。

一句话概括：
这篇论文是在说，之前的研究就像是用“闭卷、不许提问、只能选 ABCD"的数学考试，去考一个需要“望闻问切”的中医，然后得出结论说“这个中医医术不精”。 实际上，只要换个“面对面问诊”的考试方式，这位中医（AI）的表现就好多了。

技术摘要

这是一份关于论文《Evaluation format, not model capability, drives triage failure in the assessment of consumer health AI》（评估格式而非模型能力驱动了消费者健康 AI 分诊评估中的失败）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心争议：Ramaswamy 等人此前在《Nature Medicine》上发表的研究指出，面向消费者的 AI 分诊工具（如 ChatGPT Health）在急诊情况下存在严重的安全风险，其“分诊不足”（under-triage，即未能识别出需要紧急护理的情况）率高达 51.6%。这一结论引发了公众和政策制定者对 AI 医疗安全的广泛担忧。
• 本文质疑：作者认为，Ramaswamy 等人的评估方法存在根本性缺陷。其评估采用了**“考试风格”的协议（exam-style protocol）**，包括：
  • 强制模型输出 A/B/C/D 的选择题格式。
  • 抑制模型利用训练知识（要求“仅基于此消息中的信息”）。
  • 禁止模型提出澄清性问题。
  • 使用半临床、半患者化的混合提示语，而非真实患者的自然语言。
• 核心假设：这种评估格式与消费者实际使用健康聊天机器人的方式（自然交互、多轮对话、模糊表达）截然不同。因此，观察到的“分诊不足”主要是由**评估格式（Evaluation Format）**人为制造的，而非模型本身的临床推理能力缺陷。

2. 研究方法 (Methodology)

作者对 Ramaswamy 等人的方法进行了受控的、机制性的部分复现（mechanistic partial replication），测试了来自三家独立提供商的五个前沿大语言模型（LLM）：

• 模型：GPT-5.2, Claude Sonnet 4.6, Claude Opus 4.6, Gemini 3 Flash, Gemini 3.1 Pro（后续还加入了 GPT-5.3 Instant 作为探索性扩展）。
• 数据集：基于 17 个临床场景构建的测试集，涵盖糖尿病酮症酸中毒（DKA）和哮喘发作等关键急诊案例。
• 实验设计：
  1. 受限条件（Constrained Condition）：完全复现原论文的“考试风格”脚手架（强制 A/B/C/D 输出、禁止澄清、限制知识来源）。共 1,275 次试验。
  2. 自然主义条件（Naturalistic Condition）：使用患者实际可能输入的非结构化、口语化消息，无系统提示限制，允许自由文本输出。共 850 次匹配试验。
  3. 消融实验（Ablation Studies）：针对哮喘案例，逐步移除或添加约束（如强制选择题 vs. 自由文本），以隔离导致失败的具体因素。
  4. 提示语忠实性检查（Prompt-faithful checks）：使用原作者发布的原始提示语进行验证，确保发现不仅限于作者自建的场景。
• 评估标准：在自然主义条件下，使用两个独立的 LLM 裁判（GPT-5.2 和 Claude Opus 4.6）对自由文本回复进行 adjudication（裁决），将其映射到 A-D 分诊等级，一致性高达 94.7%。

3. 主要发现与结果 (Key Results)

• 自然交互显著提升准确率：

  • 在自然主义条件下，分诊准确率比受限条件提高了 6.4 个百分点（从 63.6% 提升至 70.1%，p = 0.015）。
  • DKA（糖尿病酮症酸中毒）：在所有模型和所有条件下，分诊准确率均为 100%。这表明原研究中 DKA 的漏诊可能是特定产品配置或评估格式的人为产物，而非模型固有缺陷。
  • 哮喘（Asthma）：在移除考试限制后，分诊准确率从 48% 大幅提升至 80%。

• 核心机制：强制离散化（Forced Discretization）是主要失败原因：

  • 消融实验揭示了惊人的差异：当强制要求 A/B/C/D 输出时，部分模型（如 GPT-5.2, Gemini 3 Flash, Gemini 3.1 Pro）在哮喘案例上的得分极低（0-24%）；但在自由文本模式下，这些模型在相同内容下均给出了正确的急诊建议（100%）。
  • 统计显著性：这种差异极其显著（p < 10⁻⁸）。模型实际上在自由文本中正确推荐了急诊护理，但被强制选择题格式错误地标记为“分诊不足”。
  • 相比之下，Claude 系列模型在两种格式下表现均较好，表明模型架构与强制离散化约束之间存在交互作用。

• 评估脚手架的非中立性：

  • 使用原作者发布的原始提示语进行验证，发现移除脚手架约束后，分诊结果随模型和案例不同而变化，证明该脚手架并非中立的测量工具，而是会人为制造模型依赖型的结果。

4. 关键贡献 (Key Contributions)

1. 挑战现有结论：证明了 Ramaswamy 等人报告的 51.6% 分诊不足率并非稳定的跨模型发现，而是高度依赖于评估格式。
2. 揭示评估偏差机制：明确指出强制 A/B/C/D 选择题格式是导致“分诊不足”假象的主要机制。当模型被允许用自然语言表达时，它们能够正确识别紧急情况，但被强制归类为错误选项。
3. 方法论警示：强调消费者健康 AI 的评估必须反映实际使用场景（多轮交互、澄清问题、自然语言），而非将临床考试模板强加于对话系统。
4. 数据开源：提供了完整的实验代码、提示语、原始输出和裁决数据，供社区复现和进一步研究。

5. 意义与影响 (Significance)

• 对监管与政策的启示：目前的监管讨论和公众认知很大程度上基于有缺陷的评估方法。如果评估框架本身会“制造”失败（manufacture apparent failure），那么基于此得出的“AI 不安全”结论可能具有误导性。
• 评估标准的重构：呼吁建立新的评估基准，必须包含多轮对话能力、澄清机制以及对自然语言输出的评估，而非单一的、静态的考试式测试。
• 产品部署信心：虽然不能保证现实世界表现一定优于测试表现，但数据表明，前沿模型在自然交互中具备识别急诊的能力。原研究中的高风险结论更可能是“部署配置”与“评估格式”相互作用的结果，而非模型推理能力的根本缺陷。

总结：该论文有力地论证了消费者健康 AI 在分诊任务中的表现被不恰当的评估格式严重低估。真正的风险不在于模型无法理解急诊，而在于评估方法未能模拟真实的医患交互过程，从而人为地放大了安全漏洞。