🤖 machine learning

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

本文引入了因果敏感性评分（Causal Sensitivity Score, CSS），这是一种干预性指标，它揭示了临床人工智能模型在基于标准覆盖率的基准测试表现与其对患者数据关键变化的实际响应能力之间存在的显著差异，从而暴露了传统评估方法所遗漏的隐藏能力特征和普遍的安全盲点。

原作者： Matt Turk

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Matt Turk

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在招聘一支由 AI 模型组成的医疗顾问团队，来协助决定癌症患者的最佳治疗方案。传统上，我们测试这些顾问的方法是：给他们一份患者档案，然后检查他们的最终建议是否与人类专家小组的意见一致。如果建议看起来是正确的，他们就会得到好成绩。

这篇论文指出，这种传统的评分系统就像是在评价一位厨师时，只看最终菜肴的味道，却从未问过：“你真的品尝了食材吗？还是你只是背下了食谱，无论如何都端出同样的菜肴？”

以下是利用简单类比对论文研究结果进行的拆解：

1. 问题所在：“貌似正确”的陷阱

作者发现，两个 AI 系统在标准测试中可以获得几乎相同的分数，但当事实发生变化时，它们的表现却完全不同。

场景： 一名患者的癌细胞具有某种特定标记。AI 建议使用某种药物。
转折： 现在，假设我们秘密修改了档案，改为该患者不再具有该标记。
结果： 一个“聪明”的 AI 应该改变其药物建议。而一个“笨”（但运气好）的 AI 可能会忽略这个变化，依然建议使用同一种药物。
缺陷： 标准测试（在论文中称为 CMS）只检查最终答案是否与专家一致。它们无法捕捉到那些仅仅是“卡在”某个答案上的 AI。这就像一个背下了答案表的学生；他在考试中拿了“A”，但如果你稍微改变题目，他就会失败，因为他并不理解其中的逻辑。

2. 解决方案：因果敏感度得分 (CSS)

为了解决这个问题，作者创建了一种名为因果敏感度得分 (CSS) 的新测试。

类比： 把这想象成一场针对医疗档案的“找不同”游戏。研究人员获取一份患者档案，并进行微小的、预先计划好的改动（比如将“已进行手术”切换为“未进行手术”，或者移除某项用药史）。
测试： 他们询问 AI：“既然我更改了这个事实，你的建议改变了吗？”
评分：
- 1.0： 你正确地改变了主意（很棒！）。
- 0.5： 你注意到了变化，但没有改变主意（还可以）。
- 0.0： 你完全忽略了变化（糟糕）。

3. 大大的惊喜：排名反转

作者测试了六个目前最顶尖的 AI 模型。当使用旧测试（CMS）时，模型的排名顺序如下；而当使用新测试（CSS）时，排名完全反转了。

在旧测试中排名最后一名的模型，在新测试中成为了冠军。
在旧测试中排名第一的模型，跌落到了第四名。
启示： 根据旧标准被认为“最好”的 AI，实际上是最无法对新信息做出反应的。

4. 普遍的盲点：“手术”故障

研究人员发现了一种特定的变化类型，所有的 AI 模型都失败了，无论它们多么聪明。

场景： 改变患者是否进行过手术。
失败情况： 当档案显示“患者已进行手术”时，AI 建议了一种治疗方案。当档案被改为“患者未进行手术”时，AI 往往会建议完全相同的治疗方案。
为什么重要： 在现实医学中，患者是否进行过手术是一个极其重大的事项。如果 AI 忽略这一点，会存在安全风险。旧测试（CMS）从未捕捉到这一点，因为 AI 给出的答案仍然看起来像是一个有效的医学观点，尽管它忽略了一个关键事实。

5. “使用工具”实验

研究人员还测试了当这些 AI 被允许使用工具（例如通过搜索引擎查找患者记录）而非仅仅阅读静态文件时的情况。

结果： 对于大多数模型来说，使用工具有助于提高得分。它们能够找到新信息并更新其建议。
异类： 其中一个特定的模型 (gpt-5.4) 使用工具的能力与其他模型一样出色——它找到了正确的信息——但仍然没有改变其建议。
隐喻： 这就像一名侦探找到了证据确凿的“冒烟的枪”（物证），却仍然坚持认为嫌疑人是清白的。这表明问题不在于 AI 能否找到信息，而在于它的大脑结构无法根据这些信息来更新其结论。

总结

这篇论文引入了一种新的测试医疗 AI 的方法，旨在检查它们是在思考还是在重复。

旧方法： 你给出了正确的答案吗？（是/否）
新方法 (CSS)： 如果我改变了事实，你会改变你的答案吗？（是/否）

这项研究表明，我们认为最好的模型可能实际上是最僵化的，并且所有目前的顶尖模型在处理手术状态方面都存在危险的盲点。作者认为，我们需要这种全新的“响应性”测试，以确保 AI 智能体在辅助医生之前，真正具备安全性与可靠性。

技术摘要：反事实评估揭示临床大语言模型与智能体的隐藏能力谱系

问题陈述

当前针对临床大语言模型（LLM）及智能体的评估范式过度依赖基于覆盖率的指标，例如字符串相似度或将输出与参考行为进行对比的 LLM 作为评判（LLM-as-judge）准则。这些指标在询问：“输出看起来是否正确？”，却未能解决：“模型是否在基于正确的理由更新其输出？”

这种局限性在临床环境中至로关键，因为两个系统可能在覆盖率指标上得分完全相同，但在面对变化的患者输入时表现出截然不同的行为。例如，一个肿瘤学 AI 可能会对胰腺癌病例提出标准治疗方案（如 FOLFIRINOX），无论该患者是初治还是既往治疗失败。虽然覆盖率指标（如共识匹配得分，CMS）可能会奖励这种一致性，但它们无法检测出缺乏因果响应性的问题。这一问题在工具使用型智能体中更为严重，这类智能体可以调用工具检索正确信息，但生成的建议仍可能忽略该信息。

方法论

作者引入了因果敏感度得分（Causal Sensitivity Score, CSS），这是一种预注册的干预性指标，旨在衡量模型对临床意义显著的输入数据变化的行为响应能力。

1. 预注册干预目录

研究利用了一个包含 12 种干预措施、分布于五个临床动机家族的目录，并在评估前以 YAML 格式进行指定，以防止事后选择偏差：

家族 A（生物标志物翻转）： 替换 HER2、ER 或 PD-L1 的状态。
家族 B（既往治疗）： 注入既往一线治疗进展的历史记录。
家族 C（生物标志物剥离）： 删除特定生物标志物的提及。
家族 D（手术状态）： 切换切除历史（例如，已切除 vs 未切除）。
家族 E（分期扰动）： 改变疾病分期。

2. 评分机制

对于每个模型、病例和干预元组，系统会生成一个基线建议和一个干预后的建议。评判 LLM（默认为 gpt-5.4，当 gpt-5.4 是被评估对象时使用 claude-opus-4-7 以避免自我偏好偏差）评估建议是否向预注册的正确方向进行了更新。

得分： {0.0, 0.5, 1.0} 分别对应（无变化 / 虽有提及但未改变 / 正确更新）。
指标： CSS 是所有元组的平均得分，分别针对整体和每个干预家族进行计算。

3. 实验设置

样本库： 224 个经专家标注的肿瘤委员会（tumor-board）肿瘤学病例，具有金标准治疗建议。
模型： 来自三个实验室（OpenAI, Anthropic, xAI）的六个前沿模型，在两种设置下进行评估：
1. 单次 shot LLM 推理： 直接提示词-响应。
2. 工具使用型智能体： 一个采用 ReAct 风格的智能体，使用 read_chart_section 工具来检索信息，其中干预措施会改变工具检索到的底层数据。
基准： 共识匹配得分（CMS），一种衡量与专家共识重叠程度的加权召回指标。

关键结果

1. 指标间的排名反转

研究发现，模型在 CMS（覆盖率）和 CSS（响应度）之间的排名几乎相反。

相关性： Spearman $\rho = -0.49$ （尽管由于 $n=6$ 导致统计效能不足）。
排名交换： 所有六个模型都发生了排名变化。在 CMS 中排名最后的模型（grok-4.20-reasoning）在 CSS 中排名第一。相反，CMS 表现最好的模型（gpt-5）在 CSS 中降至第四。
特定失败： gpt-5.4 在 CMS 中排名第四，但在 CSS 中垫底（第六）。

2. 普遍的安全盲点（家族 D）

一个关键发现是，所有前沿模型在**手术状态干预（家族 D）**方面均存在普遍失败。

性能： 所有模型在这一家族的 CSS 得分均 $\le 17.2\%$ 。表现最好的模型（grok-4.20）得分为 17.2%，而最差的模型（gpt-5.4）仅为 3.9%。
启示： 没有模型能够可靠地在患者切除状态发生变化时更新治疗建议，这是一个 CMS 未能暴露的临床关键安全信号。

3. 智能体迁移与结构化响应

在针对家族 D 子集的工具使用型智能体评估中：

提升： 工具使用使六个模型中的五个模型的 CSS 得到了提升（增幅为 +2.5 至 +20.3 个百分点）。
gpt-5.4 异常现象： 尽管 gpt-5.4 检索到了相同的图表章节，但其表现保持不变（0.050 $\to$ 0.050）。这表明存在结构性响应缺陷而非信息获取失败；该模型检索了数据，但未能将其整合进推理过程中。

4. 验证

跨评判者复现： 使用 claude-opus-4-7 作为统一评判者保留了排名顺序（ $\rho = +1.00$ ），证实了研究结果并非评判偏差的产物。
人工验证： 三名医疗专业人员验证了 100 个元组的子集。虽然单病例一致性中等，但聚合失败率在 LLM 评判者（0.10）与人类（0.09）之间高度一致，符合家族 D 的失败情况。

重要性与主张

本文声称 CSS 是临床 AI 评估中覆盖率型评估的必要补充。其主要贡献在于：

揭示隐藏谱系： CSS 揭示了能力谱系（例如，对手术状态与生物标志物翻转的敏感度），而聚合覆盖率指标会掩盖这些差异。
安全检测： 它识别了标准指标无法检测到的普遍安全盲点（特别是关于手术状态），因为标准指标不会测试在反事实情况下的行为变化。
智能体评估： CSS 可直接迁移到工具使用型智能体，从而区分模型是由于缺乏信息访问能力导致的失败，还是由于无法根据检索到的数据更新推理过程的结构性能力缺失。
未来效用： 作者提议将 CSS 作为未来智能体强化学习（RL）的候选“稠密奖励”信号，实现从静态输出匹配向动态响应能力的跨越。

作者对其研究结果在所有医学领域的普适性保持谨慎，指出结果特定于肿瘤委员会病例，且较小的样本量（ $n=6$ 模型）限制了其排名相关性主张的统计效能。然而，他们断言，预注册干预性指标这一方法论对于评估临床 AI 智能体是稳健且必要的。