在重症监护室，每一秒都至关重要，生命悬于一线，医生们越来越多地依赖人工智能来在危险发生前察觉征兆。这些计算机系统分析着数据流——心率、血液检测结果和呼吸模式——以预测患者是否可能出现脓毒症、死亡或需要强效升压药。但这些模型并非完美。有时它们会对错误答案充满信心，或者基于过于单薄、无法被信任的数据做出预测。为了解决这个问题，研究人员开发了一种被称为“选择性预测”的安全阀。这使得计算机能够说：“我不确定，”并将病例移交给人类医生进行审查。其目标很简单：让机器处理简单的案例，让人类处理困难的案例。该领域的一个重大问题一直是：如何决定机器何时应该退后。多年来，标准建议是观察机器自身的置信度得分。如果计算机表示它只有 55% 的把握，它就应该转交。然而，一个更新、更复杂的想法正受到关注：也许单一的置信度数字是不够的。也许机器需要一个多维度的“可靠性评分”，不仅要检查它有多确定，还要检查数据是否完整、患者是否与机器之前见过的其他患者相似，以及预测在微小变化下是否依然成立。这种方法有望成为一次重大升级，识别出那些简单的置信度检查可能会错过的真正危险病例。
梅奥医学中心的学者于国宇（Yunguo Yu）决定对这一极具前景的新想法进行测试。他采用了一个由五种不同检查构成的复杂可靠性系统，并利用来自美国各地医院、包含数十万条患者记录的三大数据库中的数据，将其与标准方法进行对比。这项研究聚焦于三个关键任务：预测脓毒症、预测死亡以及预测对血管加压药物的需求。研究人员首先将新的五部分可靠性系统与一个仅观察风险量程底端的非常简单的规则进行了比较。在这次初步测试中，新系统看起来像是一个奇迹。它转交了与简单规则完全不同的患者群体，且留下的预测结果准确度大幅提升。错误率下降了一半以上，且医生每捕捉到一个错误所需的审查患者人数从数百人骤降至仅几人。这些结果如此令人印象深刻，以至于似乎证明了新系统远优于任何基于简单置信度的系统。
然而，当研究人员提出了一个不同的问题时，故事发生了变化。他意识到他用来做对比的那个简单规则在根本上是有缺陷的。那个规则只转交那些预测风险最低的患者——本质上是那些几乎肯定会平安无事的人。通过移除这些最安全的患者，简单规则人为地让剩余的群体看起来风险更高、更难预测，从而使新系统看起来像个英雄。随后，研究人员引入了一个更公平、符合教科书标准的规则：一个对称性检查，即转交处于风险量程中间位置的患者，也就是计算机真正感到困惑的地方。这个规则转交的是既非明显安全也非明显危险的患者，而这恰恰是最容易产生混乱的地方。当这个五部分可靠性系统与这个公平的对称规则进行比较时，魔力消失了。新系统并没有展现出优势。事实上，在大多数情况下，它的表现与简单的对称规则完全一致，并且在两种特定情境下，简单规则的表现甚至更好。至关重要的是，调查显示这两个系统转交的并不是不同的患者；它们转交的群体高度重合，中位数重叠率接近 90%。
调查揭示了为什么新系统最初看起来如此强大。研究人员发现，复杂的五部分评分系统并没有发现新型的不确定性。相反，它本质上是在重新学习简单对称规则已经掌握的东西：即当计算机在 50-50 的猜测边缘徘徊时，预测是最不确定的。系统检查的其他维度——如数据充分性或患者的相似性——并没有帮助系统捕捉到更多的错误。它们只是将少部分患者从一个组转移到了另一个组，通常是用一个具有明确但不确定预测的患者，去替换一个数据缺失的患者，而并未实际提高留存组的准确性。研究表明，早期工作中报道的显著改进是一种错觉，那是通过将一个复杂的系统与一个弱小的、单向的对手进行对比而产生的。
研究结果表明，对于临床人工智能而言，未来的路径不是构建更复杂的可靠性评分，而是使用正确的简单规则。研究结论指出，一个模型的预测距离 50-50 猜测的距离，是决定何时转交的最有效方式。额外的复杂层级并不会为“谁该交给医生”的决策增加价值，只会增加噪音。研究人员建议，未来的研究应停止使用那种仅转交最安全患者的单向对比，因为这会创造出误导性的成功景象。相反，他们应该以对称规则作为基准进行测试，并准确报告哪些患者被保留以及哪些患者被转交。教训是明确的：在重症监护室这个高风险的世界里，了解何时信任机器的最佳方式，不是要求它提供一份复杂的成绩单，而是倾听它对不确定性的简单承认。
技术总结：延迟的前沿 (The Deferral Frontier)
问题陈述
临床 AI 模型通常报告较高的平均性能（例如，AUROC > 0.85），但在特定亚组或新环境中却表现出系统性失败。为了缓解这一问题，“选择性预测”（selective prediction）允许模型将不确定的病例延迟（defer）给临床医生。虽然传统方法使用一维置信度分数（即预测概率）来触发延迟，但最近的提议建议使用多维可靠性评分。这些评分整合了置信度之外的信号，例如数据充分性、队列相似性、时间稳定性以及不确定性一致性，其假设是这些维度能捕捉到仅凭置型度无法捕捉到的失效模式。然而，目前尚无法验证这些多维评分是否比一个正确指定的置信度规则具有真正的价值，或者所报告的增益是否仅仅是对比基准产生的伪影。
方法论
本研究针对三个重症监护室（ICU）预测任务（脓毒症、住院死亡率、血管加压药启动）以及三个大规模数据库（MIMIC-IV、MIMIC-III、eICU），重新评估了一个学习到的五维可靠性综合指标相对于两种不同置信度延迟规则的表现。
对比的延迟规则：
- 单侧置信度门限 (One-sided Confidence Gate)： 延迟预测风险最低的患者 (p~<t)。这是作者之前工作（版本 1）所使用的对比项。
- 对称置信度门限 (Symmetric Confidence Gate)： 延迟最大类别概率最低的患者，即最接近 p~=0.5 的患者 (max(p~,1−p~)<t)。
- 可靠性综合指标 (Reliability Composite)： 一个基于五个维度训练的逻辑回归模型：(D1) 校准后的置信度，(D2) 数据充分性，(D3) 队列相似性（马氏距离），(D4) 时间稳定性，以及 (D5) 不确定性一致性（蒙特卡洛 Dropout 方差）。其目标是判断患者的绝对误差是否超过了验证集的误差中位数。
分析框架：
作者建立了一个分析参考点：对于一个校准良好的二分类器，预测值 p~ 的期望平方误差（Brier 分数贡献）为 p~(1−p~)。因此，对于最小化保留预测值的 Brier 分数而言，对称置信度规则在理论上是最优的，而单侧规则对于风险预测值普遍较低的任务而言是最不利的。
评估指标：
在 80% 覆盖率（20% 延迟）下，通过保留患者的 Brier 分数和 AUROC、需要复核次数 (NNR) 以及用于衡量延迟集合重叠程度的 Jaccard 指数来评估性能。
关键结果
- 单侧对比项的伪影： 当与单侧置信度门限进行比较时，可靠性综合指标表现出巨大的提升（Brier 分数降低了 1.4–2.6 倍）。其延迟集合几乎是不交的（Jaccard 指数 ≤ 0.001）。然而，这是一种几何学上的后果：单侧门限延迟了几乎确定正确的低风险患者，从而人为地抬高了保留集的性能。
- 对称规则的等效性： 当与对称置信度门限进行比较时，可靠性综合指标没有表现出显著优势。在九个数据集-任务对中，有七个对的 Brier 分数在统计学上是无法区分的；在另外两个对中，对称规则甚至优于综合指标。这两种规则延迟的患者高度重合（中值 Jaccard 指数为 0.89）。
- 综合指标的机制： 学习到的综合指标实际上重新学习了对称规则。置信度 (D1) 和不确定性一致性 (D5) 的系数是主要的驱动因素，且综合指标得分与理论误差项 p~(1−p~) 强相关 (ρ=−0.80 至 $-0.94$)。
- 辅助维度的作用： D2（数据充分性）和 D3（队列相似性）确实将少数延迟转向了数据稀疏的患者。然而，这种转向并未捕捉到额外的误差；在某些情况下，与对称规则相比，它反而略微减少了被延迟捕捉到的误差。
- 净获益的误解： 针对保留患者的决策曲线分析倾向于单侧门限，但作者证明这仅仅是由于移除了低风险患者（这些患者不贡献真阳性或假阳性）而导致的数学伪影。在比较具有不同保留病例组合的门限之间的净获益时，这种做法是无效的。
核心贡献
- 分析参考点： 论文提供了证明：对于校准良好的二分类模型，对称置信度规则是 Brier 最优的延迟策略，而单侧规则对于低流行率任务是次优的。
- 经验反驳： 通过九个数据集-任务对的经验证据表明，当以对称规则作为基准时，此前归功于多维可靠性门限的“增益”消失了，因为综合指标在很大程度上重新学习了对称置信度逻辑。
- 机制解释： 研究阐明了综合指标的性能是由其近似 p~(1−p~) 的能力驱动的，而非通过捕捉新的可靠性信号。辅助维度起到了重新定向延迟的作用，但并未增加捕捉误差的能力。
- 评估指南： 论文为未来的临床选择性预测研究提出了四项具体实践：
- 以对称置信度规则（或经过温度缩放的熵）作为基准。
- 在报告子集指标的同时，报告病例组合（流行率和风险分布）的保留情况与延迟情况。
- 将重叠统计数据（如 Jaccard 指数）视为描述排名差异的工具，而非优越性的证据。
- 移除已知成分的目标（即，在误差 超出 p~(1−p~) 的部分上进行训练），以避免重新发现置信度。
意义与主张
论文得出结论，此前被归因于临床 AI 中多维可靠性门限的“增益”，实际上是由延迟规则的几何特性（特别是使用了单侧对比项）所解释的，而非源于附加可靠性维度的效用。
作者谦虚地指出，其发现并不意味着数据充分性或队列相似性在临床上无关紧要。相反，他们证明了在当前设计中，这些维度未能提供超越对称置信度规则所能实现的延迟决策改进。论文建议，临床延迟的有益方向不是精炼模型对其自身不确定性的观察，而是建模模型与临床医生之间的分歧（学习如何延迟）。它强调，辅助可靠性维度应被视为向临床医生解释延迟的候选工具，而非用于决定延迟的工具，且其真正的价值需要通过前瞻性临床评估而非回顾性 Brier 分数改进来体现。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。