🤖 machine learning

Performance uncertainty in medical image analysis: a large-scale investigation of confidence intervals

本研究通过对 24 个医学影像任务进行大规模实证分析，旨在评估各种置信区间方法的可靠性与精确度，揭示了样本量、指标和聚合策略如何影响不确定性量化，并提供了一个用于指导未来报告标准的实用决策树。

原作者： Pascaline André, Charles Heitz, Evangelia Christodoulou, Annika Reinke, Carole H. Sudre, Michela Antonelli, Patrick Godau, M. Jorge Cardoso, Antoine Gilson, Sophie Tezenas du Montcel, Gaël Varoquaux

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pascaline André, Charles Heitz, Evangelia Christodoulou, Annika Reinke, Carole H. Sudre, Michela Antonelli, Patrick Godau, M. Jorge Cardoso, Antoine Gilson, Sophie Tezenas du Montcel, Gaël Varoquaux, Lena Maier-Hein, Olivier Colliot

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的医学影像领域，人工智能正在学习如何观察人类肉眼可能忽略的细节。这些计算机程序可以扫描 X 光片、核磁共振成像（MRI）和 CT 扫描，以检测肿瘤、识别骨折或计数细胞，其速度和一致性足以媲美资深放射科医生。然而，为了让这些工具在医院中获得信任，医生需要的不仅仅是一个显示系统表现如何的单一数字。他们需要知道，如果该系统在不同的患者群体上进行测试，这个数字会有多大的变化。因为任何测试集都只是广阔而复杂的人类疾病现实中的一个微小样本，所以任何性能评分都伴随着误差范围。为了传达这种不确定性，科学家们使用了一种叫做“置信区间”的工具。可以将它想象成围绕在一个性能评分周围的安全网；它是一个可能包含真实、现实世界能力的数值范围。如果网太宽，则告诉医生该系统不可靠；如果太窄，则可能提供一种虚假的安全感。如何正确地绘制这张网，长期以来一直是该领域产生困惑和潜在错误的一个源头。

来自欧洲各机构的一个大型研究团队致力于解决这一困惑，他们通过对医学影像中这些置信区间究竟如何表现进行大规模、系统的调查来解决这一问题。他们没有依赖理论上的猜测或孤立的小型案例。相反，他们建立了一个包含数百个真实场景的虚拟实验室。他们选取了十二种不同的医学任务，从识别 MRI 扫描中的脑肿瘤到对照片中的皮肤病变进行分类，并对每种任务应用了十九种不同的 AI 模型。这创造了一个涵盖了寻找图像中特定形状的任务（称为分割）以及将图像进行类别划分的任务（称为分类）的海量测试用例集合。对于每一个模型与任务的组合，他们都模拟了数千个不同的测试集，以观察置信区间在压力下的表现。他们测试了多种计算这些区间的计算方法，包括标准的统计公式和基于计算机密集型的重采样技术，同时还改变了测试集的大小以及衡量成功的特定指标。

调查结果表明，不存在一种在所有情况下都能表现良好的通用方法来计算这些区间。研究人员发现，方法的选择在很大程度上取决于研究的具体细节。例如，任务的类型非常重要。当 AI 被要求将图像归入一个类别（如“有疾病”或“无疾病”）时，与 AI 被要求绘制器官精确轮廓的任务相比，分类任务需要大得多的测试集才能保证可靠性。在分类任务中，研究人员发现区间通常需要数百个病例才能值得信赖，而在分割任务中，有时则需要少得多的病例。此外，如何结合来自多个类别的数据也起着至关重要的作用。如果医生想要了解 AI 在罕见疾病上的表现，他们必须分别查看每种疾病的表现，然后取平均值。研究表明，这种被称为“宏平均”（macro-averaging）的方法，比简单地将所有数据汇集在一起的“微平均”（micro-averaging）需要更多的数据来产生可靠的安全网。

用于衡量性能的具体指标也会剧烈改变置信区间的行为。一些衡量 AI 与参考形状重合程度良好的指标，往往会产生稳定且可预测的区间。而另一些衡量 AI 轮廓与真实边界之间距离的指标则更加不稳定，需要更大的样本量才能趋于稳定。研究人员发现，数据的分布形状，特别是数据的偏斜程度或不对称程度，是导致这种不稳定的主要驱动因素。当数据高度偏斜时，标准方法往往无法捕捉到真实的性能，导致产生的区间要么过窄且具有误导性，要么过宽而毫无用处。

或许最重要的一点是，这项研究挑战了盲目遵循软件默认设置的普遍做法。许多流行的用于数据分析的计算机程序都有计算置信区间的“默认”设置，通常倾向于某种特定的复杂方法。研究人员发现，这种默认设置在医学影像领域往往是错误的选择。在许多情况下，一种更简单的方法表现得更好，而在其他情况下，默认方法则会发生灾难性的失败，尤其是在数据包含离群值或汇总统计量是中位数而非平均值时。他们还发现，一些广泛使用的方法产生的区间要么宽到几乎无法使用，要么窄到完全错失了真实值。

为了帮助医学界应对这些复杂性，研究人员将他们的发现转化为一个实用的决策树。该指南允许研究人员查看其具体情况——无论是正在进行分割还是分类，使用的是什么指标，以及拥有多少患者——并立即看到哪种计算置信区间的方法最可能可靠。研究结论指出，虽然计算性能的不确定性对于人工智能的安全临床应用至关重要，但这并不是一个“一刀切”的问题。安全网的可靠性完全取决于具体的语境，而选择正确的方法需要理解数据的特定特征。通过绘制出这些依赖关系，这项工作为研究人员提供了清晰的路径，使他们能够以临床实践所要求的诚实和精准度来报告其研究结果。

技术摘要：医学图像分析中的性能不确定性

问题陈述

人工智能（AI）在医学成像领域的可靠验证与临床转化，正受到缺乏严谨的性能估计不确定性量化方法的阻碍。虽然性能指标被常规报告，但它们源于有限的测试集，本质上受采样变异性的影响。置信区间（CI）是量化这种不确定性的标准机制，然而医学成像界仍缺乏关于针对特定研究特征应采用何种 CI 方法的全面指导。现有文献通常依赖于参数化模拟或范围有限的研究，这些方法无法反映医学图像分析中典型的复杂、非高斯分布以及中小样本量的特征。因此，研究人员面临使用不当 CI 方法的风险，可能导致过度自信（区间过窄且未能包含真实值）或过度缺乏信心（区间过宽且精度不足）。

研究方法

作者进行了一项大规模实证调查，旨在表征广泛使用的 CI 方法在多种医学成像场景下的行为特征。

实验设计： 本研究利用了 456 个基准实例，包括应用于 12 个分割任务（使用 Medical Segmentation Decathlon 数据集）的 19 个已训练模型，以及应用于多种成像模态的 12 个分类任务。
模拟策略： 为了避免依赖于可能不成立的参数化假设，作者对性能指标（针对分割）和模型 Logit 值（针对分类）的经验分布进行了核密度估计（KDE）拟合。这些拟合后的分布作为“真实”的底层总体。
采样与评估： 从这些真实分布中，在不同样本量（ $n = 10$ 至 $250 $，针对特定分类指标扩展至$ 5,000$）下抽取了 10,000 个合成样本。对于每个样本，计算了 CI 并评估了经验覆盖率（即区间包含真实值的比例）和平均宽度。
调查变量：
- CI 方法： 参数化方法（z, t, Wald, Wilson, Agistry-Coull, Clopper-Pearson）、非参数化自助法（Percentile, Basic, BCa）以及集中不等式（Hoeffding, Empirical Bernstein）。
- 指标： 8 种分割指标（如 DSC, NSD, HD, ASSD）和 6 种分类指标（如 Accuracy, AUC, F1, MCC）。
- 聚合方式： 分类任务中的微平均（Micro-averaging）与宏平均（Macro-averaging）；分割任务中的各种统计量（均值 Mean, 中位数 Median, 修剪均值 Trimmed Mean, 标准差 STD, 四分位距 IQR）。
统计分析： 关于方法性能的结论通过在数千种配置下进行带有错误发现率（FDR）校正的置换检验进行了验证。

核心贡献

大规模实证分析： 这是首个系统评估 CI 行为的研究，涵盖了 456 个基准实例，涉及广泛的任务、模型、指标和样本量。
非参数化模拟框架： 作者开发了一个鲁棒的模拟流水线，利用 KDE 捕捉真实的、通常是偏斜的医学成像指标分布，从而避免了参数化假设带来的陷阱。
刻画研究依赖性： 本研究量化了 CI 的可靠性（覆盖率）和精确度（宽度）如何取决于特定的研究特征，包括机器学习问题类型、指标选择、聚合策略和样本量。
实践决策工具： 作者推导出了一个决策树，旨在根据研究者的特定研究参数引导其选择合适的 CI 方法。

关键结果

1. 样本量需求差异巨大

实现可靠且精确的 CI 所需的样本量从数十个到数千个不等，这在很大程度上取决于研究背景。

分类 vs. 分割： 与分割任务相比，分类任务需要显著更大的样本量才能达到同等的 CI 特性。例如，为了达到 0.1 的 CI 宽度，分割任务通常需要约 50 个观测值，而分类任务则需要约 250 个。这归因于分类指标每份样本传递的信息量较少（二元/有限类别），而分割指标则包含像素/体素级的数据。
聚合策略： 宏平均指标比微平均指标需要更多的观测值才能实现可靠的覆盖。

2. 指标选择剧烈影响 CI 行为

并非所有指标的表现都一致。基于距离的指标（如 ASSD, MASD）表现出比基于重叠的指标（如 DSC, IoU）更慢的理论覆盖收敛速度，并且需要更大的样本量。

偏斜相关性： 研究发现，指标分布的偏斜度与 CI 覆盖收敛速度之间存在强相关性。高度偏斜的分布（在基于距离的指标中很常见）会导致更慢的收敛速度和更高的样本量需求。
统计量： 中心趋势度量（均值）通常比离散度量（标准差, 四分位距）收敛更快。然而，对于高度偏斜的指标，中位数或修剪均值可以提供比均值更稳健的覆盖。

3. CI 方法的表现

自助法 (Bootstrap Methods)：
- 百分位数自助法 (Percentile Bootstrap)： 在广泛的设置中表现出最稳健的行为。
- BCa (偏差校正及加速法)： 对于均值而言表现极佳，尤其是在小样本和偏斜数据的情况下；但在应用于中位数（以及其他对单个数据点移除具有不变性的统计量）时会发生灾难性失败，导致随着样本量增加出现严重的覆盖不足。
- 基础自助法 (Basic Bootstrap)： 表现持续欠佳，由于偏差的存在，通常提供最差的覆盖。它仅在特定背景下的宏平均平均精度（AP）中被推荐使用。
参数化方法： 由于其较宽的区间能补偿不确定性，参数化 t 区间和 Wilson 区间（针对比例）在极小样本量（ $n < 25$ ）时优于自助法。然而，这种优势随着样本量增加（ $n \ge 50$ ）会迅速消失。
集中不等式： Hoeffding 和 Empirical Bernstein 区间产生的区间极其宽阔（通常比自助法/参数化方法宽 2 到 7 倍），反映了无分布保证所付出的代价。在这一领域，它们通常过于不精确，不具备实际应用价值。

4. 失效模式

分割： 覆盖失效主要归因于经验指标分布中存在离群值（Outliers）。
分类： 失效主要与类别不平衡有关，特别是在小数据集上使用宏平均指标时。

意义与启示

本文声称填补了文献中的关键空白，提供了关于医学成像中 CI 行为的首个大规模、数据驱动的证据。作者强调：

不存在“一劳永逸”的方法： 没有一种单一的 CI 方法适用于所有场景。盲目依赖默认值（例如 SciPy 中的 BCa）可能会导致误导性的结论。
可操作的指导： 推导出的决策树为研究者提供了即时的、实用的建议，帮助其根据特定任务（分割 vs. 分类）、指标和样本量来平衡可靠性与精确度。
建立指南的基础： 这些发现构成了未来制定医学成像 AI 性能不确定性报告共识指南的重要基石，推动该领域向更可信、更具临床转化能力的 AI 模型迈进。

研究结论指出，虽然量化性能不确定性在计算上是可行的（单个估计仅需数秒至数小时），但理解这些不确定性所需的系统性调查是非常复杂的。提供的决策工具旨在防止研究界在模型性能的过度自信或过度缺乏信心方面陷入重大陷阱。