Calibrated Selective Prediction Using Deep Ensembles for ROI-Based Thyroid Nodule Ultrasound Classification Under Dataset Shift: A Retrospective Evaluation

技术摘要：基于深度集成在数据集偏移下进行校准选择性预测的 ROI 导向甲状腺结节超声分类研究

问题陈述
尽管深度学习模型在甲状腺结节超声图像分类方面表现出极高的辨别能力，但仅有高准确率对于临床决策支持而言是不够的。在现实场景中，模型可能会对模糊病例、采用不同采集协议的图像或与训练集数据分布不同的数据产生过度自信但不可靠的预测（数据集偏移）。一个安全的临床系统不仅需要对图像进行分类，还需要能够识别自动化分诊建议不可靠的情况，并将这些情况转交给人类专家。这要求具备鲁棒的概率校准、不确定性估计，以及一种在数据集偏移下仍能保持保守操作的选择性预测机制（带有拒绝选项的分类）。

方法论
本研究提出了一种经过校准的、确定性的五成员深度集成框架，用于注释辅助的甲状腺结节感兴趣区域（ROI）分类。该方法包含以下关键组成部分：

• 数据集与架构： 该框架利用 TN5000 数据集（5,000 张图像，富含恶性病例）进行开发和内部交叉验证，并使用 TN3K 数据集（614 张图像，具有不同的类别分布和标注风格）进行针对数据集偏移的外部评估。研究选择了配备 Squeeze-and-Excitation (SE) 注意力模块的 ConvNeXt-Tiny 作为最优架构骨干。
• 集成与校准： 生成五个独立训练的集成成员（使用不同的随机种子）。为确保可靠的概率估计，在每个交叉验证折叠中，使用专门的校准子集 (val_calib) 对成员级向量缩放进行事后处理。
• 不确定性估计： 采用互信息（Mutual Information, MI）作为主要的集成分歧度量指标。MI 量化了集成平均预测的熵与各成员平均熵之间的差异。高 MI 表示存在高水平的认识不确定性（epistemic uncertainty，即模型间的分歧）。
• 选择性分诊策略： 应用了严格的三层回顾性策略：
  1. 不确定性门限： MI 超过特定折叠阈值的图像会被立即分配给放射科医生审核。
  2. 排除/纳入门限： 在低 MI 图像中，通过评估校准后的恶性概率来执行：
     • 概率低于保守排除阈值 ($\tau_{low}$) 的图像被赋予基于图像的“无需细针穿刺（No-FNA）”建议。
     • 概率高于保守纳入阈值 ($\tau_{high}$) 的图像被赋予“建议进行细针穿刺（FNA recommendation）”。
     • 处于中间“灰色地带”的概率被分配给放射科医生审核。
• 阈值选择： 阈值完全从每折的验证子集 (val_es) 中导出，以满足严格的安全标准：No-FNA 阴性预测值 (NPV) $\ge$ 98%，且 FNA 建议的正向预测值 (PPV) $\ge$ 95%。
• 外部评估： 将从 TN5000 获得的冻结模型和策略原封不动地应用于 TN3K，以评估在数据集偏移下校准性、不确定性行为和决策阈值的可迁移性。

核心贡献

1. 框架开发： 作者开发了一个用于 ROI 导向甲状腺结节分类的校准确定性深度集成框架，采用了带有 SE 注意力的 ConvNeX-Tiny。
2. 不确定性驱动的推迟： 本研究评估了互信息作为一种特定的集成分歧评分，用于识别不适合自动化分诊的图像，并将其与训练时的不确定性加权区分开来。
3. 保守的分诊策略： 提出了一种结合了基于不确定性的推迟与基于概率的排除/纳入路径的三层策略，确保仅针对低分歧且具有极端概率的病例发布自动化建议。
4. 外部可迁移性分析： 研究严谨地评估了从 TN5000 衍生的冻结策略在独立 TN3K 队列上的表现，明确分析了在数据集偏移下辨别力、校准度和阈值有效性的退化情况。

结果

• 内部性能 (TN5000)： 校准后的集成实现了池化折叠外 AUC-ROC 为 0.9395，平均精度 (AP) 为 0.9715。校准效果极佳，期望校准误差 (ECE) 为 0.0088，Brier 分数为 0.0813。
• 内部选择性预测： 在 50% 的名义 MI 保留率下，系统将 7.2% 的病例分配为“无需 FNA”，39.9% 分配为“建议进行 FNA”，52.9% 分配给放射科医生审核。这实现了 98.3% 的 No-FNA NPV 和 99.83% 的恶性捕获率。
• 外部性能 (TN3K)： 在数据集偏移下，辨别力下降（AUC-ROC 为 0.7870，AP 为 0.7254），校准度显著恶化（ECE 为 0.1899，Brier 分数为 0.2281）。
• 外部分诊结果： 将冻结的 TN5000 策略应用于 TN3K 导致 83.7% 的病例被分配给放射科医生审核，15.3% 获得 FNA 建议，仅 1.0% 获得 No-FNA 建议。虽然没有恶性图像被错误分配到 No-FNA 通路（观察到 100% NPV），但这归因于高推迟率而非鲁棒的排除能力。FNA 建议的 PPV 下降至 76.6%，未能达到内部阈值选择时设定的 95% 目标。

意义与主张
本文声称，所提出的校准深度集成框架成功展示了强大的内部辨别力和校准能力，支持了一个保守的选择性预测框架，即在出现高分歧时撤回自动化分诊建议。然而，作者明确指出，在 TN3K 上的外部评估揭示了辨别力降低、校准度下降以及数据集偏移下操作阈值的可迁移性有限。

因此，作者得出结论，这些发现不支持直接进行临床部署或关于实际减少活检次数的主张，除非进行局部校准、阈值验证和前瞻性临床评估。相反，本研究将选择性预测定位为一种谨慎的机制，用于识别不适合自主分诊的图像，强调自动化图像建议应仅针对低分歧病例发布，而可能不可靠的预测应转交给专家审核。该工作强调了在将此类模型应用于新临床环境之前进行局部验证的必要性。