Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

技术摘要：跨队列评估不同结局定义下的甲状腺超声深度学习

问题陈述
人工智能（AI）模型在甲状腺超声解读中的表现高度依赖于队列特征和所使用的特定评估终点。该领域的一个关键挑战在于不同诊断终点的互换性问题：即术后病理结果（一种确定的诊断结果）与放射科医生分配的风险类别（如美国放射学会甲状腺成像报告与数据系统 [TI-RADS]，一种面向临床管理的怀疑评分）之间的区别。这些终点代表了诊断路径中不同的阶段，且不具备互换性。此外，在某一数据集上训练的深度学习模型往往难以泛化到独立的队列中，因为存在人群、设备、采集协议和标签定义的偏移。本研究旨在解决基准测试甲状腺分类器的问题，同时明确区分针对恶性结局的评估与针对 TI-RADS 衍生风险类别的符合度，并在此过程中控制图像级的数据泄露。

方法论
本研究采用了一个使用固定分析环境（Python 3.10, PyTorch 2.5.1）的双重控制图像级基准测试流程。

• 数据集：

  • 开发存档（Development Archive）： 一个包含 387 幅 B 型超声图像和 1,332 个细针抽吸细胞学（FNA）标本块（源自 385 个原始病例）的公开 Mendeley Data 发布集。标签基于术后诊断为二分类（乳头状甲状腺癌 [PTC] 对 比 良性）。由于缺乏患者级标识符，无法进行经过验证的患者级划分。
  • 外部队列： 在不进行重训练或阈值调整的情况下，对两个冻结模型进行了评估：
    1. TN3K： 一个包含 1,228 幅图像的子集，具有数据集提供的良性/恶性标签。
    2. DDTI： 637 幅图像，其评估终点为一个源自放射科医生 TI-RADS 类别的二分类变量（将低怀疑度 TI-RADS 2–3 类与高怀疑度 TI-RADS 4–5 类进行分组）。

• 数据预处理与泄露控制：

  • 重复项控制： 使用 MD5 哈希（精确重复）和感知哈希（近乎相同的图像）对图像进行分组。这些组被保持在单一分区（训练集、验证集、测试集）内，以防止图像级数据泄露。
  • 预处理： 图像被缩放至 224×224 像素。一项探索性实验测试了自动基于纹理的感兴趣区域（ROI）裁剪，以抑制外围界面伪影。

• 模型架构与训练：

  • 训练了五种骨干架构：ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50, 和 DenseNet-121。
  • 模型使用 ImageNet 权重初始化，并使用 AdamW 优化器通过类加权二元交叉熵损失进行微调。
  • 通过平均 ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, 和 ResNet-50 的 Sigmoid 概率构建了集成模型。
  • 使用温度缩放（Temperature Scaling）、Brier 分数和预期校准误差（ECE）对校准度进行了评估。

• 评估策略：

  • 使用 AUROC、AUPRC、准确率（Accuracy）、敏感度（Sensitivity）、特异度（Specificity）和 F1 分数来衡量性能。
  • 通过非参数 Bootstrap 重采样（2,000 次重复）生成置信区间。
  • 细胞学和超声两种模态被视为独立的、非配对的图像分布；未进行患者内的对比准确性估计。

核心贡献

1. 终点来源分离： 本研究明确区分了评估模型预测恶性的能力（针对病理标签）与对放射学风险分层（TI-RS）的符合度。
2. 重复项控制的基准测试： 实施了精确哈希和感知哈希，以在缺乏患者级标识符的情况下防止图像级数据泄露，这是公开医学图像存档中的常见问题。
3. 跨队列冻结评估： 在两个不同的外部队列（TN3K 和 DDTI）上对冻结模型进行评估且不进行重训练，突出了性能如何随采集方式和终点定义的变化而变化。
4. 描述性模态对比： 对开发存档内的超声与细胞学进行了非配对比较，明确指出此类比较描述的是图像分布而非建立临床优越性。

结果

• 内部性能（开发存档）：

  • 细胞学： ConvNeXt-Small 模型实现的 AUROC 为 0.988（95% CI 0.976–0.998），集成模型达到 0.986。
  • 超声： EfficientNet-B3 模型实现的 AUROC 为 0.745（95% CI 0.612–0.865），集成模型达到 0.733。
  • ROI 裁剪： 自动 ROI 裁剪将超声集成模型的 AUROC 从 0.745 提升至 0.817。
  • 校准： 温度缩放提高了概率可靠性（ECE 从 0.032 降至 0.014），但未改变基于秩次的指标。

• 外部队列评估（冻结模型）：

  • TN3K（恶性标签）： 超声集成模型实现的 AUROC 为 0.825，ResNet-50 达到 0.888。这些结果表明模型对该数据集分布的良性/恶性标签具有良好的判别能力。
  • DDTI（TI-RADS 终点）： 针对 TI-RADS 衍生终点，集成模型实现的 AUROC 为 0.477，ResNet-50 为 0.437。这表明模型与 TI-RADS 分类几乎没有符合度。
  • 解释： 作者指出，TN3K 与 DDTI 结果之间的差异不能仅归因于标签定义，因为队列、设备、采集方式以及疾病谱在变化的同时也发生了改变。

• 模态比较： 一项描述性的、非配对的 Bootstrap 分析显示，细胞学减去超声的 AUROC 差异为 0.247（95% CI 0.120–0.384）。作者强调，这并不证明细胞学在临床上更优越，因为图像集并非患者匹配的。

意义与主张
本文主张，冻结的甲状腺超声模型在采集方式和结局定义不同的队列中表现不同。TN3K（恶性标签）的高性能与 DDTI（TI-RADS 标签）接近随机水平的表现之间的鲜明对比，强调了这些终点不具备互换性。

研究支持了对未来研究的三项主要启示：

1. 明确报告： 必须明确报告标签的来源（例如，术后诊断对比 TI-RADS）。
2. 谨慎解释： 跨队列性能的差异应谨慎解释，因为它们反映了分布偏移和终点定义的综合影响，而非单一因果因素。
3. 患者级验证： 未来的研究需要针对临床适当的参考标准进行患者级外部评估，以确保可迁移性。

作者谦虚地总结道，其发现支持了对经过验证的患者级划分和一致的参考标准描述的需求，而非声称解决了甲状腺 AI 的泛化问题。本研究并未验证 DDTI 上的恶性诊断，因为 TI-RADS 终点并非恶性参考标准。