🤖 AI

Benchmarking the Robustness of Foundation Models for Mammography under Domain Shift

本文对 15 个用于乳腺 X 线摄影的基座模型在领域偏移下的鲁棒性进行了基准测试，结果表明，尽管乳腺 X 线摄影专用视觉语言模型取得了最佳的分布外性能，但仅靠特定领域的预训练并不能保证泛化能力，而需要严格的数据集级评估。

原作者： Giang Nguyen, Raghav Mehta, Emma A. M. Stanley, Tian Xia, Thi Hao Nguyen, Hieu Pham, Ben Glocker

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Giang Nguyen, Raghav Mehta, Emma A. M. Stanley, Tian Xia, Thi Hao Nguyen, Hieu Pham, Ben Glocker

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人眼睛，它已经通过观察数百万张涵盖世界万物的照片进行了训练——猫、汽车、日落，甚至是普通的 X 光片。现在，你想利用这个机器人来识别乳腺钼靶摄影（一种乳房 X 光检查）中的乳腺癌。核心问题在于：如果你把这个在“通用”图像上学习过的机器人，投入到一个拥有不同机器和不同患者的新医院中，它还能正常工作吗？还是它会感到困惑，开始看到并不存在的东西？

这篇论文就像是对这 15 种不同版本的“机器人眼睛”进行的一次巨大的、严苛的“压力测试”。研究人员不仅检查了这些机器人在所学习的“家庭作业”中表现如何，还将它们投放到 12 个不同的国家、15 个不同的数据集以及 3 个棘手的医疗任务中，以观察它们在面对意外情况时的应对能力。

大惊喜：“专业化”并不总是意味着“更强”

你可能会认为，一个仅在乳腺钼靶图像上训练的机器人会是终极冠军。毕竟，这就像是一个只为期末考试而学习的学生，对吧？

这篇论文实际上反驳了这一观点。 他们发现，仅仅因为一个模型是针对乳腺钼靶图像进行过专门训练，并不意味着它在数据发生变化时具有鲁棒性（稳健性）。事实上，一些经过“适配”乳腺钼靶图像的模型，其表现甚至不如那些在通用自然图像或通用放射学图像上训练的模型。这就像是一个只会死记硬背某一次特定考试答案的学生，一旦老师改变了提问方式就会不及格；而另一个学会了如何从整体上“思考”图像的学生，却表现得惊人地出色。

真正的冠军：“对话者” vs. “观察者”

那么，谁在这场压力测试中胜出了呢？论文指出，获胜者是一类特殊的群体，被称为视觉-语言模型（VLMs）。

把这些模型想象成不仅在“看”X 光片，还会“读”附在上面的医生笔记的侦探。

MaMA 和 Mammo-FM（两个顶尖竞争者）就像是既看图片又读病例文件的侦探。它们在各项指标的平均表现中都最为强劲。
Mammo-FM 在预测病情严重程度（BI-RADS）方面表现最佳，在分布外（OOD）测试中的平均得分达到了 0.688 ± 0.016。
MaMA 在识别乳腺密度和癌症状态方面表现最佳，在密度任务上得分为 0.865 ± 0.006，在癌症任务上得分为 0.718 ± 0.01 有效数字 ± 0.014。

然而，这里有一个转折！论文测量到，即使是最优秀的模型也不完美。当它们从训练数据转移到新的、未见过的数据（分布外数据或 OOD）时，性能会出现下降。例如，在“BI-RADS”任务中，平均降幅为 -0.092。这意味着，即使是最聪明的机器人，在离开舒适区后也会变得不再那么自信。

不容忽视的“通才”

故事中最有趣的部分是：一个名为 DINOv3 的模型——它是在自然图像（如风景和动物的照片）上训练的，在训练期间从未见过乳腺钼靶图像——竟然成为了一个强劲的对手。

DINOv3 就像是一位从未见过医学扫描图、但对形状和纹理有着敏锐洞察力的全才艺术家，它依然可以比一些专家更好地推测出医学细节。

在癌症任务上，DINOv3 得分为 0.677 ± 0.015，非常接近那些专业化模型。
在密度任务上，它的得分为 0.848 ± 0.006。

论文表明，拥有一个“自然图像”的大脑实际上是一个非常强大的基准，有时甚至很难被专门训练的模型超越。

“一刀切”的神话破灭了

研究人员还观察了这些模型在不同环境下的表现。他们发现，一个在某家医院表现出色的模型，在另一家医院可能表现得很糟糕。

Mammo-FM 非常擅长处理奇特的、非标准的 X 光机（例如那些扫描胶片或使用造影剂的机器），但 MaMA 在所有数据集上识别乳腺密度的表现都更加稳定。
为什么呢？论文认为这取决于它们的“教导方式”。MaMA 是利用明确提到密度的文本报告（就像列出配料表的食谱）进行训练的，因此它对密度的学习非常深入。而 Mammo-FM 是利用真实的临床报告进行训练的，这些报告更侧重于最终诊断（癌症或无癌症），因此它更擅长捕捉“大局观”的结果，而不是具体的组织纹理。

总结

核心结论是：你不能仅仅因为一个模型是“专业化”的，或者因为它在训练数据上得分很高，就假设它是优秀的。

论文证明了：

鲁棒性是极其复杂的： 一个在训练数据上表现完美的模型，在面对来自不同国家或不同机器的新数据时往往会陷入困境。
语言有帮助： 能够阅读医疗报告的模型（VLMs）通常比仅靠观察图像的模型表现更好，但这取决于具体的任务。
语境至关重要： 最擅长一项工作（如检查密度）的模型，可能是另一项工作（如检查癌症严重程度）中最差的模型。

作者使用了一种严格的方法来衡量这些结果：他们冻结了机器人的“大脑”，仅训练一个微小的“头部”来进行最终决策。他们建议，要真正了解一个医疗 AI 是否已经准备好投入现实世界，我们需要在许多不同的外部数据集上对其进行测试，而不仅仅是它学习过的那个数据集。在此之前，我们无法确定这个机器人究竟是一个天才，还是仅仅是一个运气好的猜谜者。

技术摘要：评估基础模型在乳腺摄影领域下的领域偏移鲁棒性

问题陈述

基础模型（Foundation Models, FMs）正越来越多地被用作乳腺摄影的图像特征提取器，其典型工作流是冻结预训练骨干网络，并在标记的源数据集上训练一个轻量级的分类头。然而，这些表示在外部领域偏移（Domain Shift）下的鲁棒性尚不明确。先前的研究表明，大规模或特定模态的预训练并不本质上保证鲁棒的分布外（Out-of-Distribution, OOD）泛化能力。由于乳腺摄影中存在异质性的临床标签（乳腺密度、BI-RADS 严重程度和癌症状态），这些标签在不同数据集中的粒度、流行率和标注协议各不相同，这一挑战变得更加严峻。因此，高水平的分布内（In-Distribution, ID）性能往往无法转化为 OOD 泛化能力，这使得建立一个系统性的基准测试变得至关重要，以评估乳腺摄影的表示是否能超越其源数据进行泛化。

方法论

基准构建

作者构建了一个统一的基准，包含 15 个公开乳腺摄影数据集，涵盖 12 个国家/地区（北美、欧洲、亚洲、中东、非洲和海洋洲）。该基准涵盖三个不同的临床任务：

乳腺密度（Breast Density）： 在图像层面进行评估（A, B, C, D）。
BI-RADS 评估： 在检查层面进行评估（1–5）。
癌症状态（Cancer Status）： 在检查层面进行评估（二元：癌症/非癌症）。

标签经过了协调处理以确保任务兼容性。对于每个任务，特定的源数据集作为线性分类器的训练场：

BI-RADS： VinDr-Mammo（源数据集）
密度： EMBED（源数据集）
癌症状态： RSNA-site2（源数据集）

模型家族

本研究评估了 15 个基础模型骨干网络，将其分为四个互不重叠的家族：

自然图像自监督学习（SSL）： DINOv2, DINOv3。
通用放射学 SSL： RAD-DINO, RayDINO。
乳腺摄影适配型 SSL： DINOv2-EMBED, DINOv3-EMBED, MAE-EMBED, VersaMammo（在 EMBED 上进行了进一步预训练）。
视觉-语言模型（VLMs）：
- 通用医学类： BioMedCLIP, UniMedCLIP, MedSigLIP。
- 乳腺摄影专用类： MaMA, GLAM, Mammo-CLIP, Mammo-FM。

评估协议

冻结骨干网络的线性探测（Linear Probe）： 所有模型均作为冻结的图像编码器进行评估。在源数据集上训练一个特定任务的线性分类器，并在留出的 ID 测试集和 12 个任务兼容的 OOD 数据集上进行评估。
预处理： 统一的预处理流程，将图像调整为 1024 × 768。
聚合： 对于检查层面的任务（BI-RADS、癌症），通过每类最大池化（per-class max pooling）和重新归一化来聚合图像层面的概率。
指标： BI-RADS 和密度的宏平均 one-vs-rest AUROC；癌症的二元 AUROC。通过自助法（bootstrapping）计算 95% 置信区间。

核心贡献

统一的基准： 创建了一个跨越 15 个数据集和 12 个区域的统一基准，涵盖了三个具有临床意义的不同任务并进行了标签协调。
统一的评估： 使用一致的冻结骨干网络线性探测协议，对 1 种任务下的 15 个基础模型进行了系统比较。
多维度分析： 进行了一种超越聚合得分的 OOD 行为分析，包括模型家族比较、逐数据集评估以及特征空间检查（UMAP）。

结果

ID–OOD 性能对齐

BI-RADS： ID 与 OOD 性能之间存在强秩相关性（ $\rho = 0.89$ ），但平均 OOD 差距为 $-0.092$。
密度： 具有较高的 ID 上限（0.93–0.95），但 OOD 差距相似（$-0.092 $）且秩相关性较低（$ \rho = 0.76$）。
癌症状态： ID/OOD 秩关系最弱（ $\rho = 0.61$ ），且存在略微正向的平均差距（ $+0.017$ ），这归因于不同数据集间标签定义的噪声。

模型级性能

乳腺摄影专用 VLM： 取得了最强的整体平均 OOD 性能。
- Mammo-FM： 在 BI-RADS 任务上表现最佳（ $0.688 \pm 0.016$ ）。
- MaMA： 在密度（ $0.865 \pm 0.006$ ）和癌症状态（ $0.718 \pm 0.014$ ）任务上表现最佳。
纯视觉基准模型： DINOv3 脱颖而出，成为最具竞争力的纯视觉模型，尽管缺乏特定的乳腺摄影预训练，其表现仍优于多个乳腺摄影适配模型（例如，在 BI-RADS 上为 $0.635$，而 MaMA 为 $0.646$）。
乳腺摄影适配： 在单个乳腺摄影数据集（如 EMBED）上进行持续预训练并不能一致地提高 OOD 泛化能力。在某些情况下（如 DINOv3-EMBED），与自然图像基准相比，性能反而出现了下降。

预训练因素

VLM vs. 纯视觉模型： 在所有任务中，VLM 通常比纯视觉模型获得更高的平均 OOD AUROC。
领域对齐： 乳腺摄影专用的 VLM 优于通用医学 VLM，这表明与乳腺摄影语言的对齐比单纯的视觉暴露更为关键。
任务依赖性： 领先的模型是任务相关的，而非通用的。例如，MaMA 的密度预训练（使用表格元数据）与其卓越的密度性能相关；而 Mammo-FM 基于报告的预训练则与其在具有检查层面结果的数据集上的癌症状态性能相关。

数据集层面的异质性

强大的平均 OOD 性能并不意味着在所有外部数据集上表现一致。
采集多样性： 与 MaMA 相比，Mammo-FM 在非标准模态（如对比增强或扫描胶片）上的泛化能力更强。
特征空间： UMAP 分析显示，有用的表示既保留了临床信号（如密度、BI-RADS），又保留了数据集和采集结构（如制造商、视图）。强大的外部泛化并不要求完全的领域不变性。

意义与主张

本文主张，仅靠乳腺摄影预训练不足以实现鲁棒的 OOD 泛化。相反，泛化取决于预训练目标、模型类型（纯视觉 vs. 视觉-语言）以及预训练数据集的多样性之间的相互作用。

核心结论包括：

VLM 的优越性： 乳腺摄影专用 VLM（MaMA, Mammo-FM）提供了最强的 OOD 性能，但其优势具有任务和数据集的依赖性。
鲁棒基准： DINOv3 仍然是一个极具竞争力的纯视觉基准，挑战了“模态特定预训练总是必要”的假设。
评估标准： 数据集层面的 OOD 评估是评估乳腺摄影基础模型表示临床实用性的核心准则，因为 ID 性能是外部鲁棒性的不良代理指标。
局限性： 本研究使用线性探测协议来衡量表示质量，而非能达到的绝对最佳性能（通过全参数微调可能会达到更高性能）。建议未来的工作探索全参数微调、不确定性估计和置信度校准。