💻 computer science

Benchmarking the Domain Gap: Model Selection Instability Under Domain Shift in Video Capsule Endoscopy

本文表明，在领域偏移（domain shift）下，视频胶囊内窥镜的模型选择具有高度的不稳定性，因为域内性能排名无法一致地预测不同数据集间的跨目标结果，因此有必要将评估重点从追求单数据集的峰值性能转向评估跨目标的排名稳定性。

原作者： Dan Hanson, Debesh Jha

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Dan Hanson, Debesh Jha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人识别不同类型的水果。你给它看了成千上万张在你自己的厨房里拍摄的苹果、橙子和香蕉的照片，这些照片是在你特定的灯光和特定的相机下拍摄的。机器人变得非常擅长了！它成了你厨房里的水果专家。但随后，你把同一个机器人带到了一个朋友家。那里的厨房有不同的灯光，他们的相机是不同的型号，甚至他们对“成熟”的定义也可能和你不同。突然间，那个在你厨房里表现卓越的机器人，可能会在面对一个看起来略有不同的香蕉时感到手足无措；而一个你原本认为表现平平的机器人却突然脱颖而出。这就是计算机科学中被称为“领域偏移”（domain shift）的问题的核心。它是指计算机模型在训练时的实验室环境与它实际应用的杂乱现实世界之间的差距。在医学领域，这个问题至关重要。如果医生依赖人工智能来发现患者体内的病变，那么这个人工智能不仅要对某一家特定的医院很聪明，还要对任何医院、任何相机以及任何患者都适用。

这篇论文深入探讨了正是这样一个问题，只不过这里的“机器人”观察的对象不是水果，而是视频胶囊——一种患者吞下的、用于拍摄体内图像的微型药丸状摄像头。研究人员想要知道：如果我们根据一个特定数据集（即一组图像）的表现来挑选出“最佳”的 AI 模型，那么当我们在来自另一家医院的完全不同的图像集上进行测试时，这个模型是否仍然是最好的？他们不仅仅是凭直觉猜测，而是进行了一场大规模实验。他们选取了 11 种不同的“大脑”架构（驱动人工智能的核心引擎），并在一组标准的胶囊视频上对它们进行了训练。然后，他们将这些训练好的“大脑”在另外两个完全不同的视频集上进行了测试。

这里是他们发现的转折点：谁是“最佳”取决于你问谁。当他们根据第一个数据集对模型进行排名时，表现最好的模型是一个名为 Swin-B 的模型。它是毫无悬念的冠军。但当他们把同一个 Swin-B 模型拿到第二个数据集进行测试时，它的排名掉到了第五位。与此同时，一个在第一次测试中仅排在第七位的 ConvNeXt-Base 模型，却成为了第二个测试中的头号冠军。这就像是你早上举行了一场比赛，赢家是一个短跑选手，但当你下午在另一条赛道上再次举行比赛时，赢家却变成了一个马拉松选手。论文表明，并不存在一个能在所有地方都获胜的“万能钥匙”。如果你仅仅因为一个模型在某次特定测试中得分最高就选择它，你可能选错了那个适合下一个医院的模型。

研究人员还尝试了第二次实验。他们在第二个数据集上训练了一批新的模型，并将其在第三个数据集上进行了测试。结果也是一样的：排名一直在发生变化。一个在第二个测试中表现优秀的模型，在第三个测试中却表现平平。这表明，你在研究论文中看到的“排行榜”往往只是一个模型如何契合特定谜题的快照，而不是它能解决下一个谜题的保证。作者得出结论，我们不应该再去寻找单一数据集上的最高分。相反，我们应该寻找那些在多次不同测试中都能保持一致性的模型。如果一个模型真正具有鲁棒性（稳健性），它就不应该在意灯光的变化或相机的更换；它的排名应该保持稳定。在我们找到这些表现稳定的模型之前，根据单次测试得分来挑选医疗人工智能，就像是仅凭对方对你所在社区的了解程度来挑选旅游指南一样——一旦你离开家乡，他们可能就会迷失方向。

技术摘要：视频胶囊内窥镜领域差异的基准测试

问题陈述
视频胶囊内窥镜（VCE）分类模型的开发和选择通常是基于单一数据集的表现。然而，临床部署要求模型在不同的采集源、标注策略和患者群体中具有鲁棒性。目前存在一个关键差距，即研究者并不了解一个在源域验证中排名最高的模型，在评估源发生变化时是否仍然是最强的。VCE 数据集在胶囊系统、临床站点、图像特征和标注协议方面存在显著差异。以往关于分布偏移和欠定性（underspecification）的研究表明，具有相似域内性能的预测器在离开其选择条件后可能会表现出不同的行为。本文研究了 VCE 中模型选择在领域偏移下的稳定性，具体探讨了域内排名是否能可靠地预测外部目标上的性能。

方法论
本研究采用标准化的微调协议，在三个不同的评估目标上对通用领域预训练视觉骨干网络进行基准测试：

Kvasir-Capsule： 使用官方视频隔离折叠（folds）作为源域。
Capsule Vision 2024 (CV2024)： 来自混合源训练分布的留出挑战赛测试集。
Galar： 一个外部、多中心、多系统的数据集。

关键实验设计要素：

骨干网络： 11 个通用领域预训练骨干网络（包括 ResNet, DenseNet, EfficientNet, ConvNeXt, ViT, Swin, DINOv2 和 CAFormer）在 Kvasir-Capsule 上进行了微调，采用了极简协议（25 个 epoch，AdamW，无数据增强）。
共享标签协议： 为了实现跨数据集比较，评估被限制在一个“共享-8”标签空间内（血管瘤、出血、糜烂、红斑、异物、淋巴管扩张、正常、溃疡）。源域预测通过语义映射和归一化投影到该空间中进行评分。原生标签空间的结果被单独报告，但不用于跨目标排名。
第二训练源： 第二个实验在 CV2024 上训练了 11 个选定的配置（侧重于具有不同增强和损失策略的 CAFormer 和 Swin 架构），以测试观察到的不稳定性是否仅针对 Kvasir 训练源。
指标： 性能通过 Macro F1、多分类马修斯相关系数 (MCC) 和平均一对多 AUROC (mAUROC) 进行衡量。使用 Spearman 秩相关和排名偏移来分析模型选择的稳定性。

关键结果

目标依赖型排名： 域内排名的预测价值高度依赖于目标。
- Kvasir-Capsule 的排名与 Galar 表现出强一致性 ( $\rho = 0.700$ )，但与 CV2024 表现出弱一致性 ( $\rho = 0.191$ )。
- 两个非源目标（CV2024 和 Galar）之间也表现出弱一致性 ( $\rho = 0.264$ )。
排名不稳定性： 最强的域内骨干网络并未在所有目标中保持领先。
- Swin-B/384 在 Kvasir 和 Galar 上领先，但在 CV2024 上排名第 5。
- ConvNeXt-Base 在 CV2024 上领先，但在 Kvasir 和 Galar 上分别排名第 7 和第 9。
- FocalNet-Base 从域内第 8 名上升到 Galar 的第 2 名。
第二源确认： 在 CV2024 上训练的第二组模型重现了这种不稳定性。在 CV2024 上排名第一的宏 F1 模型（具有特定增强的 CAFormer-S18）在 Galar 上排名第 2，而一个在 CV2024 上排名第 8 的模型在 Galar 上上升到了第 1 名。
变异性： 跨目标的排名偏移显著大于在多个随机种子下观察到的运行间变异，这表明不稳定性是由领域偏移而非训练噪声驱动的。

主要贡献

标准化基准： 建立了使用官方折叠在 Kvasir-Capsule 上对 11 个通用领域骨干网络进行监督微调的强有力参考基线。
量化不稳定性： 在记录的共享标签协议下，评估了相同检查点在 CV2024 和 Galar 上的表现，量化了骨干网络在三个评估目标间的排名不稳定性。
多源验证： 使用第二个训练源（经 CV2024 训练的配置）重现了“从域内到外部”的排名分析，证实了模型选择的不稳定性是该领域的一个普遍现象，而非单一训练集的特例。

意义与主张
本文得出结论，峰值单数据集性能和可迁移的模型选择回答的是不同的问题。基于某一目标中的排名而选出的模型，不能假设其在另一个分布下仍能保持相对位置。作者认为，胶囊内窥镜的模型选择应优先考虑报告跨多个独立来源评估目标的跨目标排名稳定性，而不是仅仅依赖于单一数据集或单一外部测试集的峰值性能。研究强调，针对一个偏移分布的成功选择可能对另一个分布的性能几乎没有参考价值，且仅将外部评估限制在排名最高的源域模型上可能会忽略掉具有竞争力的候选者（例如 FocalNet-Base）。作者发布了其共享标签评估协议和标准化基准，以支持这种更稳健的报告实践。

技术摘要：视频胶囊内窥镜领域差异的基准测试

类似论文