Evaluating Vision Transformers for Stain Robustness and Calibration in Low-Resource Digital Pathology
本文表明，在固定 ImageNet 预训练的受限低资源设定下，Vision Transformer（具体为 ViT-B/16）通过在颜色和染色变化方面实现更优越的鲁棒性、更好的概率校准以及在跨任务迁移过程中更平缓的性能退化，同时保持具有竞争力的域内判别能力，从而在组织病理学领域超越了各种 CNN 架构。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医学领域，癌症的诊断往往始于病理学家在显微镜下观察的一片薄组织切片。这些切片通过紫色和粉色的染料进行染色，以突出细胞结构，现在经常被扫描进计算机，形成庞大的数字图像库。多年来，科学家们一直在教计算机阅读这些图像，希望能够发现人类肉眼可能忽略的疾病迹象。迄今为止，最成功的计算机程序是基于一种被称为卷积神经网络的设计构建的，这是一种模仿大脑处理视觉模式方式的人工智能。然而，这些程序有一个已知的弱点：它们很容易被组织制备方式的变化所迷惑。如果不同的实验室使用了略有不同的染料色调，或者不同的显微镜扫描仪捕捉到了图像，计算机的信心就会崩溃，即使该图像在人类看来非常完美。此外，当这些程序做出预测时，它们往往无法告诉医生它们有多确定，有时在实际上是在瞎猜时却表现得十分自信。这种在受控实验室中的高准确度与不同医院间混乱现实之间的差距，阻碍了许多此类工具在患者护理中的广泛应用。
一个研究小组着手测试一种更新、不同种类的人工智能架构——即被称为“视觉 Transformer”（Vision Transformer）的模型——是否能够解决这些特定问题，而无需消耗海量的计算资源或专门的医疗数据。他们在严格的限制内开展工作，使用适量的数据和单块图形处理器，以模拟大多数医院和研究机构所能负担得起的资源，因为他们无法承担价值数十亿美元的超级计算机。他们在一组标准的组织图像上训练了五种不同的计算机模型，然后使它们接受了一系列旨在模拟现实世界变化的挑战。研究人员不仅询问哪个模型最准确，还询问哪个模型在图像颜色发生偏移时仍能保持稳定，以及哪个模型能对其自身的确定性给出诚实的回答。
结果揭示了这些系统在压力下表现出的明显转变。虽然所有五种模型在针对其训练过的完全相同类型的图像进行测试时表现得同样出色，但视觉 Transformer 在条件发生变化时脱颖而出。当研究人员人为改变测试图像的颜色以模拟不同染色化学试剂的效果时，传统的模型失去了相当一部分区分健康与疾病组织的能力，其准确度下降了近百分之十。相比之下，视觉 Transformer 稳住了阵脚，仅损失了极小部分的性能。它证明了自己对于困扰现实世界医学成像的视觉噪声具有更强的鲁棒性（稳健性）。
除了保持准确性外，视觉 Transformer 在自身的信心方面也表现得更加可靠。在医学诊断中，虚假警报是危险的，但漏诊则更为严重。研究人员发现，传统模型经常在出错时仍声称对答案高度确定，这是一种被称为“校准度差”的缺陷。然而，视觉 Transformer 提供的概率评分与现实情况匹配得更为紧密。当它说有百分之九十的把握时，它在百分之九十的时间里都是正确的。这种陈述的信心与实际真相之间的一致性，对于必须决定是信任计算机的建议还是寻求第二意见的医生来说至关重要。
研究还探讨了这些模型如何处理完全不同类型的组织或诊断任务，这种测试被称为“零样本迁移”（zero-shot transfer）。在这里，结果更为复杂。当模型看到来自不同医院或不同类型癌症的图像时，一些传统模型完全失效了，陷入了一种无论实际情况如何都将所有图像标记为患病状态的状态。视觉 Transformer 并没有以同样的方式崩溃；它表现出更优雅的降级，即使在任务改变时仍能提供一定程度的辨别能力。不过，研究人员指出，当模型在针对不同医院的类似任务上进行测试时，所有五种模型的表现都一样好，这表明视觉 Transformer 的优势在应对颜色变化和不同的诊断问题时最为关键，而非仅仅是移动到新地点。
研究人员仔细指出，这种视觉 Transformer 并不是在所有类别中都能超越一切的“万灵药”。它运行起来需要更多的计算能力，且训练时间比较小的传统模型更长。它也无法达到那些由资金雄厚的科研巨头利用数百万张医学图像训练出的、拥有数十亿参数的大型模型的原始准确度。相反，这项研究呈现了一种实际的权衡。对于一个使用有限资源的医院或研究小组来说，视觉 Transformer 提供了一种在稳定性与诚实性之间更好的平衡。它是一种不太可能被略微不同的染色效果所干扰，并且更有可能在不确定时告知医生的模型。
为了确保这些发现具有现实应用的价值，团队围绕该模型构建了一个完整的框架。他们创建了一个可以解释计算机为何做出决策的系统，通过高亮显示导致诊断的具体图像部分，并测试了一种将图像数据与年龄、组织类型等患者信息相结合的方法。他们甚至准备了一种将这些结果导出为医院记录系统所使用的标准数字格式的方法。这项工作的结论是，虽然追求最高准确度的竞赛往往集中在构建更大规模的模型上，但通往可靠临床应用的路径可能在于选择那些稳健且校准良好的架构。通过证明经过适度预算训练的视觉 Transformer 能够承受色彩偏移和病理学中的不确定性，这项研究为将人工智能引入日常医学诊断工作流提供了一条切实可行的、可部署的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。