Vision Foundation Models for Multi-Modal Medical Image Classification
本文表明，在多模态医学图像分类中，使用视觉基础模型（如 DINOv2 和 MedSigLIP）进行初始化，其表现显著优于随机初始化，尤其是在标注数据稀缺或影像模态缺失的情况下。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医院中，医生很少仅凭一张图片就做出诊断。相反，他们会将来自不同类型医学影像的信息编织成一幅图谱。一名患有脑肿瘤的患者可能需要一系列以不同设置拍摄的磁共振成像（MRI），以观察肿瘤的边缘及其血供情况。一名患有肝脏疾病的患者可能需要观察对比剂流经器官时在不同时刻拍摄的扫描图像。同样，病理学家在检查组织时，可能会观察同一张载玻片上的两种不同化学染色，以了解癌症的行为特征。这种被称为“多模态成像”的方法是临床护理的标准，因为每种视角都能揭示其他视角所遗漏的信息。然而，教计算机做到这一点是非常困难的。为了训练计算机识别模式，研究人员通常需要数千个样本，且其中每一种类型的扫描都必须存在，并由人类专家进行完美标注。但在现实世界中，这样的完美数据集非常罕见。患者经常错过预约，机器会发生故障，或者不同的医院使用不同的扫描方案，这都会导致计算机面临信息不完整的情况。当数据缺失或匮避时，标准的计算机模型往往会失效，从而导致误诊。
慕尼黑工业大学和慕尼黑工业大学附属医院的研究人员通过改变这些计算机模型的学习起点，致力于解决这一问题。他们测试了：与其在每次出现新的医学任务时都从零开始用随机设置进行训练，不如使用一个已经学会如何“看世界”的模型是否会有所帮助。这些预训练模型被称为“基础模型”（foundation models），它们就像是已经学习了数百万张普通图像多年的学生，在接触医学扫描之前，就已经学会了识别形状、纹理和结构。该团队比较了三种方法：从随机设置开始从头训练模型、从经过日常照片训练的通用模型开始，以及从专门针对医学图像训练的模型开始。他们在三个不同的医学挑战上测试了这些方法：根据多序列 MRI 分类脑肿瘤、根据配对的显微镜载玻片对乳腺癌组织进行评分，以及识别多期腹部扫描中的肝脏病变。
结果显示，从预训练模型开始几乎总是更好的选择，尤其是在数据不完美的情况下，这种优势最为显著。当研究人员拥有每个患者完整的标注图像集时，预训练模型的表现与从头训练的模型不相上下，甚至略好。例如，在肝脏病变任务中，使用预训练模型将正确识别疾病的能力从 54% 提高到了 76%。然而，这种方法的真正威力在研究人员模拟现实世界问题时得到了体现。当他们减少可用于训练的有标签图像数量时，预训练模型依然能保持水平，而从头训练的模型则表现挣扎。当研究人员完全移除其中一种必需的扫描图像时（这在临床实践中很常见），这种差异更加惊人。在这些数据缺失的场景下，从头训练的模型往往会崩溃，其检测肝脏病变的能力降至仅 32%。相比之下，以预训练知识为起点的模型保持了近 73% 的敏感度，有效地忽略了缺失的信息，并依然做出了准确的预测。
该研究还探讨了这些模型如何处理由于不同医院使用不同机器而导致扫描外观发生变化的情况。当在模型从未见过的医院数据上进行测试时，预训练模型再次展现出了卓越的稳定性，特别是当结合了同时使用有标签和无标签数据的训练方法时。研究人员发现，计算机组合不同类型图像的方式固然重要，但模型的起点才是最关键的因素。他们发现，预训练模型学习到的特征足够鲁棒，可以处理缺失的输入，而无需专门设计用于填补空白的工程技巧。这表明，从数百万张图像中获得的通用知识提供了一个强大的基础，能够很好地迁移到复杂且往往混乱的医学影像现实中。
最终，研究人员认为，从头开始训练医学人工智能模型的老方法应该成为例外而非规则。通过从一个已经理解视觉模式的模型开始，医学人工智能系统将变得更加可靠，需要更少的标注样本来学习，并且能够处理日常实践中不可避免的数据缺口。这种转变可以使先进的诊断工具变得更加普及和稳健，确保即使在患者的扫描不完整或医生只有少量示例可以进行教学时，计算机助手依然能够发挥作用。这项研究证实，在数据往往稀缺且不完整的医疗诊断这一高风险领域，最好的策略是建立在计算机已知知识的基础之上。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。