🤖 AI

Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

本文提出了一种基于蒸馏的预训练框架，该框架利用切片级基础模型（TITAN 和 CARE）作为教师来初始化多实例学习网络，从而克服了数据稀缺问题，并提升了在 15 个基准数据集上的性能，尤其是在线性探测和少样本场景中。

原作者： Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解重大谜团的侦探，但你拿到的不是单一的线索，而是一张巨大的、高分辨率的整座城市地图。这张地图如此精细，甚至能显示出每栋建筑里的每一块砖、每棵树上的每一片叶子，以及路面上每一道裂缝。在医学科学的世界里，这张“城市地图”就是从患者身上提取的组织样本的数字图像，被称为全切片图像（Whole Slide Image, WPI）。这些图像如此庞大，以至于人类的大脑（或计算机）无法同时观察每一块“砖”。为了破解谜团——比如判断患者是否患有癌症——科学家们使用了一种聪明的技巧，叫做多实例学习（Multiple Instance Learning, MIL）。你可以把 MIL 想象成一支初级侦探团队，他们每人负责观察一个微小的“街区”（图像的一个局部区域），然后向一名团队负责人汇报他们的发现。随后，负责人会将所有的报告汇总起来，做出最终的裁决。

过去的问题在于，每当团队想要解决一种“新类型”的谜团时（比如一种不同类型的癌症或特定的基因突变），他们都必须重新雇佣一支全新的初级侦探团队，并配备一个新的负责人，仅凭寥寥数个旧案例进行从头开始的训练，并祈祷他们不会感到困惑。这就像是在从未练习过基础规则的情况下，试图先学围棋，接着立刻学国际象棋，然后紧接着又去学扑克牌一样。团队经常会被信息淹没，或者出错，或者只是死记硬背住那几个例子，而不是真正学会其中的规则。这篇论文提出了一个简单的问题：如果我们能通过利用那些已经研究过数百万个案例的“大师”所积累的智慧，先教给这些初级侦探和他们的负责人一些通用的游戏规则，从而让他们获得一个良好的开局，情况会怎样呢？

核心理念：向大师学习

这篇论文介绍了一种通过**知识蒸馏（Knowledge Distillation）**技术来训练这些医学 AI 团队的新方法。想象一下，你拥有两位传奇的侦探大师：一位名叫 TITAN，另一位名叫 CARE。这些大师是庞大且极其聪明的 AI 模型，它们已经研究过数千张全切片图像，并学会了如何识别人类可能忽略的模式。它们就像数字病理学界的福尔摩斯和赫尔丘尔·波洛。然而，这些大师也非常沉重且运行缓慢；它们需要消耗大量的计算资源，这使得它们很难在日常医院中使用。

本文作者提出了一个聪明的计划：与其直接运行沉重的“大师”模型，不如将它们作为老师，来训练一组轻量级、快速的“学生”模型（即 MIL 聚合器）。这些“学生”规模小、效率高，非常适合进行快速诊断，但它们需要学习如何像大师一样思考。研究人员建立了一个“教室”，让学生们观察与大师相同的组织切片。大师们不仅向学生提供最终答案，还会分享他们对数据的“感觉”——即他们如何对线索进行分组，以及他们认为哪些信息是重要的。学生们尝试模仿这些感觉，学习像专家一样组织信息。

秘诀：平衡老师

这里的情况变得有点复杂。TITAN 和 CARE 是不同类型的专家。TITAN 擅长理解整个切片的整体“氛围”，而 CARE 则是观察特定分子细节和形状的专家。有时，一位老师可能非常有信心且回答得非常集中，而另一位则可能显得有些散乱。如果学生只是听从那个嗓门最大的老师，他们可能会感到困惑。

为了解决这个问题，作者发明了一种特殊的规则，叫做角离散归一化蒸馏损失（Angular Dispersion Normalized Distillation Loss）。用通俗的话说，这就像是一个辩论赛中的裁判，负责确保两位老师都能被公平地听到。如果一位老师的回答非常“聚集”（他们的答案都非常相似且紧凑），裁判就会调整评分，以免这位老师主导了整场教学。如果另一位老师的表现比较“分散”，裁判则会给予他们更多的权重。这确保了学生能够从两位大师那里学到平衡的智慧，而不是仅仅模仿其中一种风格。

研究发现：小模型，大胜利

研究人员在 15 个不同的医学任务上测试了这个想法，范围涵盖了从预测肿瘤是否具有侵略性到识别特定基因突变等任务。他们将这些经过“预训练”的学生与另外两组进行了对比：一组是没有任何帮助、从头开始训练的学生，另一组是沉重的“大师”老师本身。

结果令人兴奋。在几乎所有的测试中，那些向大师学习过的学生表现得比从头开始训练的学生要好得多。

“线性探测”测试： 这相当于在训练完成后冻结了学生的“大脑”，仅仅添加一个简单的问答层。即使在“大脑”被冻结的情况下，预训练的学生通常也优于庞大的大师老师！例如，在脑肿瘤任务中，学生模型的表现比最好的老师提高了超过 23%。
“少样本”测试： 这是最令人印象深刻的部分。想象一下，你只给学生 1、2 或 4 个关于新疾病的例子来学习。在这些“少样本”场景下，预训练的学生表现得像超级英雄一样。它们可以用极少的数据学习新任务，而从头开始训练的学生则会挣扎甚至完全失败。在某些任务中，当只有少量样本可用时，性能提升高达 20 个百分点。

为什么这很重要

这篇论文表明，这种方法是医学 AI 的一个游戏规则改变者。它证明了如果你预先训练得当，你并不需要一台超级计算机来进行诊断。通过利用大型、沉重的“基础模型”的“智慧”来教导更小、更快的模型，医生即使在患者样本非常稀缺的情况下，也能获得准确、可靠的结果。这就像是在年轻侦探踏入犯罪现场之前，先给了他们一个包含无数已破解案例的图书馆。这篇论文并不声称它解决了医学领域的所有问题，但它有力地表明，这种“蒸馏”方法使轻量级 AI 模型变得更加可靠、稳定，并为实际应用做好准备，尤其是在数据匮乏的情况下。

技术摘要：通过多教师蒸馏病理切片基础模型预训练多实例学习网络

问题陈述

多实例学习（Multiple Instance Learning, MIL）已成为分析全切片图像（Whole Slide Images, WSIs）的主导范式。在该框架下，一张切片被视为由块级实例（patch-level instances）组成的“包”（bag），其中冻结的瓦片编码器提取特征，而 MIL 聚合器则学习如何将这些实例组合成切片级的预测。尽管聚合器架构多种多样（例如基于注意力机制、Transformer、图结构或状态空间模型），但一个根本性的局限性依然存在：现有的 MIL 聚合器通常是针对每个下游任务从头开始训练的。

这种“从头开始”的方法依赖于有限的切片级标签来同时学习判别性实例表示和有效的聚合策略。因此，这些模型往往面临优化不稳定、容易拟合伪相关以及跨任务迁移能力差的问题。虽然自然图像分析已成功采用了大规模数据集（如 ResNet, ViT）的“预训练-微调”范式，但将此应用于病理学中的 MIL 面临两个关键障碍：

数据稀缺性： 与可以裁剪出数百万个瓦片级图像不同，高质量、公开可用的切片级数据集非常有限，仅有数千到数万个样本，不足以从头训练大规模基础模型。
模型容量： 传统的 MIL 聚合器是轻量级的、特定任务的模块，参数量较少。它们缺乏像大规模编码器那样从常规监督预训练中获益的能力，且直接微调大型切片编码器用于多样化的临床任务，计算成本高昂且优化过程不稳定。

方法论

作者提出了一种多教师蒸馏框架，通过从大型预训练病理切片基础模型中转移知识，来预训练轻量级 MIL 聚合器。该方法的核心是使用两个最先进的切片编码器——TITAN 和 CARE 作为互补的“教师”模型，来指导各种“学生”MIL 架构的训练。

1. 多教师蒸馏设置

教师模型：
- TITAN： 提供通过大规模多模态预训练获得的通用、可迁移的全切片语义信息。
- CARE： 提供具有形态感知能力和分子信息引导的区域表示。
- 这两种教师模型的结合提供了多样化的监督信号，减少了依赖单一表示所带来的偏差。
学生模型： 九种不同的 MIL 架构（包括 ABMIL, CLAM, TransMIL, WiKG, DAGMIL, GDFMIL, 2DMamba, AMDMIL, 和 AEMML）作为学生。学生模型以随机权重初始化，并旨在模仿冻结教师模型产生的切片级嵌入。
数据构建： 为了避免处理全切片 WSI 时的计算不规则性，预训练是在 TCGA-UT-8K 数据集的高分辨率感兴趣区域（ROIs）上进行的。每个 ROI 被划分为一个包含 256 个瓦片的 $16 \times 16$ 正则网格，以确保一致的批大小（batch sizes）和稳定的内存消耗。

2. 角离散度归一化（ADN）蒸馏损失

多教师蒸馏中的一个核心挑战在于，不同的教师在超球面上表现出的表示分布集中程度可能不同。如果一个教师产生的嵌入高度聚集，而另一个则较为分散，那么它们的监督信号在规模上就会存在差异，从而导致优化失衡。

为了解决这一问题，作者引入了角离散度归一化蒸馏损失（Angular Dispersion Normalized Distillation Loss, ADN Loss）。

机制： 该损失衡量学生预测与教师目标之间的角距离。至关重要的是，该误差通过特定教师表示分布的运行角离散度（ $\sigma_k$ ）进行归一化。
公式： 对于教师 $k$ ，损失计算如下：
$L^{(k)}_{distill} = \frac{1}{B} \sum_{i=1}^{B} \frac{\Theta^{(k)}_i}{\sigma_k + \epsilon}$
其中 $\Theta^{(k)}_i$ 是角距离， $\sigma_k$ 是教师嵌入围绕其更新中心的估计标准差。
效果： 这种归一化确保了那些具有紧密聚集嵌入（小 $\sigma_k$ ）的教师，不会仅仅因为其原始误差量级较小而在梯度更新中占据主导地位。它平衡了具有不同表示特征的教师之间的影响力。

3. 下游适配

预训练完成后，教师特定的投影头会被丢弃。预训练后的 MIL 聚合器权重（ $\theta^*$ ）作为下游任务的可重用初始化。作者评估了两种适配协议：

全参数微调（Full-Parameter Fine-tuning）： 使用下游切片级标签对 MIL 聚合器和特定任务的分类头进行更新。
线性探测（Linear Probing）： 冻结预训练的 MIL 聚合器，仅训练线性分类头，直接评估所学到的切片级表示的质量。

核心贡献

可行的 MIL 预训练： 本文展示了一条通过利用现有基础模型进行知识蒸馏，来预训练轻量级 MIL 聚合器的切实路径，尽管切片级标记数据十分稀缺。
多教师框架： 引入了一个利用来自 TITAN 和 CARE 的互补知识的框架，证明了结合异构教师比单教师蒸馏能获得更好的泛化能力。
ADN Loss： 提出的角离散度归一化损失解决了平衡具有不同表示分布的教师所提供的监督信号这一特定挑战。
全面的评估： 该方法在涵盖癌症亚型、生物标志物预测和突变检测的 6 个基准数据集、15 个下游任务上进行了系统性的评估。

实验结果

作者进行了广泛的实验，将经过蒸馏预训练的 MIL 模型与以下模型进行对比：

从头开始训练的模型。
直接微调教师模型（TITAN 和 CARE）。

主要发现：

性能提升： 预训练初始化在一致地优于从头开始训练的 MIL 聚合器。这在线性探测和**少样本（few-shot）**场景中尤为明显。
超越教师模型： 在许多情况下，当适配到下游任务时，轻量级的预训练 MIL 聚合器表现优于沉重的教师切片编码器（TITAN 和 CARE），这表明蒸馏后的知识被有效地压缩并专门用于聚合任务。
少样本效率： 在少样本设置（每类 1 到 16 个样本）中，蒸馏初始化的模型相比于从头训练显示出显著增益（例如在 BRACS-Coarse 上提升高达 20.55 个百分点），凸显了其改进的数据效率和优化稳定性。
架构无关性： 这种收益在各种架构（注意力机制、Transformer、图结构、状态空间模型）中均有体现，尽管某些架构（如 GDFMIL 和 2DMamba）的表现会根据任务和适配协议的不同而表现出更大的波动。
内存效率： 与随着瓦片数量增加而面临内存爆炸问题的庞大基础模型不同，轻量级 MIL 聚合器即使在处理大量瓦片（如 3 万个）时也能保持稳定的内存使用，使其在处理吉像素级 WSI 分析时具有可扩展性。

重要性与主张

本文声称这项工作为传统的从头开始的 MIL 训练提供了一种切实可行的替代方案。通过通过蒸馏将大型基础模型的切片级先验知识转移到轻量级聚合器中，该方法实现了：

可迁移的切片级先验： MIL 模型可以获得稳定、泛化能力强的表示，而无需为其自身的预训练准备海量的标记数据集。
高效性： 所得模型保持了计算的高效性和可扩展性，适用于计算资源或标注预算有限的临床环境。
鲁棒性： 该方法提高了收敛速度并减少了过拟合，特别是在少样本学习等数据稀缺的情况下。

作者将此定位为迈向重塑计算病理学的一步，使“预训练-微调”范式能够应用于 MIL——这是 WSI 分析的一个关键组成部分，但此前一直受限于只能从头开始训练。未来的工作建议扩大预训练数据的规模，并在更广泛的下游任务上评估该框架。