💻 computer science

Uncertainty Estimation in Pathology Foundation Models via Deep Mutual Learning

本文介绍了 $\mathtt{DICE}$ ，这是一个通过利用深度相互学习来对齐冻结的病理基础模型集成，从而生成可靠的不确定性估计和无监督异常定位，以增强全切片图像分析临床可信度的即插即用框架。

原作者： Gbègninougbo Aurel Davy Tchokponhoue, Sevda Öğüt, Ali Idri, Dorina Thanou, Pascal Frossard

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Gbègninougbo Aurel Davy Tchokponhoue, Sevda Öğüt, Ali Idri, Dorina Thanou, Pascal Frossard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正在尝试诊断病人的医生，但你面对的不是一张单一的 X 光片，而是一张巨大的、高分辨率的整个器官照片（即“全切片图像”），由于它太大，你无法一次性看全。你必须通过放大观察微小的局部区域来寻找问题所在。

在 AI 病理学领域，现在出现了“基础模型”（Foundation Models）——这些超级聪明的 AI 系统通过数百万张图像进行了训练，能够理解这些局部图像。但存在一个大问题：这些 AI 非常自信，但它们并不知道自己何时是错误的。 如果一个 AI 说“这是癌症”，它可能是正确的，也可能完全是在瞎猜，但它不会告诉你哪种情况属于哪一种。此外，没有哪个 AI 是在所有任务上都完美的；有时 AI A 更好，有时 AI B 更好。

这篇论文介绍了一种名为 DICE（基于分歧感知的专家协调机制，Disagreement-Informed Coordination of Experts）的新系统来解决这个问题。以下是它的工作原理，使用了简单的类比：

1. “专家小组”（集成学习/Ensemble）

与其依赖单一的 AI，DICE 召集了一个由 五位不同的 AI 专家 组成的团队。每一位专家都是一个不同的“基础模型”，它们经过了略有不同的训练方式（就像五位在不同医学院就读的医生）。

目标： 他们共同观察同一张病人的切片并给出诊断结果。

2. “学习小组”（深度互学习/Deep Mutual Learning）

如果只是让五位专家各自为政，他们可能会因为感到困惑而产生争论，而不一定是由于病例本身很难。为了解决这个问题，DICE 强制要求他们一起学习。

类比： 想象一个学习小组，学生们被告知：“你们必须在答案上达成一致，但你们也必须从老师那里得到正确答案。”
神奇之处： 通过强制他们统一思维（这个过程被称为“深度互学习”），他们不再为琐碎的小事争吵。如果他们在学习之后仍然存在分歧，那就意味着这个病例确实非常棘手或模糊。他们剩余的分歧就变成了一个“置信度计”。 如果他们达成共识，AI 就是自信的；如果他们仍在争论，AI 就知道自己不确定，应当请求人类医生的帮助。

3. “几何聚拢”（格拉姆矩阵对齐/Gramian Alignment）

论文增加了第二条规则，以确保专家们不仅仅是在伪造一致性。

类比： 想象专家们站在一个房间里。如果他们都站成一条直线，说明他们太相似了；如果他们散落在各处，说明他们太混乱了。DICE 使用一种数学技巧（格拉姆度量/Gramian measure）来确保他们形成一个紧密、有序的集群。这确保了当他们发生分歧时，是因为数据本身令人困惑，而不是因为专家们表现得杂乱无章。

4. “聚光灯”（定位/Localization）

当专家们对“该看哪里”达成一致时，DICE 就会创造出一个聚光灯。

类比： 如果五位不同的医生都把手电筒指向地图上的同一个位置，那么你可以确定那里就是宝藏所在地。尽管 AI 并没有被明确教导去寻找确切的位置，但由于五位专家在位置上达成了一致，系统便能自动高亮显示可疑区域。

他们发现了什么？

研究人员在三种不同类型的癌症数据（前列腺癌和乳腺癌）上测试了 DICE。

更强的预测能力： DICE 在诊断癌症方面的表现优于任何单一的 AI 模型。
懂得何时放弃： 最重要的是，DICE 非常擅长识别那些它很可能出错的情况。它能说：“这个病例我不确定，请检查一下”，并且它在大多数情况下都是正确的。
精准定位： 它还能高亮显示组织中生病的确切区域，即使它并未被专门教导去寻找确切位置。

核心结论

DICE 就像是把一群聪明但有时过于自信的 AI 医生聚集在一起，强制他们通过共同学习来学会信任彼此，然后利用他们的分歧来判断何时某个病例对于机器来说过于困难。这使得 AI 在实际医院中使用起来更加安全，因为它知道何时应该停下来并寻求人类的帮助。

技术摘要：通过深度互学习实现病理基础模型的确定性估计

问题陈述
病理基础模型（PFMs）在从全切片图像（WSIs）中提取表征以执行生存分析、生物标志物发现和肿瘤亚型分类等任务方面，已展现出强大的泛化能力。然而，其向常规临床实践的转化受到两个关键局限性的阻碍：

缺乏置信度估计： 现有的 PFM 流水线通常只输出预测结果，而没有明确的置信度或不确定性度量。在临床环境中，模型不仅需要准确，还必须能够指示其何时存在预测不确定性，以支持安全的决策。
任务依赖型性能： 没有单一的 PFM 能在所有下游任务、数据集和临床背景下都表现出普适的优越性。选择最优模型进行部署具有挑战性，且依赖单一模型可能会带来次优性能，或在易出错的情况下产生过度自信。

目前的融合方法虽然可以提高性能，但无法提供显式的、与任务无关的确定性估计。相反，像深度集成（deep ensembles）或蒙特卡洛丢弃（Monte Carlo dropout）这类不确定性量化方法，并非专门为 PFM 集成而设计，或者仅限于特定任务（例如仅限于胶质母细胞瘤诊断）。

方法论：DICE 框架
作者提出了 DICE（差异驱动的专家协调，Disagreement-Informed Coordination of Experts），这是一个即插即用的框架，通过集成 $K$ 个冻结的 PFMs 来估计不确定性并提升下游性能。其核心直觉是：异构 PFM 之间的差异（disagreement）可以作为一种信息丰富的确定性信号，前提是这种差异是结构化的，而非由优化噪声主导。

该框架运行如下：

架构： 系统利用 $K$ 个冻结的 PFM（例如 Virchow2, UNI2-h, H-optimus-1, CONCHv1.5, Hibou-L）。每个 PFM 作为一个“专家” $E^{(k)}$ ，配对一个独立的多元实例学习（MIL）聚合器（具体为 ABMIL）和一个分类头。
训练目标： 为了确保专家的差异反映的是有意义的不确定性而非噪声，专家在训练期间通过三个目标进行耦合：
- 监督损失 ( $L_{sup}$ )：标准的交叉熵损失，以确保切片级的分类准确性。
- 深度互学习 ( $L_{DML}$ )：一种预测空间对齐目标，每个专家通过最小化其预测分布与其余 $K-1$ 个同行之间的 KL 散度来进行学习。这在保持与地面真值（ground truth）对齐的同时，鼓励了共识的达成。
- 格拉姆正则化 ( $L_{Gram}$ )：一种基于格拉姆测度（Gramian measure）的表征空间对齐目标。它鼓励专家的切片级嵌入（embeddings）跨越一个低体积的子空间，从而防止可能伪装成不确定性的几何失配。
- 总损失：训练目标结合了这些项： $L = L_{sup} + L_{DML} + \lambda_{Gram}(t) L_{Gram}$ ，其中 $\lambda_{Gram}$ 遵循预热调度方案。
推理与确定性估计：
- 不确定性代理： 在推理阶段，集成预测是 $K$ 个专家分布的平均值。总预测不确定性被分解为偶然不确定性（数据）和认知不确定性（模型）部分。作者在理论上证明，认知不确定性（残余差异）受限于聚合 DML 损失的上界。因此，在训练期间最小化 DML 损失可以收缩认知不确定性的上界。
- 定位： 通过计算所有专家注意力权重（attention weights）的共识，实现无监督的补丁级（patch-level）病灶定位。

核心贡献

首个任务无关框架： DICE 是第一个专门利用 PFM 集成来实现计算病理学中任务无关确定性估计的框架。
理论基础： 本文提供了一个理论证明，即在训练期间最小化 DML 对齐目标可以收缩集成认知不确定性的上界，从而验证了使用残余差异作为可靠不确定性代理的有效性。
经验性能： 大量实验表明，DICE 不仅能准确标记易错样本（包括分布内和分布外样本），而且在分类、校准和无监督病灶定位方面，其表现达到或超过了最先进的（SOTA）单体 PFM 和融合基准模型。

实验结果
该框架在三个弱监督 WSI 基准测试集上进行了评估：PANDA（前列腺癌分级）、CAMELYON16 和 CAMELYON17（乳腺淋巴结转移检测）。

分类与校准： DICE 在大多数数据集上实现了最高的 F1 分数和最低的负对数似然（NLL）。在 PANDA 数据集上，其 F1 分数比表现最好的单体 PFM 高出 3.8 个百分点，比表现最好的融合基准模型高出 2.8 个百分点。
确定性估计： 在选择性预测实验中，DICE 有效地推迟了高不确定性切片的处理，从而实现了最低的保留误差率。与蒙特卡洛丢弃和其他融合方法相比，它在区分正确预测与错误预测方面表现出更优越的分离度（通过 Cliff's $\Delta$ 衡量）。即使在存在队列偏移（例如在 CAMELYON16 上训练并在 CAMELYON17 上测试）的情况下，这种能力依然稳健。
定位： 通过聚合注意力图，DICE 提供了具有竞争力的或优于单体模型的无监督补丁级定位，特别是在将注意力集中在标注的肿瘤区域而非周围间质组织方面。
消融研究： 该框架对 MIL 聚合器（DSMIL, TransMIL）的选择表现出鲁棒性，并显示出随着专家数量增加，一旦特征空间得到充分覆盖，收益会递减，这凸显了专家互补性相对于单纯增加集成规模的重要性。

意义与主张
本文将 DICE 定位为迈向不确定性感知决策支持系统的关键一步。通过建立一种有理论依据的 PFM 融合方法，DICE 解决了当前模型“黑盒”性质的问题，提供了一种识别易错案例并安全地将决策权交还给临床医生的机制。作者声称，通过提供可靠的确定性估计，其方法增强了 PFMs 在临床环境中的可信度，且无需针对定位或置信度校准进行显式监督。

作者也承认了局限性，包括从 $K$ 个冻结模型中提取特征的计算成本（尽管训练成本仍低于端到端微调），以及需要仔细平衡对齐（alignment）与多样性（diversity），以避免抑制实现确定性估计所需的差异性。他们总结道，虽然目前专家的数量是固定的，但该框架为开发更可靠、具备确定性感知能力的病理模型并将其集成到临床工作流中铺平了道路。