💻 computer science

Explaining Digital Pathology Models via Clustering Activations

本文介绍了一种面向数字病理模型的基于聚类的可解释性技术，该技术能够揭示模型的全局行为并提供细粒度洞察以增强临床信心，并在前列腺癌检测模型上验证了其有效性。

原作者： Adam Bajger, Jan Obdržálek, Vojtěch Kůr, Rudolf Nenutil, Petr Holub, Vít Musil, Tomáš Brázdil

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Adam Bajger, Jan Obdržálek, Vojtěch Kůr, Rudolf Nenutil, Petr Holub, Vít Musil, Tomáš Brázdil

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一位超级智能的机器人病理学家。这位机器人会查看组织样本的巨大高分辨率数字图像（称为全切片图像），以判断患者是否患有癌症。问题在于，这个机器人是一个“黑箱”。它给出“是”或“否”的答案，却不告诉你为什么做出该选择。这就像一位朋友说“我知道这是一部烂片”，却拒绝解释哪些场景糟糕或原因何在。

在医学界，医生（病理学家）对信任这些机器人持谨慎态度，因为他们无法窥见机器人的思考过程。本文介绍了一种新方法，可以窥探机器人的“大脑”，看看它实际上在关注什么。

旧方法：“手电筒”

此前，研究人员使用诸如GradCAM或遮挡法之类的方法。可以将这些方法想象成在黑暗房间中照射的手电筒。手电筒会高亮显示图像中机器人认为对其决策最重要的特定区域。

缺陷：这是一种单维度的视角。它说“这个区域很重要！”，但并未解释那个区域是什么。是某种特定类型的细胞？一种奇怪的图案？还是一个阴影？它只是说“看这里”，而没有提供背景信息。

新方法：“彩色编码地图”

作者提出了一种基于聚类的新方法。与其使用手电筒，不如想象机器人被给予一个巨大的乐高积木盒（图像的微小碎片）。机器人根据这些积木彼此之间的相似程度将它们分类堆叠。

分类过程：机器人观察组织数百万个微小区域。它根据视觉特征将这些区域分组为类别（簇）。
结果：机器人不再仅仅高亮显示“癌症区域”，而是为整张切片创建了一张彩色编码地图。
- 红色可能意味着“密集的细胞链”。
- 蓝色可能意味着“空洞或小圆圈”。
- 绿色可能意味着“组织边缘”。

他们发现了什么？

研究人员在一款旨在检测前列腺癌的模型上测试了这种方法。他们请一位人类病理学家查看彩色编码地图，并描述每种颜色代表什么。这位人类专家确认，机器人已成功学会识别真实且有意义的生物结构：

“癌症”颜色：机器人识别出了特定模式（如紧密排列的细胞链或微小的圆形空洞），人类专家也将其识别为癌症迹象。
“健康”颜色：其他颜色代表正常组织或背景区域。

为什么这更好？

论文声称，与旧的“手电筒”技术相比，该方法具有两个主要优势：

全局理解：它不再仅仅指向少数热点区域，而是展示了切片的全貌。你可以看到机器人如何理解组织不同部分之间的关系。
精细细节：“手电筒”方法往往将事物模糊地混在一起。新的聚类方法就像一张高清地图。它将那些可能被手电筒混为一谈的、外观相似的事物区分开来。例如，即使乍看之下“正常细胞链”和“癌细胞链”有些相似，它也能将二者区分开来。

“信任”因素

根据论文，最终目标是信任。通过向病理学家展示，机器人正在关注与人类专家所寻找的相同特定生物模式（而不仅仅是猜测），医生可以对机器人的诊断感到更加自信。

总之：本文提出了一种技术，将“黑箱”人工智能转变为“玻璃箱”。它不再仅仅说“检测到癌症”，而是绘制一张彩色地图，精确展示人工智能用于做出该决策的 tissue 模式类型，证明其思考方式与人类专家一致。

技术摘要：通过聚类激活解释数字病理模型

问题陈述
深度学习模型在临床数字病理中的采用受到“信任鸿沟”的阻碍。尽管卷积神经网络（CNN）能够准确分类组织切片（例如检测前列腺癌），但它们作为不透明的“黑盒”运行。病理学家不愿信任这些模型，因为标准的可解释性技术（如遮挡法、GradCAM 或相关性传播）仅提供一维的局部显著性图。这些图突出了对单一预测有贡献的区域，但未能解释决策背后的推理或模型的全局行为。与综合各种形态学特征和组织类型的病理学家不同，当前方法无法揭示模型用于区分健康组织与癌变组织的内部语义表示。

方法论
作者提出了一种基于聚类的可解释性技术，通过将相似的特征激活分组来可视化 CNN 模型的全局行为。该方法运作如下：

特征提取：对于给定的 CNN 模型，从特定卷积层 $\ell$ 提取输入图像瓦片每个空间位置 $(i, j)$ 的特征向量。这些向量表示所有通道 $C$ 上的激活值。
非负矩阵分解（NMF）：为了确保语义可解释性，作者对特征向量采用 NMF。由于 NMF 需要非负输入，他们利用了 ReLU 激活函数之后层的输出。
聚类过程：
- 训练：通过最小化 Frobenius 范数 $\|V - WH\|_F^2$ ，将特征向量的训练矩阵 $V$ 分解为非负矩阵 $W$ 和 $H$ 。矩阵 $H$ 代表 $K$ 个类向量（聚类中心），而 $W$ 代表每个特征向量中每个类的强度（权重）。
- 推理：对于新数据， $H$ 保持不变，优化 $W$ 。每个空间位置被分配给具有最高强度权重的聚类。
全切片图像（WSI）适配：为了处理 WSI 的巨大规模（数十万像素）和瓦片重叠问题：
- 丢弃每个瓦片中特征向量的 2 像素边界，以减轻边界伪影。
- 对同一空间位置处重叠瓦片的特征向量进行平均，为每个像素创建单一、一致的表示。
- 丢弃无组织重叠（背景）的瓦片，将计算集中在相关区域。

主要贡献

全局与局部解释：与突出单一决策特定区域的显著性图不同，该方法通过将内部表示聚类为不同的语义类别，揭示了模型的全局行为。
无监督语义分割：尽管底层模型仅针对二分类（癌变与非癌变）进行训练且从未针对分割进行训练，该技术仍基于学习到的聚类生成输入图像的语义分割。
处理 WSI 挑战：该方法专门设计用于管理数字病理切片特有的高维度和稀疏组织分布。
与专家知识的验证：该方法在前列腺癌检测模型上进行了评估，结果表明生成的聚类对应于病理学家认可的可见形态学特征。

结果
该技术使用在马斯特里赫特纪念癌症研究所 87 张 WSI 上训练的前列腺癌检测模型（VGG-16 骨干网络）进行了评估。作者训练了 $K=4, 6,$ 和 $8$ 类的聚类模型。

病理学家评估：一名住院医师病理学家分析了 $K=6$ $K = 6$ 的聚类输出，并确定聚类对应于特定的形态结构：
- 第 2、4 和 5 类被确定为对应癌变区域（例如，密集排列的细胞核链、小管腔）。
- 第 1、3 和 6 类对应稀疏组织结构、边缘或正常上皮。
定量分析：
- 仅基于聚类权重训练的 logistic 回归模型在预测癌症阳性方面表现优异（准确率：0.984，AUC：0.998）。
- 回归系数证实，第 2、4 和 5 类与阳性癌症标签强相关，而第 1、3 和 6 类与阴性标签相关，这与病理学家的定性评估一致。
与 GradCAM 的比较：
- 虽然第 2、4 和 5 类与 GradCAM 热图显示出高度相关性，但聚类与 GradCAM 掩码之间的交并比（IoU）较低。
- 这表明，虽然聚类与 GradCAM 认为重要的区域重叠，但聚类方法提供了更细致、更细粒度的信息，说明模型在这些区域内具体利用了哪些特征。

意义与主张
该论文声称，这种基于聚类的方法为理解数字病理中 CNN 的内部运作提供了一个强大的工具。通过超越简单的显著性图以揭示模型的全局语义行为，该方法有助于消除 AI 的“黑盒”性质。作者认为，提供关于模型优先考虑的特定形态学特征的可解释见解，可以显著增加病理学家的信心，从而促进 AI 模型在临床实践中更快、更安全地采用。该方法被提出适用于任何利用空间特征向量的模型架构，并建议未来的工作可检查基础 Transformer 模型。