💻 computer science

A Novel Open-Set Domain Adaptation Framework for Histopathology Image Classification: A Style-Aware and Density-Guided Approach

本文提出了 SADG，一种用于组织病理学图像分类的新颖开集领域自适应框架，该框架通过集成用于外观归一化的风格校正模块以及基于高斯混合模型（GMM）的 ClusterNet 结合极值理论进行密度引导的未知样本检测，有效地解决了染色引起的协变量偏移以及未知组织类别的问题。

原作者： Reyhane Ghaffari, Mohammad Sadegh Helfroush, Kamran Kazemi, Abbas Khosravi

发布于 2026-10-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Reyhane Ghaffari, Mohammad Sadegh Helfroush, Kamran Kazemi, Abbas Khosravi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代医学领域，病理学家最关键的工具通常是显微镜。他们通过观察用彩色染料染色的微小组织切片，来识别癌症等疾病。如今，计算机也在学习这项工作，利用人工智能扫描这些数字图像并发现异常。然而，这些计算机程序面临着一个顽固的现实：它们在现实世界中看到的图像很少与训练时的图像完全一致。在一家医院制备的切片可能染色略有不同，或者与另一家医院的切片使用了不同的扫描设备，这会导致颜色和纹理发生偏移。此外，一个被训练识别五种组织类型的计算机，可能会突然遇到一种它从未见过的第六种类型。如果软件无法处理这些变化或无法识别这种未知的组织，它可能会犯下危险的错误，要么误诊疾病，要么未能标记出新的问题。

来自设拉子理工大学（Shiraz University of Technology）和迪金大学（Deakin University）的研究人员开发了一种新方法，旨在帮助这些计算机系统应对这种混乱的现实。他们创建了一个名为 SADG 的框架，专门用于处理复杂的“开集领域自适应”（open-set domain adaptation）任务。通俗地说，这意味着教计算机在适应新视觉风格的同时，学习识别那些它从未被教过去识别的事物。研究团队在数千张结直肠组织图像上测试了他们的方法，结直肠是癌症的常见部位，他们使用了两个代表不同医院和染色条件的大型公共数据集。他们的目标是建立一个系统，即使在图像颜色发生变化时也能准确分类已知的组织类型，同时还能正确识别出哪些组织属于训练数据中完全不存在的类别。

他们成功的核心在于如何处理计算机面临的两个主要问题：视觉差异和未知类别。首先，他们解决了视觉偏移问题。当组织样本被扫描时，光照、对比度或所使用的化学染料的变化都会使同一种组织看起来有所不同。研究人员在系统中构建了一个特殊的模块，其作用类似于一个过滤器。它剥离了由扫描过程引起的表层视觉差异，同时仔细保留了对诊断至关重要的深层结构细节。这使得计算机能够专注于细胞的形状和排列，而不是被染色的颜色所迷惑。

第二个，也是更困难的挑战，是处理未知的组织类型。传统方法通常试图将每张新图像强行归入已知的类别中，或者将所有未知样本统统塞进一个模糊的“其他”类别里。研究人员发现这种方法存在缺陷，因为未知组织并不都是一样的；它们拥有各自的内部结构和模式。该系统并没有将它们强行塞进一个框里，而是绘制出了数据的景观图。它根据数据的自然密度将图像进行聚类，创建了一张详细的地图，标明了已知组织所在的位置以及空白区域在哪里。通过理解这张地图，系统可以为每张新图像计算一个得分。如果一张图像落在已知组织的密集区域，它就会被以高置信度进行分类。如果它落在稀疏区域或远离任何已知组，系统就会将其识别为某种新事物。

为了在不依赖人为设定阈值的情况下做出这种决策，团队使用了一种统计技术，该技术观察数据分布的极端边缘。这使得系统能够估算一个样本是未知的可能性，而无需依赖可能在不同情况下失效的固定规则。他们还引入了一种方法，教计算机在猜测时保持“谦逊”。当系统不确定时，它会被鼓励承认不确定性，而不是强行给出一个错误的答案。相反，当系统对某种已知组织类型有把握时，它会被强化以变得更加确定。这种平衡防止了计算机将一种全新的、未知的组织自信地误标为熟悉的组织。

他们的测试结果令人瞩目。当他们将该方法应用于结直肠组织数据集时，该系统的表现持续优于现有的先进技术。在一种特定场景下，即计算机需要从一个具有不同特征的大型数据集迁移到小型数据集时，它在识别已知组织类型方面的准确率达到了 98.40%。更重要的是，它在检测未知类型方面表现异常出色，在另一种测试配置中实现了 97.60% 的检测得分。这些数字表明，该系统不仅学会了忽略干扰性的视觉变化，还培养了一种敏锐的感知力，能察觉到自己何时正在遇到全新的事物。

研究人员还探讨了系统的不同部分是如何促成这一成功的。他们发现，如果移除过滤视觉差异的模块，性能会显著下降，这证明了处理风格变化是必不可少的。同样，当他们移除映射数据密度的机制时，系统在区分已知与未知样本方面会表现挣扎，经常将两者混淆。他们发现，用于映射数据的聚类数量至关重要；使用过多的组或过少的组都会降低系统的有效性。通过找到这种平衡，他们确保了计算机能够同时“既看到森林，也看到树木”。

这项工作表明，人工智能若要在临床环境中真正发挥作用，必须具备处理医疗数据自然变异性的鲁棒性。它不能是一个只能在完美、受控条件下工作的僵化工具。SADG 框架证明，通过尊重数据的自然结构并教会计算机识别自身的局限性，我们可以构建出既准确又安全的系统。研究人员指出，虽然他们的方法是一个重要的进步，但最终目标是创建出即使在极少监督下也能更快适应新领域的模型。他们的发现为开发能够协助病理学家应对现实世界（即每个切片都是独特的且意外总在发生）的 AI 提供了充满希望的路径。

技术摘要：一种用于组织病理学图像分类的新型开集领域自适应框架

问题陈述
在计算病理学中，部署于组织病理学图像分类的深度学习模型在从有标签源域向无标签目标域迁移时，面临两个关键挑战：协变量偏移（covariate shift）和语义偏移（semantic shift）。协变量偏移源于染色方案、扫描设备和成像条件的差异，导致外观上的不一致。语义偏移则发生在目标域包含源训练分布中不存在的组织类别（未知类）时。这一场景被形式化为开集领域自适应（Open-Set Domain Adaptation, OSDA）。

现有的 OSDA 方法在处理组织病理学问题时往往表现不佳，主要有两个原因：

对未知类的过度简化： 许多方法将所有未知样本坍缩为一个单一类别，忽略了未知组织内在的结构和语义多样性。这可能导致负迁移，即与已知类相似的未知样本会降低自适应性能。
不恰当的风格不变性： 开发用于自然图像的方法通常强制执行强风格不变性。然而，在组织病理学中，与外观相关的特征（例如特定的染色模式）可能包含具有诊断意义的信息，这些信息应当被保留而非完全移除。

方法论：SADG 框架
作者提出了 SADG（风格感知与密度引导，Style-Aware and Density-Guided），这是一个旨在共同解决协变量偏移和语义偏移的统一框架。该架构由两个主要网络组成：用于分类的 Co-Net 和用于密度建模的 ClusterNet，并集成了一个风格校正模块（Style Rectification Module, SRM）。

风格校正模块 (SRM)：
为了在不丢弃具有诊断意义的风格信息的前提下缓解协变量偏移，SRM 被插入到骨干网络（ResNet-50）的早期和中间层。它采用实例归一化（Instance Normalization, IN）来抑制外观特有的变化，随后通过通道注意力机制将残差特征分解为任务相关部分（ $R^+$ ）和任务无关部分（ $R^-$ ）。通过重新组合这些部分，可以恢复被归一化抑制的语义信息，从而有效地实现风格与语义的分离。
密度引导聚类 (ClusterNet)：
不同于将未知类视为单一整体的方法，SADG 使用**高斯混合模型（Gaussian Mixture Model, GMM）**对目标域的内在密度结构进行建模。
- ClusterNet 通过可微的方式，利用软分配将目标特征划分为 $K$ 个簇。
- 类条件原型： 对于共享的已知类，该框架通过聚合由分类器置信度加权的目标特征来构建原型（ $\mu_c$ ）和协方差矩阵（ $\Sigma_c$ ）。这确保了原型能够反映已知类在目标域内的实际分布。
GEM 分数与 EVT 校准：
为了在没有固定阈值的情况下检测未知样本，SADG 引入了基于**高斯混合能量测量（Gaussian Mixture-based Energy Measurement, GEM）**的分数。该分数通过评估目标样本相对于已知类原型的对数似然值来进行评估。
- 极值理论 (Extreme Value Theory, EVT)： GEM 分数的尾部分布使用阈值超过法（Peaks-Over-Threshold, POT）进行建模。这使得系统能够动态地估计样本属于未知类的概率（ $\tau_t$ ），避免了手动定义决策边界的僵化性。
自适应训练策略：
该框架采用多目标损失函数来引导自适应过程：
- 密度引导对齐 ( $L_{align}$ )： 将分类器的输出与由 GMM 导出的密度诱导后验分布进行对齐，确保分类器遵循潜在的簇结构。
- 同质簇学习 ( $L_{entH}$ )： 识别可靠且语义同质的簇（基于簇大小和类别亲和力），以强化对已知类的置信度。
- 未知类分离 ( $L_{entU}$ )： 对伪未知样本（通过高 $\tau_t$ 识别）应用熵最大化，以防止它们坍缩到已知类区域。

核心贡献

统一框架： SADG 是第一个在 OSDA 设置下，针对计算病理学中同时处理协变量偏移和语义偏移的统一框架。
密度感知的未知类建模： 通过利用基于 GMM 的 ClusterNet，该方法显式地建模了目标域的内在密度结构，避免了将多样化的未知样本坍缩为单一类别。
无阈值检测： 通过经由 EVT 校准的 GEM 分数，提供了一种鲁棒的、无需阈值的机制来估计未知类概率。
风格保留： SRM 有效地抑制了由外观引起的差异，同时保留了具有诊断意义的风格信息，解决了基于自然图像的 OSDA 方法存在的局限性。

实验结果
该框架在两个结直肠组织病理学数据集上进行了评估：Kather-16（5,000 幅图像，8 个类别）和 Kather-19（100,000 幅图像，9 个类别）。实验涵盖了三种不同未知样本比例（从约 7% 到 75%）的开集配置。

性能： SADG 一致优于最先进的 OSDA 方法（如 OSBP, STA, UADAL, ANNA）和开集识别（OSR）方法（如 GHOST, OpenMax）。
- 在所有任务中，它实现了 91.28% 的平均闭集准确率 (ACC) 和 90.27% 的平均 AUC。
- 在 Kather-19 $\to$ Kather-16 Split 2 场景中，SADG 达到了 98.40% 的 ACC，显著优于次优方法。
消融实验：
- 移除 SRM 会导致 ACC 和 AUC 均出现显著下降，证实了其处理染色变化的必要性。
- 移除密度引导对齐（ $L_{align}$ ）或针对未知类的熵最大化（ $L_{entU}$ ）会导致性能严重退化，凸显了保持目标密度结构和防止未知类坍缩的重要性。
- 软原型估计（使用分类器置信度权重）被证明比硬分配更具鲁棒性，尤其是在未知样本比例增加时。
效率： 虽然由于双网络训练和 GMM 拟合，SADG 的计算复杂度高于某些基准模型，但它展示了良好的权衡，在实现最高性能指标的同时保持了受控的额外开销。

意义与主张
本文声称，SADG 为数据分布发生偏移且未知组织类别不可避免的现实临床部署提供了一个鲁棒的解决方案。通过超越“单一未知类别”的假设并保留具有诊断意义的风格特征，SADG 为组织病理学分类提供了一种更可靠的方法。作者将这项工作定位为减少临床环境中对大规模人工标注依赖的一步，使模型能够以极少的监督实现对新中心和未见组织类型的自适应。未来的工作建议探索元学习策略，以实现对新领域更快速的自适应。

技术摘要：一种用于组织病理学图像分类的新型开集领域自适应框架

类似论文