💻 computer science

CDGP: Contrastive Dual Gaussian Processes for Weakly Supervised Anomaly Segmentation

该论文提出了对比双高斯过程（CDGP），这是一个结合了源自双高斯过程的后验主导统计量与层次化重构残差的弱监督框架，旨在无需像素级标注的情况下实现最先进的异常分割。

原作者： Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代制造业繁忙的世界中，机器正越来越多地承担起检查产品缺陷这一精细的任务。一家工厂每小时可能会生产数千个完全相同的组件，其目标是在缺陷产品到达客户手中之前将其拦截。这需要两件事：判断产品是否损坏，以及精准定位损坏的具体位置。几十年来，教计算机完成这项任务最可靠的方法是向它们展示数千个完美的示例，让它们学习什么是“正常”。当计算机看到与这种正常模式偏离的东西时，它就会将其标记为缺陷。这种方法之所以有效，是因为完美的物品很容易找到，而损坏的物品则既稀少又多样。然而，这种方法存在一个盲点。它往往难以区分真正的裂纹与那些仅仅是看起来有点奇怪的无害异常纹理。它会将两者都视为“不正常”并发出警报，从而导致混乱和时间的浪费。

研究人员长期以来一直在思考，是否可以通过向计算机展示损坏物品的示例来改进这一点，即使他们并不确切知道裂纹的具体位置。在现实世界中，工厂通常知道哪一批次的产品未通过质量检查，即使他们还没有抽出时间为每一个缺陷绘制一张地图。这就是“弱监督”学习的挑战：利用“有缺陷”这一宽泛的标签，来教机器在没有详细地图的情况下找到错误的具体位置。一项新研究引入了一种称为对比双高斯过程（Contrastive Dual Gaussian Processes，简称 CDGP）的方法，该方法通过改变计算机比较“好”与“坏”的方式来解决这个问题。系统不再仅仅询问一张图像看起来有多奇怪，而是提出了一个更直接的问题：这个图像的部分看起来更像是一个缺陷，还是更像是一个正常的产物？

研究人员构建了一个系统，将图像的每一个微小区块都视为可能是正常或有缺陷的候选者。想象一下，将图像视为一个由微小瓷砖组成的网格。对于每一个瓷砖，系统会同时运行两个独立的心理模型。一个模型旨在预测一个正常的瓷砖应该是什么样子，而另一个模型则旨在预测一个有缺陷的瓷砖应该是什么样子。这些模型不仅仅是在进行猜测；它们建立在一个统计框架之上，该框架允许它们不仅能做出预测，还能表达它们对该预测的信心程度。随后，系统会对每一个瓷砖进行两种预测的比较。如果“缺陷”模型的可能性远高于“正常”模型，并且系统对这种差异具有信心，那么该瓷砖就会被标记为缺陷。这种方法之所以强大，是因为它迫使计算机去权衡缺陷的证据与正常性的证据，而不是仅仅寻找任何看起来古怪的东西。

为了在没有详细缺陷地图的情况下实现这一点，团队在如何开始训练方面表现得非常聪明。他们首先扫描缺陷图像，并挑选出那些看起来与正常情况差异最大的瓷砖。这些成为了缺陷模型学习的初始“候选者”。这是一个充满噪声的起点，因为其中一些候选者只是恰好看起来略有不同的正常部件，但系统旨在通过这个过程进行学习。随着训练的持续，系统使用整个图像的简单“有缺陷”或“正常”标签来完善其理解。它学会了在实际包含缺陷的区域提高缺陷模型的预测值，同时保持背景区域的正常模型强度。这个过程使得系统能够逐渐锐化其焦点，将真实的缺陷从背景噪声中分离出来，而无需看到哪怕一个手绘的裂纹轮廓。

该研究还认识到，仅靠观察大局并不足以发现细微的发丝状裂纹。为了解决这个问题，他们增加了第二层专注于“重构”的检查。这部分系统试图从一个略微受损的版本中重建出一个完美的图像版本。如果系统在重建特定区域时感到困难，则表明该区域是不寻常的。通过将两种模型的直接比较与这种重构检查相结合，该系统获得了双重的证据。研究人员在几个标准的工业数据集上测试了这种方法，包括 MVTec AD 2、KSDD2 和 VisA。结果令人瞩目。在 MVTec AD 2 数据集上，这一新方法优于所有测试过的其他方法，在衡量系统定位缺陷能力的每一项指标中均排名第一。在其他两个数据集上，它的表现也处于顶尖水平或极具竞争力。

这项发现之所以特别重要，是因为它如何处理不确定性。系统不仅输出一个分数，它还会计算一个标准化度量，即在考虑模型确定性的情况下，缺陷比正常情况更可能的程度。这防止了系统被随机噪声所迷惑。研究人员还证明，这种改进不仅仅是因为设置更加复杂，更是因为他们对比了这两个模型并利用训练数据校准了置信度。他们验证了该系统在工作时不需要任何人在学习阶段围绕缺陷画框，仅依靠工厂现有的简单的“好”或“坏”标签即可运行。

研究结论指出，通过显式地对正常和缺陷的可能性进行建模并进行直接对比，机器可以比以前更准确地发现缺陷。这种方法弥补了大量正常数据与稀缺的详细缺陷地图之间的差距。它表明，在时间与资源用于详细标注都非常有限的工业环境中，我们可以通过教计算机权衡缺陷证据与正常性证据，而非仅仅寻找任何突出的事物，来实现高精度的检测。该方法作为一种稳健的解决方案，在当前的性能基准中名列前茅，为制造业的自动化质量控制提供了一条切实可行的路径。

问题陈述

工业视觉检测既需要检测产品是否存在缺陷，也需要定位具体的缺陷区域。虽然像素级异常分割对于诊断和质量控制等下游任务至关重要，但在许多实际制造环境中，收集密集的像素级掩码（mask）成本高昂且耗时。因此，大多数现有方法依赖于“仅限正常（normal-only）”的学习范式，即仅在无缺陷图像上进行训练，并将异常识别为对常态分布的偏离。

然而，仅限正常范式存在以下局限性：

歧义性： 真实的缺陷和异常但正常的区域都可能与学习到的正常分布产生显著偏差，从而获得相似的高异常得分。
监督偏移： 虽然避免了使用像素掩码，但仅限正常训练仍需要精选的无缺陷数据集，这将负担从标注转移到了数据集策展上。
弱监督差距： 在许多流程中，虽然可以获得图像级标签（正常/缺陷），但无法获得像素掩码。在这种情况下丢弃缺陷图像会损失关于异常外观的有益信息。
定位挑战： 标准的弱监督方法（例如使用图像分类器的类激活图）通常只能突出足以进行图像级识别的判别性上下文，却无法与实际缺陷区域对齐，因为工业异常具有异质性且缺乏连贯的视觉类别。

方法论：对比双高斯过程 (CDGP)

CDGP 是一个弱监督框架，它在稠密的多尺度 token 上对正常和异常的预测分布进行建模。它不是通过评分对常态性的偏离，而是通过评分异常函数相对于正常函数的**后验优势（posterior dominance）**来进行评估。

1. 稠密多尺度 Token 表示

该方法使用 WideResNet-50 骨干网络从三个阶段提取特征图。这些特征图被投影到共享的潜在维度，进行归一化，并对齐到单一的空间分辨率，以形成一个单位范数 token ( $t_{hw}$ ) 的稠密网格。

2. 硬候选诱导初始化 (Hard-Candidate Inducing Initialization)

CDGP 采用带有固定诱导点（inducing points）的稀疏高斯过程 (GPs)。

正常 GP ( $Z_N$ )： 诱导 token 通过贪婪的最远点采样法从正常图像中选取，以覆盖名义上的 token 空间。
异常 GP ( $Z_A$ )： 由于缺陷图像主要包含正常的背景，直接采样效果不佳。因此，通过计算缺陷图像中的 token 与 $Z_N$ 的余弦距离进行评分。得分最高的 20% 最不相似的 token 构成一个“噪声候选池”，并从中通过最远点采样选择出 $Z_A$ 。这作为一种初始化先验，而非伪掩码。

3. 对比双 GP 证据

CDGP 使用线性核 ( $k(t, t') = t^\top t'$ ) 在共享的 token 空间上将正常 ( $f_N$ ) 和异常 ( $f_A$ ) 证据建模为两个稀疏 GP 函数。

预测分布： 对于每个 token，模型学习两个类别的预测均值 ( $\mu$ ) 和方。
后验优势统计量： 核心指标是异常预测分布与正常预测分布之间的标准化差异：
$g(t) = \frac{\mu_A(t) - \mu_N(t)}{\sqrt{\sigma^2_A(t) + \sigma^2_N(t)}}$
该统计量提供了一个空间语义图，如果异常函数的表现极有可能超过正常函数（并由联合不确定性进行标准化），则该 token 被视为异常。

4. 弱监督训练

双 GP 核心通过三种互补的损失函数，利用图像级标签进行端到端训练：

最大间隔 MIL (Max-Margin MIL)： 确保缺陷图像至少有一个 token 具有高正间隔 ( $\mu_A - \mu_N$ )，而正常图像没有正间隔。
协方差归一化的正常紧凑性 (Covariance-Normalized Normal Compactness)： 鼓励正常图像在名义 GP 上具有高归一化证据。
协方差归一化的异常吸引力 (Covariance-Normalized Anomaly Attraction)： 在由当前间隔得分确定的异常位置（使用软注意力机制）强化归一化的异常证据。

5. 层级正常残差证据

为了解决 token 级 GP 证据可能无法充分解析细微缺陷的限制，CDGP 引入了一个仅限正常的反向学生 (normal-only reverse student) 分支。一个冻结的教师网络处理干净的正常图像，而学生网络则从受损输入中重建教师的层级结构。余弦重建残差提供了与语义 GP 证据互补的细粒度空间精度。

6. 校准与推理

融合： 将 GP 优势图和重建残差图使用来自留存的正常校准子集的统计数据进行标准化，并进行加权求和融合。
图像级置信度： 融合后的空间证据通过 log-sum-exp 进行池化，生成图像级异常得分，并使用在图像级标签上训练的逻辑回归器进行校准。
最终输出： 最终的异常图结合了校准后的空间证据与图像级置信度分数，确保被判定为很可能正常的图像会抑制所有的像素得分。

核心贡献

公式化： 本文将弱监督异常分割公式化为稠密 token 上稀疏正常预测函数与异常预测函数之间的后验优势问题。
训练策略： 提出了一种无需掩码、利用缺陷增强的初始化方法，以及一个极简的三损失目标函数（最大间隔 MIL、协方差归一化的正常紧凑性和协方差归一化的异常吸引力）来训练双 GP 核心。
混合架构： 通过结合语义 GP 对比与层级正常重建残差，并采用仅限训练阶段的校准，实现了无需测试时拟合即可获得空间精确预测的目标。
性能： 在匹配的弱监督划分下，CDGP 在 MVTec AD 2 上取得了 SOTA 结果，并在 KSDD2 和 VisA 上取得了具有竞争力的结果。

实验结果

作者在 MVTec AD 2、KSDD2 和 VisA 上评估了 CDGP。

MVTec AD 2： 在所有三个定位指标（AUROC-P, AUPRO@0.3, AUPRO@0.05）上，CDGP 在所有评估方法（包括仅限正常和图像级监督方法）中排名第一，大幅领先于第二名（例如在 AUPRO@0.3 上领先 +12.7 点）。
KSDD2 和 VisA： CDGP 取得了第一或极具竞争力的定位性能，在所有指标中均位列前二。
消融研究： 因子化消融证实了 GP 空间路径和图像级校准路径是互补的。论文指出，相比于简单的均值间隔评分，使用后验优势（通过方差进行标准化）带来的提升是适度的改进，这表明其核心价值在于一致的诱导变量均值-方差构建，而非非线性表达能力。

重要性与主张

本文声称 CDGP 成功地利用图像级标签来学习异常分割，而无需像素掩码或测试时拟合。其重要性在于：

解决“异常但正常”问题： 通过显式建模正常和异常分布，避免了单侧常态性评分的歧义。
高效的弱监督： 利用了缺陷图像（在仅限正常方法中通常被丢弃）来学习异常特征，即使在不知道确切缺陷位置的情况下也是如此。
鲁棒性： 使用仅限训练阶段的校准，并结合语义（GP）与结构（重建）证据，实现了跨多样化工业数据集的鲁棒定位。
对 GP 主张的克制： 作者明确指出，由于线性核使得训练间隔是线性的，其优势来自于 GP 公式提供的与 token 相关的预测方差（不确定性），而非优于等效的参数化异方差线性模型的通用优越性。其“GP 主张”被界定为一种紧凑的均值与不确定性构建方式，并受限于匹配的线性头控制。