💻 computer science

DriftAD: Visually-Guided Text Drift for Few-Shot Industrial Anomaly Detection

DriftAD 是一个少样本工业异常检测框架，它通过引入一种视觉引导的文本漂移机制来动态生成空间和层级自适应的异常描述符，克服了静态文本提示的局限性，从而显著提升了在 MVTec-AD 和 VisA 数据集上的检测性能。

原作者： Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代制造业庞大且自动化的世界中，保持产品的完美是对抗“不可见之物”的一场持久战。机器每小时组装数千件完全相同的物品，但只要金属表面出现一道微小的划痕，或者织物上出现一处细微的变色，整个批次都面临失败的风险。几十年来，计算机一直难以发现这些缺陷，因为它们既罕见又难以预测。传统方法需要教计算机识别每一类产品的“正常”状态，这是一个缓慢且昂贵的过程，且一旦工厂引入新产品，该方法就会失效。最近，一种新的方法应运而生，它利用了最初旨在理解图像和语言的人工智能模型。这些模型可以阅读如“一个损坏的瓶子”之类的描述并在图片中寻找它，为寻找缺陷提供了一种灵活的方式，而无需成千上万个示例。然而，即使是这些先进系统也存在盲点：它们倾向于将缺陷视为一个单一、统一的概念，无法注意到缺陷可能会根据其所在位置或在图像数据层中的深度不同而呈现出不同的形态。

南洋理工大学和华中科技大学的研究人员开发了一种名为 DriftAD 的新系统来修复这一特定弱点。他们的工作发表于 2026 年 ACM 国际多媒体会议，引入了一种让计算机对缺陷的理解在观察图像不同部分时产生“漂移”或动态偏移的方法。DriftAD 并非使用一个无论计算机看到什么都保持不变的静态缺陷描述，而是允许该描述根据局部视觉语境进行改变。想象一位保安，他不再持有关于嫌疑人的单一、僵化的描述，而是在扫描人群的不同区域时，根据光照、距离和角度实时调整对嫌疑人的心理印象。同样地，这种新方法通过将一个固定的、不变的缺陷文本描述进行轻微引导，使其与当前正在检查的特定区域的视觉细节相匹配。

该过程始于锐化计算机对图像的观察。系统首先使用专门的分支来突出那些可能被正常产品的占主导地位的完美模式所掩盖的细微信号。它通过空间透镜（将每个小块与其相邻部分进行比较以寻找偏差）和频率透镜（分析图像的底层模式以发现肉眼可能忽略的异常）两个维度来观察图像。一旦这些微弱的缺陷信号被放大，系统就会启动其核心创新：视觉引导的文本漂移（Visually-Guided Text Drift）。在这里，计算机获取标准的异常文本描述，并以刚刚放大的视觉特征为引导，将该描述转化为适用于其分析中每一个层级的全新定制版本。这意味着，随着计算机剥开图像的各层——从宏观形状到精细纹理——构成“缺陷”的定义也会随之演变，以适应潜在缺陷的具体尺度和位置。

为了确保这些变化的描述能够发挥作用，系统使用它们作为探针再次扫描图像。它向视觉特征提问：“这部分图像是否符合当前的、定制化的缺陷描述？”如果答案为是，该部分图像就会被高亮显示；如果不是，则会被忽略。这创建了一个高度聚焦的地图，标示出问题所在的位置，并过滤掉背景噪声。研究人员在两个主要的工业数据集 MVTec-AD 和 VisA 上测试了这种方法，这些数据集包含各种产品的数千张图像，从金属螺母到电缆和地毯。他们用极少的数据向系统提出了挑战，仅提供一个、两个或四个完美产品的示例供其学习，这被称为“少样本学习”（few-shot learning）。

测试结果是决定性的。在衡量系统识别缺陷图像及精准定位缺陷位置能力的测试中，DriftAD 在所有设置下均优于现有方法。在 MVTec-AD 数据集上，仅凭一个示例，该系统就实现了 97.2% 的图像级准确率和 96.8% 的像素级精度。在具有更复杂和多样化缺陷的 VisA 数据集上，它达到了 93.1% 的图像检测准确率和 97.4% 的缺陷像素定位准确率。这些数字代表了显著的飞跃，明显超越了之前的最佳方法。研究证实，通过允许缺陷的文本描述随着图像的视觉现实而移动和适应，而不是强迫图像去符合僵化的描述，机器可以以一种此前难以企及的精度检测工业缺陷。这种方法不需要为每种新产品重新训练整个系统，使其成为满足现代制造业动态需求的规模化解决方案。

技术摘要：DriftAD

问题陈述

工业环境下的少样本异常检测（FSAD）旨在仅利用少量正常支持图像来识别并定位罕见缺陷。虽然近期的研究通过利用视觉-语言模型（VLM，如 CLIP）来实现开集泛化，但现有方法存在一个根本性的局限性：静态文本表示。

目前的基于 VLM 的方法（例如 WinCLIP、PromptAD）通常依赖于全局共享的静态文本嵌入，或是在所有空间位置和编码器深度上统一应用的的可学习提示（prompts）。这种“从全局到局部”的匹配方式无法捕捉工业缺陷的本质特性，因为缺陷具有高度局部化、尺度相关且具有上下文特定性的特点。因此，这些静态描述符缺乏对特定测试图像中缺陷精确位置和形态的感知能力，导致生成的异常图过于弥散，难以将细粒度的缺陷区域与周围的正常模式区分开来。

方法论

作者提出了 DriftAD，一个旨在将冻结的 CLIP 文本嵌入转化为层级化、空间自适应异常描述符的框架，该描述符以每个输入图像的局部视觉上下文为条件。该架构由四个主要组件组成：

1. 异常信号放大 (Anomaly Signal Amplification, ASA)

在进行文本-视觉匹配之前，必须暴露那些被占主导地位的正常模式所抑制的微弱缺陷信号。ASA 通过两个并行分支增强视觉特征 ( $V_\ell$ )：

空间分支 (Spatial Branch)： 计算特征与其平滑背景（通过 3×3 和 9×9 池化实现）之间的多尺度残差，以突出偏离区域。
频率分支 (Frequency Branch)： 通过 2D FFT 将特征分解为幅值谱和相位谱，自适应地重新加权低频和高频成分，以增强异常频谱内容。
输出结果经自适应组合后生成放大后的特征 ( $A_\ell$ )。

2. 视觉引导的文本漂移 (Visually-Guided Text Drift, VGTD)

这是核心创新点。VGTD 并非使用固定的文本标记，而是根据视觉上下文动态地“漂移”冻结的正常 ( $t_+$ ) 和异常 ( $t_-$ ) 文本嵌入。

上下文提取： 通过自适应池化从 $A_\ell$ 中提取视觉上下文，并通过自上而下的方式从深层向浅层融合，以确保语义的丰富性。
漂移生成： 一个专门的生成器为每个编码器深度产生正常和异常的漂移场 ( $\Delta_{\ell, \pm}$ )。
调制： 冻结的嵌入沿这些漂移场发生位移： $T_{\ell, \pm} = \text{Norm}(t_{\pm} + \Delta_{\ell, \pm} \cdot \rho)$ 。
这产生了对每个空间位置和编码器深度都唯一的描述符 ( $T_{\ell, \pm}$ )，从而适应输入图像中特定的缺陷模式。

3. 漂移引导的空间门控 (Drift-Guided Spatial Gating, DGSG)

为了确保视觉特征与新生成的漂移文本空间对齐，DGSG 使用漂移后的异常描述符 ( $T_{\ell, -}$ ) 作为空间探针。

它计算放大后的视觉特征 ( $A_\ell$ ) 与 $T_{\ell, -}$ 之间的像素级余弦相似度，以生成注意力门控 ( $G_\ell$ )。
这些门控选择性地增强视觉特征中的异常相关区域，生成更易于与漂移文本描述符对齐的精炼特征 ( $\tilde{A}_\ell$ )。

4. 多分支异常评分 (Multi-Branch Anomaly Scoring, MBAS)

最终的异常图通过融合三个互补的分支进行合成：

清洁分支 (Clean Branch)： 将尺度感知的特征与冻结的文本嵌入进行匹配（保留零样本泛化能力）。
漂移分支 (Drift Branch)： 将精炼后的特征 ( $\tilde{A}_\ell$ ) 与漂移后的描述符 ( $T_{\ell, \pm}$ ) 进行匹配，捕捉缺陷特有的信号。
支持分支 (Support Branch)： （仅推理阶段）利用支持集的图像块内存库来测量最近邻距离。

训练目标

除了标准的分类和分割损失外，DriftAD 还引入了两个特定的损失函数：

漂移分离损失 (Drift Separation Loss)： 防止漂移后的正常和异常描述符塌陷为相似的表示，强制其相对于原始冻结嵌入保持一个间隔（margin）。
门控监督损失 (Gate Supervision Loss)： 直接监督 DGSG 中的注意力门控，以确保空间判别性的门控效果。

核心贡献

视觉引导的文本漂移 (VGTD)： 一种新颖的机制，它将冻结的 CLIP 嵌入转换为受局部视觉上下文约束的层级化、空间自适应描述符，解决了静态文本提示的僵化问题。
漂移引导的空间门控 (DGSG)： 一个利用漂移后的异常描述符作为空间探针的模块，用于选择性地增强异常相关的视觉特征，解决了文本-视觉不匹配的问题。
异常信号放大 (ASA)： 一个预处理模块，通过空间和频率分支在匹配前暴露细微的缺陷信号。
正则化策略： 引入了漂移分离损失和门控监督损失，以确保鲁棒优化并防止表示塌陷。

实验结果

该方法在 MVTec-AD 和 VisA 数据集上进行了 1-shot、2-shot 和 4-shot 设置下的评估。

性能： 在所有 shot 设置下，DriftAD 在图像级（AUROC, AUPR）和像素级（pAUROC, PRO）指标上均达到了最先进（SOTA）的性能。
对比： 它优于现有的基于提示的方法（如 PromptAD, AnomalyGPT）和基于视觉增强的方法（如 KAG-prompt, FocusPatch-AD）。值得注意的是，在 MVTec-AD 的 1-shot 设置中，它比表现最好的竞争方法（KAG-prompt）平均 AUROC 提升了高达 1.5%。
少样本 vs. 全样本： 仅使用 4-shot 支持，DriftAD 即可达到与全样本基准模型（如 DeSTSeg, OmniAL）相当或更优的性能，并且显著优于 8-shot 方法。
定性分析： 可视化结果显示，与基准方法相比，DriftAD 生成的异常图更加清晰，背景干扰更少，尤其是在处理复杂物体（VisA）上的微小且分散的缺陷时。

重要性与主张

论文声称 DriftAD 从根本上重新思考了基于 VLM 的检测中的异常文本表示。通过放弃固定的全局标记，转向动态漂移、空间自适应的描述符，该方法将 CLIP 的语义强度与工业缺陷的局部性和上下文依赖性相对齐。

作者强调，这种方法使模型能够：

使文本描述符适应每个图像中缺陷的具体形状、尺度和空间分布。
在不牺牲预训练 CLIP 模型零样本泛化能力的前提下，实现精确的文本-图像块对齐。
有效弥合全局语义先验与局部视觉异常之间的差距，从而实现卓越的少样本检测和定位性能。

这项工作被视为解决当前基于 VLM 的 FSAD 方法中固有的“僵化全局-局部匹配”问题的解决方案，证明了将文本嵌入以局部视觉上下文为条件对于高精度工业异常检测至关重要。