Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

想象一个这样的世界：计算机拥有超能力的眼睛，通过对数百万张照片的学习，理解什么是“正常”。这些数字侦探被广泛应用于各个领域，从识别工厂流水线上汽车零件上的微小裂纹，到发现医学影像中隐藏的肿瘤。它们的工作原理是将新图像与一个完美的、正常的示例库进行对比。如果新图像看起来过于不同，计算机就会拉响警报。但问题在于：这些数字之眼可以被欺骗。就像魔术师可以用障眼法迷惑人类观察者一样，聪明的黑客可以向图像中添加“不可见噪声”——那些极其细微、几乎察觉不到的变化，会让计算机产生混乱。在人类眼中，图像看起来完全一样；但在计算机眼中，原本损坏的图像看起来完全正常，或者原本完美的图像看起来却有缺陷。这就是“对抗性攻击”（adversarial attacks）令人恐惧的现实，也是安全关键型系统面临的一个重大问题。

现在，请想象一种新型的侦探，它不需要经过成千上万个案例的训练。相反，它只需从极少数的照片中学习——也许只需一张或四张照片。这被称为“少样本”（few-shot）检测，它是一个游戏规则的改变者，因为它快速、廉价且灵活。你即将阅读的这篇论文探讨了一个悬而未决的大问题：如果我们使用这些超快速的少样本侦探，它们能抵御黑客的攻击吗？作者发现，如果不加保护，这些高效的侦探是非常脆弱的。一个微小的、肉眼难辨的推力就能让它们彻底失效。但别担心——他们不仅发现了问题，还打造了一面盾牌。他们创建了一个由两部分组成的防御系统，就像一副眼镜和一个心理过滤器，让这些少样本侦探能够看穿诡计并保持可靠，且无需重新训练它们的大脑。

问题所在：“单样本”侦探与隐形骗术家

在工业安全领域，公司通常需要立即发现缺陷。等待收集成千上万张关于每种可能缺陷的照片是不切实际的。因此，研究人员转向了“视觉基础模型”（Vision Foundation Models）——这些是已经掌握了大量形状和纹理知识的大型预训练 AI 大脑（如 DINOv2）。这些模型可以与一个简单的“k-最近邻”（k-NN）系统配对。你可以把这个系统想象成一个图书管理员，他手里有一排“完美”的补丁样本。当一张新图像到达时，图书管理员会将它分解成微小的方块（patches），然后问道：“这个方块看起来最像我哪些完美的样本？”如果新的方块看起来与所有完美的样本都大不相同，它就会被标记为异常。

这种设置非常精妙，因为它具有“无需训练”（training-free）的特性。你不需要教图书管理员任何新知识，只需给他们几张参考照片即可。然而，作者发现了一个巨大的漏洞。由于图书管理员的决策是基于一个简单的数学公式（距离），黑客可以精确计算出如何微调“完美”图像的像素，使其在图书管理员眼中看起来是“损坏”的，反之亦然。这就像一个伪造者知道该如何精准地在签名中添加多少墨水，才能让特定的法官认为其真实有效，即使那位法官非常严苛。

论文证实，这些高效的少样本系统极其脆弱。当受到特定类型数字噪声（称为 PGD-20，强度为 $\epsilon = 8/255$）的攻击时，该系统区分正常与损坏图像的能力会彻底崩溃。在一个名为 MVTec-AD 的标准测试集上，系统的准确率从稳健的 97.5% 骤降至惨不忍睹的 25.8%。原本“好”的图像突然被标记为“坏”，而“坏”的图像则被标记为“好”。计算机被彻底愚弄了。

解决方案：双层护盾

作者意识到，他们不能仅仅通过重新训练图书管理员（基础模型），因为这个系统的核心意义就在于它是冻结且即插即用的。他们需要一种围绕着图书管理员运行的防御机制。他们构建了一个两步走的护盾：PatchShift 和 FeaturePurifier。

第一步：“抖动地毯”的小技巧 (PatchShift)
想象你有一块带有特定图案的地毯，有人在上面画了一条完美的、隐形的线来欺骗你。如果你稍微移动一下地毯，那条线就不再像骗子预想的那样与图案对齐了。作者利用了这个思路。他们将图像进行轻微的位移（向上、向下、向左、向右），然后再输入给检测器。他们执行了八次这样的操作，创造了同一图像的八个略微不同的“视角”。

因为黑客的诡计是针对某一个特定的对齐方式设计的，所以移动图像会破坏这个诡计。有些视角可能看起来仍然有点奇怪，但其他的看起来会很正常。系统随后取这八个结果的“中位数”（中间值）。这就像是询问八个人来猜测答案；即使其中几个人被诡计迷惑了，大多数人依然能看到真相。这个简单的“抖动”步骤本身很有帮助，但还不足以捕捉所有的诡计。

第二步：“心理过滤器” (FeaturePurifier)
即使在移动了图像之后，黑客的噪声可能仍然会渗透进计算机的“大脑”（特征空间）。为了解决这个问题，作者添加了一个“FeaturePurifier”。你可以把它想象成一个专门的翻译官，坐在图像和图书管理员之间。它的任务是接收图像中“困惑”或“受污染”的描述，并将其翻译回“干净”的描述。

这个翻译官是一个小型、轻量级的 AI，它学习如何清理噪声。它是利用系统现有的极少数参考照片进行训练的。它学习识别什么是“干净”的补丁，什么是“受污染”的补丁，然后学习如何将受污染的补丁推回干净的状态。它就像一个照片编辑器，能自动移除黑客添加的“故障”效果，在图书管理员看到图像之前，就将图像恢复到真实状态。

结果：比以前更强大

作者在三个不同的工业数据集（MVTec-AD, VisA, 和 MPDD）上测试了他们的新护盾，仅使用了 4 张参考照片（即“4-shot”设置）。结果令人印象深刻。

在没有任何防御的情况下，被攻击后的系统几乎无法使用。但在使用了他们的双层护盾（PatchShift + FeaturePurifier）后，系统恢复了过来。

• 图像检测： 在 MVT actually-AD 数据集上，系统在受到攻击时从 25.8% 的成功率回升到了 76.1%（图像级 AUROC）。
• 像素级准确度： 与未受防御的受攻击基准相比，系统的像素级准确度（PRO）大幅提升了约 51 个百分点。
• 洁净性能： 至关重要的是，当没有黑客干扰时，这个护盾并没有破坏系统的性能。“洁净”状态下的准确率几乎保持不变，下降不到 3%。这意味着该系统在检测真实缺陷方面依然和以前一样出色，但现在它也能忽略虚假的缺陷。
• 对比： 他们的这种方法表现得与那些需要海量训练数据和复杂对抗训练的重型系统一样好，甚至更好。

这为什么重要

这篇论文并不声称解决了宇宙中的所有问题，但它填补了一个危险的空白。它表明，使用冻结的 AI 模型配合极少量照片这种流行的、高效的方法，在面对隐形诡计时是脆弱的。更重要的是，它证明了你不需要为了获得安全性而放弃效率。通过结合“抖动”图像和“清理”计算机内部视角的巧妙手段，你可以让这些快速、灵活的检测器具备强大的鲁棒性。

作者使用了一种特定类型的攻击（白盒攻击，即黑客已知系统信息）来测试他们的防御，而他们的防御方法在黑客试图针对新护盾调整诡计时依然能够屹立不倒。这表明，“PatchShift + FeaturePurifier”的组合是一个强大且实用的解决方案，能够确保我们的工业和医疗 AI 系统保持诚实，即使有人试图欺骗它们。它提醒我们，有时保护一个智能系统最好的方法，不是让它变得更聪明，而是给它一副更好的眼镜和一颗更清晰的心。