Foundation Models for Cold-Start Industrial Visual Anomaly Detection: A Survey
本综述在冷启动部署框架下，对基于基础模型的工业视觉异常检测进行了回顾，通过按数据可用性和流水线角色对方法进行系统分类，同时探讨了在适配、评估和可扩展实现方面面临的挑战。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代制造业广阔且轰鸣的世界里，工厂车间的眼睛正日益数字化。几十年来，自动化质量控制一直依赖摄像头来发现人类检测员可能忽略的微小缺陷：汽车车门上的划痕、发动机缸体中缺失的螺钉，或是电路板上的细微裂纹。挑战始终在于这些缺陷是稀有且不可预测的。一个旨在识别特定产品线缺陷的学习系统，在产品更换、光照变化或新供应商提供略有不同的材料时，往往会失效。为了解决这个问题，工程师传统上需要收集成千上万个完美品和残次品的样本，以教会计算机寻找什么。但在现实世界中，特别是在一条新生产线启动时，通常没有残次品可以供其学习，有时甚至没有足够的完美品来建立可靠的基准。这就是“冷启动”问题：当你以前从未见过针，且只有几根稻草可以向它展示什么是稻草堆时，你该如何教一个系统去大海捞针？
由研究人员徐探（Xu Tan）、高海东（Haidong Gao）、梁荣华（Ronghua Liang）和杨毅（Yi Yang）开展的一项新综述探讨了被称为“基础模型”（foundation models）的新一代人工智能如何开始解决这一难题。这些模型是庞大的系统，在互联网上数十亿张图像和文本上进行了训练，赋予了它们对世界的广泛且通用的理解。它们知道螺钉长什么样，知道光线如何从金属上反射，也知道语言中“划痕”的含义。然而，它们并非为了检测工业缺陷而构建；它们是为了识别物体和回答问题而构建的。研究人员发现，虽然这些强大的工具为冷启动检测提供了一条充满希望的捷径，但它们并不是一个“万能开关”。综述指出，仅仅将这些模型接入生产线是行不通的。相反，成功取决于如何仔细区分工厂现有的资源（如几张完美产品的照片）与如何调整模型（利用外部数据来教它什么是缺陷）。作者认为，该领域一直因为混淆了这些不同的场景而感到困惑，导致很难判断哪些方法真正有效。通过根据可用数据的类型以及模型的适配方式对方法进行分类，该综述为自动化质量控制的未来提供了一张清晰的地图。
研究人员首先定义了这些系统必须运行的具体条件。在典型的工厂中，一条新产品线可能会在没有任何缺陷历史的情况下到来，或者可能只有几张显示完美物品的照片。在被称为“零样本”（zero-shot）的最困难场景中，系统完全没有目标线的参考图像；它必须完全依赖其预先存在的知识。在稍容易一点的场景中，系统可能有几张正常物品的照片进行对比，甚至有一张罕见的残次品照片。该综述强调了一个以往研究经常模糊的关键区别：拥有目标数据（来自特定工厂线的照片）与使用辅助数据（来自其他工厂的照片或用于训练模型的合成图像）之间的区别。作者坚持认为，这两者必须分开报告。如果一个方法表现出色是因为它在秘密使用了数千张外部缺陷图像进行训练，那么它与仅靠几张当前产品的照片就能工作的模型有着本质的区别。如果没有这种清晰度，就无法知道一个系统是真的聪明，还是仅仅对特定数据集产生了过拟合。
随后，该综述将这些基础模型如何被用于寻找缺陷进行了分类，并将过程分解为三个主要阶段。第一阶段是准备阶段，系统必须决定观察图像的哪个部分。工业图像通常充满了背景、阴影和复杂的机械。为了解决这个问题，研究人员正在使用大型分割模型来隔离感兴趣的对象，有效地将其从背景中切割出来，使系统能够专注于产品本身。一些方法使用文本提示来告诉计算机要寻找哪个物体，而另一些则依靠视觉模式将部件组合在一起。这一步至关重要，因为如果系统观察了图像错误的部位，它将完全错过缺陷。
一旦物体被隔离出来，系统就会进入第二阶段：寻找结构性缺陷。这些是经典的物理缺陷，如划痕、凹痕或污渍。在这里，研究人员发现，最成功的方法并不试图从零开始教模型什么是缺陷。相反，它们是调整模型现有的对世界的理解。例如，有些方法使用文本提示来描述“完美的螺钉”和“有划痕的螺钉”，引导模型将图像与这些描述进行对比。另一些方法则利用模型的内部注意力机制来发现看起来与物体其余部分不同的区域。综述指出，虽然这些方法很强大，但它们在处理难以与材料正常变化区分开的极细微缺陷时往往表现挣扎。最好的结果来自于结合不同的技术：使用一个模型寻找物体，另一个模型描述它，第三个模型捕捉微小的异常。
第三个也是最复杂的阶段涉及逻辑异常。这些不是物理缺陷，而是组装方式的错误。逻辑缺陷可能是一个组件缺失、零件安装顺序错误，或者是排成一行的螺钉数量不对。在这些情况下，物体部件本身可能看起来非常完美；错误在于它们之间的关系。综述解释说，解决这个问题需要一种不同类型的推理。一些系统使用大语言模型来阅读一套规则——比如“必须有四个螺栓，且必须排列成正方形”——然后检查图像以查看是否遵循了规则。其他方法则将图像分解为单个部件，并检查它们是否符合已知模式。研究人员发现，尽管这些系统正在变得更好，但在处理部件拥挤或规则定义不明确的复杂场景时仍然感到吃力。最大的障碍仍然是对“正确”状态的精确描述需求，而为每种可能的产品编写这些描述是非常困难的。
尽管取得了这些进展，作者强调该领域远未解决。一个主要问题是，许多研究报告结果的方式使得公平比较变得不可能。有些论文声称是“零样本”，实际上却使用了几张参考图像，而另一些则隐瞒了使用数千张外部图像来训练模型的实情。该综述呼吁建立一种新的系统测试标准，即研究人员必须明确说明他们到底拥有哪些数据以及是如何使用它们的。如果没有这种透明度，就很难知道一种新方法是真正的突破，还是仅仅是一个只在特定实验室环境下有效的巧妙技巧。
该综述还指出了在实际部署中面临的重大实践挑战。许多这类先进系统速度较慢，且需要强大的计算机，这对于需要每分钟检测数千件物品的工厂来说可能是一个问题。此外，这些模型通常是在标准的低分辨率图像上训练的，而工厂摄像头捕捉的是隐藏着最小缺陷的高分辨率细节。为了适应模型而对这些图像进行缩放，可能会模糊掉系统需要看到的关键细节。研究人员建议，未来的工作必须专注于使这些系统更快、更高效，并能更好地处理实际生产线中的高分辨率、复杂图像。他们还强调了开发能够持续学习的系统的必要性，使其能够适应新产品和变化的环境，而无需从头开始重新训练。
最终，这份综述为这个发展极快的领域提供了一次必要的现实检查。基础模型已经开启了解决“冷启动”问题的大门，提供了一种无需大规模残次品数据集即可检测新产品的方法。然而，通往可靠、工业级部署的道路并非直线。它需要仔细区分模型已知的知识与工厂提供的知识，清晰理解物理缺陷与逻辑缺陷之间的区别，并致力于严谨、透明的测试。研究人员总结道，下一步不仅是构建更聪明的模型，更是构建更好的评估模型的方法，从而确保人工智能在制造业中的承诺成为现实，而非仅仅是一个理论上的可能性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。