When More References Hurt: Contamination-Aware DINOv2 Memory Banks for Few-Shot Steel Defect Detection
本文提出了一种用于小样本钢材缺陷检测的污染感知记忆库构建方法，该方法通过过滤未经验证的工业图像以去除异常斑块，从而在检测性能上显著优于参考扩展或随机移除策略。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在那些将钢材轧制成薄而闪亮的板材的巨大、轰鸣的工厂里，表面必须是完美无瑕的。即使是一个微小的划痕或一个微观的凹坑，都可能毁掉一批用于制造汽车或家用电器的金属。几十年来，工厂一直依赖自动化系统来捕捉这些缺陷，但教计算机如何识别它们是一件棘手的事情。通常，工程师会向机器展示数千张完美的钢材照片，以及数千张带有特定标注的裂纹和凹痕的钢材照片。计算机通过学习来辨别差异。然而，在现实世界中，完美的标签既昂贵又难以制作。缺陷是稀有的、细微的，并且不断变化。这促使研究人员转向另一种方法：他们不是教机器什么是缺陷，而是教它什么是“正常”。系统会被赋予一个完美示例的库，如果一个新的钢材部件与该库不匹配，它就会被标记为损坏。这种方法在库内完全完美时效果极佳，但面临着一个危险的漏洞：如果库本身被隐藏的缺陷所污染了怎么办？
这正是帕多瓦大学和维也纳大学的一个研究团队所解决的问题。他们研究了一种现代技术，该技术使用强大的预训练人工智能模型来构建这个“正常”钢材图块的库。该模型将一张图像分解为数千个微小的正方形，即“图块”（patches），并将它们存储在一个记忆库中。当新图像到达时，系统会将其图块与记忆库进行对比。如果某个图块与记忆库中的任何内容都过于不同，它就会被标记为缺陷。危险在于记忆库是如何构建的。在工厂里，收集数百张钢材图像很容易，但要验证每一张图像中的每一个像素是否真正完美却很难。如果研究人员为了增加系统的多样性而添加了一百张未经核实的图像，他们可能会不小心包含带有隐藏缺陷的图像。系统会信任它的新库，从而将这些缺陷视为正常现象，并停止对其进行标记。研究人员提出了一个关键问题：我们能否安全地使用这些未经核实的图像来扩展我们的库，而不让坏的图块混入其中？
为了回答这个问题，团队转向了一个包含四种缺陷类型的钢带图像数据集。他们从一组保证无缺陷的小型、可信图像开始。这组小规模集合构成了“种子”记忆。然后，他们提取了一组更大的未经核实的图像——其中包含一些隐藏的缺陷——并试图从中挖掘有用的正常图块。他们的第一次尝试很简单：他们将未经核实图像中的所有图块都添加到种子集中。结果却是一场灾难。尽管这些图像中的大多数钢材看起来正常，但那少量的隐藏缺陷足以让系统产生混乱。当他们测量系统的缺陷检测能力时，性能显著下降。事实上，他们发现，仅仅用不到百分之一的坏图块替换记忆库中的一小部分，就会导致系统的准确率大幅下降。这证明了参考库的纯度是最重要的因素；一个充满隐藏错误的庞大库，比一个较小的洁净库更糟糕。
随后，研究人员开发了一种在图像进入记忆库之前对其进行过滤的方法。他们使用可信的种子图像作为标尺。未经核实图像中的每个图块都会与种子进行对比。如果一个图块看起来与可信的正常示例非常不同，它很可能就是缺陷，因此会被丢弃。他们发现，通过简单地拒绝掉那百分之二十与可信种子最不相似的图块，他们可以剔除绝大部分的隐藏缺陷。这个过程被称为“距离修剪净化法”（distance-trimmed purification），效果非常显著。它剔除了未经核实图像中近百分之八十的异常图块，同时保留了绝大多数的良性图块。剩余的图块随后被合并到种子集中，并压缩成一个固定大小的最终记忆库，以确保与其他方法进行公平比较。
结果表明，这种仔细的过滤起到了决定性的作用。当研究人员将经过过滤的库与通过简单添加所有未经核实图像而建立的库进行比较时，发现经过过滤的版本在识别缺陷方面表现得优异得多。它还优于通过随机删除图块建立的库，这证明了改进源于智能过滤，而非仅仅因为减少了图像数量。然而，研究人员谨慎地指出，这种方法是针对清洁图像匮乏时的工具。在用于最终测试的留存数据上，由八张完全洁净图像构建的库仍然是表现最强的。该方法旨在应对困难的现实场景，即工程师拥有一小部分可信的核心数据，但同时拥有大量未经核实的、想要使用的海量数据，从而在缺乏足够的验证参考来构建大型库的情况下，实现从风险影像中回收有用正常外观的目标。
最终，这项研究表明，在自动化检测领域，数据并非越多越好。如果不经过检查就添加未经核实的图像，可能会教会系统去忽略真实的问题。研究人员展示了通过使用一小组可信的示例来审核更大规模的群体，是安全扩展系统知识库的可行方案。他们发现，遵循一个简单的规则——即丢弃那些看起来与可信正常样本最不相似的图块——可以剥离污染，并从风险数据中回收有用的信息。这种方法允许工厂利用每天收集到的海量廉价且未经核实的图像，只要他们愿意在数据进入系统之前过滤掉噪声，就能将潜在的负担转化为可靠的资产。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。