MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness
本文提出了 MAGIC，这是一个少样本异常生成框架，它利用高斯提示扰动、空间自适应引导和上下文感知掩码对齐，以生成高保真且多样化的异常，从而增强工业质量控制的鲁棒性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一家工厂的质量控制检验员。你的工作是在螺丝、药片或电路板等产品上发现缺陷。问题在于？你拥有成千上万张完美产品的图片，但几乎没有任何破损产品的图片。如果你的 AI 从未见过破损的螺丝，你就无法训练它去识别破损的螺丝。
为了解决这个问题，科学家们通常尝试利用计算机“伪造”破损图像。但现有方法存在两个大问题：
- “全局”方法：它试图从头开始“发明”一个破损产品。它往往能正确生成缺陷，却会意外地破坏产品的其余部分（例如，将完美的螺丝变成一团融化的 blob）。
- “掩码”方法：它选取一个完美产品，并在特定位置“绘制”缺陷。但这过于僵化。它只能学习生成一种特定类型的划痕，如果你让它把划痕画在错误的位置（例如，本应在侧面却画在了螺丝头上），它就会产生怪异且不真实的图像。
现在，MAGIC（基于提示扰动、空间自适应引导和上下文感知的掩码引导异常修复）登场了。你可以将 MAGIC 想象为一位大师级伪造者，它能在不破坏完好部分的情况下，创造出逼真且多样的“破损”产品。
以下是 MAGIC 如何利用三个简单技巧运作的：
1. “创意拉伸”（高斯提示扰动）
想象你在教一位艺术家画一道“划痕”。如果你只给他们看一张划痕的照片，他们会死记硬背，每次都画出完全相同的划痕。这既枯燥又无济于事。
MAGIC 使用一种称为高斯提示扰动（Gaussian Prompt Perturbation）的技术。你可以将其理解为给艺术家一条略微模糊、不清晰的指令，而不是一条尖锐、僵硬的指令。
- 工作原理：系统不是在说“完全照此画一道划痕”，而是在学习阶段和绘制阶段，给指令添加一点点“噪声”或模糊性。
- 结果：艺术家学会的是划痕的概念，而不仅仅是复制一张照片。这使得他们能够画出成千上万种不同的划痕（长、短、深、浅），且看起来都很真实，而不是仅仅重复同一种。
2. “智能画笔”（空间自适应引导）
当你把缺陷绘制到完美产品上时，你希望缺陷看起来狂野且多样，但希望产品的其余部分保持完美正常。
- 问题：标准 AI 工具对整个图像使用相同的“严格程度”。如果太严格，缺陷看起来就很枯燥；如果太宽松，背景就会被破坏。
- MAGIC 的解决方案：它们使用空间自适应引导（Spatially Adaptive Guidance）画笔。
- 在缺陷区域：画笔是“宽松”的。它鼓励 AI 发挥创意，尝试多种不同的纹理和图案来生成划痕。
- 在背景区域：画笔是“紧密”的。它迫使 AI 保持背景原封不动，确保螺丝或药片的完美部分不被扭曲。
- 结果：你得到了一个高度多样且逼真的缺陷，它完美地坐落在 pristine（完好无损）的背景之上。
3. “上下文侦探”（上下文感知掩码对齐）
有时，用户会将掩码（模板）放在错误的位置。例如，他们可能试图在螺丝的尖端画一道划痕，但划痕通常发生在螺丝头上。如果 AI 只是在那里绘制，看起来就会很假。
MAGIC 拥有一个上下文感知掩码对齐（Context-Aware Mask Alignment）模块。你可以将其想象为一位懂得物体运作原理的侦探。
- 工作原理：在绘制之前，系统会观察物体。它会说：“嘿，你想在这里画划痕，但这是螺丝光滑的尖端。划痕通常发生在螺丝头上。”
- 行动：在绘制之前，它会自动将模板（掩码）滑动到语义正确的位置（即螺丝头）。
- 结果：缺陷出现在合乎逻辑且真实的位置，使得伪造的图像与真实的破损产品无法区分。
全局视角
通过结合这三种技巧，MAGIC 创建了一个庞大的“伪造”破损产品库，这些产品具有以下特点：
- 多样化：每次看起来都不同（不仅仅是复制品）。
- 逼真：缺陷看起来真实，背景保持完美。
- 合乎逻辑：缺陷出现在正确的位置。
论文表明，当工厂利用这些“伪造”图像来训练其 AI 检验员时，这些检验员在现实世界中识别真实缺陷的能力会大幅提升。MAGIC 本质上是通过向 AI 展示产品可能破损的百万种不同且真实的方式，来教会 AI 什么是“破损”，而无需一开始就拥有任何真实的破损产品。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。