FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

本文提出了一种名为 FiLo 的零样本异常检测方法，通过利用大语言模型生成细粒度描述和结合多尺度跨模态交互实现高质量定位，显著提升了在 MVTec 和 VisA 等数据集上的异常检测与定位性能并达到了最先进水平。

要点

这篇论文介绍了一种名为 FiLo 的新方法，专门用来解决工业界的一个大难题：如何在没见过某种产品之前，就能一眼看出它有没有坏（缺陷），并且精准地指出坏在哪里。

为了让你更容易理解，我们可以把这项技术想象成一位**“超级质检员”**。

1. 以前的质检员遇到了什么麻烦？

在 FiLo 出现之前，现有的“零样本异常检测”（ZSAD）方法就像是一个刚毕业、只有理论知识的实习生。

• 问题一：描述太模糊（“它坏了”vs“它哪里坏了”）

  • 旧方法：当实习生看到一张图片，他脑子里只有两个词：“正常”和“坏了”。
  • 比喻：就像你让实习生去检查一堆水果，他只知道“苹果”和“烂苹果”。但他分不清苹果是“被虫咬了”、“发霉了”还是“磕破了”。因为描述太笼统，他经常把正常的苹果皮纹理误认为是“坏了”，或者把真正的虫眼漏掉。
  • 后果：检测不准，容易误报（把好的当坏的）或漏报。

• 问题二：找位置像“大海捞针”（“这块区域”vs“具体哪一点”）

  • 旧方法：为了找坏点，实习生把图片切成无数个小方块（像拼图一样），一个个去和“坏了”这个词做对比。
  • 比喻：这就像在一张巨大的地图上找一个小黑点，他必须把地图切成几千块，每块都拿出来问：“你是那个黑点吗？”而且他不管黑点是大是小、是圆是扁，都用同一种方式找。
  • 后果：不仅速度慢，而且经常把背景里的灰尘、阴影也当成“黑点”（误报），或者因为黑点形状太奇怪而找不到。

2. FiLo 这位“超级质检员”是怎么做的？

FiLo 给这位实习生配了两样神器，让他瞬间变成了专家：FG-Des（精细描述生成器） 和 HQ-Loc（高质量定位仪）。

神器一：FG-Des —— 请来了“百科全书”写说明书

• 核心功能：利用大语言模型（LLM，比如 GPT-4）的知识，为每种产品生成极其详细的“坏掉清单”。
• 比喻：
  • 以前实习生只背了“坏了”这个词。
  • 现在，FiLo 先问 AI 专家：“如果是地毯，可能有哪些坏法？”AI 告诉他：“可能是边缘磨损、局部褪色、烧焦痕迹或者污渍。”
  • 如果是螺丝，AI 会列出：“生锈、螺纹滑丝、头部变形"。
  • 效果：实习生不再只盯着“坏了”看，而是拿着这份详细的“通缉令”去比对。比如看到地毯边缘磨损，他就能精准匹配上，而不是瞎猜。这让检测更准，而且能告诉你具体是哪种毛病（可解释性更强）。

神器二：HQ-Loc —— 配备了“雷达”和“多倍镜”

• 核心功能：结合定位工具（Grounding DINO）和一种特殊的“多形状扫描”模块（MMCI）。
• 比喻：
  • 第一步（雷达初筛）：在仔细检查前，先用一个“雷达”（Grounding DINO）扫一眼。雷达虽然不能 100% 精准，但它能告诉你：“嘿，坏东西肯定在前景的物体上，背景里的灰尘不用管。”
    • 作用：直接过滤掉背景里的干扰项，不再把墙上的影子当成缺陷。
  • 第二步（位置增强）：把雷达找到的位置信息告诉实习生：“注意，缺陷在右上角。”
    • 作用：让实习生把注意力集中在特定区域，不再漫无目的地乱看。
  • 第三步（多倍镜扫描 - MMCI）：这是最厉害的一步。实习生不再只用一种大小的放大镜。他同时拿起了圆形、方形、长条形的放大镜，还有大、中、小不同倍率的镜头。
    • 作用：不管缺陷是像针尖一样小，还是像巴掌一样大；是圆形的，还是长条的裂缝，他都能用合适的“镜头”精准捕捉到。

3. 最终效果如何？

经过这套组合拳，FiLo 在两个著名的工业检测数据集（MVTec 和 VisA）上取得了目前最好的成绩（State-of-the-Art）：

• 看得更准：能识别出更多以前漏掉的缺陷。
• 找得更精：能画出非常贴合缺陷形状的轮廓，不再把背景误判进去。
• 不用重新训练：最神奇的是，它不需要提前见过这些产品的坏样本，只要告诉它“这是地毯”或“这是螺丝”，它就能利用 AI 的知识库直接上岗干活。

总结

FiLo 就像给工业质检员装上了“超级大脑”和“火眼金睛”：

1. 超级大脑：不再只会说“坏了”，而是能说出“这里有个虫眼，那里有划痕”。
2. 火眼金睛：不再盲目扫描，而是先锁定目标区域，再用各种形状的放大镜精准定位。

这项技术让机器在没见过新生产线、没有坏样本数据的情况下，也能像老专家一样精准地挑出次品，极大地提高了生产效率和安全性。

技术摘要

FiLo: 基于细粒度描述与高质量定位的零样本异常检测

1. 研究背景与问题 (Problem)

零样本异常检测 (Zero-Shot Anomaly Detection, ZSAD) 旨在在没有目标类别已知正常或异常样本的情况下，检测工业产品中的缺陷并定位异常区域。现有的 ZSAD 方法（如 WinCLIP, APRIL-GAN, AnomalyGPT 等）主要依赖预训练的多模态模型（如 CLIP），通过计算图像块特征与人工设计的文本特征（代表“正常”或“异常”语义）之间的相似度来工作。

然而，现有方法存在两个主要局限性：

1. 异常描述过于通用 (Generic Descriptions)： 现有方法通常使用通用的“异常 (abnormal)"或“损坏 (damaged)"等词汇作为文本提示。这些描述无法精确匹配不同物体类别下多样化的具体缺陷类型（如“划痕”、“凹痕”、“霉变”等），导致检测精度受限。
2. 定位能力不足 (Localization Struggles)： 现有方法通常直接计算单个图像块与文本特征的相似度。由于异常区域往往跨越多个不同大小和形状的图像块，且背景区域容易产生误报，这种方法难以精确定位不同尺度和形状的异常，且容易在背景区域产生假阳性。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 FiLo (Fine-Grained Description and High-Quality Localization) 框架，包含两个核心组件：

2.1 自适应学习的细粒度描述 (FG-Des)

FG-Des 旨在提升异常检测的准确性和可解释性。

• 利用大语言模型 (LLMs) 生成细粒度描述： 针对每个物体类别，利用 LLMs（如 GPT-4）生成具体的潜在异常类型列表（例如，将通用的"abnormal"替换为"scratch", "crack", "discoloration"等），以替代模糊的通用描述。
• 自适应学习的文本模板： 摒弃人工设计的固定模板（如 "A photo of a [state] [class]"），采用可学习的文本向量 (Learnable Text Vectors)。
  • 正常文本模板：[V1][V2]...[Vn][STATE][CLASS]
  • 异常文本模板：[W1][W2]...[Wn][STATE][CLASS] with [ANOMALY CLASS] at [POS]
  • 其中 [ANOMALY CLASS] 由 LLM 生成的细粒度描述填充，[POS] 表示位置信息。
• 优势： 这种方法不仅提高了文本与异常图像的匹配度，还能识别具体的异常类别，增强了模型的可解释性。

2.2 位置增强的高质量定位 (HQ-Loc)

HQ-Loc 旨在解决异常定位中尺度变化大和背景误报的问题，包含三个步骤：

1. 基于 Grounding DINO 的初步定位： 利用生成的细粒度异常描述作为提示，输入到 Grounding DINO 模型中进行初步的异常区域定位。虽然 Grounding DINO 在零样本场景下直接定位精度有限，但它能有效将关注点限制在前景物体上，从而消除背景区域的假阳性。
2. 位置增强的文本提示 (Position-Enhanced Prompts)： 将 Grounding DINO 检测到的位置信息（如 "top-left", "bottom"）融入文本提示中，使文本描述更贴合图像实际内容，辅助模型聚焦特定区域。
3. 多尺度多形状跨模态交互模块 (MMCI)：
   • 受 WinCLIP 多窗口策略启发，但避免了其高昂的计算成本（无需多次输入图像）。
   • 设计并行的多尺度、多形状卷积核（如 1x1, 3x3, 5x5, 1x5, 5x1 等）来处理图像编码器提取的中间层 Patch 特征。
   • 将处理后的 Patch 特征与位置增强的文本特征进行交互，生成异常热力图。这使得模型能够灵活适应不同大小和形状的异常区域。

2.3 整体架构与训练

• 骨干网络： 使用冻结参数的 CLIP (ViT-L/14@336px)。
• 适配器 (Adapter)： 使用瓶颈结构对齐全局图像特征与文本特征。
• 损失函数： 结合全局交叉熵损失（用于图像级分类）和局部 Focal Loss + Dice Loss（用于像素级定位），以解决类别不平衡问题。

3. 主要贡献 (Key Contributions)

1. 提出 FG-Des 模块： 首次将视觉描述增强技术应用于异常检测任务。利用 LLM 生成特定类别的细粒度异常描述，并结合可学习的文本向量，显著提升了检测精度和可解释性。
2. 设计 HQ-Loc 模块： 提出了一种位置增强的定位策略。通过 Grounding DINO 进行前景约束，结合位置信息增强文本提示，并利用 MMCI 模块处理多尺度多形状特征，有效解决了背景误报和复杂形状异常定位难的问题。
3. SOTA 性能表现： 在 MVTec 和 VisA 两个主流工业异常检测数据集上，FiLo 在图像级和像素级 AUC 指标上均取得了最先进的 (State-of-the-Art) 零样本性能。

4. 实验结果 (Results)

实验在 MVTec AD 和 VisA 数据集上进行，采用零样本设置（在一个数据集训练，在另一个测试）。

• VisA 数据集 (训练 MVTec -> 测试 VisA)：
  • 图像级 AUC (Image-level AUC): 83.9% (优于 AnomalyCLIP 的 82.1%)
  • 像素级 AUC (Pixel-level AUC): 95.9% (优于 AnomalyCLIP 的 95.5%)
• MVTec 数据集 (训练 VisA -> 测试 MVTec)：
  • 图像级 AUC: 91.2%
  • 像素级 AUC: 92.3% (优于 AnomalyCLIP 的 91.1%)

消融实验 (Ablation Study) 表明：

• 引入细粒度描述比通用描述性能提升显著。
• 使用可学习文本模板优于人工设计模板。
• Grounding DINO 的初步定位和位置增强对减少背景误报至关重要。
• MMCI 模块中的多形状卷积核对提升定位精度贡献明显。

5. 意义与影响 (Significance)

• 突破通用描述瓶颈： 证明了利用 LLM 生成细粒度领域知识可以显著提升多模态模型在特定任务（如异常检测）中的表现，为 ZSAD 提供了新的思路。
• 解决定位难题： 提出的 HQ-Loc 策略巧妙地结合了目标检测模型（Grounding DINO）的语义理解能力和多尺度卷积的特征提取能力，在不增加推理成本的前提下，有效解决了背景干扰和尺度变化问题。
• 工业应用价值： 该方法无需目标类别的缺陷样本即可部署，极大地降低了工业质检中数据收集和模型训练的成本，具有极高的实际应用潜力。
• 可解释性增强： 模型不仅能判断是否有异常，还能通过高相似度的细粒度文本描述指出具体的缺陷类型（如“划痕”或“裂纹”），辅助人工决策。

综上所述，FiLo 通过“细粒度描述”和“高质量定位”的双重创新，有效推动了零样本异常检测技术的发展，是目前该领域的标杆方法。