TokenCLIP: Token-wise Prompt Learning for Zero-shot Anomaly Detection

本文提出了 TokenCLIP，一种通过最优传输动态将视觉令牌分配至正交文本子空间以实现细粒度对齐的框架，从而显著提升了零样本异常检测的性能。

要点

这篇论文介绍了一种名为 TokenCLIP 的新方法，旨在让计算机更聪明地“找茬”（即异常检测），而且不需要事先见过这种“茬”长什么样（即零样本能力）。

为了让你轻松理解，我们可以把这项技术想象成招聘一群“超级侦探”来检查工厂里的产品。

1. 以前的做法：一个“万金油”侦探的困境

想象一下，你是一家大工厂的质检主管。以前，你只雇佣了一位全能侦探（这就是以前的方法，比如 AnomalyCLIP）。

• 任务：这位侦探要检查各种各样的东西：地毯上的裂缝、脑部的肿瘤、螺丝上的划痕、甚至手机屏幕的碎裂。
• 问题：这位侦探手里只有一本通用的《异常手册》。当他看到地毯裂缝时，他得用手册里关于“地毯”的章节；看到脑部肿瘤时，又得翻到“医学”章节。
• 后果：因为这本手册太“大杂烩”了，为了照顾所有情况，它变得很模糊。侦探在判断“地毯裂缝”时，可能会受到“脑部肿瘤”定义的干扰，导致他要么漏掉了细微的裂缝，要么把正常的纹理误报为异常。这就是论文里说的**“ indiscriminate alignment"（无差别的对齐）**——用一个通用的标准去衡量所有不同的东西，结果就是“样样通，样样松”。

2. TokenCLIP 的妙招：组建“特种部队”

TokenCLIP 觉得这样不行，于是它换了一种思路：不再雇佣一个全能侦探，而是组建一支由不同专长侦探组成的“特种部队”（即多个正交文本子空间）。

• 特种部队成员：
  • 侦探 A：专门负责看“物体本身”（比如螺丝、药丸的形状）。
  • 侦探 B：专门负责看“背景环境”（比如地板、墙壁的纹理）。
  • 侦探 C：专门负责看“细微的纹理变化”（比如裂纹、划痕）。
  • 他们每个人都有一本非常专业、非常具体的《异常手册》。

3. 核心黑科技：智能调度系统（最优传输 OT）

现在问题来了：当一张图片（比如一张有裂缝的地毯）进来时，怎么决定让哪个侦探去检查哪一块区域呢？

以前的方法是“一刀切”，所有区域都让同一个侦探看。TokenCLIP 引入了一个智能调度系统（论文里称为最优传输，Optimal Transport）：

• 动态分配：系统会实时分析图片的每一个小像素块（Token）。
  • 看到“螺丝”部分？系统立刻把这块区域分配给侦探 A。
  • 看到“背景地板”部分？系统立刻把这块区域分配给侦探 B。
  • 看到“裂缝”部分？系统立刻把这块区域分配给侦探 C。
• 数学魔法（最优传输）：这个调度过程不是乱来的，而是通过一种数学方法（最优传输），确保：
  1. 每个侦探都忙得过来（边际约束）：不让某个侦探闲着，也不让某个侦探累死，保证大家都得到充分的训练。
  2. 大家分工明确（最小成本）：强迫侦探们去抓自己最擅长的那类异常，避免大家抢着干同一件事，或者干不擅长的事。

4. 为什么这样更厉害？

• 更精准：就像让眼科医生看眼睛，让牙医看牙齿一样，TokenCLIP 让每个“文本子空间”（侦探）只专注于自己最擅长的领域，所以能发现以前看不见的细微异常（比如极细的裂纹）。
• 不费脑子：虽然侦探多了，但 TokenCLIP 很聪明，它不需要为每一个像素点都雇佣一个新的侦探（那样太贵了）。它只是让现有的几个专家通过“组合拳”来工作。
• 稀疏化（Top-K）：系统还会做减法，只让最相关的 2-3 个侦探参与决策，去掉那些不相关的，这样效率更高。

5. 实验结果：真的好用吗？

论文在两个领域做了大量测试：

1. 工业界：检查各种工业产品（如螺丝、药丸、地毯）的缺陷。
2. 医疗界：检查医学影像（如脑部 MRI、皮肤癌、息肉）。

结果显示，TokenCLIP 就像一位经验丰富的老工头，比以前的“万金油”侦探（其他现有方法）找出了更多、更细微的毛病，而且还没怎么增加额外的计算成本。

总结

TokenCLIP 的核心思想就是：拒绝“一刀切”，拥抱“因材施教”。

它不再试图用一个通用的标准去衡量所有异常，而是通过动态分配，让不同的“专家”去处理图片中不同性质的区域。这就好比把“大杂烩”变成了“分餐制”，让每个部分都能吃到最适合自己的“营养”，从而让计算机在发现异常时更加敏锐和精准。

技术摘要

1. 研究背景与问题 (Problem)

背景：
基于 CLIP 等基础模型（Foundation Models）的零样本异常检测（Zero-Shot Anomaly Detection, ZSAD）在未见过的物体和领域上展现出巨大潜力。现有的方法通常通过可学习的文本提示（Prompt）或手工设计的提示，将文本空间与视觉特征在共享的嵌入空间中进行对齐，以捕捉全局和局部的异常语义。

核心问题：
现有方法主要依赖**单一的、与 Token 无关的文本空间（Single Token-agnostic Textual Space）**来 indiscriminately（不加区分地）对齐所有视觉 Patch Token。

• 语义冲突： 这种粗粒度的对齐迫使模型在不同语义的 Token 之间进行权衡（例如，地毯上的裂缝与脑扫描中的肿瘤具有完全不同的语义特征），导致模型难以准确捕捉多样化的异常语义。
• 性能瓶颈： 模型倾向于偏向常见异常，而牺牲了罕见或细微异常的语义表达能力，限制了细粒度异常检测的性能。
• 直接解决方案的缺陷： 如果为每个视觉 Token 分配一个独立的文本嵌入空间，会带来巨大的计算开销（编码成本），且由于每个 Token 特定的嵌入在训练更新次数有限，容易导致欠拟合。

2. 方法论 (Methodology)

作者提出了 TokenCLIP，一种细粒度的自适应框架，旨在通过动态对齐机制实现 Token 级别的文本监督。

核心架构

TokenCLIP 包含两个关键模块：

1. 多头部文本提示学习 (Multi-Head Text Prompt Learning)：

   • 解耦全局与局部： 使用独立的文本提示分别学习全局异常语义（图像级）和局部异常语义（像素级）。
   • 基础空间构建： 通过 MLP 将局部语义融入全局提示，构建一个基础的文本空间。
   • 正交子空间投影： 在基础空间之上，利用多头部投影（Multi-head Projection）将其映射为多个正交文本子空间（Orthogonal Textual Subspaces）。通过正交性约束（Orthogonality Constraint）鼓励不同子空间学习多样化的语义，减少冗余。

2. 基于最优传输（Optimal Transport, OT）的动态对齐：

   • 问题定义： 将视觉 Patch Token（源分布）与文本子空间（目标分布）之间的动态对齐建模为一个最优传输问题。
   • 传输计划（Transport Plan）： 计算视觉 Token 与文本子空间之间的余弦相似度作为成本矩阵。利用 Sinkhorn-Knopp 算法求解 OT 问题，得到传输计划 $T^*$。
     • 边际约束（Marginal Constraint）： 确保所有文本子空间都能得到充分的优化。
     • 最小成本目标（Minimal Cost Objective）： 理论证明（Theorem 3.1）表明，OT 的最小化目标会惩罚子空间的混合（Subspace Mixture），从而自然地诱导每个子空间专注于特定的语义模式（即“专业化”）。
   • 稀疏化与分配： 对传输计划进行 Top-K 稀疏化（保留每个 Token 关联度最高的 K 个子空间），并归一化得到软分配权重。这使得每个视觉 Token 能够自适应地与其语义最相关的文本子空间组合进行对齐，而无需为每个 Token 显式编码独立的文本。

损失函数

总损失函数包括：

• 全局异常损失 ($L_g$)
• 基础局部异常损失 ($L_{base}$，结合 Focal Loss 和 Dice Loss)
• 动态对齐损失 ($L_{da}$，基于 OT 分配后的细粒度对齐)
• 正交正则化项 ($L_{reg}$)
• Hinge Loss：强制正常区域与异常区域的分离。

3. 主要贡献 (Key Contributions)

1. 揭示局限性并提出新范式： 指出当前方法依赖“不加区分”的对齐限制了文本空间捕捉全面异常语义的能力。提出了 TokenCLIP，通过自适应地为每个 Token 分配加权组合的文本子空间，实现了 Token 级别的语义感知监督。
2. 引入最优传输（OT）进行动态对齐： 首次将 OT 引入细粒度异常语义学习。利用 OT 的边际约束和最小成本目标，在保证子空间充分优化的同时，诱导子空间进行语义专业化。通过 Top-K 稀疏化机制进一步细化对齐。
3. 广泛的实验验证： 在工业（MVTec AD, VisA 等 7 个数据集）和医疗（皮肤、脑部、肠道等）领域的多个基准测试中，TokenCLIP 均取得了 SOTA（State-of-the-Art）性能，特别是在细粒度和微弱异常检测上表现卓越。

4. 实验结果 (Results)

• 工业缺陷检测：
  • 在 MVTec AD 上，TokenCLIP 达到了 92.2% AUROC 和 87.9% PRO（像素级），显著优于 AnomalyCLIP (91.1% AUROC, 81.4% PRO)。
  • 在 VisA 和 MPDD 等复杂数据集上也取得了最佳或次佳成绩，证明了其在不同物体类别和缺陷类型上的泛化能力。
• 跨域医疗分析：
  • 使用在 MVTec AD 上训练的模型直接测试医疗数据集（如 HeadCT, BrainMRI, ISIC），TokenCLIP 依然保持领先。例如在 ISIC 数据集上达到 91.6% AUROC，证明了其捕捉通用异常语义的强大能力。
• 消融实验分析：
  • OT 的作用： 移除 OT 机制（TokenCLIP-Van）会导致性能显著下降，且子空间无法形成清晰的语义分工（如前景/背景混用）。
  • 正交性： 移除正交正则化会导致子空间专业化程度减弱。
  • 子空间数量： 实验表明 3-4 个子空间效果最佳，过少无法覆盖多样语义，过多则导致语义碎片化。
• 计算开销：
  • 相比 AnomalyCLIP，TokenCLIP 仅增加了轻微的训练时间和显存占用（推理时间增加约 0.02s），远优于需要大量可学习提示的 FAPrompt 方法，在性能与效率之间取得了良好平衡。

5. 意义与影响 (Significance)

• 理论创新： 将最优传输理论成功应用于多模态提示学习中的细粒度对齐问题，为理解视觉 Token 与文本子空间之间的复杂映射关系提供了新的数学视角。
• 技术突破： 解决了零样本异常检测中“单一文本空间难以适配多样化视觉语义”的核心痛点，实现了从“图像级/粗粒度”向"Token 级/细粒度”的范式转变。
• 应用价值： 该方法无需针对特定物体重新训练，即可在工业质检（如表面缺陷）和医疗诊断（如肿瘤、病灶检测）等关键领域实现高精度的通用异常检测，具有极高的落地潜力和泛化价值。

总结： TokenCLIP 通过引入正交文本子空间和基于最优传输的动态分配机制，成功打破了传统 CLIP 微调方法中“一刀切”的对齐限制，显著提升了零样本异常检测的精度和细粒度理解能力。