GenCLIP: Generalizing CLIP Prompts for Zero-shot Anomaly Detection

本論文は、多層プrompting と双ブランチ推論、および適応的テキストフィルタリングを導入することで、CLIP の汎用性を高め、未見カテゴリに対するゼロショット異常検出の安定性と信頼性を向上させる新しいフレームワーク「GenCLIP」を提案しています。

要約

GenCLIP：AI の「超能力」を工業検査に活かす新技術

この論文は、**「GenCLIP」という新しい AI 技術について説明しています。これは、工場で製品に傷や欠陥がないかをチェックする「異常検知」を、「ゼロショット（一度も見たことのないもの）」**でも見つけることができるようにする画期的な方法です。

難しい専門用語を使わず、身近な例えを使って解説します。

---

1. 背景：なぜこれが難しいのか？

工場で製品をチェックする AI は、通常「正常な製品」の画像を大量に学習させて作られます。しかし、現実には以下のような問題があります。

• 新しい製品が次々と出る： 毎回、新しい製品ごとに AI をゼロから作り直すのは時間とお金がかかりすぎます。
• 欠陥の形は無限： 傷や割れ方は千差万別で、すべてを事前に教えるのは不可能です。

そこで登場するのが、CLIP（クリップ）という AI です。CLIP は「犬の画像」と「犬という文字」を結びつけるなど、画像と言語の関係を非常に深く理解している「天才」です。この天才の力を借りて、「正常な状態」と「異常な状態」を言葉（プロンプト）で教えてあげれば、新しい製品でも見分けられるはず！ という考えが生まれました。

しかし、これまでの方法には**「万能すぎるが、特定の製品には鈍感」**という弱点がありました。

2. GenCLIP の登場：3 つの「魔法」

GenCLIP は、この弱点を克服するために、3 つの工夫（魔法）を取り入れています。

① 「多層の目」で見る（Multi-layer Prompting）

これまでの方法は、CLIP の「一番深い部分（最終層）」の知識だけを使っていました。それは「全体像」を見るには良いのですが、細かい傷や質感までは見逃してしまいます。

GenCLIP は、CLIP の「浅い層（エッジや色）」から「深い層（意味や概念）」まで、すべての段階の知識を言葉に混ぜ込みます。

• 例え話： 料理を作る際、これまでの方法は「完成した料理の味」だけを見て判断していました。GenCLIP は、「生野菜の鮮度」「包丁の切り方」「火加減」など、調理のすべての工程の情報を言葉に反映させて判断します。これにより、どんな製品でも、細部までしっかり捉えられるようになります。

② 「二刀流」で戦う（Dual-branch Inference）

GenCLIP は、判断する際に 2 つの異なる視点（ブランチ）を同時に使います。

1. 視覚強化ブランチ（細かい目）：
   • 画像の具体的な特徴（色、形、テクスチャ）を言葉に組み込んで判断します。
   • 役割： 「この製品は『金属の板』で、ここに『錆』がある」という具体的な事実を捉える。
2. クエリ専用ブランチ（広い目）：
   • 画像の特徴や製品名を一切入れず、「正常な物体」と「異常な物体」というごく一般的な概念だけで判断します。
   • 役割： 「これは明らかに『おかしい』」という直感的な違和感を捉える。

• 例え話： 探偵が事件を解決する時、**「証拠品を詳しく調べる専門家」と「直感で『何か変だ』と感じるベテラン」**の 2 人が協力して判断します。どちらか一方だけだと見落としがありますが、両方の意見を合わせれば、どんな手口も見逃しません。

③ 「名前フィルター」で混乱を防ぐ（Class Name Filtering）

工業製品の名前は、人間には意味不明なことが多いです（例：「02」「パイプフライム」など）。CLIP は「02」という名前を聞いても、それが「金属の板」なのか「布」なのかイメージできません。

GenCLIP は、「この名前が画像と合っていないな」と判断したら、無理に名前を使わず、「物体（Object）」という一般的な言葉に置き換えます。

• 例え話： 通訳が「02」という聞き慣れない名前を聞いたら、無理に訳そうとして間違うのではなく、「その人（物体）」と一般的に呼んで、相手の表情（画像）から意味を汲み取ります。これにより、AI が混乱して誤判定するのを防ぎます。

3. 結果：どれくらいすごいのか？

GenCLIP は、6 つの異なる工業用データセットでテストされました。その結果、既存の最も優れた方法よりも高い精度を達成しました。

• ピクセルレベル（どこが傷ついているか）： 非常に正確に傷の場所を特定できます。
• 画像レベル（この製品は不良か？）： 製品全体の良し悪しを高い確率で判断できます。

まとめ

GenCLIP は、**「CLIP という天才 AI の力を最大限に引き出しつつ、工業検査の特殊なニーズに合わせて調整した」**新しい技術です。

• 多層的な知識で細部まで見る。
• 2 つの視点でバランスよく判断する。
• 名前による混乱を避ける。

これにより、「見たことのない製品」でも、すぐに高精度な検査ができるようになり、工場の自動化や品質管理の未来を大きく変える可能性があります。まるで、**「どんな新しい道具も、一目見ただけでその使い道と欠陥を見抜ける、超感覚的な検査員」**が誕生したようなものです。

技術概要

GenCLIP: 一般化された CLIP プロンプトによるゼロショット異常検出の技術的概要

本論文「GenCLIP: Generalizing CLIP Prompts for Zero-shot Anomaly Detection」は、視覚言語モデル（VLM）である CLIP を活用し、トレーニングデータに含まれていないカテゴリの画像においても高精度な異常検出（Zero-shot Anomaly Detection: ZSAD）を実現するための新たなフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

背景:
異常検出（AD）は産業分野などで重要ですが、異常データが正常データに比べて極めて少ないというデータ不均衡が課題です。従来の単一クラス教師なし学習は特定クラスに特化しており、未知のクラスへの適用が困難でした。近年、CLIP などの VLM のゼロショット能力が注目され、WinCLIP や AnomalyCLIP などの先行研究が存在します。

既存手法の課題:

• 一般化と特化のトレードオフ: 既存のゼロショット手法は、汎用的なプロンプト（例："A photo of an object"）を使用するとクラス固有の情報が失われ、逆にクラス固有のプロンプトを使用すると未知のクラスへの汎化性能が低下する傾向があります。
• プロンプトの不安定さ: 一般化されたプロンプトの最適化が不安定であり、効果的な展開が難しいという問題があります。
• 曖昧なクラス名の影響: 産業データでは「pcb2」や「pipe_fryum」のように、CLIP のトレーニング時に学習されていない曖昧なクラス名や数値が含まれることが多く、これらが視覚・言語の整合性を阻害し、検出精度を低下させます。

2. 提案手法：GenCLIP

GenCLIP は、CLIP の視覚エンコーダから抽出した多層の視覚特徴をテキストプロンプトに統合し、汎用性とクラス特異性のバランスを取った新しいフレームワークです。

2.1 マルチラレイヤー・プロンプティング (Multi-layer Prompting)

従来の手法が最終層のクラストークンに依存するのに対し、GenCLIP は CLIP 視覚エンコーダの複数の層からパッチ特徴を抽出し、これらをテキストプロンプトに統合します。

• General Query Prompt Tokens (GQPs): 正常・異常を区別するための学習可能な汎用クエリトークン。
• Multi-layer Vision Prompt Tokens (MVPs): 各視覚層から抽出された特徴を MLP 経由で変換し、GQPs に加算します。
• 効果: これにより、低レベルのテクスチャから高レベルのセマンティック概念まで、多様な視覚情報をテキスト埋め込みに反映させ、過学習を防ぎつつクラス固有の情報を捉えることを可能にします。

2.2 適応的テキストプロンプトフィルタリング (Class Name Filtering: CNF)

産業データにおける曖昧なクラス名（例：「02」や「fryum」）が CLIP の性能を低下させる問題を解決します。

• 仕組み: 推論時、入力されたクラス名と「object」という汎用語を用いた文を CLIP で比較します。
• 判断: 画像とクラス名の類似度が「object」を用いた文よりも低い場合、またはクラス名が数値や不明瞭な記述を含む場合、クラス名を「object」に置換します。
• 目的: 視覚特徴とテキスト特徴の整合性を高め、ノイズを除去して安定した異常検出を実現します。

2.3 ダブルブランチ推論戦略 (Dual-Branch Inference)

推論段階で、2 つの異なるブランチを並行して実行し、その結果を統合します。

1. Vision-Enhanced Branch (視覚強化ブランチ):
   • 訓練時と同様に、MVPs と CNF を適用したクラス固有のプロンプトを使用します。
   • 詳細なテクスチャやクラス固有の異常パターンを捉えるのに優れています。
2. Query-Only Branch (クエリ専用ブランチ):
   • 視覚特徴や具体的なクラス名を使用せず、学習済みの汎用的な GQPs のみを使用します（クラス名は一律「object」）。
   • クラス情報に依存しない、より汎用的な正常・異常のパターンを捉え、外れ値（クラス情報が役に立たないケース）への対応を強化します。

統合:
両ブランチの異常スコアマップを重み付きで加算し、ガウス平滑化を施して最終的なセグメンテーションマップを生成します。これにより、汎化性能と検出精度の両方を向上させます。

3. 主要な貢献

1. マルチレイヤー・プロンプティング: 視覚エンコーダの多層特徴をテキストプロンプトに統合し、過学習を抑制しつつクラス固有の情報を効果的に捉える手法を提案。
2. 革新的な推論戦略: 視覚情報を活用したブランチと、クラスに依存しない汎用プロンプトのみのブランチを組み合わせる「ダブルブランチ」方式により、ロバスト性と性能を両立。
3. CNF の導入: 産業特有の曖昧なクラス名をフィルタリングし、CLIP の表現空間内で意味のあるテキスト入力のみを維持するメカニズムを提案。
4. SOTA 性能: 6 つのベンチマークデータセット（MVTec-AD, VisA, MPDD, BTAD, SDD, DTD-Synthetic）において、既存の最先端手法（WinCLIP, AnomalyCLIP, AdaCLIP など）を上回る結果を達成。

4. 実験結果

• データセット: 6 つの産業用異常検出ベンチマークデータセットで評価。
• 指標: ピクセルレベル（AUROC, PRO）および画像レベル（AUROC, AP）。
• 結果:
  • MVTec-AD: ピクセルレベル AUROC で 92.7%、PRO で 88.1% を達成（2 位との差は AUROC で +1.6%、PRO で +6.7%）。
  • VisA: ピクセルレベル AUROC で 95.3%、PRO で 89.3% を達成。
  • 全体平均: 既存手法を大きく上回り、特に PRO（領域重なり）の改善が顕著でした。
  • アブレーション研究: MVP（マルチレイヤー視覚プロンプト）と GQP（汎用クエリプロンプト）の両方を使用すること、および CNF とダブルブランチ戦略の有効性が確認されました。

5. 意義と結論

GenCLIP は、ゼロショット異常検出において「汎用性」と「特異性」の両立という長年の課題に対し、視覚特徴の多層統合と適応的なテキストフィルタリング、そして二重推論戦略によって解決策を提示しました。

• 実用性: ラベル付き異常データが不足している現実の産業現場において、新しい製品カテゴリへの迅速な適応を可能にします。
• 技術的革新: CLIP の視覚エンコーダとテキストエンコーダの間のギャップを埋め、視覚情報を構造的にテキストプロンプトに注入する新しいパラダイムを示しました。

本手法は、多様な産業分野における高信頼な異常検出システムの構築に向けた重要な一歩であり、ゼロショット学習の枠組みを産業応用にさらに近づける成果と言えます。