💻 computer science

DriftAD: Visually-Guided Text Drift for Few-Shot Industrial Anomaly Detection

DriftADは、視覚的にガイドされたテキストドリフト（Visually-Guided Text Drift）メカニズムを導入することで、静的なテキストプロンプトの限界を克服し、空間的およびレイヤーごとの適応的な異常記述子を動的に生成する、少数のサンプルを用いた産業用異常検知フレームワークであり、MVTec-ADおよびVisAデータセットにおいて検出性能を大幅に向上させています。

原著者： Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

公開日 2026-08-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

現代の自動化された製造業という広大な世界において、製品を完璧な状態に保つことは、目に見えないものとの絶え間ない戦いです。機械は一時間に数千もの同一のアイテムを組み立てますが、金属表面に微細な傷が現れたり、布地にわずかな変色が生じたりした瞬間、バッチ全体が失敗のリスクにさらされます。数十年にわたり、コンピュータはこれらの欠陥を見つけ出すことに苦心してきました。なぜなら、それらは稀で予測不可能だからです。従来の方法では、あらゆる種類の製品に対して「正常」がどのような外観であるかをコンピュータに教え込む必要があり、これは、工場が新しいアイテムを導入するたびに破綻してしまう、遅くて高価なプロセスでした。近年、画像と言語の両方を理解するように訓練された人工知能モデルを用いた新しいアプローチが登場しました。これらのモデルは、「損傷したボトル」のような説明文を読み取り、画像の中からそれを探すことができるため、何千もの事例を必要とせずに欠陥を見つける柔軟な方法を提供します。しかし、これらの高度なシステムでさえも盲点を持っています。彼らは欠陥を単一で均一な概念として扱う傾向があり、欠陥がどこにあるか、あるいは画像のデータの層のどの深さに位置するかによって見え方が異なる可能性があることを見落としてしまうのです。

南洋理工大学と華中科技大学の研究者たちは、この特定の弱点を修正するために、「DriftAD」と呼ばれる新しいシステムを開発しました。2026年のACM International Conference on Multimediaで発表される彼らの研究は、コンピュータの欠陥に対する理解を、画像内の異なる部分を見ている間に動的に「ドリフト（漂流）」または変化させる方法を導入しています。欠陥に対して、何を見ているかにかかわらず一定に保たれる単一の静的な記述を使用する代わりに、DriftADは、その記述が局所的な視覚的コンテキストに基づいて変化することを可能にします。警備員が、容疑者の固定された一つの記述を持っているのではなく、群衆のさまざまなエリアをスキャンする際に、照明、距離、角度を考慮して、容疑者のメンタルイメージをリアルタイムで調整する様子を想像してみてください。同様に、この新しい手法は、欠陥に関する固定された不変のテキスト記述を取り込み、現在調査している領域の特定の視覚的詳細に一致するように、それを優しく押し動かします。

プロセスは、コンピュータの画像の視界を研ぎ澄ますことから始まります。システムはまず、特殊なブランチを使用して、正常な製品の支配的なパターンによって隠されてしまう可能性のある微細な信号を強調します。システムは、画像を空間的なレンズを通して観察し、各小さなパッチをその隣接する近傍と比較して偏差を見つけ、さらに周波数レンズを通して、目では見逃してしまうような画像の基礎となるパターンを分析して不規則性を特定します。これらの微かな欠陥信号が増幅されると、システムは核心となる革新技術である「Visually-Guided Text Drift（視覚誘導型テキスト・ドリフト）」を実行します。ここで、コンピュータは異常に関する標準的なテキスト記述を取り込み、先ほど増幅した視覚的特徴に導かれながら、分析のあらゆるレイヤーに対して新しいカスタマイズされたバージョンへとその記述をシフトさせます。これは、コンピュータが画像の層を、広範な形状から微細な質感へと剥ぎ取っていくにつれて、「欠陥」を構成するものとなる定義が、潜在的な欠陥の特定のスケールや位置に合わせて進化することを意味します。

これらの変化する記述が有用であることを確実にするために、システムはそれらをプローブ（探針）として使用し、画像を再びスキャンします。システムは視覚的特徴に対し、「この画像の部分は、現在のカスタマイズされた欠陥の記述と一致するか？」と問いかけます。もし答えが「はい」であれば、その画像部分は強調され、そうでなければ無視されます。これにより、問題がどこにあるのかを示す非常に集中したマップが作成され、背景のノイズが取り除かれます。研究者たちは、金属のナットからケーブル、カーペットに至るまで、さまざまな製品の数千の画像を含む2つの主要な産業用データセット、MVTec-ADとVisAを用いてこのアプローチをテストしました。彼らは、完全な製品の例を1つ、2つ、または4つだけ提供するという、非常に限られたデータを用いた「フューショット学習（few-shot learning）」と呼ばれるシナリオでシステムに挑戦しました。

結果は決定的なものでした。欠陥のある画像を識別し、欠陥の正確な位置を特定する能力を測定するテストにおいて、DriftADはあらゆる設定において既存のすべての手法を凌駕しました。MVTec-ADデータセットにおいて、システムはわずか1つの例で97.2パーセントの画像レベルの精度を達成し、96.8パーセントのピクセルレベルの精密さを実現しました。より複雑で多様な欠陥を特徴とするVisAデータセットでは、画像検出で93.1パーセント、欠陥の特定のピクセルの特定において97.4パーセントの精度に達しました。これらの数字は、以前の最高の手法を明確な差で上回る、大きな飛躍を意味しています。この研究は、欠陥のテキスト記述を、画像を硬直した記述に適合させるのではなく、画像の視覚的な現実に合わせて移動させ適応させることで、機械がかつては到達不可能であったレベルの精度で産業上の欠陥を検出できることを裏付けています。このアプローチは、新しい製品ごとにシステム全体を再学習させる必要がないため、現代の製造業のダイナミックなニーズに対するスケーラブルなソリューションとなります。

技術要約: DriftAD

問題提起

産業分野における少ショット異常検知（Few-shot Anomaly Detection: FSAD）は、少数の正常なサポート画像のみを用いて、稀な欠陥を特定および局在化することを目的としている。近年の手法は、オープンセットの汎化性能を実現するためにCLIPのような視覚言語モデル（VLM）を活用しているが、既存の手法には静的なテキスト表現という根本的な限界が存在する。

現在のVLMベースの手法（WinCLIPやPromptADなど）は、通常、グローバルに共有された静的なテキスト埋め込み、あるいはすべての空間位置およびエンコーダの深さに対して一様に適用される学習可能なプロンプトに依存している。この「グローバルからローカルへ」のマッチングは、産業用欠陥の本質的な性質を捉えることができない。なぜなら、欠陥は高度に局所的であり、スケール依存的で、かつコンテキスト依存的であるからである。その結果、これらの静的な記述子は、特定のテスト画像における欠陥の正確な位置や形態を認識できず、周囲の正常なパターンから微細な欠陥領域を区別することが困難な、拡散した異常マップを生じさせてしまう。

手法

著者らは、凍結されたCLIPテキスト埋め込みを、各入力画像の局所的な視覚的コンテキストに条件付けられた層別・空間適応型の異常記述子へと変換するように設計されたフレームワーク、DriftADを提案する。そのアーキテクチャは、主に以下の4つのコンポーネントで構成されている。

1. 異常信号増幅 (Anomaly Signal Amplification: ASA)

テキストと視覚情報のマッチングを行う前に、支配的な正常パターンによって抑制されがちな微細な欠陥信号を露出させる必要がある。ASAは、2つの並列ブランチを通じて視覚特徴（ $V_\ell$ ）を強化する：

空間ブランチ (Spatial Branch): 特徴量とその平滑化された背景（3×3および9×9プーリングによる）との間のマルチスケール残差を計算し、偏差のある領域を強調する。
周波数ブランチ (Frequency Branch): 2D FFTを用いて特徴量を振幅スペクトルと位相スペクトルに分解し、低周波および高周波成分を適応的に再重み付けすることで、異常なスペクトル内容を強化する。
これらの出力は適応的に結合され、増幅された特徴量（ $A_\ell$ ）を生成する。

2. 視覚誘導型テキストドリフト (Visually-Guided Text Drift: VGTD)

これが核心となるイノベーションである。VGTDは、固定されたテキストトークンを使用する代わりに、視覚的コンテキストに基づいて、凍結された正常（ $t_+$ ）および異常（ $t_-$ ）テキスト埋め込みを動的に「ドリフト（漂流）」させる。

コンテキスト抽出: $A_\ell$ から適応型プーリングを通じて視覚的コンテキストを抽出し、意味的な豊かさを確保するために、深い層から浅い層へとトップダウンで融合させる。
ドリフト生成: 専用のジェネレータが、各エンコーダの深さに対する正常および異常のドリフトフィールド（ $\Delta_{\ell, \pm}$ ）を生成する。
変調: 凍結された埋め込みは、これらのドリフトフィールドに沿って変位する： $T_{\ell, \pm} = \text{Norm}(t_{\pm} + \Delta_{\ell, \pm} \cdot \rho)$ 。
これにより、入力画像の特定の欠陥パターンに適応する、各空間位置およびエンコーダの深さに固有の記述子（ $T_{\ell, \pm}$ ）が得られる。

3. ドリフト誘導型空間ゲーティング (Drift-Guided Spatial Gating: DGSG)

視覚特徴が新たに生成されたドリフトテキスト空間と整合するように、DGSGはドリフトされた異常記述子（ $T_{\ell, -}$ ）を空間プローブとして使用する。

増幅された視覚特徴（ $A_\ell$ ）と $T_{\ell, -}$ の間のピクセルごとのコサイン類似度を計算し、アテンションゲート（ $G_\ell$ ）を生成する。
これらのゲートは、異常に関連する領域の視覚特徴を選択的に強化し、ドリフトされたテキスト記述子により良く整合した精緻な特徴量（ $\tilde{A}_\ell$ ）を生成する。

4. マルチブランチ異常スコアリング (Multi-Branch Anomaly Scoring: MBAS)

最終的な異常マップは、3つの補完的なブランチを融合することで合成される：

クリーンブランチ (Clean Branch): スケールを考慮した特徴量を凍結されたテキスト埋め込みとマッチングさせる（ゼロショットの汎化性能を維持する）。
ドリフトブランチ (Drift Branch): 精緻化された特徴量（ $\tilde{A}_\ell$ ）をドリフトされた記述子（ $T_{\ell, \pm}$ ）とマッチングさせ、欠陥特有の信号を捉える。
サポートブランチ (Support Branch): （推論時のみ）サポートセットのパッチのメモリバンクを使用して、最近傍距離を測定する。

学習目的

標準的な分類損失およびセグメンテーション損失に加え、DriftADは2つの特定の損失を導入している：

ドリフト分離損失 (Drift Separation Loss): ドリフトされた正常および異常の記述子が、元の凍決された埋め込みに対してマージンを強制することで、類似した表現へと崩壊するのを防ぐ。
ゲート監督損失 (Gate Supervision Loss): DGSGにおけるアテンションゲートを直接監督し、空間的に識別的なゲーティングを保証する。

主な貢献

視覚誘導型テキストドリフト (VGTD): 凍結されたCLIP埋め込みを、局所的な視覚コンテキストに条件付けられた層別・空間適応型の記述書へとシフトさせる新しいメカニズムであり、静的なテキストプロンプトの硬直性を解決する。
ドリフト誘導型空間ゲーティング (DGSG): ドリフトされた異常記述子を空間プローブとして使用し、異常に関連する視覚特徴を選択的に強化することで、テキストと視覚のミスマッチを解消するモジュール。
異常信号増幅 (ASA): マッチングの前に、空間および周波数のブランチを通じて微細な欠陥信号を露出させる前処理モジュール。
正則化戦略: 堅牢な最適化を保証し、表現の崩壊を防ぐためのドリフト分離およびゲート監督損失の導入。

実験結果

本手法は、MVTec-ADおよびVisAデータセットにおいて、1-shot、2-shot、および4-shotの設定で評価された。

性能: DriftADは、画像レベル（AUROC, AUPR）およびピクセルレベル（pAUROC, PRO）の指標の両方において、すべてのショット設定で最先端（SOTA）の性能を達成している。
比較: 既存のプロンプトベースの手法（PromptAD, AnomalyGPTなど）や視覚強化手法（KAG-prompt, FocusPatch-ADなど）を凌駕している。特に、MVTec-ADの1-shot設定において、最高の競合手法（KAG-prompt）に対し、平均AUROCを最大1.5%向上させている。
少ショット vs フルショット: わずか4-shotのサポートで、DriftADはフルショットのベースライン（DeSTSeg, OmniALなど）と同等または優れた性能を達成しており、8-shotの手法をも大幅に上回っている。
定性的分析: 可視化の結果、DriftADは、特に複雑な物体上の小さく散在する欠陥に対して、ベースラインと比較して背景の干渉が少なく、より鮮明な異常マップを生成することが示された（VisA）。

意義と主張

本論文は、DriftADがVLMベースの異常検知における異常テキスト表現を根本的に再考したものであると主張している。固定されたグローバルなトークンから、動的にドリフトする空間適応型の記述子へと移行することで、本手法はCLIPの持つ意味的な強さを、局所的でコンテキスト依存的な産業用欠陥へと整合させている。

著者らは、このアプローチによってモデルが以下を実現できることを強調している：

テキスト記述子を、各画像の特定の形状、スケール、および空間分布に適合させること。
事前学習済みCLIPモデルのゼロショット汎化能力を損なうことなく、精密なテキスト・パッチ間の整合を実現すること。
グローバルな意味的事前知識とローカルな視覚的異常との間のギャップを効果的に埋め、優れた少ショット検出および局在化性能をもたらすこと。

本研究は、現在のVLMベースのFSAD手法に内在する「硬直したグローバル・トゥ・ローカルのマッチング」問題に対する解決策として提示されており、テキスト埋め込みを局所的な視覚コンテキストに条件付けることが、高精度な産業用異常検知において極めて重要であることを示している。