TailedCore: Few-Shot Sampling for Unsupervised Long-Tail Noisy Anomaly Detection

技術的サマリー：TailedCore

問題定義
本論文は、教師なし異常検出における実用的かつ困難なシナリオ、すなわち、2 つの同時的な複雑さを抱える多クラスデータセット上で単一のモデルを訓練するという課題に取り組んでいる。第一に、データセットは「ヘッド」クラス（多数ショット）がデータに富む一方で、「テール」クラス（少数ショット）が非常に少数のサンプル（例：1、4、または 20）しか持たない「長尾分布」を示す。第二に、訓練データは「ノイズ」を含んでおり、つまり「正常」な訓練セットが欠陥サンプル（異常）で汚染されている。

著者らは、既存の手法において重要な「テール対ノイズのトレードオフ」を特定している。ノイズに頑健なモデル（例：SoftPatch）は稀なサンプルをフィルタリングする傾向があり、その結果、テールクラスの情報を見逃す。逆に、テールクラスの捕捉に効果的なモデル（例：Greedy サンプリングを用いた PatchCore）はノイズを保持することが多く、汚染された訓練データを持つヘッドクラスにおいて性能が低下する。既存の文献は、明示的なクラスラベルなしで、クラス不均衡とピクセルレベルのノイズ汚染を同時に処理することに失敗している。

手法
提案される解決策であるTailedCoreは、テールクラスの処理とノイズの処理を分離するように設計されたメモリベースの異常検出モデルである。中核的な革新は、2 段階のメモリ構築プロセスにある：

1. ノイズ識別：モデルは、まず SoftPatch と同様に、外れ値スコアリング（Local Outlier Factor に基づく）を用いて訓練セットから欠陥パッチをフィルタリングすることで、ベースメモリバンク（$M_{clean}$）を構築する。これにより、ベースメモリはノイズから解放されるが、テールクラスの表現が欠落する可能性がある。
2. TailSampler（少数ショットサンプリング）：欠落したテールクラス情報を回復するために、著者らは新しい少数ショットサンプリング手法であるTailSamplerを導入する。
   • クラスサイズ予測：TailSampler は、グラウンドトゥルースラベルなしで、すべての訓練サンプルの「クラスサイズ（基数）」を推定する。これは、埋め込み空間において、クラス間およびクラス内の類似性の分布が反射対称性を示すという仮説に基づいて動作する。
   • 適応的近傍：各サンプルの埋め込みに対して、近傍を定義するための適応的な角度が計算される。クラスサイズは、単純なカウントではなく、近傍の近傍のサイズの最頻値（「近傍の近傍」アプローチ）を取ることで推定される。これにより、サンプルが小規模（テール）クラスに属するか大規模（ヘッド）クラスに属するかを頑健に推定できる。
   • エルボー検出：システムは、推定されたクラスサイズ分布にエルボー法を適用することで、「テールクラス」の最大サイズ閾値（$K_{max}$）を決定する。
   • 排他的サンプリング：推定クラスサイズが $\le K_{max}$ のサンプルはテールクラスインスタンスとして特定される。それらのパッチ特徴は排他的にサンプリングされ、テールメモリバンク（$M_{tail}$）を形成する。
3. メモリ拡張：TailedCore の最終的なメモリバンクは、ノイズ除去済みベースメモリとテール固有メモリの和集合である：$M_{TailedCore} = M_{clean} \cup M_{tail}$。これにより、モデルはノイズに対して頑健でありながら、少数ショットクラスの重要な特徴を保持できる。

主要な貢献

• 問題定式化：本論文は、生産ラインが異なる生産率を持ち、欠陥のある訓練データが存在する産業応用で一般的な、教師なし長尾ノイズ異常検出という特定の設定を定義し、ベンチマーク化した。
• TailSampler：埋め込み類似性の反射対称性に依存し、クラスラベルを必要とせずに少数ショットクラスインスタンスを排他的に集約する、新しいクラスサイズ予測器および少数ショットサンプリング手法。
• TailedCore モデル：テールクラス拡張とノイズ識別を独立して処理することで、テール対ノイズのトレードオフを成功裡に克服するメモリベースの検出器。
• 包括的なベンチマーク：著者らは、パレート分布およびステップ状のテール分布を有する修正された MVTecAD および VisA データセット上で広範な実験を提供し、TailedCore が画像レベル分類およびピクセルレベルセグメンテーションの両方において、PatchCore、SoftPatch、HVQ、WinCLIP や AnomalyCLIP などの基盤モデルベースのアプローチを含む最先端手法を上回ることを実証した。

結果
実験結果は、TailedCore がさまざまなテール分布（パレート、ステップ-K=4、ステップ-K=1）およびノイズ比率において、既存のベースラインを一貫して上回ることを示している。

• 性能：TailedCore は、特にヘッドとテールの性能をバランスさせる「all」カテゴリにおいて、優れた画像レベルおよびピクセルレベルの AUROC スコアを達成する。例えば、ステップ-K=1 の MVTecAD において、TailedCore は画像レベル AUROC で 94.44% を達成し、PatchCore（80.01%）や SoftPatch（75.40%）を大幅に上回った。
• アブレーション研究：この研究は、クラスサイズ予測器（TailSampler）が決定的であることを確認している。少数ショット拡張を除去すると、テールクラスの性能が劇的に低下する。また、この手法は、クラスサイズ推定における「多数決」メカニズムが、単純な平均化やトップ 1 選択よりも頑健であることを示している。
• 頑健性：訓練セット内のノイズ比率が増加しても、モデルは高い性能を維持するのに対し、他の手法は著しく劣化する。

意義と主張
本論文は、TailedCore が、データが不均衡かつ汚染されている現実世界の異常検出シナリオの処理において重要な進歩を表すと主張している。ノイズへの頑健性とテールクラスへの感応性の間の本質的なトレードオフを解決することで、この研究は、企業が異なる生産率と不完全なデータ収集を伴う多様な製品ラインを管理しなければならない産業応用に対する堅牢な基盤を提供する。著者らは、彼らのアプローチが教師ありラベルや複雑なプロンプトエンジニアリングを必要としないことを強調しており、これを教師なし設定における実用的な解決策としている。さらに研究を促進するため、コードおよびデータ生成プロトコルが公開されている。