技術概要：ノイズ耐性異常検出のためのメモリ蒸留選択

問題定義

産業製造において、視覚ベースの異常検出（AD）システムは品質管理において不可欠です。これらのシステムは通常、トレーニングデータセットが正常（欠陥なし）サンプルのみで構成されているという仮定の下で訓練されます。しかし、現実のシナリオでは、完全にクリーンなトレーニングセットを編成することはコストがかかり、しばしば非現実的です。手動スクリーニングは避けられない割合の異常サンプルを見落とし、データ汚染を引き起こします。

ノイズ条件下での既存の AD 手法は、ノイズ比率が増加するにつれて著しい性能低下を被ります。現在の手法は一般的に、以下のような強い仮定に依存しています：

1. トレーニングデータの特定の統計的性質（例：単峰性事前分布）。
2. トレーニングセットにおける異常比率の事前知識。
3. 異常サンプルのスコア範囲の知識。

これらの依存関係は、データセット固有のハイパーパラメータ調整を必要とし、ノイズレベルが期待範囲から逸脱すると失敗することが多いです。さらに、多くの既存手法は、重度の汚染下で欠陥の微細なピクセルレベルの局所化を行う能力を欠いています。

手法：メモリ蒸留選択（MeDS）

著者は、ノイズ比率固有のハイパーパラメータ調整を必要とせず、画像レベルの検出とピクセルレベルの局所化の両方において、多様なノイズ比率に対して堅牢な性能を維持するトレーニングフレームワークである**メモリ蒸留選択（MeDS）**を提案します。この手法は 3 つの連続するフェーズで進行します：

1. ブートストラップメモリ構築（粗いフィルタリング）

最初のフェーズでは、トレーニングデータから抽出されたパッチレベルの特性をランダムに部分抽出することにより、部分メモリバンクのアンサンブルを構築します。

• メカニズム： 単一の完全なメモリバンクを使用する代わりに、MeDS は $B$ 個の部分メモリ（$M_b$）を作成します。これらそれぞれは、部分抽出比率 $\rho$（例：0.1）でランダムに抽出された特徴のサブセットを含みます。
• 理論的根拠： 著者は理論的に、スパースな部分抽出がローパスフィルタとして機能することを示しています。適切な部分抽出比率の下では、正常と異常な特徴間の期待距離ギャップが最大化されます。これらのスパースなメモリのアンサンブル平均は分散を低減し、正規パターンを分離し、結果として粗いレベルで汚染サンプルの重みを下げます。
• 出力： 正常および異常なパッチ間の堅牢で粗いレベルの分離を提供するアンサンブル異常スコア $s_M(x)$。

2. メモリスコア蒸留（初期化）

2 番目のフェーズは、メモリスコアが凍結された事前学習済み特徴のみに依存しており、ドメイン固有の異常パターンを十分に捉えられないという限界に対処します。

• メカニズム： スチューデントネットワーク（再構成スコアネットワーク）がスコア空間蒸留を通じて訓練されます。学生は、自身の再構成スコア（$s_\theta$）とアンサンブルメモリスコア（$s_M$）との間の L2 距離を最小化するように学習します。
• 利点： このプロセスは、ニューラルネットワークの初期学習現象を利用します。すなわち、ネットワークは稀なパターン（ノイズ）を記憶する前に、支配的なパターン（正常データ）に適合します。蒸留により、正常と異常なパターンを分離することを既に学習したモデルで学生ネットワークを初期化し、メモリスコアを実質的にノイズ除去します。

3. 漸進的選択による微調整（洗練）

3 番目のフェーズは、早期停止（堅牢性を維持するがピクセルレベルの精度を制限する）と延長トレーニング（ノイズへの過学習のリスクがある）の間のトレードオフを解決します。

• メカニズム： スチューデントネットワークは、トレーニングデータの自己選択サブセット（$S_t$）上で微調整されます。
• 選択基準： 各エポックで、サンプルは初期蒸留スコアと現在の再構成スコアを補間する基準 $\eta_t(x)$ に基づいて選択されます。スコアの中央値と中央絶対偏差（MAD）から導出された閾値 $\tau_t$ が、高スコア（おそらく異常）のサンプルをフィルタリングするために使用されます。
• 漸進的緩和： 選択閾値はトレーニング反復を通じて漸進的に緩和され、モデル自身のスコア推定がより信頼できるようになるにつれて、より多くの正常サンプルを取り込むことを可能にします。これにより正のフィードバックループが生まれ、残りのノイズへの過学習なしに微細な局所化のための延長トレーニングが可能になります。

主要な貢献

1. 汚染耐性アルゴリズム： ブートストラップメモリアンサンブルのスパース性をローパスフィルタとして利用して正規パターンを分離し、蒸留と反復的自己選択による洗練を行う MeDS の導入。
2. 包括的な実証的検証： 多様なノイズ比率下での 3 つの産業ベンチマーク（MVTecAD、VisA、Real-IAD）における広範な実験。各コンポーネントの役割を分解するアブレーション研究とハイパーパラメータ感度分析を含む。
3. 理論的および実用的な洞察： 重度の汚染下で高リコールの起点をもたらす小比率メモリ部分抽出の理論的証明と、アクティブラベル補正（最小限の人的労力で汚染サンプルを効率的に特定・除去する）における MeDS の有用性の実証。

実験結果

MeDS は、ノイズ比率が 0% から 40% の範囲で MVTecAD、VisA、Real-IAD 上で評価されました。

• 堅牢性： ノイズの増加に伴い著しい性能低下を示すベースライン（例：SoftPatch、InReaCh、FUN-AD）とは異なり、MeDS はすべてのノイズレベルで安定した性能を維持します。
• 性能：
  • MVTecADにおいて、MeDS は40% のノイズ比率で99.16% の画像レベル AUROCを達成し、最先端のベースラインを大幅に上回りました。
  • VisAおよびReal-IADにおいて、MeDS はノイズ環境下で画像レベルおよびピクセルレベルの両方の指標において最先端の性能を確立しました。
  • 他のベースライン（HVQ、Dinomaly、INP-Former）へのフレームワークとしての適用時、MeDS は汚染下での堅牢性を一貫して向上させ、クリーンなデータではわずかな性能低下しか招きませんでした。
• アクティブラベル補正： 人間をループに含めた実験において、MeDS は優れたランキング品質（AUPRC）を示し、検査深度を削減しました。これにより、注釈者は従来の手法と比較してデータセットの著しく少ない割合をレビューするだけで、すべての汚染サンプルを特定することが可能になりました。

意義と主張

本論文は、MeDS がメモリ蒸留に基づく漸進的選択の体系的な定式化であり、産業用異常検出に特化していることを主張しています。その主な意義は以下の点にあります：

• ノイズ比率固有の調整の不要化： ノイズ比率の知識を必要とすることなく、広範な汚染レベルに対して堅牢な性能を達成します。
• 堅牢性と精度のギャップの埋め合わせ： ローパスフィルタリングからデータ選択を伴う微調整への移行により、MeDS は高い画像レベル検出と精密なピクセルレベルセグメンテーションの両方を達成します。これは既存のノイズ耐性手法でしばしば欠けている能力です。
• 実用的有用性： 自動検出を超えて、このフレームワークはデータセット編成のための実用的なツールとして機能し、産業環境において汚染サンプルの効率的な特定と除去を可能にします。

著者は限界を認め、中央値ベースの選択メカニズムにより、MeDS は完全にクリーンなデータセットにおいて一部のベースラインと比較してわずかに低い性能を示す可能性があり、メモリ構築および蒸留段階に追加の計算オーバーヘッドを伴うことを指摘しています。しかし、これらのコストは、トレーニングデータが汚染されている可能性が高いシナリオでは正当化されます。