技術要約：継続的異常検知のためのメモリ制限付き貪欲サンプリングの継続

問題定義

教師なし異常検知（AD）は、製造業やサイバーセキュリティなどの産業において極めて重要であるが、正常な境界と無制限な異常の間の決定境界を発見することは依然として困難である。初期のモデルはクラスごとに個別のモデルを訓練することで高い性能を達成したが、これらはアノテーションコストが高く、モデルサイズも大きくなるという課題がある。マルチクラスAD手法は、複数のクラスに対して単一のモデルを訓練することでこれに対処しているが、新しいタスクが逐次的に到着する動的な環境においては、**破滅的忘却（catastrophic forgetting）**のために失敗する。

**継続的異常検知（CAD）**における具体的な課題は、教師なしの設定（クラスラベルはなく、正常な訓練画像のみが存在する）において、破滅的忘却を防ぎつつ、新たに導入された異常を検出することである。既存のアプローチには以下のような重大な制限がある：

• 正則化ベースの手法（例：EWC, SI）は、安定性と可塑性のバランスを取るのが難しく、ハイパーパラメータに敏感である。
• リプレイベースの手法は、メモリ使用量がタスク数に比例して増加するため、スケーラビリティの問題に直面する。
• コアセットベースの手法（例：DNE, UCAD）は再学習を回避しているが、代表性を維持するために通常、無制限のメモリを必要とするため、メモリオーバーフローに直面する。
• 専用のCADソリューション（例：CDAD, IUF）は、長期的なスケジュールにおいて破滅的忘却に陥ったり、クラスラベルを必要としたりすることがあり、適用性が制限される。

核心となる問いは、「既存の無制限なコアセットの表現品質を維持しつつ、境界のあるコアセットを設計できるか？」である。

手法：ContCore

著者らは、厳格かつ固定されたメモリ制約の下で、貪欲に継続されるコアセット（greedy-continued coreset）を構築するメモリベースの異常検知器であるContCoreを提案している。この手法は、以前の貪欲にサンプリングされた集合に対して貪欲な選択を反復的に適用する「継続的な貪欲サンプリング」が、代表性を効果的に維持するという観察に基づいている。

コアメカニズム

ContCoreは、各タスクの遷移 $t$ において以下の2つのステップで作動する。

1. 貪欲な拡張（Greedy Expansion）： 新しいタスクからのパッチ埋め込み特徴量 $Z_t$ が与えられたとき、この手法は現在のコアセット $M_{t-1}$ から最大限に離れた特徴量を選択する。これは、ベースセットに対する貪欲サンプリングとして定式化される：
   $$G_{n_t}(Z_t; M_{t-1}) = \{z^*_i \in Z_t : z^*_i = \arg\max_{z \in Z_t} d(z, Z^*_{i-1} \cup M_{t-1})\}$$
   ここで、$n_t$ は現在のタスクにおけるサンプリングサイズである。
2. 貪欲な統合（Greedy Consolidation）： 新たに拡張された特徴量と以前のコアセットの和集合を処理し、固定メモリ予算 $m$ を強制する。この手法は、この結合された集合から、最大限に分離された特徴量を選択する：
   $$M_t = G_m(G_{n_t}(Z_t; M_{t-1}) \cup M_{t-1})$$

実装上の工夫

• 効率的な近似： 統合時の厳格な貪欲サンプリングに伴う計算コストを軽減するため、著者らは最近傍探索を用いてプロセスを近似している。全探索による貪欲な選択ではなく、最近傍距離に基づいてフラクション $q$ のサンプルを選択することで、カバレッジを維持しながら計算複雑性を大幅に削減している。
• 推論： 異常スコアは、PatchCoreの手法に従い、各パッチについて現在のコアセット $M_t$ への最短距離に基づいて算出される。

理論的根拠

本論文は、結果として得られる貪欲継続コアセット $M_T$ が、オラクル・コアセット（全タスクの全データに対して貪欲サンプリングを行った結果）を有界なギャップ内で近似することを示す理論的保証（定理4.1）を提供している。オラクルと構築されたコアセットのハウスドルフ距離は、タスクごとの近似誤差の総和によって抑えられることが示されており、代表性が破滅的ではなく緩やかに劣化することを証明している。

主な貢献

1. 観察と理論： 著者らは、継続的な貪欲サンプリングが厳格なメモリ制限下でも代表性を維持することを実証した。また、貪欲継続コアセットがオラクル・コアセットを有界なギャップ内で近似することを示す理論的根拠を提示した。
2. ContCoreアルゴリズム： 貪欲な拡張と統合を通じて、固定メモリ使用量を維持しながら貪欲継続コアセットを構築する、この原理を具現化した手法を提案した。
3. 実験的性能： ContCoreは、MVTecADおよびVisAデータセットにおける11種類の異なるタスクスケジュールにおいて、最先端の性能を達成した。
4. オンライン設定における堅牢性： 本手法は、オンライン継続的AD設定（シングルパス、バッチサイズ1）においても検証されており、従来のモデルが著しく性能を低下させる中で高い性能を維持している。

実験結果

実験は、MVTecADおよびVisAを用い、11種類の異なるタスクスケジュール（単純な増分型 $1 \times 15$ から、複雑な混合型 $10 \times 1 \times 5$ まで）で行われた。

• 性能： ContCoreは、ほぼすべてのスケジュールにおいて、最も高いタスク平均AUROCと最も低い忘却度（Forgetting Measurement: FM）を達成した。例えば、MVTecADの $1 \times 15$ スケジュールにおいて、ContCoreは画像レベルAUROC **98.8%**を達成し、次に優れたモデル（UCADの93.0%）を上回り、忘却（FM: 0.1 vs UCADの1.0）を大幅に抑制した。
• クロスデータセット： クロスデータセット設定（MVTecAD $\to$ VisA およびその逆）において、ContCoreは従来のベースラインであるCDADを凌駕し、VisA $\to$ MVTecADの画像レベルAUROCにおいて8.9%の差で改善を示した。
• 効率性： ContCoreはニューラルネットワークを用いた手法と比較して非常に効率的である。CDAD（5628 GFLOPs, 11B パラメータ）に対し、ContCoreは大幅に少ないGFLOPs（9.24）とパラメータ数（45.3M）を必要とし、訓練および推論時間も高速である。
• 大規模検証： Real-IADデータセット（30クラス、約10万枚の画像）において、ContCoreは継続的タスクスケジュールで訓練されているにもかかわらず、UniAD-OracleおよびPatchCore-OneClassの両方のモデルを上回った。
• オンライン学習： 厳格な「オンラインCAD」設定（バッチサイズ1、シングルエポック）において、ContCoreは高い性能（MVTecADで97.2% AUROC）を維持したが、他の手法（DNE, UCAD, IUF, CDAD）は大幅な性能低下を招いた。

重要性と主張

本論文は、ContCoreがメモリ制限付きの継続的異常検知問題に対する堅牢なソリューションを提供すると主張している。その重要性は以下の点にある：

• メモリと性能のトレードオフの打破： 無制限のメモリを必要とするコアセット蓄積や、忘却に苦しむ正則化手法とは異なり、ContCoreは固定されたメモリフットプリントを維持しながら、最先端の性能を達成する。
• 理論的保証： この手法は単なる経験的なものではない。表現のギャップが最適オラクル・コアセットに対して有界であることを示す証明によって裏付けられている。
• 汎用性： このアプローチは、多様なタスクスケジュール、異なるバックボーンアーキテクチャ（WideResNet, EfficientNet, DINOv2）、さらにはデータを一度しか処理できない困難なオンライン学習シナリオにおいても有効である。
• 実用的な展開： 破滅的忘却や無制限のメモリ増大を回避することで、ContCoreは、過去のデータにアクセスできない状況で新しい異常クラスが継続的に導入される動的な環境における、実世界での展開に向けた実行可能なソリューションとして提示されている。