技術的概要：表データ異常検出のための尖度誘導ノイズ除去スコアマッチング

問題定義

表データにおける異常検出は、期待される分布から逸脱した観測値を特定することを必要とする。ノイズ除去スコアマッチング（DSM）は、スコア関数（対数密度の勾配）を学習することで高次元分布をモデル化する強力な枠組みを提供するが、ノイズスケールの選択という重要な実用的課題に直面している。

標準的な DSM は、すべての特徴量にグローバルに適用される単一の固定ノイズスケール（$\sigma$）に依存している。これにより、以下のようなトレードオフが生じる：

• ノイズが少なすぎる場合： 学習されたスコア推定値は疎な領域で不安定となり、通常、異常が存在する構造を捉え損なう。
• ノイズが多すぎる場合： 摂動が局所構造を消去し、正常サンプルと異常サンプルの区別を平滑化して感度を低下させる。

マルチスケールスコアマッチング（MSM）やノイズ条件付きスコアネットワーク（NCSN）などの既存の解決策は、複数のノイズスケールでモデルを訓練することでこれを解決しようとする。しかし、これらのアプローチは多大な計算オーバーヘッドを導入し、推論時の複雑なノイズ選択を必要とし、アーキテクチャが慎重にチューニングされない場合、単純なベースラインを上回る性能を発揮しないことが多い。さらに、訓練データに異常が含まれる完全な教師なし（汚染された）設定では、標準的な DSM は失敗する。なぜなら、ノイズ除去の目的関数が明示的にモデルに汚染物質に対して低いスコアノルムを割り当てるよう教えるからである。

手法

著者は、グローバルなノイズスケールをデータ適応的な特徴量ごとのノイズスケーリング戦略に置き換える**K-DSM（尖度誘導ノイズ除去スコアマッチング）**を提案する。

1. 特徴量ごとの摂動

グローバルな $\sigma$ を適用する代わりに、K-DSM は対角ノイズ共分散行列 $\Sigma = \text{diag}(\sigma_1^2, \dots, \sigma_d^2)$ を用いる。目的関数は、生のスコアではなく単位分散ノイズ $\varepsilon$ を予測するように修正され、勾配の寄与をノイズスケールから切り離す：
$$\mathcal{L}_{\text{per-feature}}^{\text{DSM}}(\theta) = \frac{1}{2} \mathbb{E}_{x \sim p_{\text{data}}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \Sigma)} \left[ \| s_\theta(\tilde{x}) + \Sigma^{-1/2}(\tilde{x} - x) \|_2^2 \right]$$
これにより、より小さなノイズスケールを持つ特徴量が損失関数を支配することが保証される。

2. 尖度誘導ノイズスケーリング

核心的な革新は、各特徴量 $j$ の周辺分布の統計的形状に基づいて $\sigma_j$ を決定することである。著者は、尾部の極端さを代理とする指標として尖度（4 次標準化モーメント）を利用する。

• 根拠： 軽尾部または平坦な分布（低尖度）はすでに有効なサポートをカバーしており、より小さな摂動を必要とする。重尾部または鋭く集中した分布（高尖度）は周囲の空間を過小評価しており、ネットワークを低密度領域に曝すためにより大きな摂動を必要とする。
• ヒストグラム再配置： 尖度が歪度や二峰性などのアーティファクトではなく尾部の重みを反映することを保証するため、著者は尖度を計算する前に対称減少ヒストグラム再配置を適用する。このステップは、経験分布を支配的なモードを中心に対称化し、ピークから尾部への減衰率を分離する。
• スケーリング則： ノイズスケールは、Cornish–Fisher 展開から導出されたアフィン則によって計算される：
  $$\sigma_j = \sigma_{\text{base}} \cdot (1 + c \cdot (\kappa_j^* - 3))$$
  ここで、$\kappa_j^*$ は再配置された $j$ 番目の特徴量の尖度、$\sigma_{\text{base}}$ はグローバルなハイパーパラメータ、$c$ は感度係数（経験的に 0.33 に設定）である。結果は有効範囲 $[\sigma_{\min}, \sigma_{\max}]$ にクリップされる。

3. 理論的正当性

本論文は、対称な単峰分布に対して、尾部半径（特定の尾部確率に到達するために訓練点が移動しなければならない距離）が尖度に対して厳密に増加することを証明する。したがって、式 (5) のアフィン則は、尾部カバレッジに対する唯一の 1 次最適ノイズスケールであることが示され、ヒューリスティックなチューニングに対する原理的な代替案を提供する。

4. 教師なし拡張（EMA-ティーチャフィルタリング）

訓練データに異常が含まれる「汚染された」設定に対処するため、著者は軽量なフィルタリング機構を導入する。オンラインモデルの重みの指数移動平均（EMA）（「ティーチャ」）を維持する。訓練中、ティーチャによって高いスコアノルムを持つサンプルは、おそらく汚染物質として識別され、勾配更新から除外される。これにより、モデルが汚染物質自体に対して低い異常スコアを割り当てることを学習するのを防ぐ。

主要な貢献

1. 単一スケール DSM の再評価： 著者は、現代的な MLP アーキテクチャ（ResNet 風）を備えた単一スケール DSM モデルが、表データベンチマークにおいてマルチスケール手法（MSM）や他の深層ベースライン（DTE、SLAD）をすでに上回ることを実証する。これは、効果的なスコアベース異常検出のためにマルチスケール条件付けが厳密に必要であるという支配的な仮説に挑戦するものである。
2. 理論的保証を伴う K-DSM： 周辺尖度に基づく特徴量ごとのノイズスケーリング則の提案と、アフィン写像が尾部カバレッジに対する唯一の 1 次最適解であることの証明による支援。
3. 最先端の性能： K-DSM は、半教師あり設定において ADBench（57 データセット）で平均 AUC-PR 0.627 を達成し、従来の最良ベースライン（0.594）を上回った。
4. 頑健な教師なし検出： K-DSM と EMA-ティーチャフィルタリング則を組み合わせることで、この方法は完全な教師なし（汚染された）設定において最先端の性能（平均 AUC-PR 0.343）を達成し、データ汚染によって失われた性能を大幅に回復させた。
5. 効率性： 複数のノイズレベルでの推論を必要とするマルチスケールアプローチとは異なり、K-DSM は単一のフォワードパスの推論速度を維持し、MSM や DDAE よりも著しく高速である。

実験結果

• 半教師あり設定（クリーンな訓練データ）： ADBench において、K-DSM は平均 AUC-PR 0.627 を達成し、2 位のベースライン（0.594）および単一スケール DSM ベースライン（0.584）を上回った。この手法はベースノイズスケール $\sigma_{\text{base}}$ の選択に対して頑健であるのに対し、標準的な DSM はこのハイパーパラメータに対して非常に敏感である。
• 教師なし設定（汚染された訓練データ）： 標準的な DSM と K-DSM は、この設定では崩壊する（AUC-PR が約 0.188 に低下）。これは、異常を正常として学習してしまうためである。EMA-ティーチャ拡張は性能を回復させ、K-DSM-EMA を0.343 AUC-PRに引き上げ、比較された 14 の手法の中で最良の結果となった。
• 画像ベンチマーク： MVTec-AD および VisA（DINOv3 埋め込みを使用）において、K-DSM は競争力があるが支配的ではない。著者は、標準化された深層ビジョン特徴量は座標ごとにほぼガウス分布となるため、尖度ベースのスケーリングが非効率的（$\kappa \approx 3$ となる）であることは予想通りであると指摘する。これは手法の有効性の領域を画定する：これは周辺尾部の異質性が存在する場所で卓越する。
• 推論速度： K-DSM は推論において最も高速な深層学習手法であり、データセットあたり約 0.02～0.03 秒の単一のフォワードパスのみを必要とする。これに対し、マルチスケールまたは拡散ベースの手法は数秒を要する。

意義と主張

本論文は、DSM におけるノイズスケール選択という長年の課題が、計算コストの高いマルチスケールモデルに頼ることなく解決できることを主張する。各特徴量の分布の内在的な幾何学にノイズレベルを適応させることで、K-DSM は低密度領域のカバレッジを改善しつつ、高密度領域での感度を維持する。

著者は、慎重なデータ適応的ノイズスケーリングと汚染に頑健な訓練レシピの組み合わせが、現実世界の表データ異常検出に対する重厚なアンサンブルやマルチスケールアプローチに対する実用的でスケーラブルかつ最先端の代替案を提供すると主張する。この手法はハイパーパラメータのチューニングや検証データセットへの依存を減らし、異常が未知でデータが不足しているか汚染されているシナリオに適している。

認められた限界：

• 特徴量がほぼガウス分布の周辺に標準化される場合（例：深層ビジョン埋め込み）、尖度則が単一スケールに収束するため、この手法の利点は減少する。
• 教師なし設定では、EMA-ティーチャフィルタは固定のパーセンタイルカットオフに依存しており、汚染率が特定の閾値（例：<20%）以下であると暗黙的に仮定している。汚染率が極めて高い場合、性能は低下する。