Multi-scale LSTM forecasting with attention-based feature fusion for anomaly detection in multivariate monitoring data

技術要約：アノマリ検出のためのアテンションベース・フィーチャー融合を用いたマルチスケールLSTM予測

問題提起
電力機器、産業プロセス、コンピューティング・インフラストラクチャを含むエンジニアリング・システムは、多変量時系列データを通じて監視されている。これらのシステムにおけるアノマリ（異常）は、長期間にわたる緩やかなドリフトから、わずか数サンプリング間隔の過渡的なインパルスまで、極めて異なる時間スケールで発生する。既存の検出手法には、主に以下の2つの限界がある：

1. 単一解像度への依存性： ほとんどのアプローチは、固定された時間窓または単一スケールの表現に依存しており、局所的なスパイク、季節的な変動、およびグローバルな文脈的偏差を同時に区別することが困難である。
2. 静的な相関モデリング： 一部の手法はグラフニューラルネットワーク（GNN）を使用しているが、それらは変数間の固定された相関関係のみを捉えることが多く、時間の経過とともに変化する依存関係を反映できていない。

その結果、現在のシステムは、異なる時間解像度で異なる現れ方をするアノマリや、変化する変数間の相関に適応することに苦慮しており、誤報や検出漏れを引き起こしている。

手法：MAF-LSTM フレームワーク
本論文では、これらの課題に対処するために設計された、予測ベースのアノマリ検出フレームワークである MAF-LSTM（Multi-scale Attention-based Feature-fusion Long Short-Term Memory）を提案する。このアーキテクチャは、3つのコアコンポーネントで構成されている：

1. マルチスケール特徴抽出：
   本フレームワークは、階層的なLSTMアンサンブルを採用しており、並列のブランチが異なる長さ（$w_1, w_2, \dots, w_k$）の入力ウィンドウを処理する。短いウィンドウは局所的な変動と急速な遷移を捉え、長いウィンドウは長期的な文脈依存性を保持する。各ブランチはスケール固有の隠れ表現（$h^{(s)}$）を生成し、これらを結合することで統一された特徴ベクトルを形成する。

2. アテンションベースのフィーチャー融合：
   これらのマルチスケール表現を効果的に統合するために、軽量なスケールレベルのアテンション・メカニズムが導入されている。このモジュールは、現在のタイムステップに対する関連性に基づいて、異なるスケールからの隠れ表現に対して適応的に重み付けを行う。$tanh$活性化関数を持つ全結合ネットワークがスケア・スコアを生成し、それらは$softmax$を通じて正規化され、アテンションの重み（$\alpha$）となる。最終的な融合表現（$H_t$）は、スケール固有の特徴の加重和となり、モデルが最も情報量の多い時間スケールを動的に強調することを可能にする。

3. マハラノビス距離に基づくアノマリ・スコアリング：
   点ごとの誤差指標（例：MSE）のみに依存する手法とは異に対し、MAF-LSTMは予測残差のマハラノビス距離を用いてアノマリ・スコアを算出する。

• モデルは次のタイムステップ（$\hat{y}_t$）を予測し、残差（$r_t = |y_t - \hat{y}_t|$）を計算する。
• グローバルな平均ベクトル（$\mu$）および共分散行列（$\Sigma$）は、検証セット（正常動作を代表するもの）の残差から推定される。
• アノマリ・スコア（$S_t$）は、マハラノビス距離として計算される：$S_t = \sqrt{(r_t - \mu)^T \Sigma^{-1} (r_t - \mu)}$。
• このアプローチは変数間の相関構造を考慮するため、個々の値は正常に見えても、変数が期待される共同挙動から逸脱しているような「論理的」なアノマリの検出を可能にする。

モデルは、ラベル付きのアノマリデータを使用せずに、予測誤差を最小化するための目的関数として平均絶対誤差（MAE）を用いて、教師なし学習形式で訓練される。

主な貢献
本論文は、主に3つの貢献を述べている：

• マルチスケール予測の観点： 予測ベースのアノマリ検出にマルチスケールの観点を導入した。これは先行研究ではほとんど探索されていない次元であり、異なる時間解像度で現れるアノマリの特定を可能にする。
• アテンション強化型アーキテクチャ： マルチスケールの時間依存性を捉えるためにアテンション・メカニズムを統合したLSTMベースの予測フレームワークを設計し、精度向上を図るとともに、誤報と検出漏れを低減することを目指している。
• 実証的検証： 5つの実世界の多変量データセット（MSL, SMAP, SMD, SWaT, PSM）を用いてフレームワークを評価し、最先端のベースラインと比較して優れた性能を示した。

実験結果
本フレームワークは、宇宙機のテレメトリ、サーバー監視、および産業制御システムにわたる5つのベンチマーク・データセットでテストされた。

• パフォーマンス： MAF-LSTMは、5つのデータセットのうち4つ（MSL, SMD, SWaT, PSM）において最高のF1スコアを達成した。PSMデータセットにおいては、Isolation Forestベースラインを12.46パーセントポイント上回った。
• 比較： 本手法は、テストされたデータセット全体で、最も優れた性能を示したベースライン（OmniAnomaly）に対して、平均2.52%のF1スコア向上を達成した。
• アブレーション研究： 特定のコンポーネントを除去する実験により、それらの必要性が確認された：
  • マルチスケール・モジュールを単一スケール・モデルに置き換えると、F1スコアは4.44%低下した。
  • アテンション・メカニズムを等重み付けに置き換えると、F1スコアは4.12%低下した。
  • マハラノビス距離をユークリッド距離に置き換えると、F1スコアが大幅に低下した（MSLにおいて90.93%から74.79%へ）。これは、残差の相関構造をモデリングすることの重要性を浮き彫りにしている。

意義と限界
本論文は、MAF-LSTMが時間的多様性と動的な特徴重み付け、および相関を考慮したスコアリングを組み合わせることで、マルチスケール・アノマリの検出におけるギャップを効果的に埋めるものであると主張している。著者らは、マハラノビス・スコアリング・コンポーネントが特に重要であると述べており、残差の相関構造をモデリングすることは、時間的表現そのものと同じくらい重要であることを示唆している。

しかし、著者らは現在の範囲について控えめな姿勢を維持している：

• データの範囲： 電力機器の監視を動機としているが、検証は他のドメイン（宇宙、IT、水処理）の公開ベンチマーク・データセットのみで行われた。実際の稼働中の電力機器データを用いた検証は、継続中の作業として記されている。
• 固定パラメータ： マルチスケール・ブランチのウィンドウ長は、すべてのデータセットに対して固定されていた。サンプリングレートや主要な周期に基づいて適応的なスケール選択を行うことが、さらなる性能向上につながる可能性があると著者らは示唆している。
• 静的な共分散： マハラノビス・スコアリングのための共分散行列は、訓練時の残差から推定されており、オンラインでは更新されない。これは、機器の挙動が緩やかにドリフトする非常に長期の運用期間において、堅牢性を制限する可能性がある。
• SMAPのパフォーマンス： 本フレームワークはSMAPデータセットにおいて最高の結果を得られなかった。これは、マルチスケール予測の恩恵が、データ内のアノマリの特定の時間的広がり（extent）に依存する場合があることを示している。

今後の研究は、適応的なスケール選択メカニメントの探索、およびフレームワークのリアルタイム・ストリーミング環境への拡張に向けられている。