技術要約: ChronosAD

問題提起

時系列異常検知は、金融、ヘルスケア、産業などの様々な領域で極めて重要であるが、既存の手法は汎化性能において大きな課題に直面している。現在のアプローチの多くは特定のドメインに特化しており、手作業による特徴量抽出やドメイン固有のヒューリスティックに依存しているため、スケーラビリティが制限されている。さらに、時系列基盤モデルが登場しているものの、これらは異常検知タスクにおいて主に2つの制限事項を抱えている：

1. 単変量への焦点: ほとんどの基盤モデルは単変量の設定向けに設計されており、複雑な多変量システムに不可欠なクロスチャネル（変数間）の関係を明示的にモデル化できていない。
2. 予測バイアス: これらのモデルは主に信号予測に最適化されており、その性能は、異常検知という明確に異なるタスクにおいては、困難な設定下で制限を受ける可能性がある。

したがって、最小限のタスク固有のチューニングで、基盤モデルの汎用的な表現を活用しつつ、多変量異常検知の特定の要件に対処できるアーキテクチャが必要とされている。

手法: ChronosAD

本論文では、時系列基盤モデルをゼロショット特徴抽出器として利用し、その後にカスタム精緻化モジュールを組み合わせた新しい2段階アーキテクチャであるChronosADを提案する。

1. 問題定式化

入力は多変量時系列 $X \in \mathbb{R}^{C \times L_{total}}$ であり、$C$ はチャネル数、$L_{total}$ は総長を表す。時系列は長さ $l$ の重複しないウィンドウに分割される。目標は、スコアリング関数 $f$ に基づいて、各セグメントを正常（0）または異常（1）として分類することである。

2. 2段階パイプライン

第1段階: ゼロショット特徴抽出 (Chronos Encoder)

• 本モデルは、事前学習済みの時系列基盤モデルであるChronos [10] を、凍結されたエンコーダとして採用する。
• 多変量入力の各単変量チャネルは、Chronosエンコーダを通じて独立して処理され、固定次元の埋め込みベクトル ($E_c$) を生成する。
• スケーリング係数: Chronosは、各インスタンスに対してスケーリング係数 $s$ を提供する。これは、コンテキストウィンドウ内の絶対値の平均（アテンションマスクによって重み付けされる）として計算される。これにより、データの自然なスケールを捉え、異なる振幅を持つデータセット間での汎化を支援する。
• 前処理: 第2段階に入る前に、埋め込みはL2正規化（L2 normalization）を経て振幅を標準化し、勾座の消失を抑制して安定した勾配フローを確保するためにSeLU活性化関数を適用する。

第2段階: 時間的精緻化 (Temporal Block)

• カスタムのTemporal Blockが、正規化された埋め込みを処理して、時間的依存関係とチャネル間の相互作用を捉える。
• BiLSTM: シーケンスは双方向長短期記憶（BiLSTM）ネットワークを通じて処理され、順方向および逆方向の時間的特徴 ($h_c$) をエンコードする。
• マルチヘッド・アテンション (Multi-Head Attention): BiLSTMの出力は、マルチヘッド・アテンション機構を用いて精緻化される。クエリ ($Q$)、キー ($K$)、値 ($V$) は隠れ状態から導出され、アテンションの重みを計算することで、顕著なパターンを強調する。
• 集約: アテンションの出力は平均化および加算されて次元が削減され、その後、線形層（Linear Layer）を経て精緻化された埋め込み ($e_c$) が生成される。
• 融合 (Fusion): スケーリング係数 $s$ が精緻化された埋め込みに結合される。最終的に、全 $C$ チャネルの埋め込みが特徴次元に沿って結合され、全結合ネットワーク（FCN）を通過して最終的な異常スコアを生成する。

学習: モデルは、重み付きバイナリ・クロスエントロピー（WBCE）損失を用いた教師あり学習の設定で訓練される。

主な貢献

1. 斬新なアーキテクチャ: ChronosADは、時系列基盤モデル（Chronos）を予測エンジンとしてではなく、ゼロショット特徴抽出器として活用する2段階のパイプラインを導入し、効果的に適応させる。
2. 多変量への適応: 標準的な単変量基盤モデルとは異なり、ChronosADはマルチパス・アーキテクチャとチャネル融合を採用しており、時間的ダイナミクスと共にクロスチャネルの相互作用を明示的にモデル化する。
3. カスタム・テンポラル・ブロック: BiLSTMとマルチヘッド・アテンションの統合により、基盤モデルの埋め込みを精緻化し、双方向の時間的依存関係と異常検知に特有の顕著なパターンの両方を捉えることが可能になる。
4. 最小限のチューニング: このアプローチは、基盤モデルの事前学習された知識を活用することで、最小限のタスク固有のチューニングで堅牢な汎化を実現する。

実験結果

著者らは、UCR Archiveデータセット、実世界の産業（CWRU）、医療（MIT-BIH）、サイバー物理システム（SWaT）を含む11の多様なベンチマークでChronosADを評価した。モデルは11の最先端手法（例：AnoGAN, Deep-SVDD, USAD, KalmanAE）と比較された。

• 性能: ChronosADは、既存の手法を平均でAUCにおいて4.72%、**APにおいて6.60%**上回った。
• 具体的な成果:
  • TwoPatterns、FordA、CWRUなどのデータセットにおいて、ほぼ完全または完全なスコア（AUC $\approx$ 100%）を達成した。
  • SWaTのような困難な多変量データセットや、MIT-BIHのような医療データにおいて堅牢性を示した。
• アブレーション研究:
  • Chronosエンコーダが最も重要なコンポーネントであることが特定された。これを除去すると、性能が大幅に低下した（AUC $\downarrow$ 18.34%）。
  • L2正規化およびアテンション機構も極めて重要であり、これらを除去すると顕著な性能低下を招いた。
  • その他のコンポーネント（SeLU、BiLSTM、スケーリング係数）は、安定性と精度に対して漸進的ではあるが測定可能な改善をもたらした。
• 潜在空間解析: t-SNE可視化により、モデルが正常な点と異常な点を明確なマニホールドとして、異なるクラスターに正常に分離できていることが示された。

意義と主張

本論文は、ChronosADを、時系列基盤モデルをダウンストリームの異常検知タスクに適応させることの実現可能性を示す予備的研究として位置づけている。

• 基盤モデルの検証: 結果は、基盤モデルが適切な精緻化レイヤーと組み合わされた場合、多様なドメイン（産業、医療、自動車、サイバー物理）における異常検知のための強力で汎用的な特徴抽出器として機能することを検証している。
• 教師ありコンテキスト: 著者らは、初期評価を容易にするために、この研究を教師あり設定の枠組みで明示的に定義している。彼らは、異常検知は伝統的に教師なし学習であることに触れ、ラベル付きデータの取得は困難であるが、デジタルツインのような新興技術によって取得がより容易になりつつあることを認めている。
• 今後の展望: 著者らは、これらの結果が「より厳密な将来の研究のための実行可能な道筋」を検証するものであると述べており、具体的には、支配的な教師なしベースラインと直接比較できるように、教師なし設定へと拡張することに焦quentな将来の研究を示唆している。

結論として、ChronosADは、教師なし異常検知における基盤モデルの使用に向けた研究の道を切り開き、現在のドメイン固有のヒューリスティックに対する堅牢な代替案を提供すると述べている。