Anomaly Detection from a Tensor Train Perspective

本論文は、正常なデータ構造を保持しつつ異常なデータを排除するためにテンソル・トレインデータ圧縮を活用する異常検出のための一連のテンソルネットワークベースのアルゴリズムを提示し、それらの有効性を数字、顔、およびサイバーセキュリティのデータセットにおいて実証する。

要約

あなたは巨大な図書館を持っていると想像してください。その本のほとんどは同じ人気小説の複製（「正常」データ）ですが、いくつかは奇妙な手書きの落書きや全く異なるジャンル（「異常」）です。あなたの目標は、1 冊ずつすべてを読むことなく、それらの奇妙な本を見つけることです。

この論文は、テンソル・トレインと呼ばれる数学的ツールを用いて、それを達成する新しい方法を提示します。このツールを本ではなく、非常に効率的な圧縮機械（超高度な Zip ファイルのようなもの）として考えてください。

以下に、その仕組み、試された手法、そして発見された結果を簡潔に解説します。

核となるアイデア：「圧縮」テスト

著者らの主要なアイデアは、単純な原則に基づいています：正常なものは互いに適合するが、奇妙なものは適合しない。

1. 設定: 彼らはデータセット（数字の画像やコンピュータネットワークのログなど）を圧縮機械に入力します。
2. 圧縮: 機械にデータを「押しつぶす」よう指示し、スペースを節約するために微小で重要でない詳細を捨てさせます。
3. 結果:
   • 正常データ: これらの項目は共通のパターン（すべての数字「1」が似ているようなもの）を共有しているため、機械はこれらを押しつぶし、その後、ほぼ元の形状に戻す（圧縮解除する）ことができます。これらは型に完璧に適合します。
   • 異常データ: これらの項目は奇妙または独自であるため、型に適合しません。機械がこれらを押しつぶそうとすると、その独自の構造の多くを捨ててしまいます。圧縮解除を試みると、歪んだり壊れたりして見えます。

テスト: 彼らは元の項目と「圧縮解除された」バージョンを比較します。もし非常に似ていれば正常です。もし非常に異なっていれば、それは異常です。

2 つの主要な手法

この論文では、その図書館を整理するための 2 つの異なる戦略のように、このテストを実行する 2 つの方法について述べています。

1. 「グローバル」手法（グループハグ）

• 仕組み: 図書館全体（またはその巨大な断片）を一度に圧縮機械に入力します。機械はグループ全体の「平均的な」形状を学習します。
• 比喩: 図書館全体を写真に撮り、その写真を圧縮してから、個々の本がその圧縮された写真にどの程度適合するかを確認するイメージです。
• 利点: 高速であり、大規模なデータセットに対して効果的です。
• 欠点: 開始するには大量のデータが必要です。

2. 「ローカル」手法（1 対 1）

• 仕組み: 「正常」な本の「1 つ」の完璧な例（訓練例）だけを選びます。その 1 冊に基づいて型を作成します。その後、その特定の型に対して他のすべての本をテストします。
• 比喩: 数字データセットから完璧な「1」を 1 つ選び、その形状を記憶し、その後、他のすべての数字がその特定の「1」の型に適合するかを確認するイメージです。
• 利点: 驚くほど正確（時には完璧）です。
• 欠点: 極めて低速です。この論文では、グローバル手法の約 50 倍遅いと指摘されています。

彼らがテストしたもの

著者らは、これら 3 つの異なる「図書館」でこれらの手法をテストしました。

1. 手書き数字: 図書館がほとんど「1」で構成されている中で、「7」を見つけようとします。
2. 顔: 同じ人物でいっぱいの部屋の中で、異なる顔を見つけようとします。
3. サイバーセキュリティ: 通常のコンピュータ要求のストリームの中で、ハッカー攻撃を見つけようとします。

意外な発見

この論文は、いくつかの直感に反する結果を明らかにしました。

• 過度な圧縮は避ける: データを可能な限り強く押しつぶすことが最善だと考えるかもしれません。しかし、著者らは非常に軽い圧縮（わずかな押しつぶし）が最も効果的であることを発見しました。押しつぶしすぎると、「正常」なパターンも破壊し始め、区別がつかなくなります。
• 「スケーラー」の罠: データサイエンスでは、処理前にデータを「スケーリング」（すべての写真を同じ明るさやサイズにリサイズするなど）することが一般的です。著者らは、彼らの特定の手法においては、スケーリングが実際には結果を台無しにすることを発見しました。それは四角い杭を丸い穴に当てようとするようなもので、スケーリングは機械が見る必要があった特定のパターンを破壊しました。
• 速度対精度: 「ローカル」手法は最も正確でした（数字で完璧なスコアを獲得しましたが）、実用的な用途には遅すぎました。「グローバル」手法は優れたバランスを提供し、非常に高い精度（サイバー攻撃の 98% を検出）を保ちながら、実用可能な速度を維持しました。

結論

著者らは、圧縮テストをどの程度生き延びるかを見ることで、「奇妙な」データを見つける新しい方法を作成しました。彼らは、「正常」な構造を維持したまま、「奇妙な」構造が崩壊させることを許すことで、異常を効果的に検出できることを示しました。

重要な教訓: 干し草の山から針を見つける最良の方法は、より必死に探すことではなく、干し草を押しつぶそうとしたときにそれがどの程度まとまりを保つかを見ることです。もし干し草が崩れ去れば、あなたは針を見つけ出したかもしれません。

技術概要

技術概要：テンソル・トレインの視点からの異常検出

問題定義
異常検出は、産業監視、医療診断、不正検出、サイバーセキュリティなどの分野において重要なタスクです。主な目的は、正常な動作から著しく逸脱したデータポイントを特定することです。従来の統計手法、機械学習、深層学習は成功を収めてきましたが、高次元データにはしばしば苦戦し、主成分分析（PCA）のような次元削減技術を必要とすることが一般的です。著者らは、高次元データを効率的に処理するために、テンソルネットワーク（TN）、特に**テンソル・トレイン（TT）**を活用することを提案しています。核心的な仮説は、正常なデータは共通の構造的パターンを共有するのに対し、異常なデータは固有または稀な構造を持つという点です。データを近似テンソル表現に圧縮することで、正常なデータの構造を保持しつつ異常なデータの構造を破壊し、それらを区別可能にすることを目指しています。

手法
本論文は、テンソル・トレイン（TT）表現を用いた、概念的に異なる 2 つの圧縮戦略に基づく 8 つのアルゴリズムのスイートを紹介しています。圧縮は、TT-SVD 過程における特異値の保持を決定するパラメータ $\tau$（0 から 1 の範囲）によって制御されます。

1. グローバル圧縮アルゴリズム:

   • 概念: 全体データセットを単一の高次テンソルとして扱います。アルゴリズムはグローバルなデータセットを圧縮し、データポイントの大多数（正常データ）が共有する支配的な構造を保持します。これらの共有構造を持たない異常データは、圧縮中により大きく変位します。
   • 決定関数:
     • 自己比較（ACGCTNAD）: 元のデータポイントと、その圧縮再構成とのスカラー積を、元のノルムの 2 乗で正規化することで「自己保持スコア（$s_{self}$）」を計算します。このスコアは、方向性の整合性と大きさの保持の両方を捉えます。
     • 群比較（GCGCTNAD）: 各データポイントを、セット内の他のすべてのデータポイントの圧縮バージョンと比較し、大きさではなく幾何学的な整合性に焦点を当てるためにコサイン類似度メトリックを使用します。
   • 学習モード: これらの手法は、教師なし（事前知識なし）、教師あり（ラベル付き正常訓練データを使用）、または半教師ありモードで適用可能です。

2. ローカル圧縮アルゴリズム:

   • 概念: 全体データセットを圧縮する代わりに、このアプローチは代表的な正常データポイント（またはセット）を使用して「正常」な TT 構造を定義します。テストデータポイントの TT 表現の最初の $n-1$ ノードは、訓練データの核心（コア）と一致するように強制され、最終ノードのみがテストポイントの固有情報を含みます。
   • ヒューリスティックな整合: この手法は、テストデータの切断された基底を正常な訓練コアと整合させるヒューリスティックな整合ステップを採用します。
   • 決定関数: グローバル手法と同様に、自己比較（ACLCTNAD）と群比較（GCLCTNAD）スコアリングを使用します。
   • 投影ベースのバリアント: 著者らは、学習した TT インターフェースに対する最小二乗誤差を最小化する直交投影に基づく数学的に原理的なローカル変種を提案していますが、論文で報告された実験結果は元のヒューリスティックなバージョンに対応していることに注意が必要です。

主な貢献

• 新規フレームワーク: 圧縮中のテンソルネットワーク構造の保持と破壊に基づいた異常検出アルゴリズムの導入。
• アルゴリズムスイート: グローバルおよびローカル圧縮戦略の両方を網羅し、教師なし、教師あり、半教師ありのシナリオに適用可能な 4 つの主要アルゴリズム（ACGCTNAD, GCGCTNAD, ACLCTNAD, GCLCTNAD）の開発。
• 高次元における効率性: 従来の次元削減の制限なしに、TT 表現が高次元データ（画像、ネットワークトラフィックログなど）を効果的に処理できることを実証。
• 実証的検証: 3 つの異なるデータセットでのテスト:
  • 数字データセット: 1 つの数字クラスを他のクラスから区別。
  • オリヴェッティ顔データセット: 顔の個人識別を区別。
  • サイバーセキュリティデータセット: 正常なネットワーク要求に対するサイバー攻撃（ブルートフォース、スキャン、スローロリス）を検出。

結果

• 数字データセット:
  • ACGCTNAD（グローバル）: 最大 AUROC 値は 0.74 から 0.997 の範囲でした。性能は非常に低い圧縮値（$\tau$）でピークに達することが多く、これは過剰な圧縮が異常構造を除去しつつ正常構造を保持することを示唆しています。
  • ACLCTNAD（ローカル）: すべての数字クラスで完璧な AUROC（1.0）を達成しました。しかし、この手法はグローバル手法よりも50 倍遅いことが指摘されました。さらに、低い圧縮値で「スコア方向の反転」（AUROC が 0 に低下）を示し、スコアの事後反転が必要となり、これが教師なしでの有用性を制限しました。
• オリヴェッティ顔データセット:
  • グローバル手法（ACGCTNAD）はクラスによって性能が変動し、AUROC 値は 0.69 から 1.0 の範囲でした。著者らは、一部のケースでの低い性能を、サンプルサイズが小さいこと（クラスあたり約 8〜9 個の正常サンプル）またはデータ固有の性質に起因すると説明しています。
• サイバーセキュリティデータセット:
  • スケーラーなし: ACGCTNAD 手法は、$\tau = 0.01$ で AUROC 0.98、精度 97.72% という卓越した結果を達成しました。
  • 標準スケーラーあり: 性能は著しく低下しました。著者らは、標準スケーラーの適用が「結果を台無しにする」ことを観察し、おそらくそれがテンソルネットワークが検出に依存する構造的な規範を変化させるためであると指摘しました。
  • 教師なしモード: 訓練データセットなし（テストデータのみ使用）でテストされた場合、スケーラーなしでは高い性能（97.5% の精度）を維持しましたが、スケーラーありでは 64.7% に低下しました。

意義と主張
本論文は、提案されたテンソルネットワークアプローチが、特に高次元設定において、異常検出のための汎用性が高く効果的な代替手段を提供すると主張しています。著者らは以下の点を強調しています:

1. 構造保持: この手法の威力は、テンソルネットワークが正常データの構造的関係を捕捉・保持しつつ、異常の拡散的な構造を破棄する能力に由来します。
2. 直感に反する圧縮: 最適な検出は、表現が異常構造を削除しつつ正常構造を保持する低い圧縮値（低い $\tau$）で発生することが多く、これは標準的な圧縮の目標と比較すると直感に反する現象です。
3. 前処理への感受性: 結果は、データ前処理、特に標準スケーリングが、この特定の手法にとって有害となり得ることを強調しています。これは、アルゴリズムが検出するように設計された構造的特徴を破壊する可能性があるためです。
4. トレードオフ: ローカル手法（ACLCTNAD）は完璧な分離を達成できますが、計算コストが高く、ヒューリスティックな整合に依存します。グローバル手法（ACGCTNAD）は速度と精度のより良いバランスを提供し、多くの応用においてより実用的です。

著者らは、結果は有望であるものの、標準的なベースライン（PCA、Isolation Forest、オートエンコーダーなど）との比較や、ランダムシード、標準偏差などの厳密な統計報告を含む、より包括的な評価が今後の作業に必要であると結論付けています。また、他のテンソルネットワーク構造（PEPS など）の使用、テキストおよびビデオデータへの適用、数学的に原理的な投影ベースのローカル変種の評価など、将来の研究の方向性も提案しています。