FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series

技術要約：FMMVCC – 単変量時系列のためのFuzzy Mambaベースのマルチビュー対照学習クラスタリング

問題提起
IoTデバイスやセンサーネットワークの普及により、ヘルスケア、産業システム、スマートシティなどの領域において、膨大な量の単変量時系列データが生成されています。しかし、これらの環境においてラベル付きデータを取得することは、コストがかかるか、あるいは不可能な場合が多く、教師なし学習アプローチが必要とされています。時系列のクラスタリングはデータを意味のあるグループに整理するために極めて重要ですが、既存のディープクラスタリング手法は重大な限界に直面しています。従来のメソッド（DTWを用いたK-meansなど）は、複雑で高次元な時間的ダイナミクスに苦慮します。Transformerに基づいたディープラーニングのアプローチは、多くの場合、シーケンス長に対して二次的な計算複雑性を伴うため、大規模または長尺のシーケンスデータに対して非効率的です。さらに、現在の多くの手法は、高い計算コストをかけることなく、欠損データを堅牢に処理したり、長距離の依存関係を効率的に捉えたりすることに失敗しています。

手法
本論文では、以下の3つのコアコンポーネントを通じてこれらの課題に対処するために設計されたディープクラスタリングフレームワーク、FMMVCC（Fuzzy Mamba-based Multi-View Contrastive Clustering）を提案しています。

1. Mambaベースの表現学習:
   本フレームワークは、選択的状態空間モデル（SSM）を採用したMambaエンコーダを利用します。リカレントネットワークやTransformerとは異なり、Mambaは線形時間複雑度（$O(T)$）でシーケンスを処理しながら、長距離の時間的依存関係をモデル化する能力を維持します。このアーキテクチャにより、アテンションメカニズムに伴う計算上のボトルネックなしに、長時間の時系列を効率的に処理することが可能になります。

2. マルチビュー・マスクド表現学習:
   ノイズやセンサーデータの欠損に対する堅牢性を高めるために、確率的な時間的オーグメンテーション（ジッタリング、スケーリング、置換）と時間的マスキングを通じて、各時系列の複数のビューを生成します。マスキング戦略は、構造的なドロップ（連続したセグメント）と非構造的なドロップ（散在した点）を組み合わせることで、現実的な欠損パターンをシミュレートします。これらのビューは、専用のエンコーダによって独立して処理されます。

3. 対照および再構成目的関数:
   事前学習フェーズでは、識別的な表現を学習するためにマルチタスク目的関数を採用しています。

   • ビュー内再構成（Intra-view Reconstruction）: デコーダは、各ビューの潜在表現から元の入力を再構成します。
   • クロスビュー再構成（Cross-view Reconstruction）: あるビューの潜在表現を用いて他のビューの潜在表現を再構成し、一貫性を強制します。
   • 対照損失（Contrastive Loss）: インスタンスレベルの対照目的関数を用い、同一サンプルの異なるビュー間の類似性を最大化すると同時に、バッチ内の他のサンプルとの差異を際立たせます。より困難な負例を生成するために、mixupベースの戦略が使用されます。

4. ファジー・クラスタリング指向のファインチューニング:
   事前学習に続き、潜在空間を構造化するためにファインチューニング段階が行われます。時間的プーリングメカニズムがシーケンス表現を固定長ベクトルに集約します。その後、学習可能なクラスタープロトタイプに対するコサイン類似度ベースのソフトマックスを用いたファジー・クラスタリング目的関数が適用されます。この目的関数は以下の3つの項で構成されます。

   • エントロピー（Entropy）: 確信度の高いクラスター割り当てを促進します。
   • バランス（Balance）: クラスターの利用を均一にすることで、クラスターの崩壊を抑制します。
   • 分離（Separation）: クラスタープロトタイプ間の多様性を促進し、クラスター間の距離を向上させます。

主な貢献
著者らは、主に3つの貢献を特定しています。

• Mambaベースの表現学習: 長距離の時間的依存関係をモデル化しつつ線形計算複雑度を備えたMambaエンコーダを活用したディープクラスタリングフレームワークの導入であり、大規模なシーケンシャルデータに対するTransformerやRNNベースのモデルに代わる効率的な選択肢を提供します。
• マルチビュー・マスクド表現学習: 確率的なオーグメンテーションとランダムな時間的マスキングを通じて多様なビューを生成する戦略です。これにより、決定論的な拡張手法では無視されがちな不確実性に対処し、時間的摂動や欠損に対して不変な堅牢な表現を学習することを可能にします。
• クラスター指向の表現学習: 表現学習プロセスにファジー・クラスタリング目的関数を統合しました。このアプローチはソフトなクラスター割り当てを実現し、モデルが曖昧な時間的パターンを扱い、潜在空間におけるクラスターの分離性を向上させることを可能にします。

実験結果
本フレームワークは、UCR Time Series Archiveの15の単変量時系列データセットを用いて評価されました。性能は、TimeSeriesKMeans-DTW、HDBSCAN、FCACC、PG-Mamba、EMTCの5つのベースラインと比較されました。

• 性能: FMMVCCは、60の全指標評価（F1、NMI、ARI、RIの各指標にわたる）のうち29の指標で最高の全体性能を達成し、テストされたすべてのシナリオにおいて最高の平均ランク（1.85）を獲得しました。
• 堅牢性: 本モデルは、性能の変動が大きいFCACCのような他のディープラーニングベースラインと比較して、優れた安定性を示しました。
• アブレーション研究:
  • ビューの数: ビューの数（$N$）の分析により、$N=4$が表現の豊かさと計算効率の最適なトレードオフを提供することが明らかになりました。$N=8$では冗長なノイズにより性能が低下しました。
  • 損失コンポーネント: 感度分析により、分離重み（$\lambda_s$）がクラスター間の距離を効果的に高め、バランス重み（$\lambda_b$）がクラスター内の凝集性を向上させることが確認されました。
  • エンコーダの方向性: 単方向（因果的）Mambaエンコーダと双方向Mambaエンコーダの比較では、単方向構成の方が優れており、双方向のバリアントは、マスクされたビュー間で導入される時間的不整合により、ARI（-12.04%）およびNMI（-11.57%）の大幅な低下を引き起こしました。
  • スケーラビリティ: FLOPs分析により、Mambaエンコーダはシーケンス長に対して線形（$O(T)$）にスケールすることが確認されました。一方、同等のTransformerエンコーダは二次的（$O(T^2)$）な増加を示しており、長尺シーケンスに対する提案手法の効率性が検証されました。

意義と主張
本論文は、FMMVCCが、状態空間モデルの線形時間効率とマルチビュー対照学習の堅牢性を効果的に組み合わせることで、教師なし時系列クラスタリングにおける重要な進歩を象徴していると主張しています。著者らは、提案手法が、現実世界のIoT環境に共通するノイズや欠損データを扱いながら、長距離の時間的依存関係を捉えることに成功していると断言しています。ファジー・クラスタリング目的関数を統合することで、本フレームワークは、ハード・クラスタリング手法が苦慮する可能性のある曖昧な時間的パターンに対処するメカニズムを提供します。

著者らは、本フレームワークは現在、単変量シーケンスに限定されており、潜在表現の直接的な解釈性に欠けるものの、効率的でスケーラブル、かつ堅牢な時系列クラスタリングのための強力なベースラインを確立していると結論付けています。今後の課題として、変数間の相関を捉えるための多変量時系列への拡張、および学習された特徴の解説性の向上が挙げられています。