FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series

기술 요약: FMMVCC – 단변량 시계열을 위한 퍼지 마마(Mamba) 기반 다중 뷰 대조 클러스터링

문제 정의
IoT 기기와 센서 네트워크의 확산은 의료, 산업 시스템, 스마트 시티와 같은 다양한 영역에서 방대한 양의 단변량 시계열 데이터를 생성했습니다. 그러나 이러한 환경에서 레이블이 있는 데이터를 확보하는 것은 비용이 많이 들거나 불가능한 경우가 많아, 비지도 학습 접근 방식이 필수적입니다. 시계열 클러스터링은 데이터를 의미 있는 그룹으로 조직하는 데 매우 중요하지만, 기존의 딥 클러스트링 방법들은 상당한 한계에 직면해 있습니다. 전통적인 방법들(예: DTW를 결합한 K-means)은 복잡하고 고차원적인 시간적 역동성을 처리하는 데 어려움을 겪습니다. 트랜스포머(Transformer)에 기반한 딥러닝 접근 방식은 시퀀스 길이에 따라 이차적인 계산 복잡도를 갖는 경우가 많아, 대규모 또는 장기 시퀀스 데이터에 대해 비효율적입니다. 또한, 현재의 많은 방법들은 높은 계산 비용을 발생시키지 않으면서 누락된 데이터를 견고하게 처리하거나 장기 의존성을 효율적으로 포착하는 데 실패합니다.

방법론
본 논문은 세 가지 핵심 구성 요소를 통해 이러한 과제를 해결하기 위해 설계된 딥 클러스터링 프레임워크인 FMMVCC(Fuzzy Mamba-based Multi-View Contrastive Clustering)를 제안합니다.

1. 마마(Mamba) 기반 표현 학습:
   프레임워크는 선택적 상태 공간 모델(SSM)을 사용하는 마마 인코더를 활용합니다. 마마는 RNN이나 트랜스포머와 달리, 장기 시간 의존성을 모델링할 수 있는 능력을 유지하면서 선형 시간 복잡도($O(T)$)로 시퀀스를 처리합니다. 이 아키텍처는 어텐션 메커니즘과 관련된 계산 병목 현상 없이 긴 시계열을 효율적으로 처리할 수 있게 해줍니다.

2. 다중 뷰 마스크 표현 학습:
   노이즈 및 센서 데이터 누락에 대한 견고성을 높이기 위해, 본 방법은 확률적 시간 증강(지터링, 스케일링, 순열)과 시간적 마스킹을 통해 각 시계열의 다중 뷰를 생성합니다. 마스킹 전략은 구조적(연속적인 세그먼트) 및 비구조적(흩어진 지점) 드롭을 결합하여 현실적인 결측 패턴을 시뮬레이션합니다. 이러한 뷰들은 각각 전용 인코더에 의해 독립적으로 처리됩니다.

3. 대조 및 재구성 목적 함수:
   사전 훈련 단계에서는 판별적인 표현을 학습하기 위해 다중 작업 목적 함수를 사용합니다.

• 뷰 내 재구성(Intra-view Reconstruction): 디코더는 각 뷰의 잠재 표현으로부터 원래의 입력을 재구성합니다.
• 교차 뷰 재구성(Cross-view Reconstruction): 한 뷰의 잠 잠재 표현이 다른 뷰의 잠재 표현을 재구성하는 데 사용되어 일관성을 강제합니다.
• 대조 손실(Contrastive Loss): 인스턴스 수준의 대조 목적 함수는 동일한 샘플의 서로 다른 뷰 간의 유사성을 최대화하는 동시에, 배치 내의 다른 샘플들과는 대조합니다. 더 어려운 부정 샘례(negative samples)를 생성하기 위해 믹스업(mixup) 기반 전략이 사용됩니다.

4. 퍼지 클러스터링 지향 미세 조정(Finetuning):
   사전 훈련 후, 모델은 잠재 공간을 구조화하기 위해 미세 조정 단계를 거칩니다. 시간적 풀링 메커니즘은 시퀀스 표현을 고정 길이 벡터로 집계합니다. 그 후, 학습 가능한 클러스터 프로토타입에 대한 코사인 유사도 기반 소프트맥스를 사용하여 퍼지 클러스터링 목적 함수가 적용됩니다. 이 목적 함수는 다음 세 가지 항으로 구성됩니다:

• 엔트로피(Entropy): 확신 있는 클러스터 할당을 장려합니다.
• 균형(Balance): 클러스터가 균일하게 활용되도록 보장하여 클러스터 붕괴를 완화합니다.
• 분리(Separation): 클러스터 간 거리를 개선하기 위해 프로토타입 간의 다양성을 촉진합니다.

주요 기여
저자들은 세 가지 주요 기여를 식별했습니다:

• 마마 기반 표현 학습: 대규모 시계열 데이터에 대해 트랜스포머 및 RNN 기반 모델의 효율적인 대안을 제공하며, 선형 계산 복잡도로 장기 의존성을 모델링하는 마마 인코더를 활용한 딥 클러스터링 프레임워크를 도입했습니다.
• 다중 뷰 마스크 표현 학습: 확률적 증강과 무작위 시간 마스킹을 통해 다양한 뷰를 생성하는 전략입니다. 이를 통해 모델은 결정론적 증강 방법에서 무시되기 쉬운 불확실성을 해결하고, 시간적 섭동 및 누락된 데이터에 불변하는 견고한 표현을 학습할 수 있습니다.
• 클러스터 지향 표현 학습: 표현 학습 과정에 퍼지 클러스터링 목적 함수를 통합했습니다. 이 접근 방식은 부드러운(soft) 클러스터 할당을 생성하여, 모델이 모호한 시간적 패턴을 처리하고 잠재 공간에서의 클러스터 분리도를 높일 수 있도록 합니다.

실험 결과
프레임워크는 UCR 시계열 아카이브의 15개 단변량 시계열 데이터셋에 대해 평가되었습니다. 성능은 다섯 가지 베이스라인(TimeSeriesKMeans-DTW, HDBSCAN, FCACC, PG-Mamba, EMTC)과 비교되었습니다.

• 성능: FMMVCC는 총 60개 지표 평가(F1, NMI, ARI, RI 지표 전체) 중 29개에서 최고의 전체 성능을 달성했으며, 모든 테스트 시나리오에서 가장 높은 평균 순위(1.85)를 기록했습니다.
• 견고성: 모델은 높은 변동성을 보인 FCACC와 같은 다른 딥러닝 베이스라인에 비해 우수한 안정성을 입증했습니다.
• 절제 연구(Ablation Studies):
  • 뷰의 수: 뷰의 수($N$)에 대한 분석 결과, $N=4$가 표현의 풍부함과 계산 효율성 사이의 최적의 절충안을 제공하며, $N=8$에서는 중복된 노이즈로 인해 성능이 저하됨을 밝혔습니다.
  • 손실 구성 요소: 민감도 분석을 통해 분리 가중치($\lambda_s$)가 클러스터 간 거리를 효과적으로 향상시키고, 균형 가중치($\lambda_b$)가 클러스터 내 응집도를 개선함을 확인했습니다.
  • 인코더 방향성: 단방향과 양방향 마마 인코더의 비교 결과, 단방향(인과적) 구성이 더 우수했습니다. 양방향 변형은 마스크된 뷰 전반에 걸쳐 발생하는 시간적 불일치로 인해 ARI(-12.04%)와 NMI(-11.57%)에서 상당한 하락을 초래했습니다.
  • 확장성: FLOPs 분석을 통해 마마 인코더가 시퀀스 길이에 따라 선형적으로($O(T)$) 확장되는 반면, 유사한 트랜스포머 인코더는 이차적으로($O(T^2)$) 성장함을 확인하여 긴 시퀀스에 대한 제안된 방식의 효율성을 검증했습니다.

의의 및 주장
본 논문은 FMMVCC가 상태 공간 모델의 선형 시간 효율성과 다중 뷰 대조 학습의 견고함을 효과적으로 결합함으로써 비지도 시계열 클러스터링 분야에서 중요한 진전을 이루었다고 주장합니다. 저자들은 이 접근 방식이 실세계 IoT 환경에서 흔히 발생하는 노이즈와 데이터 누락을 처리하면서 장기 시간 의존성을 성공적으로 포착한다고 단언합니다. 퍼지 클러스터링 목적 함수를 통합함으로써, 프레임워크는 하드 클러스터링 방식이 어려움을 겪을 수 있는 모호한 시간적 패턴을 다룰 수 있는 메커니즘을 제공합니다.

저자들은 본 프레임워크가 현재 단변량 시퀀스에 국한되어 있고 잠재 표현의 직접적인 해석력이 부족하다는 점을 인정하면서도, 효율적이고 확장 가능하며 견고한 시계열 클러스터링을 위한 강력한 기준점을 구축했다고 결론짓습니다. 향-후 연구로는 변수 간 상관관관계를 포착하기 위해 프레임워크를 다변량 시계열로 확장하고, 학습된 특징의 설명력을 높이는 것이 제시되었습니다.