ChronosAD: Leveraging Time Series Foundation Models for Accurate Anomaly Detection

기술 요약: ChronosAD

문제 정의

시계열 이상 탐지는 금융, 의료, 산업 등 다양한 도메인에서 매우 중요하지만, 기존 방법론들은 일반화 측면에서 상당한 어려움에 직면해 있습니다. 현재의 접근 방식은 특정 도메인에 맞춰 설계되는 경우가 많으며, 수작업으로 설계된 특징(feature)이나 도메인 특화된 휴리스틱에 의존하기 때문에 확장성이 제한됩니다. 또한, 시계열 파운데이션 모델(foundation models)이 등장했음에도 불구하고, 이들은 이상 탐지 작업을 위해 다음과 같은 두 가지 주요 한계를 가집니다:

1. 단변량 중심(Univariate Focus): 대부분의 파운데이션 모델은 단변량 설정에 맞춰 설계되어, 복잡한 다변량 시스템에 필수적인 변수 간 관계(cross-channel/inter-variable relationships)를 명시적으로 모델링하지 못합니다.
2. 예측 편향(Forecasting Bias): 이 모델들은 주로 신호 예측(forecasting)에 최적화되어 있어, 이상 탐지라는 별도의 작업이 요구되는 까다로운 환경에서는 성능이 제한될 수 있습니다.

결과적으로, 최소한의 태스크 특화 튜닝만으로도 파운데이션 모델의 일반화된 표현력을 활용하면서 다변량 이상 탐지의 특정 요구사항을 해결할 수 있는 아키텍처가 필요합니다.

방법론: ChronosAD

본 논문은 시계열 파운데이션 모델을 제로샷 특징 추출기(zero-shot feature extractor)로 사용하고, 그 뒤에 커스텀 정제 모듈(refinement module)을 배치하는 새로운 2단계 아키텍처인 ChronosAD를 제안합니다.

1. 문제 공식화

입력은 $X \in \mathbb{R}^{C \times L_{total}}$인 다변량 시계열이며, 여기서 $C$는 채널 수, $L_{total}$은 전체 길이입니다. 시계열은 길이가 $l$인 겹치지 않는 윈도우로 분할됩니다. 목표는 스코어링 함수 $f$를 기반으로 각 세그먼트를 정상(0) 또는 이상(1)으로 분류하는 것입니다.

2. 2단계 파이프라인

1단계: 제로샷 특징 추출 (Chronos 인코더)

• 모델은 사전 학습된 시계열 파운데이션 모델인 Chronos [10]를 동결된(frozen) 인코더로 사용합니다.
• 다변량 입력의 각 단변량 채널은 Chronos 인코더를 통해 독립적으로 처리되어 고정된 차원의 임베딩 벡터($E_c$)를 생성합니다.
• 스케일링 인자(Scaling Factor): Chronos는 컨텍스트 윈도우 내 절대값의 평균(어텐션 마스크에 의해 가중치 적용)으로 계산되는 스케일링 인자 $s$를 제공합니다. 이는 데이터의 자연스러운 규모를 포착하여, 다양한 크기를 가진 데이터셋 간의 일반화를 돕습니다.
• 전처리: 두 번째 단계로 들어가기 전, 임베딩은 크기를 표준화하기 위한 L2 정규화(L2 normalization)와 안정적인 그래디언트 흐름을 보장하고 기울기 소실을 방지하기 위한 SeLU 활성화 함수를 거칩니다.

2단계: 시간적 정제 (Temporal Block)

• 커스텀 Temporal Block은 정규화된 임베딩을 처리하여 시간적 의존성과 채널 간 상호작용을 포착합니다.
• BiLSTM: 시퀀스는 양방향 LSTM(Bidirectional Long Short-Term Memory) 네트워크를 통해 처리되어 순방향 및 역방향 시간적 특징($h_c$)을 인코딩합니다.
• 멀티 헤드 어텐션(Multi-Head Attention): BiLSTM 출력은 멀티 헤드 어텐션 메커니즘을 통해 정제됩니다. 쿼리($Q$), 키($K$), 값($V$)은 은닉 상태로부터 유도되어 어텐션 가중치를 계산하며, 이를 통해 핵심적인 패턴을 강조합니다.
• 집계(Aggregation): 어텐션 출력은 차원을 축소하기 위해 평균 및 합산된 후, 선형 레이어(Linear Layer)를 통과하여 정제된 임베딩($e_c$)을 생성합니다.
• 융합(Fusion): 스케일링 인자 $s$가 정제된 임베딩에 결합됩니다. 마지막으로 $C$개 모든 채널의 임베딩이 특징 차원을 따라 결합되어 완전 연결 네트워크(FCN)를 통과하여 최종 이상 점수를 생성합니다.

학습: 모델은 가중치가 적용된 이진 교차 엔트로피(Weighted Binary Cross-Entropy, WBCE) 손실 함수를 사용하여 지도 학습(supervised setting) 방식으로 훈련됩니다.

주요 기여

1. 새로운 아키텍처: ChronosAD는 시계열 파운데이션 모델(Chronos)을 예측 엔진이 아닌 제로샷 특징 추출기로 활용하여, 이를 효과적으로 이상 탐지에 적응시키는 2단계 파이프라인을 도입했습니다.
2. 다변량 적응: 표준 단변량 파운데이션 모델과 달리, ChronosAD는 채널 융합을 포함한 멀리 패스(multi-path) 아키텍처를 사용하여 시간적 역동성과 함께 채널 간 상호작용을 명시적으로 모델링합니다.
3. 커스텀 Temporal Block: BiLSTM과 멀티 헤드 어텐션의 통합을 통해 파운데이션 모델의 임베딩을 정제함으로써, 양방향 시간적 의존성과 이상 탐지에 특화된 핵심 패턴을 모두 포착합니다.
4. 최소한의 튜닝: 이 접근 방식은 파운데이션 모델의 사전 학습된 지식을 활용하여 강력한 일반화 성능을 유지하면서도 태스크 특화 튜닝을 최소화합니다.

실험 결과

저자들은 UCR Archive 데이터셋, 실제 산업(CWRU), 의료(MIT-BIH), 사이버 물리 시스템(SWaT)을 포함한 11개의 다양한 벤치마크에서 ChronosAD를 평가했습니다. 모델은 11개의 최신 기법(예: AnoGAN, Deep-SVDD, USAD, KalmanAE)과 비교되었습니다.

• 성능: ChronosAD는 기존 방법들보다 평균 4.72% 높은 AUC와 6.60% 높은 AP를 기록하며 성능을 앞질렀습니다.
• 주요 성과:
  • TwoPatterns, FordA, CWRU와 같은 데이터셋에서 완벽에 가까운 혹은 완벽한 점수(AUC $\approx$ 100%)를 달려냈습니다.
  • SWaT와 같은 까다로운 다변량 데이터셋과 MIT-BIH와 같은 의료 데이터에서도 견고함을 입증했습니다.
• 절제 연구(Ablation Study):
  • Chronos 인코더가 가장 핵심적인 구성 요소로 확인되었습니다. 이를 제거했을 때 성능이 크게 하락했습니다(AUC $\downarrow$ 18.34%).
  • L2 정규화와 어텐션 메커니즘 또한 중요했으며, 이를 제거했을 때 눈에 띄는 성능 저하가 발생했습니다.
  • 기타 구성 요소(SeLU, BiLSTM, 스케일링 인자)는 안정성과 정확도 측면에서 점진적이지만 측정 가능한 개선을 제공했습니다.
• 잠재 공간 분석(Latent Space Analysis): t-SNE 시각화를 통해 모델이 정상 데이터와 이상 데이터를 별개의 클러스터로 성공적으로 분리하며, 복잡한 데이터셋에서도 명확한 매니폴드(manifold)를 형성함을 보여주었습니다.

의의 및 주장

본 논문은 ChronosAD를 시계열 파운데이션 모델을 다운스트림 이상 탐지 작업에 적응시키는 데 있어 유효성을 입증하는 **예비 연구(preliminary study)**로 규정합니다.

• 파운데이션 모델의 검증: 결과는 적절한 정제 레이어가 결합될 경우, 파운데이션 모델이 다양한 도메인(산업, 의료, 자동차, 사이버 물리 시스템)에서 강력하고 일반화 가능한 특징 추출기로서 기능할 수 있음을 입증합니다.
• 지도 학습 맥락: 저자들은 초기 평가를 용이하게 하기 위해 이 작업을 지도 학습 환경 내에서 명시적으로 프레임화했습니다. 그들은 이상 탐지가 전통적으로 비지도 학습(unsupervised) 영역임을 인정하며, 라벨링된 데이터 확보가 어렵지만 디지털 트윈과 같은 신기술을 통해 데이터 획득이 점점 더 용이해지고 있다고 언급했습니다.
• 향후 경로: 저자들은 이러한 결과가 자신들의 접근 방식이 "더 엄격한 미래 조사를 위한 실행 가능한 경로"임을 입증하는 데 기여한다고 밝히며, 특히 향후 연구가 지배적인 비지도 학습 베이스라인들과 직접 비교할 수 있도록 비지도 학습 환경으로 확장하는 데 집중할 것임을 시사했습니다.

결론적으로, ChronosAD는 현재의 도메인 특화 휴리스틱에 대한 강력한 대안을 제시하며, 비지도 이상 탐지를 위한 파운데션 모델 연구의 길을 열어줍니다.