Contrast All the Time: Learning Time Series Representation from Temporal Consistency

기술 요약: CaTT (Contrast All The Time)

문제 정의
시계열(TS) 표현 학습은 다운스트림 태스크를 위해 매우 중요하지만, 대규모의 레이블이 없는 시계열 데이터는 주석(annotation) 비용이 높다는 이유로 충분히 활용되지 못하고 있습니다. 자기 지도 학습 기반의 대조 학습(self-supervised contrastive learning)은 컴퓨터 비전(CV)과 자연어 처리(NLP) 분야에서 성공을 거두었으나, 시계열 데이터에 적용할 때는 특정한 문제들에 직면합니다. 기존의 시계열 대조 학습 방법들은 데이터 증강(data augmentation)에 의존하여 유도 편향(inductive bias)을 유발하거나, 휴리스틱한 쌍 선택(예: 배치 내에서 특정 양성/음성 쌍을 선택하는 방식)에 의존하는 경우가 많습니다. 이러한 선택 전략은 종종 비효율적이며, 데이터의 전체 시간적 차원을 활용하지 못하고, 동적인 실제 스트리밍 환경에서의 확장성 문제에 부딪힙니다. 또한, 많은 접근 방식들이 인접한 타임 스텝(time step)이 자연스럽게 유사한 표현을 공유해야 한다는 내재된 시간적 일관성(temporal consistency)을 효과적으로 활용하지 못합니다.

방법론
저자들은 데이터 증강이나 복잡한 쌍 선택 휴리스틱에 의존하지 않고, 데이터의 자연스러운 시간적 구조를 활용하여 시계열 표현을 학습하도록 설계된 새로운 비지도 대조 학습 프레임워크인 **CaTT (Contrast All The Time)**를 제안합니다.

• 핵심 개념: CaTT는 기존의 방식에서 벗어나 모든 타임 스텝을 병렬로 대조합니다. 하나의 앵커(anchor)당 단일 양성 쌍을 선택하는 대신, 전체 시간적 차원을 활용하여 인접한 타임 스텝을 암시적인 양성 쌍으로 취급하고, 인접하지 않은 나머지 모든 스텝을 음성 쌍으로 취급합니다.
• MP-Xent 손실: 이 프레임워크는 다중 양성 교차 엔트로피(Multiple Positive Cross-Entropy, MP-Xent) 손실을 도입합니다. 이는 고전적인 N-pair loss (Sohn, 2020)와 NT-Xent loss (SimCLR)를 변형한 것입니다.
  • 길이가 $T$인 $N$개의 시퀀스 배치에 대해, CaTT는 NT-tuple loss를 형성합니다.
  • 참조 타임 스텝 $z_{i,t}$에 대해, 인접한 스텝($z_{i,t-1}$ 및 $z_{i,t+1}$)이 다중 양성 쌍 역할을 합니다.
  • 시퀀스의 다른 모든 스텝(참조 스텝 및 그 이웃을 제외한)은 음성 쌍 역할을 합니다.
  • 손실 함수는 단순한 슬라이싱(slicing)으로 발생할 수 있는 높은 계산 복잡도를 피하기 위해 행렬 연산을 통해 효율적으로 계산되도록 설계되었습니다.
• 아키텍처: 이 방법은 인코더 백본으로 단순한 1D 합성곱 신경망(1D CNN)을 사용합니다. 길가 $T$인 시계열 시퀀스 $x$가 입력되며, 이는 표현 공간 $z$로 투영됩니다. 훈련은 엔드 투 엔드(end-to-end)로 진행되며, 양성 쌍을 식별하기 위한 별도의 단계가 필요하지 않습니다.
• 전처리: 특정 데이터셋(예: 의료 신호)의 경우, 저자들은 시간적으로 의존적인 인스턴스를 생성하기 위해 서브 윈도우(sub-windows)에 단시간 푸리에 변환(STFT)을 적용하여, 연속적인 인스턴스가 유사한 특성을 공유한다는 가정이 성립하도록 합니다.

주요 기여

1. CaTT 프레임워크: 외부의 쌍 선택 휴리스틱 없이 NT-pair 공식을 사용하여 학습 과정에 양성 쌍 선택을 직접 통합한 새로운 비지도 대조 학습 프레임워크입니다.
2. MP-Xent 손실: 정규화된 온도 스케일 교차 엔트로피(normalized temperature-scaled cross-entropy) 목적 함수에 다중 양성 쌍(인접 타임 스텝)을 도입하기 위해 N-pair loss를 변형했습니다. 이 수정은 업데이트당 더 많은 쌍을 고려함으로써 학습을 가속화하고 수렴을 개선합니다.
3. 광범ening한 평가: 저자들은 네 가지 서로 다른 다운스트림 태스크에 걸쳐 16개의 공개 데이터셋을 대상으로 실험을 수행했습니다:
   • 선형 미세 조정 분류 (frozen backbone).
   • 준지도 학습(Semi-supervised) 분류.
   • 시계열 예측 (단기 및 장기).
   • 이상 탐지(Anomaly detection).

결과
논문은 CaTT가 모든 평가된 태스크에서 최신 베이스라인(TS2Vec, InfoTS, CoST, SimMTM, MF-CLR 포함)보다 우수한 임베딩을 생성한다고 보고합니다:

• 분류(Classification): HARTH, SLEEPEEG, ECG 데이터셋에서 CaTT는 가장 높은 정확도, F1 점수, 정밀도 및 재현율을 달적으로 달성했습니다. 특히, HARTH 데이터셋에서 MF-CLR(2322.75초) 대비 현저히 낮은 훈련 시간(6.12초)으로 이러한 결과를 얻었습니다.
• 준지도 학습(Semi-Supervised Learning): CaTT는 제한된 레이블 데이터(5%, 10%, 20%) 환경에서도 견고함을 보였으며, 정확도 면에서 일관되게 베이스라인을 능가했습니다.
• 예측(Forecasting): ETT 및 Weather 데이터셋에서 CaTT는 경쟁력 있는 MSE 및 MAE 결과를 제공했으며, 종종 MF-CLR 및 CoST와 같은 특화된 예측 모델과 대등하거나 이를 능가하는 성능을 보이면서도 우수한 사전 훈련 효율성을 유지했습니다.
• 이상 탐지(Anomaly Detection): TSB-AD 벤치마크에서 CaTT는 탐지 지표(VUS-PR)에서 경쟁력 있는 성능을 보여주었으며, 테스트된 방법 중 가장 빨랐습니다.
• 효율성: 주요 발견 중 하나는 CaTT가 기존의 대조 학습 방식보다 훨씬 빠르게 훈련된다는 것이며, 이는 대규모 애플리케이션에 적합합니다.

의의 및 주장
이 논문은 CaTT가 대조 학습에서 시간적 일관성을 활용하는 방식의 변화를 나타낸다고 주장합니다. 데이터 증강과 선택적 쌍 샘플링에서 벗어나 "항상 모든 것을 대조하는(contrast all the time)" 접근 방식으로 전환함으로써, 방법론은 시계열 데이터의 자연스러운 구조로부터 직접 학습합니다. 저자들은 다음과 같이 주장합니다:

• 다중 양성 쌍(인접 타임 스텝)을 NT-tuple loss 내에 사용하는 것이 의미 있는 표현을 학습하고 훈련 안정성을 확보하는 데 결정적입니다 (단일 양성 접근 방식은 종-종 NaN 손실을 초래했습니다).
• 이 접근 방식은 매우 효율적이며, 추론 속도와 확장성이 중요한 실제 동적인 시계열 애플리케즘에 매우 적합한 높은 성능과 낮은 계산 비용 사이의 균형을 제공합니다.
• 이 방법은 태스크별 아키텍처 변경 없이 분류, 예측 및 이상 탐지 태스크 전반에서 효과적으로 작동하는 다재다능함을 갖추고 있습니다.

해당 방법의 소스 코드는 공개되어 있어 재현성과 추가 연구를 용이하게 합니다.