Weighted Contrastive Learning for Anomaly-Aware Time-Series Forecasting

기술 요약: 가중치 기반 대조 학습을 이용한 이상 감지 인지 시계열 예측

문제 정의
심층 시계열 예측 모델은 정체되어 있고 일상적인 데이터에서는 높은 정확도를 달가히 달성하지만, 이상 현상(예: 위기, 장애 또는 갑작스러운 수요 급증)으로 인해 데이터 분포가 급격히 변화하는 운영 환경에서는 빈번하게 실패합니다. ATM 현금 물류와 같은 핵심 애플리케이션에서 이러한 실패는 서비스 중단이나 자본 비효율성으로 이어집니다. 핵심 과제는 **안정성-민감도 트레이드오프(stability–sensitivity trade-off)**로 식별됩니다. 즉, 모델은 일상적인 변동에는 정확성을 유지하면서(안정성), 궤적을 변화시키는 실제 이상 현상에는 올바르게 반응(민감도)할 수 있어야 합니다.

표준적인 접근 방식들은 이를 해결하는 데 어려움을 겪습니다:

• **미세 조정(Fine-tuning)**은 이상 현상이 증강된 데이터로 수행될 때, 모델이 이상 데이터에 대한 성능은 회복하지만 정상 데이터에 대한 성능은 크게 저하시키는 파괴적 망각(catastrophic forgetting) 현상을 초래합니다.
• **표준 대조 학습(Standard Contrastive Learning)**은 정상 샘플과 증강된 샘플을 정렬하여 강건한 표현을 학습합니다. 그러나 정상 샘플과 이상 증강 샘플 사이에 엄격한 정렬을 강제하면, 분포 변화 시 정확한 예측에 필요한 바로 그 이상 신호까지 억제할 수 있습니다.

방법론: 가중치 기반 대조 이상 감지 인지 적응 (WECA)
저자들은 일상적인 변동에는 불변(invariant)하면서도 유의미한 이상 현상에는 민감한 표현을 학습하도록 설계된 학습 목적 함수인 WECA를 제안합니다. 이 방법은 표준 인코더-디코더 예측 프레임워크($g_\phi$ 및 $h_\psi$) 내에서 작동하며, 학습 목적 함수에 가중치 기반 대조 손실을 도입합니다.

1. 가중치 기반 정렬 (Weighted Alignment): 원래의 입력 $x_i$와 그 이상 증강된 대응물 $\tilde{x}_i$ 사이에 완전한 불변성을 강제하는 대신, WECA는 섭동(perturbation)의 심각도에 따라 대조 정렬을 스케일링합니다.
   • 경미한 변동: 높은 유사도 가중치($w_{(i,t)} \approx 1$)를 할당하여 안정성을 보장하기 위한 강력한 정렬을 강제합니다.
   • 심각한 이상 현상: 감소된 가중치($w_{(i,t)} < 1$)를 할당하여 표현이 분리될 수 있도록 허용합니다. 이는 변화된 궤적을 정확하게 예측하는 데 필요한 분포적 신호를 보존합니다.
2. 손실 함수: 방법론은 $\ell_{WECA}$에 의해 스케일링되는 InfoNCE 스타일의 목적 함수를 활용합니다. 전체 학습 목적 함수는 하이퍼파라미터 $\lambda$에 의해 제어되는 표준 예측 손실(MAE)과 가중치 기반 대조 항의 결합입니다.
3. 이상 현상 주입 (Anomaly Injection): 모델은 진폭, 지속 시간, 감쇄(decay)로 매개변수화된 합성 이상 현상을 사용하여 증강된 데이터셋으로 학습되며, 이는 역사적 고영향 사건(예: 수요 급증/급락)을 재현하도록 보정되었습니다.

주요 기여

1. 정형화: 본 논문은 이상 감지 인지 예측을 이중 목적 함수, 즉 일상적인 변동에는 불변하면서 이상 현상에는 민한 표현을 학습하는 것으로 정형화했습니다.
2. 알고리즘 혁신: 구조적 변경 없이도 튜닝 가능한 불변성-민감도 트레이드오프를 가능하게 하는 가중치 기반 대조 손실을 도입했습니다.
3. 실증적 검증: 이 접근 방식이 정상 운영 중의 성능 저하 없이 실제 현금 수요 데이터의 분포 변화 상황에서 정확도를 개선함을 입증했습니다.

실험 결과
해당 방법은 약 1,300개 지점, 2개년의 전국 단위 ATM 거래 데이터셋을 대상으로 평가되었습니다. 백본 모델로는 TimesNet이 사용되었습니다.

• 베이스라인: WECA를 다음 모델들과 비교했습니다:
  • NT (정상 학습 모델): 정상 데이터로만 학습됨.
  • FT (미세 조정 모델): 이상 증강 데이터로 적응됨.
  • CL-IL (표준 대조 학습): 균일한 가중치($w=1$)를 사용하는 인스턴스 수준 대조 학습.
• 성능 지표 (SMAPE):
  • 미세 조정 (FT): 이상 영향을 받은 데이터(AD)의 성능은 7.22포인트 개선되었으나, 정상 데이터(ND) 성능은 2.77포인트 저하되어 파괴적 망각을 확인했습니다.
  • 표준 대조 학습 (CL-IL): AD 성능을 4.82포인트 개선했으나, ND에 미치는 영향은 미미했습니다(-0.11포인트).
  • WECA: 최적의 균형을 달お성했습니다. AD 성능을 6.13 퍼센티지 포인트 개선(SMAPE를 37.91%에서 31.78%로 감소)하는 동시에, ND 정확도는 거의 변화가 없었습니다(SMAPE 변화량 단 0.03 퍼센티지 포인트).
• 대조 축 분석 (Contrastive Axis Analysis): 저자들은 인스턴스 수준(Instance-level) 대조 학습(전체 시퀀스를 정렬)이 시간적(Temporal) 대조 학습(개별 타임스텝을 정렬)보다 이 작업에 더 강력한 귀납적 편향을 제공한다는 것을 발견했습니다. 후자는 급격한 이상 현상의 시작 부분을 과도하게 평활화(over-smoothing)할 위험이 있기 때문입니다.

의의 및 주장
본 논문은 WECA가 학습 단계에서 안정성-민감도 트레이드오프를 해결함으로써, 배포 후 적응이나 구조적 수정의 필요성을 제거한다고 주장합니다. 결과는 이상 강건성이 정상 구간의 신뢰성과 맞교환될 필요가 없음을 시사합니다. 섭동의 심각도에 따라 대조 정렬에 가중치를 부여함으로써, 모델은 노이즈는 무시하면서도 실제 분포 변화에 반응할 수 있는 능력을 유지하는 법을 배웁니다. 이는 예측 오류가 직접적으로 운영 실패나 자본 비효율성으로 직결되는 산업 현장 배포에 있어 매우 중요합니다.

한계점
저자들은 사용된 이상 현상 주입이 관찰된 배포 실패로부터 추출된 것이 아니라 역사적 사건에 맞춰 보정된 합성 데이터라는 점을 언급했습니다. 향-후 연구로는 실제 세계의 이상 현상(예: 점진적 드리프트, 센서 고장)에 대해 방법을 검증하고, 학습되거나 작업 적응형 가중치 체계를 탐색하는 것이 제안되었습니다.