Benchmarking M-LTSF: Frequency and Noise-Based Evaluation of Multivariate Long Time Series Forecasting Models

1. 문제 정의 (Problem)

다변량 장기 시계열 예측 (M-LTSF, Multivariate Long Time Series Forecasting) 을 위한 딥러닝 모델의 강건성 (Robustness) 을 이해하는 것은 여전히 어려운 과제입니다. 기존 연구들은 주로 실제 세계의 데이터셋을 기반으로 평가하는데, 이러한 데이터셋은 다음과 같은 한계를 가집니다.

• 알 수 없는 노이즈 특성: 실제 데이터는 신호 성분, 노이즈 유형, 신호 대 노이즈 비 (SNR) 등이 혼합되어 있어 특정 모델의 동작을 분리하여 분석하기 어렵습니다.
• 과적합 위험: MSE(평균 제곱 오차) 와 같은 지표만으로는 모델이 실제 신호를 학습했는지, 아니면 노이즈에 과적합 (Overfitting) 했는지 구분하기 어렵습니다.
• 주파수 및 노이즈에 대한 체계적 분석 부재: 다양한 주파수 대역, 노이즈 유형 (백색, 브라운, 충격 등), SNR 변화에 따른 모델 성능의 체계적인 저하 경향을 파악하는 데 한계가 있습니다.

2. 방법론 (Methodology)

이 논문은 실제 데이터의 모호성을 제거하고 통제된 환경에서 모델을 평가하기 위해 파라미터화 가능한 합성 데이터셋 생성 프레임워크를 제안합니다.

가. 합성 데이터 생성 프레임워크

• 계층적 구성 요소: 시계열 데이터는 신호 (Signal) 와 노이즈 (Noise) 구성 요소로 나뉘며, 각 요소는 사전에 정의된 패턴으로 생성됩니다.
  • 신호 구성 요소: 추세 (Trend, 다항식 함수), 계절성 (Seasonality, 정현파, 매끄러운 톱니파, 매끄러운 사각파).
  • 노이즈 구성 요소:
    • 신호 무관: 백색 노이즈 (White), 브라운 노이즈 (Brownian/Red), 충격 노이즈 (Impulse).
    • 신호 의존: 추세 노이즈 (Trend noise), 계절성 노이즈 (Seasonal noise).
• 통제 변수: 신호 대 노이즈 비 (SNR), 주파수 대역 (Very Low ~ Very High), 다변량 간 상관관계를 정밀하게 제어할 수 있습니다.
• 평가 방식: 모델은 노이즈가 포함된 데이터로 학습하지만, 노이즈가 제거된 순수 신호에 대해 평가됩니다. 이를 통해 모델이 실제 신호 구조를 학습했는지, 아니면 노이즈 패턴을 학습했는지를 명확히 구분합니다.

나. 평가 대상 모델

네 가지 대표적인 M-LTSF 아키텍처를 비교 평가했습니다.

1. S-Mamba: 상태 공간 모델 (State-Space Model) 기반, 선택적 상태 전이 메커니즘.
2. iTransformer: 어텐션 (Attention) 기반, 변수 (Variates) 간 상관관계 모델링에 특화.
3. R-Linear: 선형 (Linear) 기반, 채널 독립적 (Channel Independent) 접근.
4. Autoformer: 분해 (Decomposition) 기반, 추세와 계절성 분리.

다. 실험 설계

• 데이터 규모: 4 년치 (35,040 샘플), 800 개의 변수 (Variates).
• 설정: Lookback Horizon(T) = 96, Forecast Horizon(H) = 96.
• 변수 공간: 3 가지 신호 유형, 7 가지 주파수 대역, 5 가지 노이즈 유형, 5 가지 SNR 수준을 조합한 완전 계승 설계 (Full Factorial Design) 를 수행했습니다.

3. 주요 기여 (Key Contributions)

1. 파라미터화 가능한 합성 데이터셋 프레임워크 개발: 신호 특성, 노이즈 유형, SNR 을 정밀하게 제어하여 모델 성능을 체계적으로 평가할 수 있는 재현 가능한 벤치마크를 제공했습니다.
2. 모델 선택 가이드라인 제시: 데이터의 신호 및 노이즈 특성에 따라 최적의 모델을 선택할 수 있는 실용적인 지침을 마련했습니다.
3. 모델 행동 특성 규명: 다양한 신호 패턴과 노이즈 조건 하에서 아키텍처별 선호도와 취약점을 체계적으로 분석했습니다.
4. 오픈소스 공개: 전체 프레임워크 및 실험 코드를 공개하여 연구의 투명성과 재현성을 보장했습니다.

4. 주요 결과 (Key Results)

가. 주파수 및 신호 유형에 따른 성능

• 주기성 포착의 중요성: Lookback 윈도우가 신호의 전체 계절성 주기를 포착하지 못할 때 (낮은 주파수 대역), 모든 모델의 성능이 급격히 저하됩니다 (평균 MSE 약 0.575 증가).
• 모델별 선호도:
  • S-Mamba & Autoformer: 톱니파 (Sawtooth) 패턴에서 가장 우수한 성능을 보였습니다. (S-Mamba 는 시간 가변 상태 공간 표현이 급격한 전이를 잘 처리함, Autoformer 는 분해 메커니즘이 톱니파를 잘 분리함).
  • R-Linear & iTransformer: 정현파 (Sinusoidal) 신호에서 상대적으로 더 나은 성능을 보였습니다.
• 주파수 대역: Lookback 윈도우 (96) 가 주기를 충분히 포착할 수 있는 높은 주파수 대역에서는 모델 간 성능 차이가 크지 않았습니다.

나. 노이즈 강건성 (Noise Robustness)

• SNR 영향: SNR 이 낮아질수록 (노이즈 증가) 모든 모델의 성능이 저하되지만, 특히 **브라운 노이즈 (Brownian noise)**와 SNR=1 조건에서 저하가 가장 심각했습니다.
• 모델별 취약점:
  • S-Mamba: **추세 노이즈 (Trend noise)**에 매우 민감합니다.
  • iTransformer: **계절성 노이즈 (Seasonal noise)**와 충격 노이즈에 더 취약합니다.
  • R-Linear: 다변량 (800 개) 환경에서 복잡한 종속성을 포착하는 표현력이 부족하여 성능이 포화 상태에 도달했습니다.
  • Autoformer: 하이퍼파라미터 (분해 윈도우 크기) 에 민감하여 성능 변동성이 크지만, 톱니파 패턴에서는 백색 노이즈에 강건했습니다.
• 지속성: 무노이즈 조건에서 관찰된 모델별 신호 유형 선호도 (예: iTransformer 의 정현파 선호) 는 노이즈가 있는 조건에서도 유지되었습니다.

다. 스펙트럼 분석 (Spectral Analysis)

• 스펙트럼 재구성 능력: S-Mamba와 iTransformer가 깨끗한 조건에서 가장 우수한 주파수 재구성 능력을 보였습니다.
• 보편적 한계: 모든 모델이 이상적인 조건 (SNR=∞) 에서도 완벽한 스펙트럼 표현을 학습하지 못했으며, 이는 경사 하강법이 국소 최소값에 수렴하여 인위적인 주파수 성분을 생성하기 때문으로 분석되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모델 선택의 과학적 근거: 단순한 벤치마크 점수가 아닌, 데이터의 **신호 특성 (파형, 주파수)**과 노이즈 환경을 고려한 모델 선택이 필요함을 강조합니다.
  • 간단한 시나리오: R-Linear (빠른 추론).
  • 고주파 톱니파 패턴: Autoformer.
  • 복잡한 다변량 및 다양한 노이즈: S-Mamba 또는 iTransformer (각각의 노이즈 민감도에 따라 선택).
• 연구 방향 제시: 현재 딥러닝 기반 시계열 예측 모델들이 스펙트럼 표현 학습에 근본적인 어려움을 겪고 있음을 지적하며, 주파수 도메인에서의 최적화 개선이 향후 연구의 중요한 방향임을 시사합니다.
• 평가 패러다임 전환: 실제 데이터의 불확실성을 제거한 통제된 합성 데이터 평가를 통해 모델의 본질적인 강점과 약점을 파악할 수 있는 새로운 평가 기준을 제시했습니다.

이 논문은 M-LTSF 모델의 성능을 평가할 때 단순한 오차율뿐만 아니라, 주파수 응답, 노이즈 유형, 신호 구조를 종합적으로 고려해야 함을 입증했습니다.