StaTS: Spectral Trajectory Schedule Learning for Adaptive Time Series Forecasting with Frequency Guided Denoiser

이 논문은 고정된 노이즈 스케줄의 한계를 극복하고 구조적 보존을 강화하기 위해 노이즈 스케줄과 디노이저를 교차 학습하며 주파수 기반 정제 메커니즘을 도입한 확률적 시계열 예측 모델 'StaTS'를 제안합니다.

핵심

🌧️ 비유: "안개 속을 걷는 여행"

미래를 예측한다는 것은 안개가 자욱한 산길을 걷는 것과 비슷합니다.

• 현재 (오늘의 데이터): 우리가 서 있는 곳입니다.
• 미래 (예측할 데이터): 안개 때문에 잘 보이지 않는 산 정상입니다.
• 확률적 예측: "정상이 여기일 수도 있고, 저기일 수도 있어"라고 여러 가지 길을 제시하는 것입니다.

기존의 AI 모델들은 이 안개를 걷어내는 데 고정된 규칙을 사용했습니다. 예를 들어, "매번 10 분마다 안개를 10% 씩 걷어내자"라고 정해둔 것입니다. 하지만 문제는, 어떤 날은 안개가 너무 빨리 걷혀서 길을 잃고, 어떤 날은 너무 천천히 걷혀서 시간이 너무 오래 걸린다는 점입니다.

🚀 StaTS 가 해결한 두 가지 문제

이 논문은 StaTS 가 기존 방식의 두 가지 큰 문제를 해결했다고 말합니다.

1. "맞춤형 안개 걷기" (Spectral Trajectory Scheduler)

• 기존 방식: 모든 상황에 똑같은 "고정된 안개 걷기 속도"를 적용합니다. (예: 항상 10 분마다 10% 씩)
• StaTS 의 방식: **"데이터에 맞춰서 안개 걷기 속도를 스스로 배운다"**는 것입니다.
  • 안개가 짙을 때는 천천히, 안개가 얇을 때는 빠르게 걷어내는 유연한 속도를 찾습니다.
  • 비유: 마치 스마트한 등산 가이드가 날씨와 산의 상태에 따라 "이제 천천히 가자", "이제 빨리 가자"고 상황에 맞춰 지시하는 것과 같습니다. 이렇게 하면 중간에 길을 잃지 않고, 정상에 더 정확하게 도달할 수 있습니다.

2. "주파수별 청각 보청기" (Frequency Guided Denoiser)

• 기존 방식: 안개를 걷어낼 때 모든 소리를 똑같이 처리합니다. (예: 바람 소리도, 새 소리도 똑같이 줄임)
• StaTS 의 방식: 소리를 **주파수 (음의 높낮이)**별로 나누어 처리합니다.
  • 데이터에는 '큰 흐름 (트렌드)', '규칙적인 리듬 (주기)', '잡음 (노이즈)'이 섞여 있습니다. StaTS 는 이걸 주파수 대역으로 나누어, "이 부분은 중요한 리듬이니까 잘 보존하고, 저 부분은 잡음이니까 확실히 지워라"라고 정교하게 조절합니다.
  • 비유: 고급 보청기가 작동하는 방식과 같습니다. 보청기는 낮은 소리는 크게, 높은 소리는 작게 조절해서 사용자가 가장 잘 들을 수 있게 해줍니다. StaTS 도 데이터의 '소음'을 제거할 때, 중요한 정보는 살리고 불필요한 잡음만 골라내는 똑똑한 필터를 사용합니다.

---

🎓 StaTS 의 핵심 기술 (두 단계 학습)

StaTS 는 두 가지 역할을 하는 친구가 서로 협력하며 학습합니다.

1. 스케줄러 (STS): "어떻게 안개를 걷어낼지 (노이즈를 얼마나 더할지) 계획을 세우는 사람"입니다.
2. 디노이저 (FGD): "계획에 따라 안개를 걷어내고 정리를 하는 사람"입니다.

학습 과정:

• 1 단계: 둘이서 서로 번갈아 가며 연습합니다. 스케줄러가 계획을 수정하면, 디노이저가 그 계획에 맞춰 연습하고, 다시 디노이저가 "이 계획은 안 좋아"라고 피드백하면 스케줄러가 계획을 고칩니다.
• 2 단계: 스케줄러가 가장 좋은 계획을 찾아내면, 그 계획으로 디노이저를 최종적으로 훈련시킵니다.

이렇게 하면 데이터마다 가장 적합한 안개 걷기 방법을 찾아내게 됩니다.

---

🏆 왜 StaTS 가 더 좋은가요?

실험 결과, StaTS 는 다른 최신 모델들보다 더 정확하고, 더 적은 시간으로 예측을 할 수 있었습니다.

• 더 정확한 확률: "내일 비 올 확률이 70% 야"라고 말할 때, 그 70% 가 얼마나 믿을 만한지 (불확실성) 를 훨씬 잘 표현합니다.
• 빠른 속도: 안개를 걷어내는 단계를 줄여도 (예: 100 번에서 10 번으로) 여전히 좋은 성능을 냅니다. 이는 실제 서비스에서 매우 중요합니다.
• 유연성: 주식 시장처럼 변덕스러운 데이터든, 전력 사용량처럼 규칙적인 데이터든 모두 잘 처리합니다.

💡 결론

StaTS 는 **"미래를 예측할 때, 상황에 맞춰 안개를 걷어내는 법을 스스로 배우고, 소리의 높낮이를 구분해서 중요한 정보만 남기는 똑똑한 AI"**입니다.

이 기술은 금융, 의료, 에너지 관리 등 미래의 불확실한 상황을 미리 준비해야 하는 모든 분야에서 더 나은 의사결정을 도와줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

확률론적 시계열 예측 (Probabilistic Time Series Forecasting) 분야에서 확산 모델 (Diffusion Models) 은 복잡한 조건부 분포를 모델링하는 강력한 잠재력을 보여주고 있습니다. 그러나 기존 확산 기반 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 고정된 노이즈 스케줄 (Fixed Noise Schedule) 의 한계:
  • 기존 방법들은 선형 (Linear) 이나 코사인 (Cosine) 과 같은 고정된 노이즈 스케줄을 사용합니다. 이로 인해 중간 상태 (intermediate states) 가 역변환 (inversion) 하기 어렵거나, 최종 상태가 순수한 노이즈 가정에 위배되는 문제가 발생합니다.
  • 이는 훈련과 추론 간의 분포 불일치를 초래하여 예측의 불안정성을 야기합니다.
• 스펙트럼 (주파수) 정보의 부재:
  • 대부분의 기존 방법은 시간 도메인 (Time Domain) 의 조건부 입력에만 의존합니다.
  • 확산 과정에서 추세 (trend), 주기성 (periodicity), 확률적 노이즈가 주파수 대역별로 어떻게 열화 (degradation) 되는지를 명시적으로 모델링하지 않아, 다양한 노이즈 수준에서 구조를 복원하는 능력이 제한됩니다.

2. 제안 방법론: StaTS (Methodology)

저자들은 StaTS라는 새로운 확산 기반 프레임워크를 제안합니다. 이는 노이즈 스케줄링과 탈노이즈 (denoising) 과정을 결합하여 시계열 예측의 정확도와 불확실성 정량화를 동시에 개선합니다. StaTS 는 두 가지 핵심 모듈로 구성됩니다.

A. 스펙트럼 궤적 스케줄러 (Spectral Trajectory Scheduler, STS)

• 데이터 적응형 노이즈 스케줄 학습: 고정된 템플릿 대신, 데이터에 적응적인 노이즈 스케줄 $\beta(t)$를 학습합니다.
• 스펙트럼 정규화 (Spectral Regularization): 학습된 스케줄이 다음과 같은 목표를 달성하도록 제약합니다.
  1. 평탄한 최종 상태: 확산 과정의 끝 ($x_T$) 에서 스펙트럼이 균일하게 분포하도록 유도합니다.
  2. 부드러운 스펙트럼 평탄화 진행: 중간 단계에서 스펙트럼 평탄도가 매끄럽게 변화하도록 합니다.
  3. 경계 조건: 노이즈 레벨이 0 에 수렴하거나 과도하게 커지지 않도록 하위/상위 경계를 설정합니다.
• 목표: 역변환 (reverse process) 이 각 단계에서 안정적으로 수행될 수 있도록 중간 상태의 구조적 보존성을 극대화합니다.

B. 주파수 유도 탈노이즈기 (Frequency Guided Denoiser, FGD)

• 스케줄 유도 스펙트럼 왜곡 추정: 학습된 스케줄에 의해 역사적 컨텍스트 (history context) 가 어떻게 주파수 영역에서 왜곡되었는지를 명시적으로 추정합니다.
• 적응적 복원: 추정된 스펙트럼 왜곡 정보를 가이드 신호로 사용하여, 각 확산 단계와 변수별 (variable-wise) 로 탈노이즈 강도를 조절합니다.
• 모듈 구성:
  1. Conditional Guided Module: 히스토리 윈도우를 기반으로 결정론적인 기준 예측 (anchor forecast) 을 생성합니다. (FFT 기반 주파수 게이트 및 멀티밴드 복소 재가중치 메커니즘 사용)
  2. Spectral Conditioned Denoising Module: 노이즈가 포함된 타겟 상태와 추정된 스펙트럼 왜곡을 결합하여 확률론적 생성 경로를 수행합니다.
• 융합 (Fusion): 두 모듈의 출력을 가중치 $\omega$로 적응적으로 결합하여 최종 예측을 도출합니다.

C. 훈련 전략 (Two-Stage Training)

• 1 단계: STS 와 FGD 를 교대로 업데이트하여 스케줄 학습과 탈노이즈 최적화 간의 커플링을 안정화합니다.
• 2 단계: 학습된 STS (노이즈 스케줄) 를 고정하고, FGD 만을 수렴할 때까지 훈련합니다. 이는 forward 과정의 드리프트를 방지하고 최적화를 안정화합니다.

3. 주요 기여 (Key Contributions)

1. StaTS 프레임워크 제안: 노이즈 스케줄링과 탈노이즈 과정을 결합하여 오염 (corruption) 과 복원 (restoration) 을 더 잘 정렬시키는 확산 기반 확률론적 시계열 예측 프레임워크를 최초로 제안했습니다.
2. STS 및 FGD 개발:
   • STS: 스펙트럼 목적함수로 정규화된 데이터 적응형 확산 스케줄을 학습합니다.
   • FGD: 스케줄로 인한 스펙트럼 왜곡을 추정하고 이를 활용하여 탈노이즈 강도를 조절합니다.
3. 성능 및 효율성 입증: 다양한 벤치마크에서 기존 최첨단 방법론 (SOTA) 을 능가하는 성능을 보였으며, 특히 샘플링 단계 (sampling steps) 가 적을 때도 높은 정확도와 불확실성 품질을 유지합니다.

4. 실험 결과 (Results)

• 데이터셋: Electricity (ECL), ILI, ETTh1/2, ETTm1/2, Traffic, SolarEnergy 등 8 개의 실제 다변량 시계열 벤치마크.
• 성능 지표: CRPS (확률론적 예측 정확도), MAE, MSE (점 예측 정확도).
• 주요 결과:
  • 일관된 우위: 모든 데이터셋에서 CRPS 와 MAE 에서 기존 방법 (CSDI, D3VAE, TimeDiff, DiffusionTS, NsDiff 등) 보다 우수한 성능을 기록했습니다.
  • 적은 샘플링 단계에서의 강점: 확산 단계 $T$가 적을 때 (예: $T=10, 20$) 고정된 스케줄 대비 StaTS 의 성능 향상 폭이 매우 큽니다. 이는 학습된 적응형 스케줄이 중간 상태의 복원 가능성을 높였음을 의미합니다.
  • 불확실성 정량화: StaTS 는 예측 구간 (uncertainty bands) 이 실제 데이터의 변동에 더 민감하게 반응하며, 과도하게 평활화되거나 넓어지는 경향을 줄였습니다.
  • 계산 효율성: 메모리 사용량과 추론 시간이 기존 확산 기반 모델보다 현저히 낮습니다.

5. 의의 및 결론 (Significance)

• 스케줄링의 패러다임 전환: 확산 모델에서 노이즈 스케줄을 단순한 하이퍼파라미터가 아닌, 학습 가능한 데이터 적응형 구성 요소로 재정의했습니다.
• 주파수 도메인의 중요성 부각: 시간 도메인뿐만 아니라 주파수 도메인에서의 구조적 열화와 복원을 명시적으로 모델링함으로써, 시계열의 본질적인 특성 (주기성, 추세 등) 을 더 잘 보존할 수 있음을 증명했습니다.
• 실용적 가치: 적은 계산 비용과 샘플링 단계로도 높은 예측 정확도를 제공하므로, 실시간 의사결정이나 리스크 관리가 필요한 금융, 의료, 에너지 분야 등에 적용 가능성이 높습니다.

이 논문은 확산 모델이 시계열 예측 분야에서 가지는 잠재력을 극대화하기 위해 **스케줄 학습 (Schedule Learning)**과 **주파수 기반 가이드 (Frequency Guidance)**를 결합한 새로운 방향성을 제시합니다.