Foundation vs. Specialized Models: Evaluating Catastrophic Forgetting in Continual Time Series Forecasting

기술 요약: 연속적 시계열 예측에서의 파운데이션 모델 대 특화 모델

문제 정의
시계열 파운데이션 모델(TSFMs)은 강력한 제로샷(zero-shot) 및 퓨샷(few-shot) 일반화 능력을 입증해 왔으나, 연속적 미세 조정(continual fine-tuning) 상황에서의 동작 방식에 대해서는 여전히 이해가 부족합니다. 구체적으로, 새로운 태스크에 대해 순차적으로 미세 조정될 때 이전에 습득한 지식을 상실하는 경향인 "파괴적 망각(catastrophic forgetting)"에 대한 체계적인 평가가 결여되어 있습니다. 이 문제는 데이터 분포가 비정상적(non-stationary)이고 시간에 따라 진화하는 실제 응용 분야에서 매우 중요합니다. 본 논문은 연속 학습(CL) 시나리오에서 두 모델이 모두 적용될 때, 대규모 TSFM의 계산 비용이 더 작은 특화 모델에 비해 정당화될 수 있는지, 그리고 망각 완화 전략이 성능 격차를 얼마나 효과적으로 메울 수 있는지를 조사합니다.

방법론
저자들은 TSFM과 특화된 경량 모델을 두 가지 별개의 연속 학습 시나리오에서 비교하는 체계적인 평가 프레로그램을 제안합니다:

1. 평가 대상 모델:
   • TSFMs: TimesFM-2.0 (500M 파라미터, 디코더 전용), Chronos-2 (120M 파라미터, 인코더 전용), Chronos-small (28M 파라미터, 인코더 전용).
   • 특화 베이스라인: SAM(Sharpness-Aware Minimization)과 채널별 어텐션을 사용하는 경량 트랜스포머인 SamFormer (100K 파라미터).
2. 시나리오:
   • 합성 데이터 ($S_{syn}$): 강한 스펙트럼 변화와 비조화 주기(non-harmonic periods)를 유도하도록 설계된 네 가지 다중 사인파(multi-sinusoidal) 데이터셋 ($D_1$ ~ $D_4$).
   • 실제 데이터 ($S_{energy}$): 주거 소비, 태양광 발전, (사전 학습 시 보지 못한) 개인 가구, 풍력 발전 등 프랑스 Enedis의 에너지 예측 데이터셋 4종. 이 데이터셋들은 계절성, 변동성 및 외부 요인 측면에서 이질성을 보입니다.
3. 학습 프로토콜:
   • 순차적 학습 (Sequential Training): 이전 데이터에 접근하지 않고 $D_1 \to D_N$ 순으로 학습.
   • 누적 학습 (Cumulative Training): 단계 $t$에서 $\{D_1, \dots, D_t\}$를 학습 (무한 메모리를 시뮬레이션).
   • 독립/오프라인 학습 (Independent/Offline Training): 데이터셋 난이도 및 상한 성능을 위한 베이스라인.
   • Dark Experience Replay (DER): 망각을 완화하기 위해 경험 재생(experience replay)과 예측 증류(prediction distillation)를 결ền한 리플레이 기반 전략.
4. 지표:
   • RMSE: 예측 정확도를 위한 평균 제곱근 오차.
   • 역방향 전이 (Backward Transfer, BWT): 후속 태스크 학습 직후의 성능을 해당 데이터셋 학습 직후의 성능과 비교하여 망각 정도를 측정.
   • 교차 시계열 전이성 (Cross-Series Transferability, CST): 모델을 고려한 새로운 지표로, $D_i$에 대한 학습이 $D_j$의 성능에 미치는 영향을 정량화하기 위해 제안됨. 이는 무작위 초기화 상태에서의 RMSE에 대한 학습 후 $D_i$에서의 RMSE 비율로 정의됨.

주요 기여

1. 체계적 CL 평가: 합성 데이터 및 실제 에너지 예측 벤치마크 모두에서 TSFM(TimesFM-2.0, Chronos-2)과 특화 모델(SamFormer) 간의 파괴적 망각을 다룬 첫 번째 종합 연구.
2. 모델 인식 전이성 지표: 특정 피처 추출 능력을 고려하여 망각의 심각성을 예측하는 데 있어 Dynamic Time Warping과 같은 표준 유사도 측정법보다 뛰어난 성능을 보이는 CST 지표 도입.
3. 완화 전략 분석: 시계열 예측에서 DER의 효용성을 다양한 모델 규모에 걸쳐 엄격하게 평가하여, 서로 다른 모델 규모에서도 효과적임을 입증.

결과

• 내재적 망각: 규모와 관계없이 모든 모델은 단순 순차 학습 하에서 파괴적 망각을 보였습니다. 그러나 더 큰 파운데이션 모델(TimesFM-2.0)은 합성 시나리오에서 더 낮은 평균 RMSE와 BWT를 달성하며 더 큰 내재적 강건성을 보여주었습니다.
• 시나리오 차이: 망각은 실제 데이터($S_{energy}$) 시나리오보다 합성 데이터($S_{syn}$) 시나리오에서 더 심각하게 나타났습니다. 저자들은 이를 합성 태스크가 급격한 스펙트럼 변화를 일으키는 반면, 실제 에너지 데이터셋은 노이즈에도 불구하고 에너지 도메인 내에서 더 호환 가능한 잠재적 시간 구조를 공유하기 때문이라고 설명합니다.
• DER의 영향: Dark Experience Replay는 모든 아키텍처에서 망각을 유의미하게 완화했습니다.
  • DER은 작은 모델에 불균형적으로 큰 이득을 주었습니다. 예를 들어, 합성 시나리오에서 SamFormer의 BWT는 DER 적용 시 2.04에서 0.15로 개선되었습니다.
  • 연속 학습 시퀀이 끝날 무렵, DER을 갖춘 작은 모델들은 대규모 TSFM의 성능에 근접할 수 있었습니다.
  • 일부 경우(예: $S_{energy}$에서의 Chronos-base)에는 DER이 누적 학습보다 더 나은 평균 RMSE를 달성했는데, 이는 점진적인 복잡성이 학습을 돕는 "커리큘럼 학습(curriculum training)" 효과를 시사합니다.
• 특화 모델 vs. 파운데이션 모델: TSFM은 제로샷 및 단순 순차 설정에서 일반적으로 SamFormer보다 우수한 성능을 보였으나, DER과 같은 효과적인 완화 전략을 적용했을 때 그 격차가 크게 줄어들었습니다.

의의 및 주장
본 논문은 현실적이고 비정상적인 시나리오에서, 효과적인 망각 완화 전략이 갖춰져 있다면 대규모 파운데이션 모델의 높은 계산 비용이 반드시 필요하지 않을 수 있다고 결론짓습니다. 연구 결과는 다음과 같은 점을 시사합니다:

• 파괴적 망각은 분포 변화와 스펙트럼 불일치에 의해 발생하는 시계열 CL의 보편적인 문제입니다.
• 모델 규모는 내재적 강건성을 제공하지만, 리플레이 기반 전략(DER)은 파라미터 효율적인 모델이 파운데이션 모델과 경쟁할 수 있는 수준의 성능을 낼 수 있도록 하여 격차를 줄일 수 있습니다.
• 제안된 CST 지표는 망각을 예측하고 더 강력한 연속 학습 시나리오를 설계하는 데 유용한 도구입니다.

저자들은 자신들의 결론이 평가된 모델과 시나리오에 국한된다는 점을 명시하며, 파운데이션 모델과 특화 모델 사이의 선택은 계산 자원과 효과적인 CL 전략의 가용성 사이의 구체적인 트레이드오프에 달려 있다고 신중한 입장을 유지합니다.