Adapting Time Series Foundation Models through Data Mixtures

이 논문은 시계열 파운데이션 모델의 제로샷 예측 성능을 향상시키기 위해 데이터의 하위 도메인을 베이지안 혼합으로 재분할하여 각 하위 도메인에 특화된 모듈을 미세 조정하는 'MixFT' 방법을 제안하고, 기존 데이터셋 단위 또는 전체 데이터 단일 모듈 미세 조정 방식보다 우수한 성능을 입증했습니다.

핵심

🌟 비유: "만능 요리사 vs. 지역 특화 요리사"

상상해 보세요. 전 세계의 모든 요리를 다 아는 **만능 요리사 (기존 AI 모델)**가 있다고 칩시다. 이 분은 기본적인 요리 실력은 훌륭하지만, 특정 지역의 아주 독특한 맛 (예: 시골 마을의 특별한 김치찌개) 을 만들 때는 조금 어색할 수 있습니다.

이때, 그 지역의 **로컬 요리사 (새로운 데이터)**를 고용해서 이 만능 요리사를 훈련시키려고 합니다.

❌ 기존 방법의 문제점 (단순한 훈련)

기존에는 두 가지 방식만 있었습니다.

1. 한 명의 요리사에게 모든 것을 가르치기: 모든 지역의 데이터를 섞어서 한 명의 요리사에게 가르칩니다. 하지만 "서울의 김치"와 "제주도의 김치"가 섞여 있으면, 요리사는 "어떤 김치 레시피를 써야 하지?"라고 혼란을 겪습니다. (데이터가 너무 다양해서 특화되지 못함)
2. 지역별로 요리사를 따로 고용하기: 서울용, 부산용, 제주용 요리사를 각각 따로 뽑습니다. 하지만 문제는 한 지역 안에도 다양한 스타일이 섞여 있다는 점입니다. 예를 들어, '서울' 데이터 안에도 '평범한 김치'와 '매운 김치'가 섞여 있을 수 있습니다. 지역별로만 나누면 이 미세한 차이를 놓치게 됩니다.

✅ 이 논문이 제안하는 방법: "MixFT (데이터 섞기 & 재분류)"

이 논문의 저자들은 **"데이터를 '지역 (Dataset)'이 아니라 '맛의 특징 (Sub-domain)'으로 나누자!"**고 말합니다.

1. 맛을 찾아내기 (Bayesian Mixtures):
   AI 가 데이터를 분석해서 "아, 이 데이터는 '매운맛' 그룹이고, 저 데이터는 '단맛' 그룹이구나"라고 자동으로 분류합니다. 이때 데이터가 속한 '지역'은 상관없습니다. 서울 데이터에 매운맛이 섞여 있다면, 그 부분은 '매운맛 그룹'으로 이동합니다.

   • 비유: 요리사들이 "이 재료는 매운맛을 내는 용도야, 저 재료는 달콤한 용도야"라고 재료를 종류별로 다시 정리하는 것입니다.

2. 전문가 요리사 만들기 (LoRA Modules):
   이제 '매운맛 전문가', '단맛 전문가'처럼 **각 특징에 특화된 작은 요리사 (LoRA 모듈)**를 따로 훈련시킵니다.

   • 효과: '매운맛 전문가'는 매운맛 데이터만 보며 훈련했기 때문에, 매운맛을 예측할 때 훨씬 정확해집니다.

3. 예보할 때 맞는 전문가를 부르기:
   새로운 데이터를 예측할 때, AI 는 먼저 "이 데이터는 어떤 맛일까?"를 판단합니다. (예: "오호, 이건 매운맛이네?") 그다음 매운맛 전문가 요리사를 불러와서 예보를 하게 합니다.

---

🚀 왜 이것이 중요한가요?

• 기존 방식의 한계: 기존에는 데이터를 '어떤 출처 (Dataset)'에서 왔는지로만 구분했습니다. 하지만 같은 출처의 데이터라도 상황 (계절, 시간, 변수) 에 따라 완전히 다른 패턴을 보일 수 있습니다.
• MixFT 의 장점: 데이터의 **실제적인 특징 (패턴)**에 따라 나누기 때문에, AI 가 더 정교하게 학습할 수 있습니다. 마치 "모든 한국 음식을 다 아는 요리사"보다 "매운 김치 전문 요리사"가 매운 김치를 더 잘 만드는 것과 같습니다.

📊 실험 결과

저희는 이 방법을 여러 실제 데이터 (클라우드 서버 데이터, 출생 통계, 주식 데이터 등) 로 테스트했습니다. 결과는 명확했습니다.

• MixFT가 기존 방법들보다 예측 정확도가 훨씬 높았습니다.
• 특히, 데이터가 섞여 있을 때 기존 방법들은 혼란을 겪어 오히려 예측을 못 하는 경우가 많았는데, MixFT 는 이를 깔끔하게 해결했습니다.

💡 결론

이 논문은 **"데이터를 단순히 출처별로 나누지 말고, 데이터가 가진 숨겨진 특징 (하위 영역) 에 따라 다시 분류해서 훈련하라"**는 교훈을 줍니다.

마치 레시피 책을 만들 때, 단순히 '국가별'로 나누는 게 아니라 '매운맛', '단맛', '신맛'으로 재분류하여 각 맛의 전문가를 양성하는 것과 같습니다. 이렇게 하면 AI 는 새로운 상황에서도 훨씬 더 똑똑하고 정확한 예보를 할 수 있게 됩니다.

기술 요약

1. 문제 정의 (Problem)

시계열 파운데이션 모델 (TSFMs) 은 제로샷 (zero-shot) 예측 능력으로 인해 주목받고 있지만, 사전 학습 (pretraining) 데이터셋과 완전히 일치하지 않는 새로운 도메인의 시계열 데이터에 대해서는 성능이 저하되는 한계가 있습니다. 이러한 상황에서 관련 데이터셋을 활용하여 TSFM 을 미세 조정 (fine-tuning) 하려는 경우, 기존 접근법들은 다음과 같은 비효율성을 보입니다.

• 공유 미세 조정 (Shared Fine-tuning): 모든 데이터셋에 하나의 LoRA 모듈을 학습시킵니다. 이는 다양한 분포를 가진 데이터를 한 번에 학습하려다 보니 특정 패턴에 대한 전문성이 떨어질 수 있습니다.
• 데이터셋 단위 방법 (Per-Dataset Methods): 각 데이터셋마다 별도의 LoRA 모듈을 학습시킵니다. 이는 데이터셋 간 분포 차이는 고려하지만, 단일 데이터셋 내부에도 여러 하위 도메인 (sub-domains) 이 공존할 수 있다는 점을 간과합니다. 예를 들어, 하나의 시계열 데이터셋 내에서도 계절성 패턴, 급격한 변화 (spikiness), 또는 차원별 분포 이질성 (distribution shift) 등으로 인해 서로 다른 하위 분포가 존재할 수 있습니다.

따라서, 데이터셋 레이블에 의존하지 않고 데이터의 내재적 하위 도메인 (latent sub-domains) 을 식별하여 이를 기준으로 데이터를 재분할하는 것이 더 나은 적응 전략일 수 있다는 가설이 제기되었습니다.

2. 제안 방법: MixFT (Methodology)

저자들은 MixFT라는 새로운 미세 조정 방법을 제안합니다. MixFT 는 데이터셋의 경계가 아닌 데이터의 통계적 특성에 기반하여 하위 도메인을 발견하고, 이를 기반으로 별도의 LoRA 모듈을 학습시킵니다.

핵심 단계

1. 임베딩 및 베이지안 혼합 모델 (Bayesian GMM) 피팅:

   • TSFM 을 사용하여 미세 조정 데이터의 컨텍스트 윈도우를 임베딩 공간으로 변환합니다.
   • 변환된 임베딩 데이터에 **베이지안 가우시안 혼합 모델 (Bayesian Gaussian Mixture Model, GMM)**을 적용합니다. 이를 통해 데이터가 속한 잠재적인 하위 도메인 (혼합 성분, $K$개) 을 자동으로 식별합니다.
   • 평균장 변분 추론 (Mean-field Variational Inference) 을 사용하여 과적합을 방지하고 초기화 의존성을 줄입니다.

2. 데이터 재분할 (Redivision):

   • 학습된 GMM 을 기반으로 각 데이터 포인트를 가장 확률이 높은 하위 도메인 (성분) 에 할당합니다.
   • 이로써 기존 데이터셋의 경계를 무시하고, 통계적으로 동질적인 (homogeneous) 하위 도메인별 데이터 집합 ($S_k$) 으로 재분할합니다.

3. 하위 도메인별 LoRA 학습:

   • 재분할된 각 하위 도메인 데이터셋 ($S_k$) 에 대해 별도의 LoRA 모듈을 학습시킵니다. 각 모듈은 특정 하위 도메인의 패턴에 특화됩니다.

4. 제로샷 예측 (Zero-Shot Forecasting):

   • 새로운 시계열 컨텍스트가 입력되면, TSFM 임베딩을 통해 해당 컨텍스트가 어떤 하위 도메인에 속하는지 GMM 을 통해 식별합니다.
   • 식별된 하위 도메인에 해당하는 LoRA 모듈을 선택하여 예측을 수행합니다. (하드 할당 방식 사용)

3. 주요 기여 (Key Contributions)

1. 데이터 분할의 비최적성 지적: 제로샷 예측을 위한 전문화된 LoRA 모듈 학습 시, 기존 데이터셋 레이블 기반 분할이 최적이지 않을 수 있음을 규명했습니다. 단일 데이터셋 내에도 여러 하위 도메인이 존재할 수 있음을 강조했습니다.
2. MixFT 방법론 제안: 베이지안 혼합 모델을 활용하여 데이터의 하위 도메인을 식별하고, 이를 기반으로 데이터를 재분할하여 LoRA 모듈을 학습하는 새로운 프레임워크를 제시했습니다. 이는 제로샷 예측 시 컨텍스트의 하위 도메인을 식별하여 적절한 모듈을 선택할 수 있게 합니다.
3. 성능 검증 및 통찰: TSFM 미세 조정 방법에 대한 광범위한 실험을 통해 MixFT 가 기존 방법들 (공유 학습, 데이터셋 단위 학습 등) 보다 우수한 성능을 보임을 입증했습니다. 특히, 일부 기존 미세 조정 방법이 전혀 미세 조정하지 않은 베이스라인 (Base) 보다도 성능이 떨어지는 경우를 발견하여 TSFM 미세 조정의 난이도를 재조명했습니다.

4. 실험 결과 (Results)

• 벤치마크: Cloud 및 Gift-Eval 벤치마크의 다양한 시계열 데이터셋 (CloudD, BizITObs, M4, ETT 등) 을 사용하여 실험했습니다.
• 모델: Chronos Bolt (small) 와 Moirai-1.1-R (small) 두 가지 최신 TSFM 을 평가 대상으로 사용했습니다.
• 성능:
  • MixFT는 평균 순위 (Average Rank) 및 개별 데이터셋별 최우수/차우수 성능 횟수에서 모든 비교 대상 (Shared, Per-Dataset, MBC, Poly 등) 을 압도했습니다.
  • 특히, Arrow-MixFT 실험 (테스트 시 모듈 선택 방식을 동일하게 유지) 을 통해 MixFT 가 학습한 LoRA 모듈 자체가 데이터 분할의 질이 더 우수함을 증명했습니다.
  • 많은 기존 미세 조정 방법들은 미세 조정하지 않은 베이스라인 (Base) 보다 성능이 나빴으나, MixFT 는 대부분의 경우 베이스라인을 능가하거나 경쟁하는 성능을 보였습니다.
• 분석:
  • MixFT 는 동일한 데이터셋 내에서도 시계열의 패턴 (예: 급격한 변화 유무, 계절성 등) 에 따라 다른 하위 도메인으로 분류하는 것을 확인했습니다.
  • 하위 도메인 분류에 대한 확신도 (Entropy) 가 매우 높았으며, 이는 하드 할당 (가장 확률 높은 모듈 선택) 전략이 유효함을 뒷받침합니다.

5. 의의 및 결론 (Significance)

이 논문은 시계열 파운데이션 모델의 적응 (Adaptation) 전략에 있어 "데이터셋 중심 (Dataset-centric)" 접근에서 "하위 도메인 중심 (Sub-domain-centric)" 접근으로의 패러다임 전환을 제안합니다.

• 전문성 강화: 데이터의 내재적 분포에 따라 모듈을 특화시킴으로써, 학습 데이터와 테스트 데이터 간의 분포 차이 (Distribution Shift) 를 줄여 제로샷 예측 정확도를 높였습니다.
• 유연성: 데이터셋 레이블에 구애받지 않고 데이터의 통계적 특성에 따라 유연하게 모듈을 구성할 수 있어, 복잡한 실제 시계열 데이터 (다양한 패턴이 혼재된 데이터) 에 더욱 효과적입니다.
• 미래 방향: TSFM 미세 조정 시 데이터의 compartmentalization(구획화) 전략이 중요하며, 이를 위해 데이터의 하위 구조를 자동으로 발견하는 기법이 필수적임을 시사합니다.

요약하자면, MixFT는 베이지안 혼합 모델을 통해 데이터의 숨겨진 하위 도메인을 발견하고, 이를 기반으로 전문화된 LoRA 모듈을 학습시킴으로써 기존 방법들보다 훨씬 정확한 제로샷 시계열 예측을 가능하게 하는 혁신적인 접근법입니다.