MoHETS: Long-term Time Series Forecasting with Mixture-of-Heterogeneous-Experts

이 논문은 비정상성 및 다양한 시간적 역학을 가진 장기 다변량 시계열 예측의 과제를 해결하기 위해, 공유 심층 컨볼루션 전문가와 라우팅 푸리에 기반 전문가를 결합한 이질적 전문가 혼합 (MoHE) 레이어와 경량 디코더를 도입한 MoHETS 모델을 제안하여 기존 최첨단 모델 대비 평균 MSE 를 12% 개선한 성능을 입증합니다.

핵심

🌟 핵심 비유: "만능 장인"에서 "전문가 팀"으로

기존의 AI 모델들은 마치 **"모든 일을 다 잘하는 만능 장인 (One-size-fits-all)"**처럼 작동했습니다.

• 문제: 장인이 하루 종일 같은 옷을 입고, 같은 도구로 '긴 흐름 (전체적인 추세)'도 다듬고, '짧은 리듬 (일일 변동)'도 다듬으려다 보니, 두 가지 모두에서 완벽하지 못했습니다. 마치 큰 소파를 잘라내려다가 작은 장난감도 망가뜨리는 것과 비슷합니다.

MOHETS는 이 문제를 해결하기 위해 **"각자 특기가 있는 전문가 팀 (Mixture-of-Heterogeneous-Experts)"**을 꾸렸습니다.

• 해결책: 모든 일을 한 사람이 하는 게 아니라, 상황에 따라 가장 적합한 전문가에게 일을 맡기는 것입니다.

🏗️ MOHETS 의 작동 원리 (3 가지 핵심 기술)

1. "팀장"과 "전문가"의 협업 (이질적 전문가 혼합)

MOHETS 는 데이터를 작은 조각 (패치) 으로 나누어 처리합니다. 그리고 이 조각들을 두 가지 유형의 전문가에게 보냅니다.

• 🧱 팀장 (공유 전문가 - 컨볼루션):
  • 역할: 전체적인 흐름을 봅니다. "지난 1 년 동안 전력 사용량이 꾸준히 늘고 있구나" 같은 **긴 추세 (Global Trend)**를 파악합니다.
  • 비유: 건물의 기둥을 세우는 대목입니다. 전체 구조가 무너지지 않도록 안정성을 책임집니다.
• 🎻 음악가들 (라우팅된 전문가 - 푸리에 변환):
  • 역할: 짧은 리듬을 봅니다. "매일 밤 8 시에 전기가 많이 쓰이고, 주말에는 줄어든다" 같은 **주기적인 패턴 (Local Periodicity)**을 파악합니다.
  • 비유: 악기를 연주하는 음악가들입니다. 복잡한 리듬과 박자를 정확하게 잡아냅니다.
• 🚦 지휘자 (라우터):
  • 들어온 데이터 조각을 보고, "이건 긴 흐름이 중요하니까 팀장에게, 저건 리듬이 중요하니까 음악가에게"라고 자동으로 배정합니다.

2. 외부 정보도 함께 듣는 귀 (다중 모달 크로스 어텐션)

날씨 예보를 할 때 "오늘이 화요일이고, 비가 오고 있다"는 정보를 모르면 정확한 예측이 어렵습니다.

• 비유: MOHETS 는 시간 데이터만 보는 게 아니라, 달력 (휴일 정보) 이나 날씨 데이터 같은 '외부 정보'도 함께 듣습니다.
• 이 모델은 외부 정보를 단순히 덧붙이는 게 아니라, 시간 데이터와 대화하듯 연결하여 (크로스 어텐션), "아, 오늘이 명절이니까 평소보다 전기를 더 쓸 거야"라고 더 똑똑하게 예측합니다.

3. 가벼운 마지막 마무리 (경량 디코더)

기존 모델들은 예측을 끝낼 때 무거운 기계 (선형 레이어) 를 썼는데, 이는 비효율적이고 불안정했습니다.

• 비유: MOHETS 는 **가볍고 빠른 손기술 (합성곱)**로 마지막 예측을 마무리합니다.
• 덕분에 모델이 더 작아지고, 훈련이 더 안정적이며, 어떤 미래 기간 (96 시간 후, 720 시간 후 등) 이든 한 번에 예측할 수 있게 되었습니다.

---

🏆 왜 이 모델이 특별한가요?

1. 정확도 대박: 7 가지 실제 데이터 (전력, 교통, 날씨 등) 에서 기존 최고의 모델들보다 평균 12% 더 정확하게 예측했습니다.
2. 유연함: 한 번 훈련된 모델로 96 시간 후, 192 시간 후, 720 시간 후 등 임의의 미래 시점을 예측할 수 있습니다.
3. 효율성: 무거운 모델을 쓰지 않아도 되므로, 계산 비용이 적게 들고 훈련이 빠릅니다.

💡 요약

MOHETS 는 **"모든 일을 다 잘하는 만능 장인"**을 버리고, **"긴 흐름을 보는 팀장"**과 **"리듬을 보는 음악가"**로 구성된 전문가 팀을 만들어, 외부 상황까지 고려하며 미래를 예측하는 똑똑한 시스템입니다.

이 기술은 에너지 관리, 기후 변화 예측, 금융 계획 등 우리 삶의 중요한 결정을 더 정확하게 내리는 데 도움을 줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

실세계의 다변량 시계열 데이터는 글로벌 트렌드, 국소적 주기성 (seasonality), 비정상적 (non-stationary) 영역 등 복잡한 다중 스케일 구조를 보입니다. 이러한 특성은 장기 예측 (Long-term Forecasting) 을 매우 어렵게 만듭니다.
기존의 Transformer 기반 모델들은 자연어 처리 (NLP) 에서 유래한 동질적인 (Homogeneous) MLP(다층 퍼셉트론) 전문가 (Experts) 를 사용하여 모든 토큰을 동일하게 처리합니다. 그러나 시계열 데이터는 고주파수 국소 변동과 저주파수 글로벌 트렌드가 혼재되어 있어, 단일한 연산자 (MLP) 로 모든 패턴을 효과적으로 포착하기 어렵습니다. 이는 파라미터의 비효율적 사용과 최적의 적합 실패로 이어집니다. 또한, 기존 희소 혼합 전문가 (MoE) 모델들도 대부분 NLP 표준인 동질적 MLP 구조를 차용하여 시계열의 본질적인 다중 스케일 특성을 반영하지 못합니다.

2. 방법론 (Methodology)

저자들은 MOHETS라는 새로운 인코더 전용 (Encoder-only) Transformer 아키텍처를 제안합니다. 이 모델은 이질적 전문가 혼합 (Mixture-of-Heterogeneous-Experts, MoHE) 레이어를 핵심적으로 통합하여 시계열의 다양한 시간적 동역학을 처리합니다.

핵심 구성 요소:

1. 이질적 전문가 혼합 (MoHE) 레이어:

   • 기존 MoE 가 모든 전문가를 동일한 MLP 로 구성하는 것과 달리, MoHE 는 시계열의 구조적 특성에 따라 서로 다른 아키텍처의 전문가를 사용합니다.
   • 공유 전문가 (Shared Expert): 전체 시퀀스 수준의 연속성을 유지하고 글로벌 트렌드를 포착하기 위해 깊이별 합성곱 (Depthwise Convolution, DwConv) 기반의 전문가를 사용합니다. 이는 항상 활성화됩니다.
   • 라우팅 전문가 (Routed Experts): 패치 (Patch) 수준의 국소적 주기성 (주기적 패턴) 을 포착하기 위해 푸리에 기반 (Fourier-based) 네트워크 (FA-FFN) 를 사용합니다. 게이트 메커니즘을 통해 각 시간 패치에 가장 적합한 전문가 (Top-K) 로 동적으로 라우팅됩니다.
   • 이 구조는 통계적 예측에서 사용하는 '트렌드 - 계절성 분해' 개념을 학습 가능한 방식으로 구현한 것입니다.

2. 멀티모달 교차 어텐션 (Multimodal Cross-Attention):

   • 비정상적 동역학을 처리하기 위해 외생 변수 (Exogenous Covariates, 예: 날씨, 달력 정보 등) 를 통합합니다.
   • 엔도제너스 (내생) 시계열 패치 임베딩과 외생 변수 임베딩 간의 상호작용을 모델링하기 위해 교차 어텐션 메커니즘을 도입하여, 외부 컨텍스트가 시계열 예측에 미치는 영향을 정교하게 반영합니다.

3. 경량 컨볼루션 패치 디코더 (Lightweight Convolutional Patch Decoder):

   • 기존 모델들이 사용하는 파라미터가 많은 선형 (Linear) 프로젝션 헤드를 대체합니다.
   • 경량의 컨볼루션 레이어를 사용하여 패치 임베딩을 예측 시간 포인트로 매핑합니다. 이는 국소성 (Locality) 인덕티브 바이어스를 부여하여 훈련 안정성을 높이고, 파라미터 효율성을 개선하며, 임의의 예측 구간 (Horizon) 에 대한 일반화를 가능하게 합니다.

4. 기타 아키텍처 최적화:

   • 인코더 전용 구조: 인코더만 사용하여 추론 효율성을 높이고 장기 예측 시 누적 오차를 줄입니다.
   • Patching 및 Channel Independence: 시계열을 패치로 분할하여 계산 복잡도를 줄이고, 각 변수 (Channel) 를 독립적으로 처리하여 과적합을 방지합니다.
   • Rotary Position Embeddings (RoPE): 절대적 인덱스 대신 상대적 거리를 인코딩하여 미래 구간으로의 외삽 (Extrapolation) 능력을 향상시킵니다.
   • 손실 함수: 아웃라이어 (Outlier) 에 강인한 Huber Loss를 예측 손실로 사용하며, 전문가 라우팅 붕괴를 방지하기 위해 Load Balancing Loss를 보조 손실로 추가합니다.

3. 주요 기여 (Key Contributions)

• MoHE 전략 도입: 시계열 데이터의 다중 스케일 특성에 맞춰 아키텍처적으로 구별된 전문가 (DwConv 와 Fourier 기반) 를 혼합하여 적용하는 최초의 Transformer 모델 중 하나입니다.
• 비정상성 대응 강화: 외생 변수를 통합하는 멀티모달 교차 어텐션 모듈을 설계하여 비정상적 시계열 데이터의 예측 강건성을 높였습니다.
• 효율성과 확장성: 파라미터가 많은 선형 헤드를 컨볼루션 디코더로 대체하고, MoE 의 희소성 (Sparsity) 을 활용하여 계산 비용을 줄이면서도 성능을 극대화했습니다.
• SOTA 성능 달성: 7 개의 벤치마크 데이터셋과 다양한 예측 구간에서 기존 최첨단 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic 등 7 개의 다변량 시계열 데이터셋에서 평가되었습니다.
• 성능 향상: MoHETS 는 강력한 베이스라인 (TimeXer, SOFTS, iTransformer 등) 대비 평균 MSE 를 12% 감소시켰습니다. 특히 계절성이 강한 데이터셋 (ETTh1, ETTm2) 에서 MoHE 아키텍처가 주기적 패턴을 효과적으로 분리해냄을 입증했습니다.
• Ablation Study:
  • 아키텍처 비교: 인코더 전용 구조가 디코더 전용보다 성능이 우수했습니다.
  • 전문가 구성: 동질적 MLP 만 사용하는 MoE 보다, DwConv 와 FA-FFN 을 혼합한 MoHE 가 평균 MSE 에서 4~18% 향상된 성능을 보였습니다.
  • 디코더: 컨볼루션 디코더가 MLP 헤더보다 훈련 안정성과 일반화 성능이 뛰어났습니다.
  • 외생 변수: 외생 변수 (달력 정보 등) 를 통합한 교차 어텐션은 비정상성 데이터에서 예측 정확도를 높였습니다.
• 효율성: 모델은 단일 훈련으로 다양한 예측 구간 (96, 192, 336, 720 시간) 을 처리할 수 있으며, 파라미터 효율성이 높습니다.

5. 의의 및 결론 (Significance)

이 논문은 시계열 예측 분야에서 동질적 처리의 한계를 극복하고, 데이터의 본질적인 구조 (트렌드 vs 주기성) 에 맞는 이질적 전문가 (Heterogeneous Experts) 를 도입함으로써 새로운 패러다임을 제시했습니다.
MOHETS 는 단순한 모델 크기 확장 (Scaling) 에 의존하지 않고, 구조적 혁신 (Structural Innovation) 을 통해 장기 다변량 시계열 예측의 정확도와 효율성을 동시에 달성했습니다. 이는 에너지 관리, 기후 분석, 금융 계획 등 다양한 실세계 의사결정 분야에서 신뢰할 수 있는 예측 도구로 활용될 수 있는 강력한 기반을 마련했습니다. 또한, 외생 변수 통합 및 비정상성 처리에 대한 접근 방식은 향후 시계열 기초 모델 (Foundation Models) 개발에 중요한 시사점을 제공합니다.