Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling

본 논문은 모델 아키텍처, 데이터셋, 학습 파이프라인의 세 가지 차원에서 '직렬 확장 (Serial Scaling)'을 수행하여 83 억 파라미터 규모의 시계열 기반 모델인 Timer-S1 을 개발하고, 이를 통해 장기 예측 성능을 획기적으로 개선하고 GIFT-Eval 리더보드에서 최상위 예측 성과를 달성한 것을 소개합니다.

핵심

타이머-S1(Timer-S1): 미래를 예측하는 거대하고 똑똑한 '시간의 예언자'

이 논문은 **타이머-S1(Timer-S1)**이라는 새로운 인공지능 모델을 소개합니다. 이 모델은 과거의 데이터 흐름을 보고 미래를 예측하는 '시계열 예측' 분야에서 혁신적인 성과를 거둔 10 억 개 이상의 파라미터를 가진 초대형 기초 모델입니다.

이 복잡한 기술을 일상적인 언어와 비유로 쉽게 설명해 드리겠습니다.

---

1. 왜 이 모델이 필요한가요? (기존 모델의 문제점)

과거의 예측 모델들은 미래를 볼 때 두 가지 큰 고민이 있었습니다.

• 문제 1: "한 걸음씩만 보자" (롤링 방식의 비효율)
  기존 모델은 내일 기온을 예측하고, 그 결과를 바탕으로 모레 기온을 예측하는 식으로 한 번에 한 걸음씩 앞으로 나아갔습니다. 마치 긴 사다리를 오를 때, 한 칸 올라서 그 칸을 발판 삼아 다음 칸을 오르는 것과 같습니다.

  • 비유: 사다리가 100 칸이라면, 100 번이나 발을 옮겨야 합니다. 게다가 한 칸에서 발을 잘못 디디면 (오류), 그 실수가 다음 칸, 다음 칸으로 계속 전달되어 마지막에는 완전히 엉뚱한 곳에 도달하게 됩니다. (오류 누적)

• 문제 2: "한 번에 다 보자" (병렬 예측의 한계)
  반면, 한 번에 100 칸 앞을 모두 예측하는 모델들도 있었지만, 시계열 데이터는 시간의 흐름에 따라 서로 연결되어 있어 (연속성), 한 번에 다 보는 방식은 중요한 연결 고리를 놓치기 쉽습니다.

2. 타이머-S1 의 핵심 아이디어: "연속적인 사고" (Serial Scaling)

타이머-S1 은 **"예측은 본질적으로 연속적인 사고 과정"**이라는 점에 주목했습니다.

• 비유: "지속적인 관찰자"
  타이머-S1 은 사다리를 한 칸씩 오르는 것도, 한 번에 100 칸을 보는 것도 아닙니다. 대신, **초기 데이터를 계속 기억하면서, 매 순간 그 기억을 바탕으로 다음 순간을 계산하는 '지속적인 관찰자'**가 됩니다.
  • 핵심 기술 (STP): 이 모델은 '시리얼 토큰 예측 (STP)'이라는 기술을 사용합니다. 마치 작곡가가 첫 음을 듣고 다음 음을 만들고, 그 두 음을 듣고 다음 음을 만드는 식으로, 계속해서 이전 결과를 참고하며 다음을 예측합니다.
  • 장점: 한 번의 계산으로 긴 미래를 예측할 수 있으면서도, 매 단계마다 오류가 쌓이지 않도록 스스로 수정해 나갑니다.

3. 이 모델의 세 가지 무기 (3 가지 확장 전략)

타이머-S1 이 이렇게 강력해진 이유는 세 가지 면에서 '확장 (Scaling)'을 했기 때문입니다.

① 모델 구조: "전문가 팀 (MoE)"

이 모델은 83 억 개의 파라미터를 가지고 있지만, 매번 모든 두뇌를 다 쓰는 것은 아닙니다.

• 비유: 거대한 도서관에서 책을 찾을 때, 모든 사서가 동시에 책을 찾는 게 아니라 질문 내용 (패턴) 에 맞는 최고의 전문가 사서 2 명만 뽑아 일을 시키는 것과 같습니다.
  • TimeMoE: 데이터의 다양한 패턴 (금융, 날씨, 건강 등) 에 따라 가장 적합한 '전문가'를 자동으로 골라 처리합니다. 덕분에 모델은 크기는 크지만, 실제로 작동할 때는 가볍고 빠릅니다.

② 데이터: "1 조 개의 시간 조각" (TimeBench)

이 모델은 **1 조 개 (1 Trillion)**에 달하는 시간 데이터로 배웠습니다.

• 비유: 한 번에 100 년 치의 날씨, 주식, 교통 데이터를 모두 읽은 셈입니다.
• 데이터 증강: 단순히 많은 데이터를 넣은 게 아니라, 데이터를 뒤집거나 주기를 바꿔서 모델이 어떤 상황에서도 편견 없이 예측할 수 있도록 훈련시켰습니다. (예: "비싸지는 주식"만 보지 않고, "싸지는 주식"도 보게 함)

③ 훈련 방식: "단계별 성장" (Post-Training)

단순히 한 번에 다 가르치는 게 아니라, 두 단계로 나누어 가르쳤습니다.

1. 1 단계 (예비 훈련): 모든 종류의 미래를 골고루 배웁니다.
2. 2 단계 (추가 훈련): 특히 단기 예측에 집중해서 실력을 다집니다. (장기 예측은 단기 예측이 정확해야 가능하기 때문)
   • 비유: 먼저 모든 과목을 공부한 뒤, 시험 직전에 '단답형 문제'에 특화되어 집중 훈련을 하는 것과 같습니다.

4. 결과는 어떨까요?

이 모델은 세계적인 예측 평가 대회 (GIFT-Eval) 에서 압도적인 1 위를 차지했습니다.

• 단기 예측: 매우 정확합니다.
• 장기 예측: 기존 모델들이 실수하기 쉬운 긴 기간 예측에서도 오류가 적고 안정적입니다.
• 효율성: 한 번의 계산으로 긴 미래를 예측할 수 있어, 기존 방식보다 훨씬 빠르고 저렴합니다.

5. 요약: 왜 이것이 중요한가요?

타이머-S1 은 **"시간의 흐름을 존중하는 새로운 예측 방식"**을 제시했습니다.

• 과거의 모델들은 미래를 예측할 때 '한 걸음씩' 오르는 데서 오는 실수를 감당해야 했습니다.
• 하지만 타이머-S1 은 연속적인 사고를 통해 실수를 줄이고, 1 조 개의 데이터를 통해 다양한 상황을 학습했습니다.

이제 이 모델은 기후 변화 예측, 주식 시장 분석, 병원 환자 관리 등 우리가 미래를 계획해야 하는 모든 분야에서 더 똑똑하고 신뢰할 수 있는 파트너가 될 것입니다. 마치 과거의 모든 시간을 읽어낸 '시간의 예언자'가 우리 곁에 온 것과 같습니다.

기술 요약

Timer-S1: 시리얼 스케일링을 통한 10 억 파라미터급 시계열 파운데이션 모델

1. 문제 정의 (Problem)

기존의 시계열 파운데이션 모델 (TSFM) 은 확장성 (Scalability) 측면에서 다음과 같은 근본적인 한계에 직면해 있었습니다:

• 확장성 병목 현상: 기존 모델들은 주로 '다음 토큰 예측 (Next-Token Prediction)'을 기반으로 하며, 장기 예측 시 반복적인 '롤링 (Rolling)' 방식을 사용합니다. 이는 계산 비용이 증가할 뿐만 아니라, 예측 오차가 단계별로 누적되어 장기 예측 정확도가 급격히 떨어지는 문제를 야기합니다.
• 직렬적 성질의 간과: 시계열 예측은 본질적으로 '직렬적 (Serial)'인 문제입니다. 즉, 미래의 예측은 이전 모든 단계의 추정에 의존합니다. 그러나 기존 병렬 예측 (Parallel Forecasting) 이나 단순한 멀티-토큰 예측 방식은 이 직렬적 계산을 충분히 반영하지 못해 장기 의존성을 포착하는 데 실패했습니다.
• 데이터의 이질성: 시계열 데이터는 도메인, 빈도, 분포가 매우 다양하여 단일 모델이 모든 패턴을 학습하기 어렵고, 편향된 데이터로 인해 예측 편향 (Predictive Bias) 이 발생할 수 있습니다.

2. 방법론 (Methodology)

Timer-S1 은 모델 아키텍처, 데이터, 학습 파이프라인의 세 가지 차원에서 '시리얼 스케일링 (Serial Scaling)' 전략을 도입하여 위 문제를 해결합니다.

A. 아키텍처: 시리얼 토큰 예측 (Serial-Token Prediction, STP)

• TimeSTP 블록: Transformer 백본에 직렬 계산을 도입한 TimeSTP 블록을 추가합니다. 이 블록은 초기 입력 시퀀스와 이전 블록의 중간 표현을 참조하여, 한 번의 포워드 패스 (Forward Pass) 에서 단계별로 시프트된 (shift-by-one) 예측을 생성합니다.
• 직렬 계산의 효율성: 기존 autoregressive 모델처럼 입력을 반복적으로 업데이트하며 예측하는 '롤링' 방식을 제거합니다. 대신, 예측 거리가 길어질수록 Transformer 블록을 더 깊게 통과하도록 하여 직렬 계산을 수행합니다. 이는 추론 시 추가적인 계산 오버헤드 없이 장기 예측의 정확도를 높입니다.
• 희소 전문가 혼합 (Sparse MoE): 총 83 억 (8.3B) 개의 파라미터 중 토큰당 7.5 억 (0.75B) 개의 파라미터만 활성화되는 MoE 구조를 사용하여, 다양한 시계열 패턴을 처리하면서도 추론 속도를 최적화합니다.

B. 데이터: TimeBench 및 데이터 증강

• TimeBench: 1 조 (Trillion) 개 이상의 시계열 포인트를 포함하는 대규모 코퍼스입니다. 금융, IoT, 기후, 의료 등 다양한 도메인과 합성 데이터를 통합했습니다.
• 편향 완화 증강: 모델이 특정 빈도나 방향성 경향에 편향되는 것을 막기 위해 리샘플링 (Resampling) 과 값 반전 (Value-Flipping, 부호 반전) 기법을 적용하여 데이터의 다양성을 극대화했습니다.

C. 학습 파이프라인: 다단계 학습 전략

1. Pre-training (STP): TimeBench 에서 시리얼 토큰 예측 (STP) 목적 함수로 학습하여 다양한 예측 거리의 패턴을 학습합니다.
2. Continued Pre-training (CPT): 단기 예측 성능을 강화하기 위해 가중치가 부여된 STP (Short-term 우선) 로 추가 학습합니다.
3. Long-Context Extension (LCE): RoPE (Rotary Position Embedding) 를 확장하여 컨텍스트 길이를 2,880 에서 11,520 으로 늘려 장기 의존성을 더 잘 처리하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 시리얼 스케일링 패러다임 제안: 시계열 예측의 본질적인 '직렬성'을 존중하는 새로운 확장 전략을 제시했습니다. 이는 LLM 의 멀티-토큰 예측과는 구별되며, 시계열 특성에 최적화된 직렬 계산을 통해 장기 예측 정확도를 획기적으로 개선합니다.
2. Timer-S1 모델 출시: 83 억 파라미터 규모의 MoE 기반 시계열 파운데이션 모델로, 기존 모델 대비 추론 비용은 줄이고 성능은 대폭 향상시켰습니다.
3. 대규모 고품질 데이터셋 (TimeBench): 1 조 포인트 규모의 정제된 데이터셋과 편향을 제거하는 데이터 증강 기법을 공개하여, 향후 연구의 기초를 마련했습니다.
4. GIFT-Eval 리더보드 SOTA 달성: 다양한 예측 지표에서 최상위 성능을 기록했습니다.

4. 실험 결과 (Results)

• 성능: GIFT-Eval 리더보드에서 MASE (평균 절대 스케일 오차) 0.693, CRPS (연속 순위 확률 점수) 0.485를 기록하여 기존 최상위 모델 (Chronos-2, TimesFM-2.5, Moirai 2.0 등) 을 능가하는 SOTA 성능을 달성했습니다.
• 장기 예측 우위: 특히 중기 및 장기 예측 태스크에서 기존 모델 대비 압도적인 성능 향상을 보였습니다. 이는 STP 를 통한 직렬 계산이 장기 의존성 포착에 효과적임을 입증합니다.
• 확장성 분석: 모델 크기와 블록 수를 증가시킬수록 성능이 지속적으로 향상되는 '스케일링 법칙'을 확인했습니다.
• 추론 효율성: 동일한 백본 크기에서 NTP(Next-Token Prediction) 나 MTP(Multi-Token Prediction) 기반 모델보다 더 적은 계산량으로 더 높은 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

Timer-S1 은 시계열 파운데이션 모델의 확장성 병목 현상을 해결하는 중요한 이정표입니다.

• 패러다임 전환: 단순한 데이터 양의 증가가 아닌, 문제의 본질 (직렬성) 에 맞는 아키텍처 설계 (STP) 가 성능 향상의 핵심임을 증명했습니다.
• 실용성: 긴 컨텍스트와 다양한 도메인에서 강력한 제로샷 (Zero-shot) 예측 능력을 보여주어, 실제 산업 현장 (금융, 에너지, 기후 등) 에 적용 가능한 범용 예측 모델로 자리매김했습니다.
• 미래 방향: 향후 외생 변수 (Exogenous Covariates) 통합 및 에이전트 시스템과의 연동을 통해 더욱 지능적인 시계열 분석 및 의사결정 시스템으로 발전할 가능성을 제시합니다.

이 논문은 시계열 예측 분야에서 "더 큰 모델"을 넘어 "더 올바른 구조"를 통해 확장성을 달성할 수 있음을 보여주는 중요한 연구입니다.