Impermanent: A Live Benchmark for Temporal Generalization in Time Series Forecasting

이 논문은 정적 데이터 분할의 한계를 극복하고 지속 가능한 성능 평가를 위해 GitHub 활동 데이터를 기반으로 실시간으로 업데이트되는 새로운 시간 계열 예측 벤치마크 'Impermanent'를 제안합니다.

핵심

📅 "Impermanent": 시계열 예측 모델의 '실전 시험장'

이 논문은 **"시간이 흐르는 데이터 예측"**을 하는 인공지능 모델들을 평가하는 새로운 방식을 소개합니다. 기존 방식의 문제점을 지적하고, 더 현실적인 테스트 방법을 제안했죠.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "시험지 미리 보는 것"과 같은 기존 평가

지금까지 시간 데이터를 예측하는 AI 모델 (예: 내일 주가, 내일 날씨, 내일 트래픽 등) 을 평가할 때는 주로 고정된 과거 데이터를 사용했습니다.

• 비유: 마치 학생이 정답이 적힌 시험지를 미리 보고 공부한 뒤, 시험을 보는 것과 같습니다.
• 문제점: AI 모델이 과거 데이터를 너무 잘 외워서 (암기해서) 점수는 높지만, 실제로는 새로운 상황이나 예상치 못한 변화가 생겼을 때 엉망이 될 수 있습니다. 또한, 개발자가 시험 결과를 보고 모델을 수정하다 보면, 결국 '시험 문제'를 암기하게 되어 실제 실력을 과장되게 평가받게 됩니다.

2. 해결책: "Impermanent (불변하지 않은 것)"

저자들은 **"Impermanent"**라는 새로운 평가 시스템을 만들었습니다. 이름 그대로 "영구적이지 않다"는 뜻으로, 데이터가 계속 변하고 흐르는 상황을 그대로 반영합니다.

• 비유:
  • 기존 방식: 정적인 교실. 선생님이 "오늘은 이 문제를 풀어봐" 하고 정해진 문제를 내면, 학생은 그 문제만 풀면 됩니다.
  • Impermanent 방식: 실시간 뉴스 방송국. 학생은 매일 아침 새로운 뉴스 (데이터) 를 보고, "오늘 오후에 무슨 일이 일어날까?"라고 예측해야 합니다. 그리고 오후가 되면 실제 뉴스가 나오고, 그 예측이 맞았는지 바로 채점합니다. 내일은 또 완전히 새로운 뉴스가 쏟아집니다.

이 방식은 AI 가 **시간이 지남에 따라 변하는 상황 (비정형 데이터)**에 얼마나 잘 적응하는지, 그리고 오래도록 좋은 성적을 유지하는지를 봅니다.

3. 실험장: "GitHub (깃허브) 의 활동"

이 새로운 시험장은 **GitHub(개발자들이 코드를 공유하는 사이트)**의 활동 기록을 사용했습니다.

• 왜 GitHub 인가요?
  • 개발자들의 활동은 매우 예측하기 어렵고 변덕스럽습니다.
  • 어떤 날은 조용하다가, 갑자기 유명 인플루언서가 코드를 올리면 폭풍처럼 활동이 일어납니다 (버스트).
  • 새로운 기능이 나오거나, 외부 사건 (예: AI 붐) 이 생기면 활동 패턴이 완전히 바뀝니다.
  • 마치 날씨나 주식 시장처럼, 한 번의 패턴으로 영원히 예측할 수 없는 '살아있는 데이터'입니다.

4. 평가 방법: "매일매일 점수 내기"

이 시스템은 다음과 같이 작동합니다.

1. 예측: AI 는 오늘까지의 데이터를 보고 "내일 이슈가 10 개 열릴 것"이라고 예측합니다.
2. 채점: 내일이 되어 실제로 12 개가 열리면, AI 의 예측이 얼마나 맞았는지 점수를 줍니다.
3. 반복: 그다음 날은 또 새로운 데이터를 보고 예측하고, 채점합니다.
4. 결과: 단순히 한 번의 점수가 아니라, 수개월 동안 꾸준히 좋은 성적을 내는지를 확인합니다.

5. 주요 발견: "무엇이 진짜 강한가?"

이 새로운 시험장에서 여러 AI 모델을 테스트한 결과, 흥미로운 사실이 나왔습니다.

• 초고성능 AI(파운데이션 모델): 거대하고 복잡한 최신 AI 모델들이 대체로 좋은 성적을 냈습니다.
• 간단한 규칙도 강력함: 하지만 아주 간단한 규칙 (예: "어제와 똑같을 거야" 또는 "지난주 같은 날과 비슷할 거야") 을 따르는 전통적인 방법도, 특정 상황에서는 최신 AI 못지않게 잘 작동했습니다.
• 핵심 교훈: 단순히 "한 번의 시험에서 1 등"을 하는 모델이 아니라, 시대가 변하고 데이터가 흔들릴 때에도 흔들리지 않고 꾸준히 좋은 예측을 하는 모델이 진짜로 강력한 모델입니다.

🎯 요약: 이 논문이 우리에게 주는 메시지

"과거의 정답을 외워서 시험을 잘 보는 AI 는 이제 그만!
살아 숨 쉬는 현실 세계의 변화에 맞춰, 매일매일 새로운 문제를 해결해 나가는 실전 능력을 가진 AI 를 찾아야 합니다."

이 논문은 AI 개발자와 연구자들이 **"진짜 실전"**에 가까운 환경에서 모델을 평가하도록 장려하며, 더 튼튼하고 신뢰할 수 있는 예측 시스템을 만드는 데 기여하고자 합니다.

기술 요약

1. 문제 제기 (Problem)

최근 시계열 예측 분야에서 사전 학습된 기반 모델 (Foundation Models) 의 등장으로 광범위한 일반화 능력이 주장되고 있습니다. 그러나 기존의 평가 프로토콜은 다음과 같은 치명적인 한계를 가지고 있습니다.

• 정적 평가의 한계: 대부분의 벤치마크 (GIFT-Eval, FEV, Monash 등) 는 고정된 훈련 - 테스트 분할 (static train-test splits) 을 사용합니다. 이는 데이터 분포가 시간에 따라 변하는 실제 세계의 동적 환경을 반영하지 못합니다.
• 데이터 누출 및 오염 (Contamination): 기반 모델이 방대한 양의 데이터로 학습되는 과정에서, 고정된 테스트 세트가 훈련 데이터에 우연히 포함되거나, 모델 선택 시 테스트 점수를 과도하게 활용하여 성능이 과장될 수 있습니다.
• 비정상성 (Non-stationarity) 무시: 실제 예측은 새로운 시계열의 등장, 구조적 단절 (structural breaks), 데이터 분포의 변화 (concept drift) 가 발생하는 환경에서 이루어집니다. 고정된 테스트 세트는 이러한 시간적 강건성 (temporal robustness) 을 평가할 수 없습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 해결하기 위해 Impermanent라는 새로운 '라이브 벤치마크'를 제안했습니다. 이는 시계열 예측의 시간적 일반화 (temporal generalization) 를 평가하기 위해 설계된 최초의 실시간 평가 체계입니다.

• 데이터 소스: GitHub 의 오픈소스 활동 데이터를 기반으로 합니다. (GH Archive 이벤트 스트림 사용)
  • 대상: 별수 (Star count) 기준 상위 400 개 리포지토리.
  • 타겟 시계열: 이슈 생성 (Issues), 풀 리퀘스트 (Pull Requests), 푸시 이벤트 (Push), 새 스타 (Stargazers) 등 4 가지 이벤트 유형.
  • 특징: 릴리스, 기여자 행동 변화, 플랫폼 변경, 외부 사건 등으로 인해 본질적으로 비정상성 (non-stationary) 이 강하고 역동적인 환경입니다.
• 평가 프로토콜 (Prequential Evaluation):
  • 순차적 평가: 고정된 테스트 세트 대신, 시간의 흐름에 따라 연속적으로 업데이트되는 데이터 스트림 위에서 예측을 생성하고 점수를 매깁니다.
  • 컷오프 (Cutoff) 메커니즘: 각 시점 (cut-off date) 에서 모델은 미래의 실제 값 (ground truth) 을 알 수 없는 상태에서 다음 $h$ 기간에 대한 점수 및 확률적 예측을 수행해야 합니다.
  • 점수화: 실제 관측값이 도착한 후에만 예측 결과를 저장하고 평가합니다.
  • 주요 파라미터: 시간별 (Hourly), 일별 (Daily), 주별 (Weekly), 월별 (Monthly) 4 가지 주기로 설정되며, 각 주기에 따라 예측 구간 (Horizon) 과 컨텍스트 윈도우 크기가 다릅니다.
• 평가 지표:
  • MASE (Mean Absolute Scaled Error): 점수 예측 정확도 평가.
  • Scaled CRPS (Continuous Ranked Probability Score): 확률적 분포 예측 품질 평가 (9 개의 분위수 사용).
  • 정규화: 모든 점수는 'Zero Model'(항상 0 을 예측) 의 점수로 나누어 스케일링하여 하위 데이터셋 간 비교를 가능하게 합니다.
• 평가 대상 모델:
  • 베이스라인: ZeroModel, HistoricAverage, SeasonalNaive.
  • 통계적 모델: AutoARIMA, AutoETS, AutoCES, Dynamic Optimized Theta, Prophet.
  • 기반 모델 (Foundation Models): Chronos-2, Moirai 2.0-R-Small, TimesFM 2.5, TiRex.

3. 주요 기여 (Key Contributions)

1. 최초의 라이브 시계열 예측 벤치마크: 시간적 일반화를 측정하기 위해 설계된 첫 번째 '라이프' (live) 벤치마크를 제시했습니다.
2. 누출 방지 (Leak-proof) 평가 프로토콜: 예측이 생성될 때 실제 값이 존재하지 않도록 하여 데이터 누출을 원천 차단하고, 순차적 평가를 통해 모델의 지속적 성능을 검증합니다.
3. 동적 환경에서의 분석 가능성: 정적 벤치마크에서는 불가능했던 '지속적인 정확도 (sustained accuracy)', '분포 변화에 대한 강건성', '모델 순위의 안정성' 분석을 가능하게 합니다.
4. 개방형 인프라: GitHub, 대시보드, 자동화된 평가 파이프라인을 오픈소스로 제공하여 재현성과 지속적인 비교를 지원합니다.

4. 결과 (Results)

2026 년 2 월 12 일 기준 초기 스냅샷 결과 (Table 2) 는 다음과 같은 통찰을 제공합니다.

• 기반 모델의 우세: 사전 학습된 기반 모델 (TimesFM, TiRex, Moirai, Chronos) 이 상위 4 위를 차지하며, 특히 TimesFM이 4 개 컬럼 중 3 개에서 1 위를 기록했습니다.
• 세부적인 성능 차이:
  • SeasonalNaive는 점수 예측 (MASE) 에서 경쟁력 있는 순위 (5.39) 를 보였으나, 확률적 보정 (CRPS) 에서는 낮은 순위 (9.50) 를 기록하여 예측의 불확실성 표현 능력이 부족함을 드러냈습니다.
  • AutoETS와 AutoARIMA는 점수 정확도는 다소 낮았으나, 확률적 예측 (CRPS) 에서 DynOptTheta 와 유사한 성능을 보였습니다.
• 동적 순위 변화: Impermanent 는 단일 스냅샷이 아닌 순차적 점수를 기반으로 하므로, 새로운 데이터가 누적됨에 따라 모델 순위가 변동할 수 있습니다. 이는 초기 우위가 분포 변화 하에서도 유지되는지 추적할 수 있음을 의미합니다.

5. 의의 및 결론 (Significance)

• 실제 배포 환경 반영: 정적 벤치마크의 '일회성 정확도'에서 벗어나, 실제 배포 환경과 유사한 '지속적 성능'을 평가하는 새로운 패러다임을 제시했습니다.
• 기반 모델의 일반화 능력 검증: 시계열 기반 모델이 다양한 도메인과 주파수, 그리고 시간에 따른 변화에 대해 진정으로 일반화할 수 있는지 (Temporal Generalization) 를 검증할 수 있는 구체적인 기준을 마련했습니다.
• 미래 연구 방향: 현재는 GitHub 데이터에 국한되어 있으나, 이 프레임워크는 다양한 실시간 데이터 스트림으로 확장 가능하도록 설계되었습니다. 이는 정적 벤치마크 성능이 실제 배포 후에도 신뢰할 수 있는 성능으로 이어지는지 연구하는 공유 자원으로 활용될 것입니다.

요약하자면, Impermanent 는 시계열 예측 모델이 고정된 과거 데이터가 아닌, 끊임없이 변화하는 미래 환경에서 얼마나 견고하게 작동하는지를 평가하기 위한 혁신적인 실시간 벤치마크입니다.