기술 요약: 간헐적 시계열 예측: 로컬 모델 vs 글로벌 모델

문제 정의

본 논문은 비음수(non-negative)이며 일반적으로 0을 포함하는 카운트 값(count-valued) 형태의 시계열인 간헐적 시계열(intermittent time series) 예측의 과제를 다룹니다. 이러한 시계열은 공급망 관리에서 흔히 발견되며, 안전 재고 수준을 설정하기 위해 정확한 확률적 예측이 필수적입니다. 이러한 예측는 비음수 값에 대한 지지 집합(support), 0에서의 확률 질량, 그리고 수요 급증을 포[캡처하기 위한 긴 상단 꼬리(long upper tail)라는 특정 분포 특성을 충족해야 합니다.

간헐적 시계열을 위한 확률적 모델들이 존재하지만, 이들은 주로 각 시계열에 개별적으로 학습되는 로컬 모델(local models) 위주입니다. 반면, **글로벌 모델(global models)**은 딥러닝과 그래디언트 부스팅 트리(GBT)를 사용하여 단일 예측 함수를 학습하기 위해 대규모 시계열 집합을 학습하며 인기를 얻고 있습니다. 그러나 특히 간헐적 데이터에 대해 최신 확률적 로컬 및 글로벌 모델을 비교하고, 계산 효율성과 다양한 분포 헤드(distribution heads)의 적합성을 조사한 실증적 근서가 부족한 상황입니다.

방법론

평가된 모델

본 연구는 40,000개 이상의 시계열을 포함하는 5개의 실제 데이터셋(M5, UCI, Auto, Carparts, RAF)에 걸쳐 광범별 로컬 및 글로벌 모델을 비교합니다.

로컬 모델(Local Models):

• In-sample Quantiles (ISQ): 훈련 데이터의 경험적 분포를 사용하는 베이스라인 모델입니다.
• iETS: Croston의 분해를 사용하여 bimodal 분포(0에서의 질량 + 양수 값을 위한 Gamma 분포)를 생성하는 ETS 모델의 간헐적 확장 버전입니다.
• GAS-NB: 시변성(time-varying) 음이항(Negative Binomial) 분포를 사용하는 일반화 자기회귀 스코어(Generalised Autoregressive Score) 모델입니다.
• TweedieGP: Tweedie 우도(likelihood)를 사용하는 베이지안 가우시안 프로세스 모델입니다.
• Markov Walk (MW): 발생(occurrence)을 위한 마르코프 체인과 ARMA 프로세스를 결합한 모델로, 가우시안 예측 분포를 가정합니다.

글로벌 모델(Global Models):
본 연구는 분포 파라미터를 출력하도록 적응된 다양한 신경망 아키텍처와 그래디언트 부스팅 트리(GBT)를 평가합니다.

• 경량 아키텍처(Shallow Architectures): 피드포워드 신경망(FNN), DLinear, TiDE(Time-series Dense Encoder).
• 대형/심층 아키텍처(Large/Deep Architectures): DeepAR(LSTM 기반), PatchTST, Autoformer(Transformer 기반).
• 트리 기반(Tree-based): 분포 예측에 적응된 LightGBM.

분포 헤드(Distribution Heads)

방법론의 핵심 요소는 특정 분포 헤드를 통해 글로벌 모델을 간헐적 데이터에 적응시키는 것입니다. 저자들은 세 가지 헤드를 평가합니다:

1. 음이항(Negative Binomial, NegBin): 간헐적 수요에 널리 사용되며, 과분산(overdispersion)을 가진 단봉형(unimodal) 분포입니다.
2. 허들-시프트 음이항(Hurdle-Shifted Negative Binomial, HSNB): 0의 확률과 양의 수요 분포를 분리하는 이봉형(bimodal) 분포입니다.
3. Tweedie: 0에서의 질량과 긴 꼬리를 가진 연속형 분포로, 실수형(real-valued) 간헐적 데이터에 적합합니다.
   참고: 저자들은 이것이 HSNB와 Tweedie를 글로벌 신경망 모델의 분포 헤드로 적용한 첫 사례라고 주장합니다.

실험 설정

• 데이터셋: 다양한 빈도(일간/월간), 길이 및 간헐성 수준(평균 수요 간격 및 제곱 변동 계수로 측정)을 가진 5개의 데이터셋.
• 평량: 확률적 정확도는 $q \in \{0.5, 0.8, 0.9, 0.95, 0.99\}$에 대한 분위수 손실(Quantile Loss)(in-sample 분위수로 스케일링됨)과 점 예측을 위한 RMSSE(Root Mean Squared Scaled Error)를 사용하여 측정됩니다.
• 계산 비용: 단일 CPU(Macbook Pro M3)에서 훈련 및 예측 시간을 기록했습니다.
• 강건성(Robustness): 변동성을 평가하기 위해 서로 다른 랜덤 시드를 사용하여 모델을 10번 실행했습니다.

주요 결과

1. 글로벌 vs. 로컬 성능

• 정확도: 경량 글로벌 모델, 특히 TiDE와 DLinear는 안전 재고 계획에 중요한 높은 분위수(0.8 ~ 0.99)에서 로컬 모델을 일관되게 능가합니다.
• 점 예측: 로컬 모델(특히 iETS 및 TweedieGP)은 특히 RAF 및 UCI와 같이 희소한 데이터셋에서 글로벌 모델보다 RMSSE 측면에서 더 나은 성능을 보이기도 합니다.
• 안정성: 얕은 글로벌 모델(TiDE, DLinear)은 랜덤 초기화에 대해 높은 안정성을 보입니다. 반면, 대규모 딥러닝 모델(Autoformer, PatchTST)과 GBT는 더 높은 변동성과 불안정성을 보입니다.

2. 계산 효율성

• 훈련 시간: 대규모 글로벌 모델(Autoformer, DeepAR)과 GBT(LightGBM)는 얕은 모델보다 훨씬 높은 계산 비용이 발생합니다.
• 예측 시간: 얕은 글로벌 모델(TiDE, DLinear)은 계산 효율적이며, 개별 로컬 모델의 훈련 오버헤드를 고려할 때 총 실행 시간에서 로컬 모델보다 우수한 경우가 많습니다.
• 트레이드오프: 본 연구는 대규모 모델이 더 정확하거나 안정적이라는 '정확도-계산 트레이드오프'가 존재하지 않음을 발견했습니다. 즉, 대규모 모델은 더 비싸면서도 일반적으로 경량 대안보다 정확도가 낮거나 불안정합니다.

3. 아키텍처 비교

• TiDE는 정확도와 속도의 최적의 균형을 제공하는 가장 우수한 글로벌 아키텍처로 나타났습니다. 이는 Transformer 기반 모델(PatchTST, Autoformer) 및 RNN(DeepAR)보다 뛰어난 성능을 보입니다.
• Transformer(Autoformer, PatchTST)와 LightGBM은 높은 계산 오버헤드와 낮은 정확도를 제공하므로 "그만한 가치가 없다(not worth their cost)"고 판단되었습니다.

4. 분포 헤드 분석

• Tweedie: 유연한 꼬리 특성 덕분에 가장 높은 분위수(0.95, 0.99)에서 최상의 추정치를 제공합니다. 특히 TiDE와 결합되었을 때 효과적입니다.
• HSNB vs. NegBin: 낮은 분위수에서는 HSNB, Tweedie, Negative Binomial 간에 큰 성능 차이가 없습니다. HSNB는 특정 데이터셋(예: Auto)에서 개선을 보이지만 보편적으로 우월하지는 않습니다.
• 실수형 데이터: Tweedie 분포는 HSNB나 NegBin이 카운트 기반인 것과 달리, 실수형 간헐적 시계열(예: 매출액)에 적합한 유일한 헤드로 언급되었습니다.

의의 및 주장

본 논문은 간헐적 시계열을 위해 최신 확률적 로컬 및 글로벌 모델을 체계적으로 비교한 첫 번째 연구라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 글로벌 모델의 실증적 검증: 경량 아키텍처로 구현된 글로벌 모델이 간헐적 데이터에서 전통적인 로컬 모델을 능가할 수 있음을 입증하여, 희소한 시계열에는 로컬 훈련이 필요하다는 가설에 도전했습니다.
2. 아키텍처 가이드 제공: TiDE를 선호되는 아키텍처로 식별하였으며, 단순한 얕은 네트워크가 복잡한 Transformer나 RNN보다 정확도와 효율성 측면에서 모두 우수함을 보여주었습니다.
3. 분포 헤드 혁신: 글로벌 신경망 프레임워크 내에서 HSNB 및 Tweedie 분포 헤드의 사용을 도입하고 검증하였으며, Tweedie가 높은 분위수 예측에 특히 효과적임을 보여주었습니다.
4. 실무적 가이드: 고분위수 예측이 필요한 실무자들에게 경량 글로벌 모델(Tweedie 헤드를 결합한 TiDE)을 권장하는 한편, 특정 시나리오(예: 매우 희소한 데이터의 RMSSE)에서는 단순한 in-sample 분위수가 여전히 견고하고 저비용의 대안이 될 수 있음을 명시했습니다.

연구의 결론은 점 예측 경쟁에서는 대규모 딥러닝 아키텍처와 GBT가 성공을 거두었을지라도, 경량 모델이 더 높은 정확도와 안정성을 제공하며 계산 요구 사항이 더 낮은 확률적 설정(간헐적 시계열)에서는 그렇지 않다는 것입니다.