기술 요약: 소매 수요 예측에서 글로벌 모델의 재학습 빈도에 관한 연구

문제 정의

소매 수요 예측 분야에서 기업들은 예측 정확도, 계산 효율성, 그리고 지속 가능성 사이의 중대한 트레이드오프(trade-off)에 직면해 있습니다. 글로벌 모델(Global Forecasting Models, GM)—전체 데이터셋에 걸쳐 단일 모델을 적합시키는 교차 학습(cross-learning) 방식—은 공유된 역동성을 활용하고 로컬 모델(Local Models, LM)에 비해 계산 오버헤드를 줄일 수 있는 능력 덕분에 주목받고 있지만, 업계 표준은 종-종 지속적인 모델 재학습을 포함합니다. 이러한 관행은 변화하는 패턴에 적응하기 위해 빈번한 업데이트가 필수적이라는 가정을 전제로 합니다. 그러나 지속적인 재학습은 특히 수백만 개의 SKU를 다루는 대규모 애플리케이션에서 상당한 계산 비용, 에너지 소비 및 탄소 배출을 초래합니다. 본 논문은 글로벌 모델의 예측 성능을 유지하기 위해 이러한 빈번한 재학습이 진정으로 필요한지, 아니면 예측 정확도를 희생하지 않으면서도 더 지속 가능하고 비용 효율적인 대안을 제공할 수 있는 덜 빈번한 전략이 존재하는지를 조사합니다.

방법론

본 연구는 글로벌 예측 모델에 미치는 재학습 빈도의 영향을 평가하기 위해 엄격한 실험 설계를 채택합니다.

• 데이터셋: 분석에는 두 가지 종합적인 소매 예측 데이터셋이 사용됩니다:

  • M5 경진대회: Walmart의 일별 단위 판매 데이터 (2011–2016, 30,490개 SKU-매장 조합).
  • VN1 예측 챌린지: 46개 소매업체의 328개 창고에서 발생한 주별 판매 데이터 (2020–2024, 15,053개 제품).
  • 실험은 재학습 감소의 이점을 극대화하기 위해 가장 세분화된 수준(SKU × 매장)에 집중합니다.

• 모델: 다음을 포함하는 10가지의 뚜pp별한 글로벌 예측 방법이 평가되었습니다:

  • 머신러닝 (5개 모델): 선형(Pooled) 회귀, 랜덤 포레스트(RF), XGBoost, LightGBM, CatBoost.
  • 딥러로닝 (5개 모델): 다층 퍼셉트론(MLP), LSTM, TCN, NBEATS, 외생 변수를 포함한 NBEATS(NBEATSx), NHITS.

• 재학습 시나리오: 연구는 재학습 윈도우 $r$(재학습 전 새로운 관측치 수)을 정의합니다. 시나리오는 다음과 같습니다:

  • 지속적 재학습 ($r=1$ 또는 일별 데이터의 경우 $r=7$): 최대 정확도와 비용을 기준으로 하는 벤치마크.
  • 주기적 재학습: 중간 간격 (예: 주간, 월간).
  • 재학습 없음 ($r=T$): 초기 훈련 세트에서 모델을 한 번 적합시킨 후 전체 테스트 기간 동안 사용.

• 평가 프레임워크:

  • 검증: 실제 비즈니스 조건을 시뮬레이션하기 위해 확장 윈도우(expanding window) 접근 방식을 사용하는 롤링 오리진(rolling origin) 평가.
  • 지표:
    • 점 예측(Point Forecasting): RMSSE (Root Mean Squared Scaled Error).
    • 확률적 예측(Probabilistic Forecasting): 14개 분위수에 대한 SMQL (Scaled Multi-Quantile Loss).
    • 효율성: 초 단위의 계산 시간(CT), 이는 클라우드 가격 모델을 통해 통화 비용과 직접적으로 연관됨.
  • 통계 분석: 시나리오 간의 통계적 유의성을 검증하기 위해 Friedman-Nemenyi 테스트가 사용되었습니다.

주요 결과

1. 예측 정확도 vs. 재학습 빈도

• 점 예측: 연구 결과, 덜 빈번한 재학습이 정확도를 해치지 않으며, 어떤 경우에는 오히려 약간 향상시킨다는 것을 발견했습니다. M5와 VN1 데이터셋 모두에서 RMSSE 프로필은 재학습 빈도에 관계없이 안정적으로 유지되었습니다. "재학습 없음" 시나리오에서도 성능 저하는 미미했습니다 (5% 미만).
• 확률적 예측: 결과는 약간 더 미묘했습니다. M5 데이터셋의 경우, 재학습 빈도가 낮아짐에 따라 정확도(SMQL로 측정)가 약간 감소했으나 그 차이는 5~6% 이내였습니다. VN1 데이터셋에서는 낮은 재학습 시나리오에서 성능이 초기에는 개선되었다가 더 높은 간격에서 악화되는 거의 볼록한(convex) 관계가 관찰되었습니다.
• 모델 차이: 머신러닝 모델은 데이터 빈도가 증가함에 따라 덜 빈번한 재학습과 함께 정확도를 유지하거나 개선하는 경향을 보인 반면, 딥러닝 모델은 더 높은 안정성을 보였으나 이 특정 맥락에서의 한계 이득(marginal gain)은 적었습니다.

2. 계산 비용 및 효율성

• 지수적 감소: 계산 시간(CT)은 재학습 간격 $r$이 증가함에 따라 지수적으로 감소합니다.
  • 지속적 재학습에서 월간 재학습으로 전환하면 CT가 약 75% 감소합니다.
  • "재학습 없음" 시나리오는 기준점 대비 CT를 최대 90%까지 줄입니다.
• 비용 함의: 가상의 대형 소매업체 시나리오(200,000개 SKU, 5,000개 매장)를 사용할 경우, 연구는 일별 데이터에 대해 지속적 재학습 비용이 연간 약 $750,000에 달한다고 추정합니다. "재학습 없음" 전략으로 전환하면 이를 ~$250,000로 낮출 수 있으며, 이는 60% 이상의 절감을 의미합니다. 주별 데이터의 경우 절감액은 90%에 달했습니다.
• 모델 선택: 머신러닝 모델과 덜 빈번한 재학습 전략을 결합하는 것이 데이터 빈도가 증가함에 따라 비용 절감 측면에서 딥러닝 모델보다 미세하게 더 나은 선택임이 입증되었습니다.

3. 최적의 재학습 간격

분석을 통해 정확도에 기반한 "최적" 재학습 빈도를 식별했습니다:

• 점 예측: 최적의 간격은 M5의 경우 34주(약 21개 관측치), VN1의 경우 810주 사이로 나타났습니다.
• 확률적 예측: 최적의 간격은 더 짧았습니다 (M5의 경우 약 2주, VN1의 경우 4주). 이는 불확실성 추정이 점 예측보다 약간 더 빈번한 업데이트를 필요로 할 수 있음을 시사합니다.

주요 기여

1. 포괄적인 실증 연구: 본 연구는 10가지 다양한 글로벌 모델(ML 및 DL)을 사용하여 실제 소매 데이터셋을 통해 재학습 빈도와 예측 정확도 사이의 관계를 점 예측 및 확률적 예측 모두에서 체계적으로 분석한 최초의 연구입니다.
2. 트레이드오프의 정량화: 예측 성능에 미치는 영향이 미미하면서도 상당한 계산 비용 감소(최대 90%)를 달성할 수 있음을 보여줌으로써 정확도와 지속 가능성 사이의 트레이드오프를 정량화했습니다.
3. 실무적 가이드라인: 실무자들에게 주기적 재학습(예: 월간)이 기존의 지속적 재학습 패러다임보다 정확도와 비용 사이에서 우수한 균형을 제공한다는 실행 가능한 권장 사항을 제공합니다.

의의 및 주장

본 논문은 글로벌 예측 모델의 높은 예측 성능을 유지하기 위해 빈번하거나 지속적인 재학습이 필수적이라는 통념에 도전합니다. 저자들은 글로벌 모델이 여러 시계열에 걸쳐 공유된 역동성을 학습함으로써, 특히 수요 패턴이 비교적 안정적인 맥락에서 지속적인 업데이트 없이도 효과적으로 기능할 만큼 견고하다는 점을 주장합니다.

이러한 발견의 의의는 다음과 같은 이중적 영향에 있습니다:

• 경제적: 조직은 예측 품질을 저하시키지 않으면서 재학습 일정을 최적화함으로써 상당한 재정적 절감을 달성할 수 있습니다.
• 환경적: 모델 훈련 빈도를 줄임으로써 조직은 에너지 소비와 탄소 배출을 크게 낮출 수 있으며, 이는 "그린 AI(Green AI)" 원칙과 부합합니다.

연구는 지속적 재학습 패러다임에서 주기적 접근 방식으로 전환함으로써 기업이 높은 예측 성능을 보장하면서도 예측 파이프라인을 최적화하고 관련 비용 절감을 달 수 있다고 결론짓습니다. 저자들은 본 연구 결과가 안정적인 소매 수요에는 견고하지만, 향후 연구에서는 개념 드리프트(concept drift) 탐지에 의해 트리거되는 적응형 재학습 전략을 탐구하고 다른 도메인 및 모델 아키텍처로 분석을 확장해야 한다고 언급했습니다.