기술 요약: 확률적 탑다운(e2eTD)을 통한 엔드투엔드 확률적 계층적 예측

1. 문제 정의

소매 및 공급망 운영은 제품 단위의 재고 보충부터 매장 단위의 수용 능력 계획에 이르기까지 의사결정을 내리기 위해 수요 예측에 의존합니다. 이러한 예측은 두 가지 핵심적이고 종종 상충하는 요구사항을 충족해야 합니다:

1. 확률적 특성: 리스크를 고려한 의사결정(예: 안전 재고 설정)을 가능하게 하기 위해, 예측은 단일 점 추정치가 아닌 전체 예측 분포를 제공해야 합니다.
2. 일관성(Coherence): 집계 계층(예: SKU, 매장, 지역, 총합) 전반의 예측은 일관되어야 합니다. 즉, 상위 노드의 예측값은 하위 노드 예측값의 합과 같아야 합니다.

기존 방식들은 대규모 계층 구조(수천 개의 시계열)에서 발생하는 간헐적 수요(희소하고 0이 많은 최하위 레벨 시계열)와 관련하여 상당한 확장성 및 모델링 문제를 겪습니다:

• 2단계 방식 (예측 후 조정 - Forecast-then-Reconcile): 점 예측에는 효과적이지만, 확률적 조정은 대규모 계층 구조에서 계산 비용이 많이 듭니다. 또한 간헐적인 카운트 데이터에 적합하지 않은 제한적인 가정(예: 가우시안성)에 의존하거나 고차원 행렬 역행렬 계산을 필요로 합니다.
• 엔드투엔드 신경망 모델: 일관된 예측을 생성하지만, 일반적으로 복잡한 아키텍처, 특수 하드웨어(GPU) 및 상당한 엔지니어링 노력을 요구하므로 신속하고 대규모로 배포하기에는 비현 practical합니다.
• 전통적 탑다운(Top-Down) 방식: 확장성은 뛰어나지만, 표준적인 탑다운 방식은 결정론적인 과거 비율에 의존하는 경우가 많아, 확률적 일관성을 위해 필요한 불확실성과 시리즈 간 의존성을 포착하지 못합니다.

본 논문은 빠르고, 확장 가능하며, 대규모 계층 구조 내의 간헐적 하위 시리즈에 대해 일관된 확률적 예측을 생성할 수 있는 방법론에 대한 공백을 식별합니다.

2. 방법론: e2eTD

제안된 방법인 e2eTD(end-to-end Top-Down)는 소수의 매끄러운 상위 레벨 시리즈만을 모델링하고 새로운 확률적 탑다운 알고리즘을 통해 샘플을 하향 전파함으로써 일관된 확률적 예측을 생성합니다.

핵심 워크플로우

이 방법은 5단계로 진행됩니다 (논문의 그림 2 참조):

1. 상위 시리즈 선택: 모든 하위 시리즈를 예측하는 대신, e2eTD는 매끄럽고 예측 가능한 상위 시리즈로 구성된 작은 부분 계층(subhierarchy)을 선택합니다(실험에서는 전체 시리즈의 약 0.3%). 이 서브하이어라키는 모든 하위 시리즈를 포함하는 형태여야 합니다.
2. 확률적 예측: 선택된 상위 시리즈에 대해 독립적인 확률적 예측을 생성합니다. 저자들은 외생 변수(예: 공휴일, 프로모션)를 포함할 수 있는 자동 모델 선택 기능이 있는 지수 평활법(ETS)을 사용합니다.
3. 조정(Reconciliation): 선택된 상위 시리즈 간의 일관성을 보장하기 위해 가우시안 확률적 조정 단계가 적용됩니다. 이는 독립적인 예측들을 결-합하여 공동 다변량 정규 분포를 형성합니다. 샘플은 선택된 서브하이어라키의 최하위 레벨에서 추출됩니다.
4. 확률적 탑다운 샘플링 (독창성): 이것이 핵심 기여입니다. 고정된 과거 비율을 사용하는 대신, 알고리즘은 분해 비율을 결합 분포(joint distributions)로 모델링합니다.
   • 모델링: 각 시리즈가 분할되는 쌍에 대해, 방법론은 과거 카운트의 결합 분포를 추정합니다. 주변 분포(Marginals)는 디스퍼션(dispersion)에 따라 포아송(Poisson) 또는 음이항(Negative Binomial) 분포로 적합되며, 의존성은 **플래켓 코퓰라(Plackett copula)**를 사용하여 모델링합니다.
   • 샘플링: 상위 노드로부터의 샘플 $z$가 주어지면, 알고리즘은 $a+b=z$를 만족하는 쌍 $(a, b)$를 추출합니다. 각 분할의 확률은 추정된 결합 분포를 제약 조건 $A+B=z$에 대해 조건화하여 결정됩니다.
   • 재귀(Recursion): 이 과정은 선택된 상위 노드에서 최하위 레벨까지 이진 분할(binary splitting)을 통해 재귀적으로 적용됩니다. 결정적으로, 알고리즘은 샘플 인덱스를 재배치하지 않음으로써 조정 단계에서 상속된 시리즈 간의 의존성을 보존합니다.
5. 집계(Aggregation): 생성된 결합 최하위 레벨 샘플들을 집계 행렬을 사용하여 합산함으로써 모든 계층 수준에서 일관된 확률적 예측을 얻습니다.

계산 전략

수십만 개의 시리즈로 확장 가능하도록 하기 위해 다음을 수행합니다:

• 배칭(Batching): 알고리즘은 모든 샘플을 루프 돌며 계산하는 대신, 상위 샘플의 고유한 정수 값에 대한 샘플링 가중치를 한 번에 계산합니다.
• 병렬화: 상위 레벨 예측과 계층의 서로 다른 브랜치에 대한 탑다운 샘플링은 CPU 코어를 통해 병렬로 처리됩니다.
• 효율적 추정: 방법론은 모멘트 매칭(moment matching)을 사용하여 주변 파라미터를 추정하고 스피어먼 순위 상관 역전(Spearman rank correlation inversion)을 사용하여 코퓰라 파라미터를 추정함으로써, 계산 비용이 많이 드는 최대 우도 추정(MLE)을 피합니다.

3. 주요 기여

1. 확장 가능한 확률적 일관성: e2eTD는 특수 하드웨어 없이도 표준 노트북에서 약 20분 이내에 ~30만 개의 시리즈(Favorita 데이터셋)를 가진 계층 구조에 대해 일관된 확률적 예측을 달もの합니다.
2. 확률적 탑다운 알고리즘: 본 논문은 분해 비율을 결정론적 비율이 아닌 (코퓰라를 통한) 결합 분포로 취급하는 샘플링 메커니즘을 도입하여, 시리즈 간 의존성을 보존하고 모든 수준에서 일관성을 보장합니다.
3. 간헐성 처리: 매끄러운 상위 시리즈만을 예측하고 탑다운 샘플링 단계에서 자연스럽게 간헐성을 유도함으로써, 희소하고 0이 많은 하위 시리즈를 직접 모델링하는 어려움을 피합니다.
4. 실증적 검증: 방법론은 M5 및 Favorita라는 두 개의 가장 큰 공개 리테일 데이터셋에서 기존의 확장 가능한 베이스라인들과 비교 평가되었으며, 우수한 성능을 입증했습니다.

4. 실험 결과

저자들은 M5 및 Favorita 데이터셋에서 e2eTD를 다섯 가지 경쟁 방법(Empirical Distribution, Seasonal Empirical, WLS Reconciliation, Long et al. (2025), HINT)과 비교 평가했습니다.

• 정확도 (WSPL): e2eTD는 두 데이터셋 모두에서 모든 집계 수준에 걸쳐 가장 낮은 **가중 스케일 핀볼 손실(Weighted Scaled Pinball Loss, WSPL)**을 달성했습니다.
  • M5의 경우, e2eTD는 M5 불확실성 경진대회에서 892개 팀 중 11위를 차지했을 것입니다.
  • Favorita의 경우, 신경망 기반 접근 방식을 포함한 모든 경쟁 모델을 크게 앞질렀습니다.
  • 이 방법은 최하위 레벨(SKU-store)에서도 높은 정확도를 유지했으며, M5 상위 50개 팀 중 7위를 기록했을 것입니다.
• 계산 효율성:
  • M5 (~30k 시리즈): 약 4.5분.
  • Favorita (~160k 시리즈): 약 17분.
  • 대조적으로, 신경망 방법(HINT)은 GPU를 필요로 했으며, 조정 기반 방법(WLS)은 더 큰 데이터셋에서 훨씬 더 오래 걸리는 등 확장성이 떨어졌습니다.
• 절제 연구 (Ablation Study):
  • 조정(Reconciliation): 상위 레벨 조정 단계를 제거하면 성능이 크게 저하되었습니다 (M5에서 WSPL +8.8%), 이는 수준 간 정보 결합의 가치를 확인시켜 줍니다.
  • 코퓰라(Copula): (교차 시리즈 의존성을 무시하는) 독립 코퓰라를 사용했을 때 M5에서는 영향이 미미했으나, Favorita에서는 오차가 증가하여 의존 구조가 데이터셋마다 다름을 시사했습니다.
  • 외생 변수(Exogenous Regressors): 공변량(공휴일, 프로모션)을 포함하는 것이 M5 성능을 크게 향상시켰으나, Favorita에는 미미한 영향을 미쳤습니다.

5. 의의 및 주장

본 논문은 e2eTD를 리테일 분야의 "1차 운영적 관심사"인 예측 비용에 대한 실질적인 해결책으로 포지셔닝합니다.

• 운영적 영향: 저자들은 대규모 소매업체가 매일 수십억 개의 예측을 갱신해야 할 수도 있다고 언급합니다. 무거운 방법론에서 e2eTD로 전환하면 연간 수천만 달러를 절감하고 예측 파이프라인의 환경 발자국(CO2e)을 줄일 수 있습니다.
• 의사결정 지원: 일관된 확률적 예측을 제공함으로써, 이 방법은 전략적, 전술적, 운영적 수준 모두에서 일관된 리스크 인식 의사결정(예: 안전 재고 최적화)을 가능하게 합니다.
• 한계 인정: 저자들은 하위 레벨 비율의 근사적 정상성(stationarity) 가정 및 상위 서브하이어라키의 수동 선택과 같은 한계를 인정합니다. 이들은 향-후 연구로서 원칙적인 서브하이어라키 선택 기준과 시간 가변적 비율에 대한 더 정교한 모델링을 제안합니다.

요약하자면, e2eTD는 일관된 확률적 예측의 필요성과 대규모 리테일 운영의 계산적 제약 사이의 간극을 메우며, 기존의 신경망 및 조정 기반 접근 방식에 대한 빠르고 정확하며 하드웨어 효율적인 대안을 제공합니다.