기술 요약: FreshRetailNet-LT

문제 정의

정확한 수요 추정은 신선 식품 소매업의 재고 및 가격 정책에 있어 근본적인 요소입니다. 그러나 재고 부족 이벤트로 인해 발생하는 **검열된 판매 데이터(censored sales data)**는 매우 중요한 과제를 제기합니다. 제품이 품절되면 관측된 판매량은 0으로 떨어지는데, 이는 수요가 사라졌기 때문이 아니라 공급이 고갈되었기 때문입니다. 이는 모델이 가공되지 않은 판매 데이터로 학습될 때 실제 잠재 수요를 과소평정하게 만드는 체계적인 편향을 생성합니다. 이러한 과소평정은 '부실한 예측 $\rightarrow$ 불충분한 재고 $\rightarrow$ 추가적인 품절 발생 $\rightarrow$ 수요 측정값의 추가 오염'이라는 악순고리를 지속시킵니다.

기존의 공개 소매 데이터셋(예: M5, Walmart, Favorita)은 다음과 같은 두 가지 주요 한계점으로 인해 이 문제를 효과적으로 해결하지 못합니다:

1. 품절 주석(Stockout Annotations)의 부재: 이들은 실제 수요가 0인 경우와 재고 고갈로 인해 수요가 0인 경우를 구분하지 못하며, 모든 0의 판매량을 정확한 수요 관측치로 취급합니다.
2. 시간적 해상도(Temporal Granularity)의 부족: 대부분의 데이터셋은 일 단위 또는 주 단위로 집계됩니다. 이는 시간대별 수요 패턴(예: 오전/오후 피크)을 가리고, 신선 식품에서 흔히 발생하는 단기적이지만 중요한 품절 이벤트를 희석시킵니다.

나아가, 표준적인 임퓨테이션(imputation) 및 예측 방법론은 데이터가 "무작위 결측(Missing At Random, MAR)"이라고 가정하는 경우가 많습니다. 그러나 신선 식품 소매업에서의 품절은 프로모션, 날씨, 시간대와 같은 구조화된 공변량에 의해 발생하는 "비무작위 결측(Missing Not At Random, MNAR)"이며, 이는 표준적인 접근 방식들을 무력하게 만듭니다.

방법론

본 논문은 잠재 수요 복구(latent demand recovery) 및 검열 하에서의 예측 연구를 촉진하기 위해 설계된 대규모 벤치마크인 FreshRetailNet-LT를 소개합니다. 방법론은 2단계 프레임워크로 구성됩니다.

1. 데이터셋 구축

FreshRetailNet-LT는 1,057개 매장에서 18개 주요 중국 도시를 대상으로 2년(2023년 6월 ~ 2025년 7월) 동안 수집된 다중 소스 운영 데이터를 집계합니다.

• 규모: 576개의 신선 SKU(채소, 육류, 해산물, 과일 등)를 포함하는 20,000개 이상의 매장-제품 시계열을 포함합니다.
• 해상도: 시간(Hourly) 단위의 해상도를 가져 상세한 판매 궤적과 재고 상태를 포착합니다.
• 주석: 고유하게 검증된 시간 단위 품절 라벨을 제공하여, 실제 수요가 0인 기간과 품절로 인해 수요가 검열된 기간을 구분합니다.
• 공변량: 프로모션 할인율, 강수량, 기온, 법정 공휴일과 같은 풍부한 맥contextual 데이터를 포함합니다.

2. 2단계 모델링 접근법

저자들은 먼저 잠재 수요를 복구한 후 이를 예측하는 파이프라인을 제안합니다:

• 1단계: 잠재 수요 복구(Latent Demand Recovery): 목표는 품절 기간 동안 관측되지 않은 수요($d$)를 재구성하는 것입니다. 모델은 관측된 판매량($y$), 공변량(프로모션, 날씨 등), 그리고 품절 지표($s$)를 입력값으로 받습니다. 모델은 $s=0$(품절)일 때만 누락된 수요($\hat{d}$)를 추정하며, $s=1$일 때는 관측된 판매량을 유지합니다.
  • 테스트된 베이스라인: 다중 주기성 모델(TimesNet), 어텐션 기반 임퓨테이션(SAITS, ImputeFormer, iTransformer), 불확실성 인지 생성 모델(GPVAE), 해석 가능한 베이스라인(DLinear).
• 2단계: 검열에 강건한 예측(Censoring-Robust Forecasting): 복구된 수요 시리즈를 일 단위로 집계하여 편향이 제거된 학습 세트를 생성합니다. 이 데이터는 7일 예측 범위를 위한 예측 모델 학습에 사용됩니다.
  • 테스트된 베이스라인: Similar Scenario Average (SSA), Temporal Fusion Transformer (TFT), DLinear, 그리고 파운데이션 모델인 Chronos2 (zero-shot 및 LoRA 미세 조정).

주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 검증된 품절 이벤트 주석: 이는 시간 단위의 검증된 품절 라벨을 제공하는 최초의 오픈 소스 벤치마크입니다. 이를 통해 연구자들은 간접적인 추론 없이도 실제 수요 0과 공급 제약에 의한 수요 0을 직접 구분할 수 있습니다.
2. 고해상도를 갖춘 다년간의 종단적 커버리지: 이 데이터셋은 미세한 시간대별 변동(예: 일일 이봉형 피크)과 2년간의 장기적 계절적 역동성을 모두 포착하여, 기존 신선 식품 데이터셋의 시간적 해상도 격차를 해소합니다.
3. 다중 모델 공변량: 하이퍼로컬 날씨, 공휴일 효과, 프로모션 할인을 독특하게 통합하여, 기후 탄력적 공급망 및 신선도 제약 하의 동적 가격 책정에 관한 연구를 지원합니다.

실험 결과

저자들은 정확도를 측정하기 위해 가중 절대 백분율 오차(WAPE)를, 편향을 측정하기 위해 가중 백분율 오차(WPE)를 사용하였으며, 품절과 수요 사이의 가짜 상관관계를 제거했는지 측정하기 위해 **디커플링 점수($\rho_{DS}$)**를 함께 사용했습니다.

• 잠재 수요 복구:

  • TimesNet이 WAPE 21.35%, WPE **-8.00%**로 최첨단 성능을 달절했습니다.
  • 결정적으로, TimesNet은 디커플링 점수 -0.04를 달성했는데, 이는 원본 판매 데이터(-0.60)보다 0에 훨씬 가까운 수치로, 품절과 수요 억제 사이의 인위적인 연결을 성공적으로 제거했음을 나타냅니다.
  • GPVAE와 같은 생성 모델은 더 높은 오차(WAPE 48.55%)를 보였는데, 이는 신선 식품의 변동성이 큰 수요 패턴을 과도하게 매끄럽게(over-smooth) 만들 수 있음을 시사합니다.

• 예측 성능:

  • 원본 판매 데이터를 사용할 경우, TFT 모델은 체계적인 과소평정 편향(WPE -6.69%)을 보였습니다.
  • TimesNet에 의해 복구된 수요로 학습했을 때, TFT의 편향은 거의 0(-0.13%)으로 줄어들었으며, WAPE는 25.10%에서 **23.47%**로 개선되었습니다.
  • 복구된 수요를 사용할 때 SSA, DLinear, Chronos2와 같은 다른 모델에서도 유사한 개선이 관찰되었으며, 이는 수요 검열 교정이 예측 신뢰성을 높인다는 것을 확인시켜 줍니다.
  • 파운데이션 모델인 Chronos2 역시 복구의 혜택을 받았으나, 복잡한 소매 공변량에 대한 도메인 특화 적응력 측면에서 TFT와 같은 특화된 아키텍처의 적응성을 따라잡지는 못했습니다.

의의 및 주장

본 논문은 FreshRetailNet-LT를 신선 식품 소매 운영 연구를 진전시키기 위한 핵심 자원으로 자리매김합니다. 그 의의는 다음과 같습니다:

• 검열의 순환 고리 타파: 품절에 대한 정답(ground-truth) 주석을 제공함으로써, 수요 과소평정과 재고 낭비의 자기 강화적 순환을 끊을 수 있는 모델 개발을 가능하게 합니다.
• 벤치마크 표준화: 일반적인 데이터셋이 놓치는 신선 식품의 특정 MNCR 메커니즘을 다루는 "재고 인식형 예측(inventory-aware forecasting)"을 위한 타겟 벤치마크를 구축합니다.
• 인과 관계 분석 가능: 데이터 구조는 프로모션, 기후, 운영적 섭동이 신선도 위험과 어떻게 상호작용하는지에 대한 인과 추론을 지원합니다.
• 실용적 유용성: 저자들은 이 데이터셋이 재고 최적화를 위한 즉각적인 솔루션을 제공하며, 머신러닝 이론과 신선 식품 공급망의 실제적 제약 사이의 간극을 메우는 플랫폼이 될 것이라고 주장합니다.

결론적으로, 본 논문은 데이터셋이 오랜 한계를 해결하고 있지만, 희소하거나 롱테일(long-tail) 성격의 SKU를 모델링하고 엔드 투 엔드(end-to-end) 공동 최적화 프레임워크를 개발하는 데 여전히 과제가 남아 있음을 밝히며, 이를 향후 연구 방향으로 제시합니다.