Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting

이 논문은 소매 판매 예측을 위해 다양한 머신러닝 모델을 비교 분석한 결과, 복잡한 딥러닝 아키텍처보다 XGBoost 와 같은 트리 기반 앙상블 모델이 결측치와 간헐적 수요가 있는 실제 환경에서 더 우수한 성능을 보였음을 시사합니다.

핵심

🛒 배경: 왜 예측이 어려울까? (오프라인 매장의 현실)

이 연구는 대형 온라인 쇼핑몰이 아니라, **실제 오프라인 매장 (Brick-and-Mortar)**을 대상으로 했습니다.

• 온라인 쇼핑몰: 모든 데이터가 한곳에 모여 있고, 매일 꾸준히 주문이 들어옵니다. (데이터가 빽빽하고 깨끗함)
• 오프라인 매장: 수천 개의 매장이 있고, 각 매장의 사정은 다릅니다. 어떤 날은 비가 와서 손님이 없고, 어떤 날은 프로모션으로 폭주합니다. 또, 재고가 없어서 팔지 못한 날도 많습니다. (데이터가 끊기고, 비어있고, 소음이 많음)

연구진은 "이런 ** messy(지저분하고 불규칙한)** 데이터를 가지고 6 개월 뒤의 판매량을 예측하는 데 어떤 AI 가 가장 잘할까?"를 비교했습니다.

---

🥊 주인공들: 두 가지 AI 팀

연구진은 두 가지 팀을 대결시켰습니다.

1. 초고급 스펙의 딥러닝 팀 (Neural Networks):

   • 특징: N-BEATS, TFT 같은 최신 모델들입니다. 마치 수학 천재처럼 방대한 데이터를 학습하고 복잡한 패턴을 찾아내려 합니다.
   • 장점: 데이터가 엄청나게 많고 깨끗하면 아주 강력합니다.
   • 단점: 데이터가 조금만 지저분하거나 끊겨도 당황해서 엉뚱한 답을 내놓을 수 있습니다.

2. 실전 베테랑의 트리 기반 팀 (Gradient Boosting Trees):

   • 특징: XGBoost, LightGBM 같은 모델들입니다. 마치 经验丰富的(경험 많은) 현장 소장처럼, "이런 날에는 A 상품이 잘 팔리고, 저런 날에는 B 상품이 안 팔린다"는 식으로 규칙을 하나하나 찾아서 예측합니다.
   • 장점: 데이터가 조금 지저분해도 꿋꿋하게 잘 처리하고, 계산 속도도 빠릅니다.
   • 단점: 데이터가 너무 적으면 천재만큼의 성능을 내기 어렵습니다.

---

🏆 실험 결과: 누가 이겼을까?

결과는 놀라웠습니다. 실전 베테랑인 '트리 기반 팀'이 압도적으로 이겼습니다.

• **XGBoost(트리 기반)**가 가장 낮은 오차로 1 위를 차지했습니다.
• 반면, 최신 딥러닝 팀은 데이터가 지저분한 오프라인 매장 환경에서는 기대만큼의 성능을 내지 못했습니다.

🤔 왜 이런 일이 일어났을까? (핵심 비유)

1. 데이터의 '지저분함' 문제:

   • 오프라인 매장 데이터는 재고 부족이나 시스템 오류로 인해 **빈칸 (Missing values)**이 많습니다.
   • 연구진은 이 빈칸을 채우기 위해 'SAITS'라는 고급 AI 를 썼습니다. 하지만 이 AI 가 빈칸을 채워 넣은 값들이 실제 현실과 너무 달라졌습니다. (예: 실제 판매량이 353 개였는데, AI 가 채운 값은 23 개로 줄여버림).
   • 비유: 마치 **요리사 (딥러닝)**에게 재료를 채워달라고 했더니, **실제 재료 (진짜 데이터)**가 아닌 **가짜 재료 (잘못 채워진 데이터)**를 넣은 요리책을 줬기 때문에, 요리사가 맛있는 요리를 못 한 것입니다.

2. 지역 특유의 '취향' 문제:

   • 오프라인 매장은 지역마다 취향이 다릅니다. (서울 강남과 지방 소도시의 선호도가 다름).
   • 딥러닝은 모든 매장을 하나로 묶어서 "전체적인 평균"을 배우려 했지만, 오히려 개별 매장의 고유한 특징을 놓쳤습니다.
   • 트리 기반 모델은 "각 매장 (또는 상품 그룹) 마다 따로 모델을 훈련"시켰습니다. 마치 지역별 맞춤형 메뉴를 개발한 것처럼, 각 매장의 특성에 딱 맞는 예측을 해낸 것입니다.

3. 속도와 효율성:

   • 딥러닝 모델을 훈련시키는 데는 수 시간에서 수 일이 걸렸지만, 트리 기반 모델은 수 분이면 끝났습니다.
   • 비유: 딥러닝은 거대한 슈퍼컴퓨터를 돌려서 정교한 지도를 그리는 반면, 트리 기반 모델은 현지 사정을 잘 아는 택시 기사처럼 빠르고 정확하게 목적지에 도착했습니다.

---

💡 결론: 우리에게 주는 교훈

이 연구는 우리에게 다음과 같은 중요한 메시지를 줍니다.

"무조건 최신이고 복잡한 AI 를 쓰는 것이 좋은 게 아니다. 내 문제 (데이터) 에 맞는 도구를 골라야 한다."

• 온라인 쇼핑몰처럼 데이터가 많고 깨끗하다면? → 최신 딥러닝 (Transformer 등) 을 써도 좋습니다.
• 오프라인 매장처럼 데이터가 지저분하고, 지역별 차이가 크다면? → XGBoost 나 LightGBM 같은 '트리 기반 모델'이 훨씬 더 빠르고 정확합니다.

한 줄 요약:
"복잡한 최신 AI 가 항상 최고는 아니다. 오프라인 매장의 messy 한 현실에서는, 현장을 잘 아는 '실전 베테랑' (트리 기반 모델) 이 훨씬 더 잘한다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 오프라인 소매업 (Brick-and-Mortar, B&M) 에서 정확한 수요 예측은 재고 최적화 및 비용 최소화에 필수적입니다.
• 주요 문제:
  • 간헐적 수요 (Intermittent Demand): 많은 제품이 불규칙하게 판매되며, 일일 판매 데이터의 상당 부분이 0 입니다.
  • 데이터 결측 및 노이즈: 재고 기록의 불일치, 품절 (Out-of-stock), 제품 라인업 변경 등으로 인해 데이터에 결측치와 노이즈가 많습니다.
  • 데이터의 이질성: 수천 개의 매장에서 각기 다른 프로모션과 가격 변동이 발생하며, 이는 중앙 집중식 온라인 유통 (예: 아마존, 잘란도) 과는 다른 특성을 가집니다.
• 연구 목적: 통계적 베이스라인, 트리 기반 앙상블 (XGBoost, LightGBM), 그리고 최신 딥러닝 아키텍처 (N-BEATS, N-HiTS, TFT) 를 비교하여, 오프라인 소매 환경의 제약 조건 하에서 어떤 모델이 가장 효과적인지 규명하는 것입니다.

2. 방법론 (Methodology)

2.1 데이터 특성

• 데이터셋: 동유럽의 주요 소매업체로부터 수집된 위생용품 카테고리 (27 개 그룹, 79 개 UoN, 446 개 매장) 의 일일 판매 데이터.
• 통계적 특징:
  • 총 46,841 개의 SKU-매장 시계열.
  • 결측률: 20.93% (보조 변수 기준).
  • 간헐성: 시계열의 99.98% 가 적어도 하루 이상 판매가 0 인 날을 포함하며, 평균 492 일의 무판매 일수를 가짐.
  • 예측 기간: 향후 26 주 (182 일) 일별 예측 후 주단위 집계.

2.2 전처리 및 특징 공학

• 결측치 처리:
  • 기본 전략: 시간 연속 변수에 대한 전진/후진 채움 (Forward/Backward fill), 그룹별 평균 대체 등.
  • 실험적 접근: SAITS (Self-Attention based Imputation for Time Series) 모델을 사용하여 결측치를 보정한 데이터셋을 생성하고 모델 성능을 비교.
• 특징 공학 (Feature Engineering):
  • 과거 관측치 (Past-only): 과거 판매, 경쟁사 가격, 재고 유무 등.
  • 미래 관측치 (Future-known): 캘린더 (휴일, 연금수급일), 매장 메타데이터, 계획된 프로모션, CPI(소비자물가지수) 등.
  • 데이터 누수 방지: 미래 정보를 훈련 데이터에 유입되지 않도록 엄격하게 분리하고, 경쟁사 가격 등 불확실한 변수에는 제어된 노이즈를 주입하여 현실적인 예측 조건을 조성.
• 모델 학습 전략:
  • 지역적 (Local) 모델링: 각 제품 그룹별로 독립적인 모델 학습.
  • 전역적 (Global) 모델링: 모든 제품 그룹을 하나의 모델로 통합 학습.
  • 평가 프로토콜: 트리 기반 모델은 'One-step-ahead' 롤링 윈도우, 딥러닝 모델은 'Direct multi-horizon' 전략을 사용 (역방향 평가 시에도 유사한 결과 확인).

2.3 평가 모델

• 통계적: ETS, Theta, Croston (CSBA).
• 트리 기반 앙상블: XGBoost, LightGBM.
• 딥러닝 (Neural Networks): N-BEATS, N-HiTS, Temporal Fusion Transformer (TFT).

3. 주요 결과 (Results)

3.1 예측 정확도 비교

• 트리 기반 모델의 우위: 대부분의 시나리오에서 XGBoost와 LightGBM이 딥러닝 모델보다 월등히 우수한 성능을 보였습니다.
  • 최고 성능: XGBoost (지역적 모델링, 비보정 데이터) 가 RMSE 4.833, MAE 1.935 로 가장 낮은 오차를 기록했습니다.
  • 딥러닝의 한계: N-BEATS, N-HiTS, TFT 등은 오프라인 소매 데이터의 간헐성과 노이즈로 인해 상대적으로 높은 오차 (RMSE 7.7~16.3) 를 보였습니다.
• 결측치 보정 (Imputation) 의 영향:
  • SAITS 기반 보정은 딥러닝 모델의 전역적 학습 (Whole Category) 에서는 일부 성능 향상을 가져왔으나, 여전히 트리 기반 모델보다 낮았습니다.
  • LightGBM 의 급격한 성능 저하: 지역적 모델링에서 SAITS 보정 데이터를 사용한 경우, LightGBM 의 RMSE 가 4.847 에서 10.758 로 급증했습니다. 이는 보정된 데이터가 분산이 축소되고 원본과 다른 분포를 가지게 되어 트리 모델의 학습에 악영향을 미쳤기 때문입니다.
• 편향 (Bias) 분석:
  • 앙상블 모델은 약간의 과소평가 (Negative Bias) 경향을 보인 반면, 신경망 모델은 체계적인 과대평가 (Positive Bias) 경향을 보였습니다.

3.2 계산 효율성

• 학습 시간: XGBoost 는 14.5 분, LightGBM 은 35.5 분으로 매우 빠르지만, 딥러닝 모델 (TFT 등) 은 수천 분 (TFT: 4,424 분) 이 소요되어 계산 비용이 훨씬 높았습니다.

4. 주요 기여 (Key Contributions)

1. 실무 가이드라인 제시: 오프라인 소매 환경 (간헐적 수요, 결측치, 품절 등) 에서는 복잡한 딥러닝 아키텍처보다 지역적 (Local) 트리 기반 앙상블 모델이 더 효과적임을 실증했습니다.
2. 포괄적인 비교 분석: 모델 아키텍처 (통계/트리/신경망), 모델링 범위 (지역/전역), 데이터 전처리 (보정/비보정) 를 다각도로 비교하여 각 조건별 최적 모델을 제시했습니다.
3. 보정 기법의 위험성 경고: SAITS 와 같은 고급 보정 기법이 오히려 데이터 분포를 왜곡시켜 트리 기반 모델의 성능을 저하시킬 수 있음을 발견하고, 데이터 품질과 보정 방법의 중요성을 강조했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모델 선택의 핵심: 모델의 복잡성 (아키텍처의 정교함) 보다는 문제의 특성 (데이터의 간헐성, 노이즈, 규모) 에 맞는 모델 선택이 예측 정확도와 효율성을 결정하는 핵심 요소입니다.
• 실무 적용: 오프라인 소매업체는 대규모 데이터가 없거나 데이터가 희소하고 노이즈가 많은 환경에서는 딥러닝을 무조건 적용하기보다, XGBoost 나 LightGBM 과 같은 트리 기반 모델을 지역적 단위로 학습하는 전략이 재고 관리 및 수요 계획에 가장 효과적입니다.
• 한계 및 향후 연구: 집계된 오차 지표가 세그먼트별 변동을 숨길 수 있으며, 향후 트리 기반의 효율성과 신경망의 표현 학습 능력을 결합한 하이브리드 접근법이나 데이터 구조를 더 잘 보존하는 보정 방법 연구가 필요함을 제언합니다.

요약: 이 연구는 오프라인 소매 판매 예측이라는 구체적인 문제에서, 최신 딥러닝 모델이 오히려 전통적인 트리 기반 앙상블 (XGBoost/LightGBM) 보다 성능과 효율성 면에서 뒤처질 수 있음을 증명했습니다. 특히 데이터의 간헐성과 결측치 처리 방식이 모델 성능에 결정적인 영향을 미친다는 점을 강조하며, 실무자들에게 문제의 특성에 맞는 모델 선택의 중요성을 일깨워줍니다.