Beyond Accuracy: Evaluating Forecasting Models by Multi-Echelon Inventory Cost

이 연구는 M5 월마트 데이터를 활용하여 다양한 예측 모델을 단일 및 2 단계 재고 시스템에 통합해 시뮬레이션한 결과, 시계열 CNN 과 LSTM 모델이 통계적 기준 대비 재고 비용을 크게 줄이고 충족률을 향상시킨다는 것을 입증했습니다.

핵심

🌧️ 비유: 비 오는 날 우산 가게의 고민

상상해 보세요. 당신이 비가 오는 날 우산을 파는 가게 주인이라고 합시다.

• 우산을 너무 많이 사면 (재고 과다): 비가 안 와서 팔리지 않고, 창고에 쌓여 관리비가 나갑니다. (재고 비용)
• 우산을 너무 적게 사면 (재고 부족): 비가 와서 손님이 몰리는데 우산이 없어서 팔 기회를 놓칩니다. (판매 기회 손실)

이때 가장 중요한 것은 **"내일 비가 얼마나 올지"**를 예측하는 것입니다.

🔍 이 연구가 해결하려는 문제

과거의 가게 주인들은 "어제 비가 왔으니 오늘도 올 거야" (단순한 경험) 나 "지난 10 년 평균을 봤을 때..." (통계적 공식) 같은 방식으로 우산 수량을 예측했습니다.

하지만 요즘은 날씨도, 사람들의 기분도, SNS 유행도 복잡하게 얽혀서 단순한 공식으로는 예측하기 어렵습니다. 그래서 인공지능 (AI) 이라는 새로운 도구를 도입했는데, 문제는 **"AI 가 예측한 숫자가 정말 정확하다고 해서, 실제 가게 주인이 돈을 더 많이 벌게 되는 건가?"**를 확인하는 연구가 부족하다는 점입니다.

이 논문은 **"예측 정확도 (점수)"**가 아니라 **"실제 비용 (돈)"**을 기준으로 AI 를 평가했습니다.

🛠️ 연구 내용: 7 명의 예언자 대결

연구진은 '월마트 (Walmart)'의 실제 판매 데이터를 가져와서 7 가지 다른 예언자 (모델) 들을 시켰습니다.

1. 구식 예언자들: 과거 데이터를 단순히 평균내거나 규칙을 적용하는 전통적인 통계 모델들.
2. 새로운 예언자들: 머신러닝과 딥러닝 (LSTM, Temporal CNN 등) 을 사용하는 최신 AI 모델들.

이들이 예측한 '내일 우산 수요'를 바탕으로, 실제 가게 운영 시뮬레이션을 돌렸습니다.

🏆 결과: AI 가 돈을 아껴주다

결과는 명확했습니다. 최신 AI 모델들이 구식 모델보다 훨씬 많은 돈을 아껴주었습니다.

• 구식 모델: "내일 비가 조금 올 거야"라고 예측해서 우산을 적당히 샀는데, 갑자기 폭우가 내려서 우산이 부족해지고 손실을 입었습니다.
• 최신 AI (특히 'Temporal CNN'과 'LSTM'): 과거의 복잡한 패턴 (비 오는 날, 공휴일, 주말 등) 을 잘 학습해서 **"내일은 정말 많은 비가 올 거야!"**라고 정확히 예측했습니다.
  • 덕분에 우산을 적정량만 준비했고, 재고 비용도 줄이고, 손님이 원하는 우산도 다 팔 수 있었습니다.
  • 결과: 구식 모델보다 재고 관리 비용이 약 18% 줄어들고, 고객 만족도 (우산을 못 사간 손님이 없는 비율) 는 약 10% 향상되었습니다.

🏢 2 단계 시스템: 본사와 지점의 관계

이 연구는 더 나아가 **'본사 (창고)'와 '지점 (가게)'**이 연결된 복잡한 상황도 시뮬레이션했습니다.

• 문제: 지점의 수요 예측이 조금만 틀려도, 그 오차가 본사로 전달되면서 본사의 재고 계획까지 엉망이 되는 '나비 효과'가 발생합니다.
• 해결: 최신 AI 모델은 지점뿐만 아니라 본사의 수요를 통합해서 예측하는 능력도 뛰어났습니다. 덕분에 본사와 지점 전체의 비용이 크게 줄어든 것을 확인했습니다.

💡 핵심 메시지: "점수보다 돈이 중요하다"

이 논문의 결론은 매우 실용적입니다.

"예측 모델의 성능을 평가할 때, 단순히 '오차율이 몇 %냐'는 숫자만 보지 마세요. 그 예측이 실제 재고 비용을 얼마나 줄여주고, 매출을 얼마나 지켜주는지를 봐야 합니다."

한 줄 요약:
복잡한 AI 기술이 단순히 "예측 점수"를 높이는 것을 넘어, 실제 마트와 창고 운영에서 "돈을 아끼고 손실을 막는" 강력한 도구가 될 수 있음을 증명했습니다.

이제 가게 주인들은 "어떤 예측 프로그램을 써야 내 가게가 더 잘 돌아가나?"를 고민할 때, 단순히 정확도만 보지 않고 **"이 프로그램이 내 재고 비용을 얼마나 줄여줄까?"**를 기준으로 선택하면 된다는 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

현대 공급망은 급변하는 시장 환경과 중단 리스크에 직면해 있으며, 이를 극복하기 위해 디지털 전환과 AI 기반 의사결정 지원이 필수적입니다. 수요 예측은 재고 최적화의 핵심 입력값이지만, 기존 연구들은 다음과 같은 한계를 가집니다.

• 예측 정확도 vs. 운영 성과 간극: 기존 연구는 예측 오차 지표 (RMSE, MAE 등) 에만 집중할 뿐, 예측 성능 향상이 실제 재고 비용 (과다 재고/재고 부족) 과 서비스 수준 (충족률) 에 미치는 운영적 영향을 정량화하지 못했습니다.
• 단일 모델 및 단일 단계의 한계: 전통적인 통계 모델 (ARIMA 등) 은 비선형적이고 불규칙한 소매 수요를 처리하는 데 어려움을 겪으며, 머신러닝/딥러닝 모델의 가치도 주로 단일 창고 (Single-echelon) 환경에서만 평가되었습니다.
• 실제 데이터 기반 다단계 평가 부재: 실제 소매 데이터와 정보 공유 신호를 활용하여 예측 오차가 공급망 상류 (물류센터) 와 하류 (매장) 로 어떻게 전파되어 전체 네트워크 비용에 영향을 미치는지에 대한 실증 연구가 부족합니다.

2. 방법론 (Methodology)

이 연구는 M5 Walmart 데이터셋을 활용하여 예측 모델의 성능을 재고 비용 관점에서 평가하는 통합 파이프라인을 구축했습니다.

2.1 데이터 및 전처리

• 데이터셋: M5 Forecasting 데이터셋 사용 (캘린더 데이터와 결합).
• 범위: 통제된 벤치마킹을 위해 캘리포니아주 (CA) 의 'FOODS 1' 카테고리 데이터만 추출.
• 특성 (Features): 시차 (Lags), 이동 평균 (Rolling means), 캘린더/이벤트 지표 (SNAP 포함) 등을 생성.
• 분할: Rolling holdout 방식 적용 (테스트: 마지막 28 일, 검증: 그 이전 28 일, 훈련: 나머지).

2.2 예측 모델 (7 가지 접근법)

통계적, 머신러닝, 딥러닝 모델을 통합하여 비교 평가했습니다.

1. Naive (lag-1): 단순 지속성 기준.
2. Holt-Winters ES: 지수 평활법 (계절성 포함).
3. ARIMA(1,1,1): 차분된 선형 시계열 모델.
4. Gradient Boosting Regressor (GBR): 트리 앙상블.
5. XGBoost: 정규화된 그래디언트 부스팅 트리.
6. LSTM (Global): 장기 의존성을 학습하는 순환 신경망.
7. Temporal CNN: 확장 컨볼루션을 활용한 시계열 모델 (장기 패턴 효율적 학습).

2.3 재고 시뮬레이션 (Newsvendor Simulator)

예측값을 실제 운영 지표로 변환하기 위해 Rolling Single-Period Newsvendor 시뮬레이터를 구축했습니다.

• 비용 함수: 과다 재고 비용 (Holding cost, $h$) 과 재고 부족 비용 (Shortage cost, $b$) 을 고려.
• 주문 정책: 점 예측치 (Point forecast) 를 기반으로 $Q = \max(0, \hat{D})$ 주문.
• 평가 지표: 평균 일일 비용 (Avg. Cost/day) 및 수요 가중 충족률 (Demand-weighted Fill Rate).

2.4 다단계 (Multi-Echelon) 확장

• 2 단계 시스템: 물류센터 (DC) 가 여러 매장을 공급하는 구조 시뮬레이션.
• 메커니즘: DC 수요는 매장 수요의 합계로 집계되며, DC 재고가 부족할 경우 매장 간 비례 배분 (Proportional allocation) 을 통해 충족률을 계산.
• 목표: 예측 오차가 DC 수준에서 매장 수준으로 전파될 때 발생하는 비용 증폭 효과 (Bullwhip effect) 분석.

3. 주요 기여 (Key Contributions)

1. 통합 예측 파이프라인 개발: 통계, ML, DL 모델을 표준화된 특성 및 학습 프레임워크 내에서 통합.
2. 운영적 가치 정량화: 예측 정확도를 재고 비용 및 서비스 수준 지표로 직접 변환하여 평가.
3. 다단계 시뮬레이션 구현: 단일 창고를 넘어 DC-Store 구조에서의 예측 오차 전파 및 운영 영향을 평가.
4. 민감도 분석: 다양한 비용 구조 (과다/부족 비용 비율) 하에서 각 모델의 강건성 (Robustness) 평가.

4. 실험 결과 (Results)

M5 데이터셋 (CA FOODS 1) 에 대한 테스트 결과, 딥러닝 모델 (Temporal CNN, LSTM) 이 통계적 기반선 및 머신러닝 모델보다 우수한 성과를 보였습니다.

• 단일 단계 (Single-Echelon) 성능:
  • Temporal CNN이 가장 낮은 재고 비용 (3.674) 과 가장 높은 충족률 (0.632) 을 기록.
  • Naive 모델 대비 비용 18.7% 감소, 충족률 9.8%p 향상.
  • LSTM은 가장 낮은 RMSE(2.207) 를 기록하며 두 번째로 낮은 재고 비용을 달성.
  • XGBoost/GBR 등 트리 기반 모델도 통계적 모델보다 우수했으나, 딥러닝에는 미치지 못함.
• 민감도 분석 (Shortage Penalty, $b$ 변화):
  • 재고 부족 비용 ($b$) 이 증가할수록 절대 비용은 상승했으나, 모델 간 순위는 유지됨.
  • Temporal CNN은 $b/h$ 비율이 증가하는 상황에서도 가장 낮은 비용을 유지하여 비대칭적 서비스 페널티 하에서 가장 강건한 것으로 확인됨.
• 다단계 (Two-Echelon) 시사점:
  • DC 수준의 수요 집계 오류가 매장 재고 보충 결정으로 전파되어 전체 네트워크 비용과 서비스 저하를 증폭시킴.
  • 이는 매장 수준의 예측 개선뿐만 아니라, 상류 (DC) 의 예측 정확도 확보가 공급망 전체 효율에 결정적임을 시사.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 의의: 기업은 예측 모델 선택 시 단순한 '정확도 (Accuracy)'가 아닌, 비즈니스 KPI(비용, 충족률) 관점에서 접근해야 함을 입증. 특히 재고 부족 비용이 높은 환경에서는 딥러닝 기반 파이프라인 투자가 경제적 타당성을 가짐.
• 학술적 의의: 예측 오차가 실제 공급망 운영 (다단계 재고) 에 미치는 영향을 정량적으로 연결한 최초의 연구 중 하나로, 데이터 기반 의사결정 지원 도구로서의 역할을 제시.
• 한계 및 향후 과제: 현재는 단일 카테고리 (FOODS 1) 와 고정된 주문 정책에 국한됨. 향후 가격 탄력성, 프로모션 효과, 확률적 예측 (Quantile forecasting), 그리고 더 복잡한 다단계 네트워크 (횡단 이송 등) 로 연구 범위를 확장할 필요성이 제기됨.

요약: 본 논문은 예측 모델의 성능을 단순 통계 지표가 아닌, 실제 재고 비용과 서비스 수준이라는 운영적 관점에서 평가함으로써, 딥러닝 모델 (특히 Temporal CNN) 이 복잡한 공급망 환경에서 더 나은 경제적 가치를 창출함을 실증했습니다.