Bridging Forecast Accuracy and Inventory KPIs: A Simulation-Based Software Framework

기술 요약: 예측 정확도와 재고 KPI 간의 가교 형성

문제 정의
자동차 애프터마켓, 특히 대형 차량용 예비 부품 분야에서 수요는 높은 간헐성, 희소성 및 불확실성을 특징으로 합니다. 효율적인 재고 관리는 과잉 재고(자본 묶임, 진부화)의 경제적·환경적 비용과 과소 재고(가동 중단, 긴급 배송, 고객 불만족) 사이의 균형을 맞추는 데 매우 중요합니다. 인공지능(AI)과 머신러닝(ML)이 고급 예측 능력을 제공하고 있음에도 불구하고, 이 영역에서의 예측 모델 평가는 여전히 통계적 정확도 지표(예: MAE, RMSE, $R^2$)에 의해 지배되고 있습니다. 통계적 지표가 총 재고 비용 및 서비스 수준과 같은 운영 KPI로 어떻게 변환되는지에 대한 이해에는 상당한 격차가 존재합니다. 결과적으로, 통계적으로 우수한 성능을 보이는 모델이 반드시 최적의 운영 성과를 보장하는 것은 아니며, 예측 오차와 재고 성과 사이의 관계는 제대로 파악되지 않은 상태입니다.

방법론
이 격차를 해결하기 위해, 저자들은 예측 모델이 다운스트림의 재고 결정에 미치는 영향을 기반으로 모델을 평가하도록 설계된 의사결정 중심의 폐쇄 루프 시뮬레이션 소프트웨어 프레임워크를 제안합니다. 이 프레임워크는 세 가지 통합된 모듈로 구성됩니다:

1. 합성 수요 생성기 (Synthetic Demand Generator):

   • 구조: 계층적 구조(딜러 $\to$ 트럭 $\to$ 부품)로 모델링된 이산 시간 시뮬레이션(DTS) 시스템입니다.
   • 메커니즘: 부품 고장을 시뮬레이션하여 수요를 생성합니다. 고장 시간(time-to-failure)은 위험 함수(hazard functions)에 의해 제어되는 확률 변수로 취급됩니다.
   • 모델: 네 가지 파라미터 생존 모델(Exponential, Weibull, Log-logistic, Gompertz)이 구현되었습니다. 이를 통해 이질적인 고장 역학(예: 무기억성 vs. 노후화 부품)을 구현할 수 있습니다.
   • 요인: 생성기는 계절성(지역 및 부품별 변동을 포착하기 위한 Radial Basis Functions 활용), 사용 강도(Normal vs. Hard), 그리고 컨셉 드리프트(fleet 규모의 급격하거나 완만한 변화)를 포함합니다.
   • 출력: 다양한 부품 유형에 대해 여러 딜러를 가로지르는 일일 수요 시계열 데이터를 생성하며, 이는 실제 세계의 간헐성(평균 수요 간격 및 변동 계수로 측정됨)을 재현합니다.

2. 유연한 예측 모듈 (Flexible Forecasting Module):

   • 이 모듈은 합성 수요 데이터를 수용하고 다양한 예측 모델을 호스팅합니다.
   • 테스트된 모델: 연구에서는 세 가지 머신러닝 모델(XGBoost, Random Forest, SVR)과 네 가지 통계적 시계열 방법(ARIMA, Croston's method, TSB, SBA)을 평가합니다.
   • 학습: 모델은 처음 2년간의 합성 데이터로 학습되어 3년 차를 예측합니다. 하이퍼파라미터는 평균 절대 오차(MAE)를 최소화하도록 튜닝됩니다.

3. 재고 제어 시뮬레이터 (Inventory Control Simulator / Cost Simulator):

   • 메커니즘: 예측치를 처리하여 재고 결정을 구동하는 이산 사건 시뮬레이션(DES)입니다.
   • 정책: 확립된 공식을 바탕으로 안전 재고, 재주문 지점, 주문량을 계산하는 표준 재고 정책을 채택합니다.
   • 비용 구성 요소: 시뮬레이터는 보유 비용, 주문 비용, 긴급 주문 비용, 운송 비용 및 배드윌(badwill, 서비스 수준 미달에 대한 페널티) 비용을 포함한 총 운영 비용을 계산합니다.
   • 출력: 운영 KPI, 즉 총 비용(Total Cost)과 서비스 수준(Fill rate)입니다.

실험 설정
저자들은 3년의 기간($T=1095$일) 동안 일일 타임스텝을 갖는 48개의 합성 시나리오를 생성했습니다. 시나리오는 다음 요소에 따라 변화했습니다:

• 컨셉 드리프트(Concept Drift): 없음, 급격함, 완만함, 또는 복합적 변화.
• 차량 규모(Fleet Size): 딜러당 트럭 수의 네 가지 범위 ($N_t \in [5, 100]$).
• 부품 수명(Part Lifetime): 중앙값 고장 시간($t_m \in [100, 730]$ 일)의 세 가지 범위.
• 구성: 4개의 딜러, 부품 가격, 리드 타임 및 공급업체 용량에 대한 고정된 파라미터.

주요 결과
실험 결과, 통계적 정확도와 운영 성과 사이에 상당한 괴리가 있음이 드러났습니다:

• 정확도 vs. 비용: 가장 우수한 통계적 정확도(MAE와 RMSE를 최소화한 XGBoost 및 Random Forest)를 달로한 모델들이 클래식한 간헐적 수요 방법론들에 비해 더 높은 총 재고 비용을 발생시켰습니다.
• 역설적 발견: Croston의 방법은 통계적 지표(높은 MAE/RMSE) 측면에서는 성능이 떨어졌음에도 불구하고, 가장 낮은 총 재고 비용을 달성했습니다. Random Forest가 비용 측면에서 두 번째로 우수했으며, SVR과 XGBoost는 가장 높은 비용을 초과했습니다.
• 심슨의 역설(Simpson's Paradox): 오차 지표(MAE, RMSE)와 총 비용 간의 관계를 분석한 결과, 특정 시나리오 내에서 약하거나 음의 상관관계가 나타났습니다. 즉, 낮은 통계적 오차가 반드시 낮은 운영 비용을 보장하지는 않았습니다.
• 모델 순위: 평가 기준을 예측 정확도에서 운영 비용으로 전환할 때 모델의 순위가 극적으로 변했습니다. 간헐적 수요를 위해 설계된 클래식 방법론(Croston, SBA, TSB)이 이 특정 맥락에서 복잡한 ML 모델보다 재고 최적화에 더 견고함을 입증했습니다.

의의 및 기여
본 논문은 두 가지 주요 기여를 주장합니다:

1. 모듈형 오픈 소스 프레임워크: 저자들은 수요 예측과 재고 관리를 연결하는 재사용 가능하고 투명한 소프트웨어 프레임워크를 제공합니다. 합성 수요 생성기를 재고 비용 시뮬레이터와 결합함으로써, 연구자들이 단순한 통계적 오차를 넘어 운영적 관련성에 기반해 모델을 엄격하고 재현 가능하게 실험할 수 있는 장벽을 낮추었습니다.
2. 정확도-성능 격차의 실증적 정량화: 본 연구는 전통적인 정확도 지표의 개선이 반드시 더 나은 비용-서비스 트레이드오프(trade-off)로 이어지지는 않는다는 점을 실증적으로 보여줍니다. 이는 예비 부품 물류에서 모델 선택 시 통계적 오차 지표에만 의존하는 것의 위험성을 강조합니다.

결론
저자들은 자동차 애프터마켓의 예측 모델 평가는 순수하게 예측 중심적인 접근 방식에서 의사결정 중심적인 접근 방식으로 전환되어야 한다고 결론짓습니다. 제안된 프레임워크는 예측과 재고의 연결을 구체화하며, 향후 방법론적 개발이 운영적 관련성을 우선시해야 함을 시사합니다. 소프트웨어와 실험 결과는 이 분야의 추가 연구를 촉진하기 위해 오픈 소스로 공개되었습니다.