A Calibration-Aware Reference Architecture for Resilient Supply Chain Planning: Integrating Conformal Probabilistic Demand Forecasting with Scenario-Based Stochastic Vehicle Routing

당신이 매일 움직이며 수천 명의 이웃에게 피자, 약품, 장난감을 배달하는 거대한 부유 도시의 선장이라고 상상해 보십시오. 이것이 바로 **공급망(supply chains)**의 세계입니다. 트럭, 창고, 그리고 일정들이 얽혀 만든 보이지 않는 그물망이 우리의 현대적 삶을 유지하고 있습니다. 하지만 문제는 미래가 불확실하다는 점입니다. 때로는 폭풍이 몰아치고, 때로는 공장이 고장 나며, 때로는 갑자기 모든 사람이 페퍼로니 피자를 추가로 주문하기도 합니다. 도시를 계속 운영하기 위해 선장들은 내일 무슨 일이 일어날지 예측해야 합니다.

오랫동안 과학자들은 이를 해결하기 위해 두 가지 서로 다른 도구 상구를 사용해 왔습니다. 하나의 도구 상구인 **머신러닝(Machine Learning)**은 과거의 패턴을 살펴 미래를 추측하는 매우 똑똑한 탐정과 같습니다. 다른 하나인 **운영 연구(Operations Research)**는 당신이 가진 기물들로 최선의 수를 찾아내는 숙련된 체스 플레이어와 같습니다. 보통 이 두 도구 상구는 서로 소통하지만, 종종 서로 다른 언어를 사용합니다. 탐정은 체스 플레이어에게 단 하나의 숫자(예: "피자 100판이 필요함")를 건네고, 체스 플레이어는 그 숫자를 바탕으로 계획을 세웁니다. 여기서 이 논문이 던지는 핵심 질문은 이것입니다: 만약 탐정의 추측이 약간 틀린다면 어떨까? 만약 "피자 100판"이라는 숫자가 100% 확신이 아니라 90%의 확률에 불과한 추측이라면? 만약 체스 플레이어가 불안정한 추측을 바탕으로 계획을 세운다면, 도시 전체에 음식이 떨어지거나 교통 정체에 갇힐 수도 있습니다. 이 논문은 탐정과 체스 플레이어 사이를 연결하는 더 안전하고 새로운 방법을 구축하여, 항해를 시작하기 전에 서로의 작업을 확인하도록 만듭니다.

탐정의 실수: "90%"가 90%가 아닐 때

이 논문의 저자들은 공급망 분야에서 매우 흔히 발생하는 습관을 테스트하기로 했습니다. 보통 컴퓨터가 수요를 예측할 때, "우리는 500단위 이상의 수요가 발생하지 않을 것이라고 90% 확신합니다"라고 말하곤 합니다. 이를 **분위수 예측(quantile forecast)**이라고 합니다. 이는 날씨 앱이 "비가 오지 않을 확률이 90%입니다"라고 말하는 것과 같습니다.

연구진은 16명의 고객과 400일 동안 작동하는 물류 네트워크의 디지털 시뮬레이션을 구축했습니다. 그리고 표준 컴퓨터 프로그램("그래디언트 부스팅 앙상블")이 탐정 역할을 하도록 했습니다. 그들은 이 프로그램에 수요를 예측하게 한 뒤, "90% 확신"이라는 예측이 실제로 맞는지 확인했습니다.

결과는 놀라웠습니다. 컴퓨터는 의도적으로 거짓말을 한 것은 아니지만, 자신의 신뢰도를 조정하는 법을 몰랐습니다. 컴퓨터는 자신의 예측 구간에 대해 80% 확신한다고 주장했지만, 실제 세상은 그 예측과 **77.5%**의 확률로만 일치했습니다. 즉, 2.47 퍼센트 포인트의 차이가 발생했습니다.

이는 날씨 앱이 "비가 오지 않을 확률이 80%입니다"라고 말하지만, 실제로는 22.5%의 확률로 비가 오는 상황과 같습니다. 만약 당신이 그 앱을 믿고 소풍 계획을 세운다면, 당신은 비에 젖게 될 것입니다. 공급망에서 이는 트럭들이 실제로 필요한 공간보다 적은 공간을 가지고 출발하고 있음을 의미합니다. 서류상으로는 안전해 보였지만, 실제로는 트럭들이 충분히 보호받지 못하고 있었습니다. 논문은 이를 "부정적인 결과(negative result)"라고 부르는데, 이는 기존의 방식이 위험하다는 것을 증명하기 때문입니다. 컴퓨터가 제시한 "90%"라는 숫자는 실제 보증이 아니라, 단지 너무 낙관적인 추측에 불과했습니다.

체스 플레이어의 새로운 전략: 움직이기 전에 계획을 테스트하라

탐정이 신뢰할 수 없다는 것을 깨달은 후, 저자들은 탐정과 체스 플레이어 사이의 가교를 고치기 위한 새로운 구조를 구축했습니다. 단순히 기존 도구를 버린 것이 아니라, "보정 레이어(calibration layer)"를 추가했습니다.

다시 체스 플레이어의 입장이 되어 봅시다. 이제 당신은 탐정이 주는 단 하나의 숫자를 받아 적고 기물을 움직이는 대신, 시뮬레이션 실험실을 갖게 되었습니다.

1. 보정 레이어(The Calibration Layer): 탐정이 숫자를 전달하기 전에, 당신은 이를 특수한 필터(Conformal Quantile Regression)를 통해 통과시킵니다. 이 필터는 탐정의 과거 실수를 점검하고, 예측 구간이 통계적으로 실제 현실과 더 잘 일치하도록 조정합니다. 논문은 이 방법이 "교환 가능성 하에서의 무형식적 주변 커버리지(distribution-free marginal coverage under exchangeability)"를 제공한다고 언급합니다. 즉, 모든 가능한 시나리오에서 완벽한 해결책을 약속하는 것이 아니라, 데이터의 행동 양식에 기반하여 신뢰 수준을 수정한다는 뜻입니다.
2. 몬테카를로 실험실(The Monte Carlo Lab): 단 하나의 미래만을 계획하는 대신, 이제 체스 플레이어는 수천 개의 "만약의 시나리오"를 생성합니다. 그들은 동일한 트럭 경로를 400가지의 서로 다른 가능한 미래에 대해 실행하여, 트럭이 실제로 갇히게 되는 경우가 얼마나 자주 발생하는지 확인합니다.
3. "가치" 점검(The "Value" Check): 저자들은 이 모든 추가적인 수학적 계산이 정말 가치가 있는지 알고 싶었습니다. 그들은 "스마트한 계획"(수천 개의 시나리오를 사용한 계획)을 "멍청한 계획"(평균적인 추측만을 사용한 계획)과 비교했습니다. 하지만 중요한 점은 두 계획 모두 정확히 동일한 수의 트럭과 동일한 양의 연료를 사용하도록 설정했다는 것입니다. 이것은 매우 중요합니다. 만약 스마트한 계획이 더 많은 트럭을 가졌기 때문에 승리한 것이라면 그것은 속임수이기 때문입니다. 트럭의 수를 동일하게 유지함으로써, 그들은 더 나은 정보가 가지는 진정한 가치를 측정할 수 있었습니다.

발견한 것 (그리고 발견하지 못한 것)

이 논문은 자신이 무엇을 증명했고, 무엇을 그저 구축했을 뿐인지에 대해 매우 정직합니다.

증명된 사실들:
16명의 고객과 400일간의 시뮬레이션에서, 보정되지 않은 탐정은 시간이 지날수록 점점 더 악화되었습니다. 5개의 서로 다른 시간대(폴드, folds)를 거치면서 예측의 품질은 16.1% 하락했습니다. 컴퓨터가 학습할 수 있는 데이터가 늘어났음에도 불구하고(관측치가 3,104개에서 5,568개로 증가), 컴퓨터는 여전히 혼란을 겪었습니다. 이는 방법론이 스스로의 신뢰도를 점검하지 않는다면, 단순히 "더 많은 데이터"를 갖는 것만으로는 충분하지 않다는 것을 증명합니다. 컴퓨터가 말한 것과 실제로 일어난 일 사이의 간극은 실재하며 측정 가능한 것이었습니다.

"공사 중"인 부분들:
저자들은 이러한 새로운 기능들을 포함하는 완전한 도구 상자를 구축했습니다. 즉, "확률적 솔루션의 가치(Value of the Stochastic Solution)"(스마트한 계획을 사용함으로써 절약되는 비용)를 측정하는 방법, 트럭이 실제로 충분히 채워져 있는지 확인하는 방법, 그리고 컴퓨터가 왜 그런 추측을 했는지 설명하는 시스템을 포함합니다. 그러나 저자들은 이러한 도구들을 구축하기는 했지만, 이 특정 보고서에서는 "스마트한 계획" 대 "멍청한 계획"의 최종 수치를 아직 산출하지 않았음을 인정했습니다. 그들은 이를 "Tier 2" 구성 요소라고 명명했습니다. 즉, 엔진은 만들어졌고 테스트 장치는 준비되었지만, 최종 경주 결과는 아직 나오지 않았다는 뜻입니다.

이것이 왜 중요한가

가장 중요한 시사점은 새로운 슈퍼 알고리즘이 아니라, 새로운 태도입니다. 이 논문은 공급망에서 우리가 계획이 안전하다고 가정하는 것을 멈추고, 그것을 측정하기 시작해야 한다고 주장합니다.

이전에는 컴퓨터가 "우리는 90% 안전합니다"라고 말하면 모두가 그것을 믿었습니다. 하지만 이제 저자들은 "보정 체크"가 없다면 그 90%가 실제로는 77%가 될 수 있다는 것을 보여줍니다. 그 차이는 트럭이 제시간에 도착하느냐, 아니면 길 한복판에서 연료가 떨어지느냐를 결정짓는 차이입니다.

저자들은 모든 단계가 검증되도록 구축하는 방법인 "참조 아키텍처(reference architecture)"를 만들었습니다. 그들은 심지어 코드를 오픈 소스로 공개하여, 누구나 다운로드하여 테스트를 실행하고 직접 확인할 수 있도록 했습니다. 그들은 자신들이 세계의 공급망 문제를 해결했다고 주장하는 것이 아니라, 우리가 보통 업무를 확인하는 방식이 잘못되었다는 것을 증명했으며, 이를 고칠 수 있는 더 정직한 방법을 제시했습니다.

요약하자면, 탐정의 첫 번째 추측을 그대로 믿지 마십시오. 수학을 점검하십시오. 시뮬레이션을 실행하십시오. 그리고 항상, 항상 실제로 내릴 수 있는 비를 대비해 트럭에 충분한 공간을 확보하십시오.