🤖 AI

Learning to replenish: A hybrid deep reinforcement learning for dynamic inventory management in the pharmaceutical supply chains

본 논문은 불확실한 수요와 리드 타임 하에서 제품 가용성과 폐기 감소 사이의 균형을 맞춤으로써 제약 공급망의 동적 재고 보충을 최적화하기 위해, 기존 벤치마크 대비 개선된 수익성과 낮은 비용을 입증하는 A3C DPPO 모델인 하이브리드 심층 강화 학습 알고리즘을 제안한다.

원저자: Amandeep Kaur, Gyan Prakash

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amandeep Kaur, Gyan Prakash

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 규모의 고위험 의자 뺏기 게임을 상상해 보세요. 다만 사람과 의자 대신 의약품과 환자가 등장합니다. 음악은 아픈 사람들의 예측 불가능한 수요이며, 의자는 약국과 병원의 선반입니다. 음악이 너무 빨리 멈추면(수요가 갑자기 급증하면), 누군가는 의자를 잡지 못하고 서 있게 됩니다(환자가 약을 구할 수 없습니다). 만약 음악이 멈추지 않고 너무 오래 연주되면, 의자는 빈 채로 남게 되고 그 위에 놓인 약은 유통기한이 지나 폐기해야 할 수도 있습니다.

이 논문은 컴퓨터에게 이 게임의 완벽한 음악 감독이 되는 법을 가르치는 것에 관한 내용입니다. 즉, 모든 사람이 의자를 차지할 수 있도록 하면서도 단 하나의 의자도 낭비하지 않도록 하는 것입니다.

다음은 이 논문을 쉬운 용어로 풀어낸 요약입니다.

문제점: 혼돈의 춤

제약 공급망은 믿기 힘들 정도로 복잡합니다.

참가자들: 의약품을 만드는 제조사, 대형 창고인 유통 센터, 그리고 약국이나 병원 같은 소매업체가 있습니다.
혼돈: 사람들은 예측할 수 없이 아픕니다. 때로는 독감이 크게 유행하기도 하고(높은 수요), 때로는 조용하기도 합니다. 또한, 의약품에는 유통기한(냉장고 속 우유와 같은)이 있습니다. 너무 많이 주문하면 약이 썩어 버립니다. 너무 적게 주문하면 사람들이 고통받습니다.
기존 방식: 전통적인 방식은 교통 상황이 매초 변하는 도시에서 정적인 지도를 사용하는 것과 같습니다. 고정된 규칙을 바탕으로 미래를 예측하려 하지만, 상황이 이상하게 돌아가거나 긴급해지면 종종 실패합니다.

해결책: "스마트 코치" (심층 강화 학습)

저자들은 **심층 강화 학습(Deep Reinforcement Learning, DRL)**이라는 새로운 종류의 컴퓨터 두뇌를 만들었습니다. 이것은 마치 비디오 게임 AI가 게임을 수천 번 플레이하며 배우는 것과 같습니다.

시행착오: AI는 다양한 주문 전략을 시도합니다. 만약 너무 많이 주문해서 약이 유통기한이 지나면 "나쁜 점수(벌점)"를 받습니다. 만약 재고가 떨어져 환자가 약을 구할 수 없게 되면 역시 "나쁜 점수"를 받습니다. 딱 적당한 양을 유지하면 "좋은 점수(보상)"를 받습니다.
지속적인 학습: 기존의 컴퓨터들이 고정된 선택지(예: "10개 주문" 또는 "20개 주문") 중에서만 골라야 했던 것과 달리, 이 AI는 어떤 숫자든 선택할 수 있습니다. 이는 마치 요리사가 단순히 "한 꼬집"이나 "한 컵"이 아니라, 정확히 "1.5그램의 소금"을 넣을 수 있는 것과 같습니다.

핵심 비결: "하이브리드 A3C-DPPO" 알고리즘

이 논문은 이 AI를 위한 구체적인 레시피인 A3C-DPPO를 소개합니다. 비유를 통해 이름을 풀어보겠습니다.

팀워크 (A3C - Asynchronous Advantage Actor-Critic): 축구팀을 상상해 보세요. 한 명의 코치가 경기장 전체에 동시에 명령을 내리는 대신, 여러 명의 조수 코치가 동시에 경기장의 서로 다른 구역을 뛰어다닙니다. 그들은 동시에 각기 다른 전술을 연습합니다. 이를 통해 여러 가능성을 한꺼번에 탐색하므로 팀이 훨씬 빠르게 학습할 수 있습니다.
안전망 (DPPO - Distributed Proximal Policy Optimization): 때때로 새로운 것을 배울 때 너무 과하게 몰입하여 실수를 저지를 수 있습니다. PPO는 안전 벨트 역할을 합니다. AI가 전략을 배우고 변화하도록 허용하되, 변화가 너무 급격할 경우 부드럽게 제어하여 AI가 통제 불능 상태에 빠지는 것을 방지하고 학습을 안정적으로 유지합니다.
하이브리드: "여러 명의 코치"가 가진 속도(A3C)와 "안전 벨트"가 가진 안정성(PPO)을 결합함으로써, 시스템은 빠르게 학습하면서도 신뢰성을 유지합니다.

테스트 방법

연구진은 단순히 추측만 한 것이 아니라, 이 AI를 엄격한 테스트에 통과시켰습니다.

시뮬레이션된 혼돈: 수요의 유형이 다른 여러 가지 "날씨"를 가진 컴퓨터 시뮬레이션을 만들었습니다.
- 정상적인 날씨: 예측 가능한 수요 (맑은 날씨와 같음).
- 폭풍우 치는 날씨: 왜곡되고 예측 불가능한 수요 (갑작스러운 폭풍과 같음).
- 계절적 날씨: 수요가 주기에 따라 오르내리는 경우 (독감 시즌과 같음).
실제 데이터: 연구진은 두 개의 약국에 물품을 공급하는 한 병원의 실제 데이터를 사용하여 AI를 테스트했습니다. 타미플루(독감용), 메트포르민(당뇨병용), 스파이크박스(백신)와 같은 실제 의약품을 대상으로 조사했습니다.

결과: AI의 승리

결과는 명확했습니다.

더 높은 점수: AI는 기존 방식보다 훨씬 높은 "보상(이익)"을 얻었습니다.
낭비 감소: 유통기한이 지난 의약품을 폐기하는 비용을 엄청난 수준으로 줄였습니다 (다른 AI 방식과 비교했을 때 일부 사례에서 최대 95%까지 감소).
품절 감소: 수요가 미친 듯이 몰리는 상황에서도 거의 100%에 가깝게 선반을 채워 환자들의 필요를 충족시켰습니다.
적응력: 수요 패턴이 갑자기 변했을 때, AI는 기존의 규칙 기반 시스템보다 훨씬 빠르게 전략을 조정했습니다.

결론

이 논문은 배우면서 실행하는 스마트한 하이브리드 컴퓨터 두뇌를 사용함으로써, 제약 회사가 "의자 뺏기" 게임의 혼란을 멈출 수 있다는 것을 보여줍니다. 이를 통해 환자들이 생명을 구하는 약을 제때 받을 수 있도록 보장하는 동시에, 유통기한이 지난 약으로 인한 비용 낭비를 훨씬 줄일 수 있습니다. 이는 단순한 추측에서 스마트하고 적응 가능한 의사 결정으로 나아가는 움직임입니다.

기술 요약: 제약 공급망에서의 재고 보충 학습

문제 정의
제약 공급망(PSC)은 예측 불가능한 수요 패턴, 가변적인 리드 타임, 의약품의 유한한 유통기한으로 인해 재고 관리(IM) 측면에서 상당한 어려움에 직면해 있다. 전통적인 결정론적 모델과 고전적인 강화 학습(RL) 알고리즘은 특히 대규모 상태-행동 공간과 연속적인 결정 변수를 다룰 때 이러한 동적인 조건에 적응하는 데 실패하는 경우가 많다. 본 연구가 다루는 핵심 문제는 주문, 보유, 품절 및 유통기한 경과 제품 폐기와 관련된 비용을 최소화하면서 수익성과 환자 서비스 수준(PSL)을 극대화하기 위한 재고 보충 정책의 최적화이다. 본 연구는 제조사, 유통 센터, 소매업체로 구성된 다계층 제약 공급망 네트워크를 구체적으로 대상으로 하며, 여기서 수요는 확률적이고 보충 리드 타임은 가변적이다.

방법론
저자들은 이 재고 관리 문제를 다계층 네트워크 내의 마르코프 결정 과정(MDP)으로 정식화하였다. 시스템은 주문량과 긴급 보충에 관한 순차적 결정을 내리는 글로벌 에이전트(유통 센터)와 여러 로컬 에이전트(소매업체)를 포함한다.

상태 공간(State Space): 유통기한 단계별 온핸드(on-hand) 재고 수준, 미결 주문, 긴급 주문, 확률적 수요 및 리드 타임에 의해 정의된다.
행동 공간(Action Space): 이산적인 수준에 국한되지 않고 정밀한 제어를 가능하게 하는 연속적 행동 공간으로 모델링되어, 주문량에 대한 정밀한 조절을 허용한다.
보상 함수(Reward Function): 판매 수익과 주문 비용, 보유 비용, 긴급 보충 페널티, 폐기 비용 사이의 균형을 맞추어 순이익을 극대화하도록 설계되었으며, PSL 제약 조건을 준수한다.

이 복잡한 MDP를 해결하기 위해, 본 논문은 하이브리드 비동기 어드밴티지 액터-크리틱 분산 근사 근접 정책 최적화(A3C-DPPO) 알고리즘을 제안한다.

아키텍처: 이 프레임워크는 여러 로컬 에이전트(소매업체)가 환경과 상호작용하며 경험을 수집하는 비동기 병렬 학습을 활용한다. 각 에이전트는 정책(액터) 및 가치(크리틱) 네트워크를 위한 로컬 그래디언트를 계산한다.
하이브리드 메커니즘: 표준 A3C가 비동기적으로 글로벌 파라미터를 업데이트하는 것과 달리, 이 접근 방식은 그래디언트를 중앙 서버(유통 센터)로 집계하고 PPO(Proximal Policy Optimization) 업데이트를 적용한다. PPO 구성 요소는 클리핑된 목적 함수를 사용하여 급격한 편차를 방지하고 공급망을 불안정하게 만들 수 있는 정책 변화를 억제함으로써 안정적인 정책 업데이트를 보장한다.
그래디언트 집계: 글로벌 액터 및 크리틱 네트워크는 학습의 안정성을 유지하면서 동기화를 수행하기 위해 중요도 가중치(importance weighting)와 지수 이동 평균을 사용하여 모든 로컬 에이전트로부터 그래디언트를 집계한다.

주요 기여

연속적 행동 공간 정식화: 본 연구는 기존 문헌에서 흔히 볼 수 있는 이산적 또는 양자화된 행동 공간을 넘어, 확률적 수요 하에서 보충 결정에 대한 더 큰 유연성과 정밀함을 제공하는 연속적 행동 공간을 제안한다.
하이브리드 A3C-DPPO 알고리즘: 비동기 A3C의 탐색 효율성과 PPO의 훈련 안정성을 결합한 새로운 하이브리드 알고리즘을 개발하였다. 이는 "차원의 저주"와 제약 조건 변화에 따른 PSC의 민감도 문제를 해결한다.
다계층 조정: 본 프레임워크는 유통 센터와 소매업체 간의 조정을 명시적으로 모델링하여, 개별 단위가 아닌 전체 네트워크 차원에서 결정을 최적화한다.
실제 환경 검증: 제안된 알고리즘은 두 개의 약국을 지원하는 병원 시스템의 실제 제약 재고 데이터를 사용하여 계절성, 비계절성 및 팬데믹 유발 수요 시나리오를 통해 검증되었다.

결과
수치 실험 및 실제 검증 결과, 제안된 A3C-DPPO 알고리즘은 클래식 $(s, S)$ 정책, 심층 Q-네트워크(DQN), 표준 PPO를 포함한 베이스라인 정책보다 우수한 성능을 보였다.

수렴 및 보상: 하이브리드 알고리즘은 PPO 및 DQN(각각 4,500 에피소드 이상)에 비해 더 빠르게(약 3,000 에피소드) 수렴한다. 감마(Gamma) 및 포아송(Poisson) 수요 분포 하에서, PPO 및 DQN보다 각각 28% 및 35% 더 높은 평균 보상을 달단했다.
비용 절감: 실제 검증에서 제안된 알고리즘은 베이스라인 대비 평균 재고 비용을 크게 줄였다. 예를 들어, 타미플루(Tamiflu)의 경우 DQN 대비 61.5%, 메트포르민(Metformin)의 경우 DQN 대비 **95.1%**의 비용을 절감했으며, PPO와 비교했을 때는 각각 37.3% 및 **82.8%**의 비용 절감 효과를 보였다.
강건성: 민감도 분석 결과, 알고리즘은 수요 변동성이 크고 엄격한 PSL 제약 조건(최대 0.99)이 있는 상황에서도 강건한 성능을 유지하는 반면, 전통적인 방법들은 높은 변동성과 수렴 불안정성으로 인해 어려움을 겪었다.
제약 조건의 영향: 높은 PSL 목표가 보유 비용을 증가시키지만, 알고리즘은 이러한 비용과 품절 페널티 사이의 균형을 효과적으로 맞추어 벤치마크보다 더 나은 트레이드오프를 최적화함을 관찰하였다.

의의 및 주장
본 논문은 제안된 하이브리드 DRL 프레임워크가 제약 공급망의 동적 재고 관리에 있어 중요한 진전을 이루었다고 주장한다. 비동기 학습과 안정적인 정책 최적화를 통합함으로써, 이 방법은 제약 공급망의 고차원적이고 확률적인 특성을 성공적으로 처리한다. 저자들은 이 접근 방식이 높은 환자 서비스 수준을 보장하는 동시에 폐기물과 운영 비용을 최소화할 수 있는 실용적인 실시간 의사결정 도구를 제공한다고 단언한다. 본 연구는 이 하이브리드 아키텍처가 다양한 수요 분포에 대한 원활한 적응을 가능하게 하여, 현대 제약 물류의 복잡하고 역동적인 환경에 대한 견고한 솔루션을 제공한다고 결론짓는다. 향후 연구에서는 완전 연결 네트워크(fully connected networks)와 온도 민감 제품에 대한 탐색이 제안되었으나, 현재의 연구는 표준 다계층 설정에서의 A3C-DPPO 효능 검증에 집중하고 있다.