COOL-MC: Verifying and Explaining RL Policies for Platelet Inventory Management

이 논문은 안전이 중요한 혈액 공급망에서 강화학습 기반의 혈소판 재고 관리 정책을 COOL-MC 도구를 활용해 확률적 모델 검증을 수행하고 설명 가능한 인과관계를 분석함으로써, 신뢰할 수 있는 의사결정을 가능하게 함을 보여줍니다.

핵심

🩸 비유: "5 일짜리 신선한 빵 가게"

생각해 보세요. 여러분이 매일 아침 빵을 구워 파는 빵집을 운영한다고 칩시다.

• 재고 (혈소판): 빵은 5 일만 지나면 상해서 버려야 합니다. (혈소판의 수명)
• 주문 (수요): 매일 손님이 얼마나 올지 모릅니다. (불확실한 수요)
• 문제:
  • 빵을 너무 많이 구우면? -> 상해서 버려야 하므로 손해가 큽니다. (재고 낭비)
  • 빵을 너무 적게 구우면? -> 손님이 왔는데 빵이 없어서 비상입니다. (품절로 인한 환자 위험)

이런 상황에서 **AI(인공지능)**가 매일 "내일 빵을 몇 개 구울까?"를 결정하게 합니다. AI 는 수많은 데이터를 학습해서 아주 똑똑한 결정을 내리게 되죠. 하지만 문제는 AI 가 "왜 10 개를 구우라고 했지?"라고 물어보면, AI 가 "그냥 그렇게 느껴져서"라고 대답할 뿐, 그 이유를 설명해주지 못한다는 점입니다.

이런 블랙박스 (Black Box) 상태의 AI 는 병원이나 생명과 관련된 곳에서는 믿고 쓰기 어렵습니다. "이 AI 가 실수하면 환자가 죽을 수도 있는데, 왜 그런 결정을 했는지 모른다면 어떻게 믿을 수 있겠어요?"라고요.

---

🕵️‍♂️ 해결책: "COOL-MC"라는 탐정 도구

이 논문에서 소개하는 COOL-MC는 바로 이 문제를 해결하는 AI 의 행동을 추적하고 설명해주는 탐정 도구입니다.

1. AI 의 행동을 '지도'로 만들기 (검증)

AI 가 학습한 후, COOL-MC 는 AI 가 실제로 움직일 수 있는 경로만 골라 **작은 지도 (DTMC)**를 만듭니다.

• 전체 지도 vs 실제 경로: 전체 세계 지도를 다 보는 건 너무 힘들지만, AI 가 실제로 걸어갈 수 있는 길만 따지면 훨씬 작고 관리하기 쉽습니다.
• 안전 확인: 이 지도를 통해 "이 AI 가 빵이 완전히 떨어질 (품절) 확률이 5% 미만일까?"라고 수학적으로 딱 계산해봅니다.
  • 결과: 이 AI 는 200 일 동안 빵이 완전히 떨어질 확률이 **2.9%**로, 안전 기준을 잘 지켰습니다.

2. AI 의 '두뇌'를 해부하기 (설명)

AI 가 왜 그런 결정을 내렸는지 그 이유를 찾아냅니다. 마치 AI 의 머릿속을 들여다보는 것처럼요.

• 어떤 정보가 중요한가? (특징 제거 실험):

  • AI 가 빵을 주문할 때 '요일 (월요일인가 금요일인가?)'이 중요한지, 아니면 **'남은 빵의 신선도 (몇 일 된 빵인가?)'**가 중요한지 실험해봤습니다.
  • 결과: AI 는 요일이나 미리 주문한 빵 수에는 거의 신경 쓰지 않았습니다. 대신 **"가장 신선한 빵이 얼마나 남았는지 (x4, x5)"**를 가장 중요하게 여겨 품절을 막았고, **"가장 오래된 빵이 얼마나 남았는지 (x1)"**를 보고 과잉 재고를 막았습니다.
  • 비유: AI 는 "오늘이 금요일이니까 많이 구워야지"라고 생각한 게 아니라, "아직 신선한 빵이 3 개밖에 없으니 더 구워야겠다"라고 생각한 것입니다.

• 만약에...? (반事实 분석):

  • "만약 AI 가 중간 크기로 주문하는 대신 작은 빵을 주문하게 바꾼다면?"이라고 가정해봤습니다.
  • 결과: 안전에 큰 변화가 없었습니다. AI 가 중간 크기로 주문한 상태는 이미 빵이 충분히 쌓여있는 '안전한 상태'였기 때문입니다. 즉, AI 는 불필요한 주문을 하지 않고, 정말 필요할 때만 적절히 주문하고 있었습니다.

---

💡 이 연구의 핵심 메시지

1. AI 는 똑똑하지만, 설명이 필요해요: AI 가 재고를 잘 관리할 수는 있지만, 의사나 병원 관리자가 그 결정을 믿고 따르려면 "왜?"라는 질문에 답할 수 있어야 합니다.
2. COOL-MC 는 그 답을 줍니다: 이 도구를 쓰면 AI 가 "품절 위험은 2.9% 로 안전합니다", "신선도 정보를 가장 중요하게 여깁니다"라고 수치와 이유를 명확히 보여줍니다.
3. 안전한 미래: 이 기술은 혈액 은행뿐만 아니라, 약품 관리나 기타 생명과 직결된 분야에서 AI 를 안전하게 도입하는 데 큰 역할을 할 것입니다.

한 줄 요약:

"AI 가 혈소판 (신선한 빵) 재고를 잘 관리하는지, 그리고 왜 그렇게 결정하는지 COOL-MC 라는 도구로 수학적으로 증명하고 설명해줬어요. 이제 우리는 AI 의 결정을 맹목적으로 믿지 않고, 그 이유를 이해하며 안심하고 사용할 수 있게 되었습니다."

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 혈소판 (Platelets) 은 수혈이 필요한 중증 환자 (암, 출혈 등) 에게 필수적이지만, 유통기한이 약 5 일로 매우 짧습니다.
• 도전 과제: 혈액 은행은 불확실한 일일 수요를 예측하면서, **과다 발주로 인한 폐기 (Wastage)**와 부족 발주로 인한 생명 위협 (Shortage) 사이의 균형을 맞춰야 합니다. 이는 확률적 수요와 엄격한 유통기한 제약이 결합된 복잡한 순차적 의사결정 문제입니다.
• 강화학습 (RL) 의 한계: RL 은 이러한 마르코프 의사결정 과정 (MDP) 을 해결하는 효과적인 정책을 학습할 수 있으나, 생성된 신경망 기반 정책은 '블랙박스' 성격을 띠고 있습니다. 안전이 최우선인 의료 공급망 분야에서 정책이 왜 특정 결정을 내리는지, 안전 기준을 충족하는지 검증할 수 없으면 실제 적용이 어렵습니다.
• 목표: 학습된 RL 정책의 안전성 (Safety) 을 수학적으로 검증하고, 정책의 의사결정 로직을 **설명 (Explainability)**하여 신뢰성을 확보하는 것입니다.

2. 방법론 (Methodology)

저자는 COOL-MC 도구를 활용하여 RL 정책의 검증과 설명을 수행했습니다. COOL-MC 는 강화학습, 확률적 모델 체킹 (Probabilistic Model Checking), 그리고 설명 가능한 AI (XAI) 를 결합한 프레임워크입니다.

2.1. MDP 모델링 및 학습

• MDP 구성: Haijema 등 [81] 의 모델을 기반으로 한 혈소판 재고 관리 MDP 를 PRISM 언어로 인코딩했습니다.
  • 상태 (State): 요일, 대기 중인 주문, 잔여 유통기한별 재고 (5 개 연령대), 현재 단계 (주문/수요 실현).
  • 행동 (Action): 주문량 (0~30 단위).
  • 보상 (Reward): 부족 (Shortage) 과 폐기 (Outdating) 에 대한 페널티 (비율 5:1).
• 학습: Proximal Policy Optimization (PPO) 알고리즘을 사용하여 25,000 에피소드 동안 정책을 학습했습니다.

2.2. 유도된 DTMC 구성 (Induced DTMC Construction)

• 학습된 정책 $\pi$ 하에서 **실제로 도달 가능한 상태 공간 (Reachable State Space)**만을 탐색하여 이산 시간 마르코프 체인 (DTMC) 을 구성합니다.
• 장점: 전체 MDP 상태 공간의 폭발 (State Explosion) 문제를 피하고, 메모리 사용량을 획기적으로 줄여 (약 99.6% 감소) 확률적 모델 체킹을 가능하게 합니다.

2.3. 검증 및 설명 기법

구성된 DTMC 에 대해 다음 기법들을 적용했습니다:

1. PCTL 속성 검증: 안전 관련 속성 (예: "200 단계 내 재고 고갈 확률이 5% 미만인가?") 을 PCTL (Probabilistic Computation Tree Logic) 로 정의하고 Storm 모델 체커를 통해 정량적 확률을 계산합니다.
2. 특성 가지치기 (Feature Pruning): 입력 특성 (예: 요일, 재고 연령) 을 신경망에서 제거하고 정책의 성능 변화를 측정하여 각 특성의 중요도를 전역적으로 분석합니다.
3. 특성 중요도 순위 (Feature-Importance Permutation): 각 상태별로 특성의 값을 무작위 섞어 정책 결정 변화량을 측정하여, 어떤 특성이 특정 결정에 가장 큰 영향을 미치는지 국소적으로 분석합니다.
4. 행동 레이블링 (Action Labeling): 각 상태에 정책이 선택한 주문량을 레이블로 부여하여, 특정 행동이 도달 가능한지 또는 위험 경로에서 반복되는지 분석합니다.
5. 반사실 분석 (Counterfactual Analysis): 특정 주문 행동 (예: 14 단위) 을 다른 행동 (예: 6 단위) 으로 대체한 후 재검증하여, 해당 행동이 안전성에 미치는 영향을 '만약에 (What-if)' 시나리오로 분석합니다.

3. 주요 결과 (Key Results)

3.1. 안전성 검증 결과

• 재고 고갈 (Stockout) 확률: 200 단계 horizon 내에서 **2.9%**의 확률로 발생했습니다.
• 재고 만차 (Inventory-full) 확률: **1.1%**의 확률로 발생했습니다.
• 전체 MDP 대비 효율성: 학습된 정책 하의 도달 가능 상태 수는 전체 상태 공간의 0.4% 미만으로 축소되어, 대규모 상태 공간에서도 검증이 가능함을 입증했습니다.
• 고갈 경로 분석: 전체 고갈 사례의 약 50% 는 재고가 5 단위 미만으로 서서히 감소하는 '경고 구간'을 거쳤으며, 나머지 50% 는 갑작스러운 수요 폭주로 인해 경고 없이 고갈되었습니다.

3.2. 정책 행동 및 설명 분석

• 핵심 결정 요인: 정책은 **재고의 연령 분포 (Age Distribution)**에 가장 크게 의존했습니다.
  • 재고 고갈 방지: 가장 신선한 재고 (x4, x5) 정보가 가장 중요했습니다. 이를 제거할 경우 고갈 확률이 1,000% 이상 급증했습니다.
  • 재고 과다 방지: 가장 오래된 재고 (x1) 정보가 가장 중요했습니다.
  • 무의미한 특성: 요일 (Day of week) 이나 대기 중인 주문 (Pending orders) 은 정책 결정에 거의 영향을 미치지 않았습니다.
• 주문 전략 다양성: 정책은 다양한 주문량을 사용하지만, 31 개 가능한 주문량 중 7 개는 전혀 선택되지 않았습니다.
• 반사실 분석 결과: 14 단위 주문 (pr14) 을 6 단위 주문 (pr6) 으로 대체했을 때, 안전성 지표 (고갈/과다 확률) 는 거의 변하지 않았습니다. 이는 해당 주문이 이미 충분한 재고 버퍼가 있는 상태에서 이루어졌음을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 최초의 형식적 검증: 혈소판 재고 관리 RL 정책에 대한 최초의 형식적 안전성 검증 및 설명을 수행했습니다.
2. COOL-MC 의 의료 적용: COOL-MC 도구를 의료 공급망 (혈소판) 문제에 성공적으로 적용하여, RL 정책의 블랙박스 문제를 해결하는 실용적인 프레임워크를 제시했습니다.
3. 구조적 이해 제공: 단순한 비용 최소화 지표를 넘어, 정책이 어떤 상태 특성 (재고 연령) 을 기반으로 결정을 내리고, 어떤 행동 패턴을 보이는지 정량적으로 규명했습니다.
4. 확장성 입증: 유도된 DTMC 를 통해 상태 공간 폭발 문제를 해결하고, 복잡한 MDP 에도 확률적 모델 체킹을 적용 가능함을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 안전이 최우선인 의료 공급망 분야에서 강화학습의 도입 장벽을 낮추는 중요한 발걸음입니다.

• 신뢰성 확보: 혈액 은행 관리자가 RL 기반 주문 정책을 신뢰하고 실제 운영에 도입할 수 있도록, 정책이 안전 기준을 충족한다는 수학적 증명과 의사결정 근거를 제공합니다.
• 감시 및 감사 가능성: 정책의 결정을 설명하고, "만약 재고 데이터가 조금만 달라지면 어떻게 될까?"와 같은 시나리오를 검증함으로써, 정책의 견고성 (Robustness) 을 평가할 수 있습니다.
• 미래 방향: 이 프레임워크는 다른 의료 MDP(예: 패혈증 치료, 약물 투여 등) 로 확장 가능하며, 도메인 전문가의 지식과 결합하여 더 안전하고 투명한 의사결정 시스템을 구축하는 데 기여할 것입니다.

결론적으로, 이 논문은 RL 이 단순히 '성능'만 좋은 것이 아니라, 안전하고 설명 가능해야 실제 의료 현장에 적용될 수 있음을 보여주며, 이를 위한 강력한 검증 도구인 COOL-MC 의 가치를 입증했습니다.