Adaptive Double-Booking Strategy for Outpatient Scheduling Using Multi-Objective Reinforcement Learning

Each language version is independently generated for its own context, not a direct translation.

🏥 문제: 병원의 '빈 의자'와 '꽉 찬 대기실' 사이에서 고민하는 의사들

병원 예약 시스템은 항상 두 가지 큰 고민 사이에서 줄타기를 합니다.

빈 의자 문제 (No-show): 환자가 약속 시간을 지키지 않고 오지 않으면, 의사는 그 시간 동안 빈 의자에 앉아 있어야 합니다. 이는 병원의 수익 손실이자 의료 자원의 낭비입니다.
꽉 찬 대기실 문제 (Overbooking): 빈 의자를 막기 위해 예약을 너무 많이 잡으면 (예: 1 시간당 2 명 예약), 정작 환자들이 모두 오면 대기실이 붐비고 환자들은 긴 시간을 기다려야 합니다. 이는 환자 불만과 의료 질 저하로 이어집니다.

기존의 방법들은 "매주 월요일에는 10% 더 예약해라"처럼 고정된 규칙을 사용했습니다. 하지만 환자는 매일 다르고, 날씨가 나쁘면 오지 않을 확률도 달라지는데, 고정된 규칙으로는 이런 변화를 따라갈 수 없었습니다.

💡 해결책: "예측하는 AI"와 "상황에 맞춰 변하는 스마트 예약 시스템"

이 논문은 두 가지 핵심 기술을 결합하여 이 문제를 해결합니다.

1. "예측하는 AI" (환자가 올지 안 올지 미리 알기)

먼저, MHASRF라는 AI 모델을 사용합니다. 이는 마치 스마트한 점쟁이와 같습니다.

환자의 나이, 과거 진료 기록, 예약한 요일, 날씨 등 수많은 정보를 분석합니다.
"이 환자는 오늘 비가 와서 오지 않을 확률이 80% 야"라고 개인별 확률을精准하게 예측합니다.
단순히 "누구든 오지 않을 거야"가 아니라, "A 씨는 오겠지만 B 씨는 오지 않을 거야"라고 구분합니다.

2. "상황에 맞춰 변하는 스마트 예약 시스템" (RL - 강화학습)

예측만 해서는 안 됩니다. 그 정보를 바탕으로 "누구를 예약할까?"를 결정해야 합니다. 여기서 **강화학습 (Reinforcement Learning)**이라는 AI 가 등장합니다.

이 AI 는 게임 플레이어처럼 행동합니다.
목표:
1. 의사의 시간을 최대한 효율적으로 쓰기 (빈 의자 없애기).
2. 환자가 너무 많이 몰려서 대기하지 않게 하기 (꽉 찬 대기실 피하기).
3. 예상되는 환자 수와 실제 의자 수를 딱 맞게 맞추기.
AI 는 수만 번의 시뮬레이션 게임을 통해 "어떤 상황에서 누구를 예약하면 가장 좋은 점수를 받는지" 스스로 배웁니다.

🎮 핵심 전략: "이중 예약 (Double-Booking)"의 마법

이 시스템의 가장 큰 특징은 **이중 예약 (한 시간에 두 명 예약)**을 언제, 어떻게 할지 결정하는 것입니다.

일반적인 방법: "오지 않을 확률이 50% 이상이면 무조건 두 명 예약해!" (고정된 규칙)
이 논문의 방법 (적응형):
- 상황 A: "A 씨는 오지 않을 확률이 90% 야. 그리고 지금 예약할 사람이 B 씨인데, B 씨는 오지 않을 확률이 10% 야."
  - 👉 결정: "A 씨 자리에 B 씨도 같이 예약하자 (이중 예약)! A 씨가 안 오면 B 씨가 채워지고, 둘 다 오더라도 B 씨는 오지 않을 확률이 낮으니 위험하지 않아."
- 상황 B: "모든 예약자가 오지 않을 확률이 낮아."
  - 👉 결정: "아직 빈 의자가 많으니 그냥 한 명만 예약하자. 두 명 다 오면 대기실이 붐비니까."

즉, 상황 (날씨, 환자 특성, 현재 예약 현황) 에 따라 AI 가 실시간으로 "한 명 예약", "두 명 예약", "예약 거절" 중 가장 좋은 선택을 합니다.

🌟 이 시스템이 특별한 이유: "여러 가지 선택지 제공"

이 논문은 단순히 "최고의 방법" 하나만 찾는 것이 아니라, **병원 운영자의 성향에 따라 선택할 수 있는 여러 가지 정책 (Pareto Frontier)**을 만들어냅니다.

정책 1 (효율 중시): "빈 의자가 아까워! 최대한 많이 예약하자." (이중 예약을 더 자주 함)
정책 2 (안전 중시): "환자가 기다리는 건 싫어. 오지 않을 확률이 매우 높을 때만 예약하자." (이중 예약을 아주 신중하게 함)
정책 3 (균형 중시): "빈 의자도 없고 대기실도 안 붐비게 딱 맞추자."

병원 관리자는 오늘 병원의 상황 (예: 의사가 바쁘다, 환자가 적다) 에 따라 이 중 하나를 골라 적용할 수 있습니다.

📊 결과: 기존 방식보다 훨씬 훌륭함

실험 결과, 이 새로운 AI 시스템은 기존의 고정된 규칙이나 단순한 예측 방식보다 훨씬 좋은 성과를 냈습니다.

빈 의자는 줄었고,
대기실 붐빔은 줄었으며,
의사들의 업무 효율은 크게 향상되었습니다.

또한, SHAP이라는 도구를 통해 AI 가 "왜 이렇게 예약했는지"를 사람이 이해할 수 있게 설명해 줍니다. (예: "오늘 비가 와서 오지 않을 확률이 높으니, 두 명을 예약했습니다"라고 설명 가능)

📝 한 줄 요약

"이 논문은 '환자가 올지 안 올지'를 개인별로 예측하는 AI 와, 그 정보를 바탕으로 '한 명 예약'과 '두 명 예약' 사이에서 실시간으로 최적의 균형을 찾는 똑똑한 의사 (AI) 를 만들어, 병원의 빈 의자도 줄이고 환자의 대기 시간도 줄이는 새로운 예약 시스템을 제안합니다."

이처럼 이 기술은 병원을 더 효율적이고, 환자들에게 더 친절하게 만드는 스마트한 병원 운영의 미래를 보여줍니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

배경: 외래 진료 클리닉에서 환자의 '노쇼 (No-show, 예약 취소 없이 불참)'는 진료 효율성을 떨어뜨리고, 의료진의 공백 시간을 발생시키며, 필요한 치료를 지연시키는 주요 문제입니다.
기존 접근법의 한계:
- 노쇼를 완화하기 위해 '오버부킹 (Overbooking)'이나 '더블 부킹 (Double-booking, 한 시간대에 두 명의 환자 예약)' 전략을 사용하지만, 이는 고정된 규칙 (Heuristics) 에 기반하여 환자별 노쇼 위험을 고려하지 않습니다.
- 고정된 오버부킹 정책은 실제 참석자가 예상보다 많을 경우 과밀화와 대기 시간 증가를 초래하여 서비스 질을 저하시킵니다.
- 기존 연구들은 주로 단일 목적 함수 최적화나 정적 시뮬레이션에 의존하여, 실시간으로 변화하는 예약 상황과 환자별 특성에 적응하는 동적 의사결정이 부족합니다.
연구 목표: 환자별 노쇼 예측 확률을 실시간으로 반영하여, 단일 예약 (Single-book), 더블 부킹 (Double-book), 예약 거절 (Reject) 중 최적의 행동을 선택하는 적응형 스케줄링 프레임워크를 개발하는 것입니다.

2. 방법론 (Methodology)

이 연구는 예측 모델과 강화 학습 (RL) 을 통합한 3 단계 프레임워크를 제안합니다.

2.1. 환자별 노쇼 예측 (No-Show Prediction)

모델: MHASRF (Multi-Head Attention Soft Random Forest) 모델을 사용합니다.
특징: 기존 트리 기반 모델의 하드 분할 (Hard splitting) 대신 확률적 소프트 분할과 멀티헤드 어텐션 메커니즘을 결합하여 환자 및 예약 특성 간의 복잡한 상호작용을 포착합니다.
입력: 각 예약 요청에 대해 환자별 노쇼 확률 ( $\pi_i$ ) 을 예측하여 RL 에이전트의 상태 (State) 에 입력합니다.

2.2. 마르코프 결정 과정 (MDP) 공식화

상태 (State): 클리닉/의사 정보, 시간대 상태 (사용 가능/단일/더블 부킹), 현재 예약된 환자 수, 예측된 노쇼 확률 등을 포함합니다.
행동 (Action):
- 0: 단일 예약 (Single-book)
- 1: 더블 부킹 (Double-book)
- 2: 요청 거절 (Reject)
보상 (Reward): 세 가지 상충되는 목적을 균형 있게 달성하기 위해 다목적 보상 함수를 설계했습니다.
1. 유효 슬롯 활용도 (Effective Slot Utilization): 한 명의 환자가 참석하여 슬롯이 효율적으로 사용된 경우 최대화.
2. 더블 쇼 회피 (Double-Show Avoidance): 더블 부킹된 슬롯에 두 명 모두 참석하여 혼잡이 발생하는 것을 최소화.
3. 참석 균형 (Attendance Balance): 예상 참석 인원이 슬롯 당 1 명에 가깝도록 조정.
- 참고: 실제 참석 여부는 예약 당일에만 확인되므로 지연 보상이 발생하므로, 예측 확률 기반의 **형상화된 보상 (Shaped Reward)**을 훈련 중에 사용하여 학습 효율성을 높였습니다.

2.3. 강화 학습 알고리즘: MPPPO with MPCEM

기본 알고리즘: **MPPPO (Multi-Policy Proximal Policy Optimization)**를 사용합니다. 단일 정책이 아닌, 서로 다른 목적 가중치 조합을 가진 여러 정책 ( $\Pi = \{ \pi_{\theta_1}, ..., \pi_{\theta_p} \}$ ) 을 병렬로 학습하여 파레토 프론티어 (Pareto Frontier) 를 근사합니다.
혁신적 기법 (MPCEM): Multi-Policy Co-Evolution Mechanism을 도입했습니다.
- 기존 고정된 $\tau$ (매개변수 공유 계수) 방식 대신, **KL 발산 (Kullback-Leibler Divergence)**을 기반으로 정책 간의 행동 유사성을 측정합니다.
- 행동이 유사한 정책들 간에만 지식을 선택적으로 전이 (Transfer) 하도록 적응형 $\tau$ 규칙을 제안하여 학습 수렴 속도를 높이고 정책 다양성을 확보했습니다.
해석 가능성: **SHAP (SHapley Additive exPlanations)**를 사용하여 에이전트가 왜 특정 행동을 선택했는지 (예: 노쇼 확률이 높을 때 더블 부킹 선택) 를 해석합니다.

3. 주요 기여 (Key Contributions)

최초의 다목적 MDP 공식화: 단일/더블 부킹/거절 결정을 명시적으로 모델링하고, 각 슬롯을 최대 2 명으로 제한하는 실제적인 더블 부킹 관행을 반영한 다목적 MDP 를 처음 제안했습니다.
예측 기반 적응형 의사결정: MHASRF 모델로 추정한 개별 환자별 노쇼 확률을 RL 상태에 직접 통합하여, 고정된 규칙이 아닌 데이터 기반의 동적 결정을 가능하게 했습니다.
향상된 다목적 강화 학습 프레임워크: MPCEM 과 KL 기반 적응형 $\tau$ 규칙을 도입하여 정책 간 지식 전이를 최적화하고, 다양한 목적 간 트레이드오프 (Trade-off) 를 효과적으로 탐색하는 학습 안정성을 높였습니다.
해석 가능성 확보: SHAP 분석을 통해 에이전트의 의사결정 로직이 임상적으로 타당한 패턴 (예: 위험이 낮을 때 단일 예약, 위험이 높을 때 더블 부킹) 을 따름을 입증했습니다.

4. 실험 결과 (Results)

데이터: 중동 지역의 대형 의료기관 2018 년 연간 예약 데이터 (약 10 만 건) 를 사용하여 시뮬레이션 환경을 구축했습니다.
성능 비교: 제안된 MPPPO 정책들은 기존 단일 예약 (Single-booking) 및 고정 임계값 기반 더블 부킹 (Fixed Double-booking) 전략과 비교되었습니다.
- 유효 슬롯 활용도: MPPPO 정책들은 0.762~~0.793 의 높은 활용도를 보였으며, 이는 고정 더블 부킹 (0.678~~0.706) 및 단일 예약 (0.642) 보다 우월했습니다.
- 평균 가중 보상: MPPPO 3, 10, 8 정책이 가장 높은 보상을 기록하여, 고정 규칙들보다 전반적인 성능이 뛰어났습니다.
- 더블 쇼 회피: 고정 임계값 정책들이 약간 더 높은 회피율을 보였으나, 이는 활용도 저하와 같은 비용이 수반되었습니다. MPPPO 는 활용도와 회피율 사이의 균형을 잘 유지했습니다.
트레이드오프 분석: MPPPO 3 과 MPPPO 10 정책이 파레토 최적 해 (Pareto-optimal) 에 근접하는 것으로 확인되었습니다. 특히 '참석 균형 (Attendance Balance)' 목적을 강조하는 정책이 활용도와 더블 쇼 회피율 모두에서 우수한 성능을 보였습니다.
강건성 (Robustness): 노쇼 예측 확률에 $\pm 3\%$ 의 오차가 발생해도 성능이 크게 저하되지 않았으나, $\pm 5\%$ 이상의 과대 예측 시에는 더블 부킹이 과도해져 성능이 감소하는 경향을 보였습니다.

5. 의의 및 결론 (Significance and Conclusion)

실무적 의의: 이 연구는 외래 진료 소모품 (Time slots) 의 효율성을 극대화하면서도 과밀화를 방지하는 데이터 기반의 적응형 스케줄링 시스템을 제공합니다. 의료진은 운영 우선순위 (효율성 vs. 서비스 질) 에 따라 학습된 다양한 정책 중 하나를 선택하거나 전환할 수 있습니다.
기술적 의의: 예측 모델 (MHASRF) 과 다목적 강화 학습 (MPPPO) 을 결합하고, 정책 간 협력 학습 메커니즘 (MPCEM) 을 도입함으로써 복잡한 의료 운영 환경에서의 의사결정 문제를 해결하는 새로운 패러다임을 제시했습니다.
향후 과제: 더 큰 규모의 환자 데이터 적용, 환자 대기 시간 및 직원 활용도 등 하류 (Downstream) 운영 결과까지 포함하는 엔드 - 투 - 엔드 (End-to-End) 스케줄링 환경으로의 확장이 필요합니다.

요약하자면, 이 논문은 환자별 노쇼 위험을 실시간으로 예측하고, 다목적 강화 학습을 통해 이를 최적의 예약 전략 (단일/더블/거절) 으로 변환하는 지능형 시스템을 제안하여, 외래 진료의 효율성과 환자 만족도를 동시에 향상시킬 수 있음을 입증했습니다.