Modeling Bounded Rationality in Drug Shortage Pharmacists Using Attention-Guided Dynamic Decomposition

기술 요약: 주의 유도 동적 분해를 활용한 의약품 부족 약사의 제한적 합리성 모델링

문제 정의
의약품 부족을 관리하는 병원 약사는 불확실한 공급 역학, 노이즈가 섞인 수요 신호, 그리고 시간적 압박으로 특징지어지는 고위험의 부분 관측 환경에서 운영됩니다. 이 의사결정 문제는 불확실한 재고 수준, 변동하는 사용률, 그리고 신뢰할 수 없는 공급업체 배송 추정치를 가진 수백 가지 의약품을 관리하는 것을 포함합니다. 부분 관측 마르코프 의사결정 과정 (POMDP) 과 같은 기존 접근 방식은 고정된 상태 공간 전체에 걸쳐 행동을 최적화하려 시도합니다. 그러나 상태 공간의 기하급수적 성장으로 인해 이러한 방법들은 현실적인 의약품 부족 상황에서는 계산적으로 처리 불가능합니다. 더 나아가, 현업 약사들과의 인터뷰는 인간 전문가들이 전역 최적화를 수행하지 않으며, 대신 긴급한 소수의 의약품에 인지적 노력을 동적으로 할당하고 나머지는 수동적으로 모니터링한다는 것을 보여줍니다. 기존 의사결정 지원 모델들은 이러한 선택적 주의 메커니즘을 포착하지 못하거나, 전문가들이 우선순위 형성을 이해하는 데 필요한 설명 가능성을 제공하지 못합니다.

방법론
저자들은 의사결정 문제를 고정된 상태 표현에 대한 행동 최적화에서 상태 변수 간 계산 자원 할당 제어 문제로 재정의하는 계산 프레임워크를 제안합니다. 이 접근법은 제한적 합리성과 인식 기반 의사결정 (RPD) 이론에 기반을 두고 있으며, 전문가들이 패턴 인식을 통해 문제를 고위험 및 저위험 하위 집합으로 분해한다는 것을 시사합니다.

이 프레임워크는 주의 유도 계획 (Attention-Guided Planning) 메커니즘을 도입하여 의약품 집합을 두 개의 하위 집합으로 동적으로 분해합니다:

1. 고우선순위 하위 집합: 온라인 플래너를 사용하여 심층적이고 비용이 많이 드는 추론을 위해 선택된 소수의 의약품.
2. 저우선순위 하위 집합: 저비용 모니터링의 대상이 되는 나머지 의약품.

선택은 각 의약품에 대한 긴급성 점수 ($U_i$) 에 의해 주도되며, 이는 정규화된 구성 요소들의 가중 합으로 계산됩니다:
$$U_i = U_{runway}(s_i) + \sum_{f \in F \setminus \{runway\}} \beta_f \cdot U_f(s_i, f)$$
여기서 $U_{runway}$는 남은 공급 주수를 나타내며, 다른 항들 ($U_f$) 은 재고/사용률의 불확실성, 비정상적인 사용 수준, 임상적 영향, 그리고 이전 부족 이력을 포착합니다. 가중치 ($\beta_f$) 는 각 특성의 기여도를 결정합니다.

이 프레임워크를 테스트하기 위해 두 가지 에이전트가 개발되었습니다:

• 전문가 에이전트: 약사들과의 반구조화된 인터뷰에서 도출된 주의 가중치를 인코딩합니다. 이러한 가중치는 공급 불확실성과 런웨이 (runway) 위험과 같은 전문가가 식별한 신호를 기반으로 의약품의 우선순위를 정하는 인지적 기준선 역할을 합니다.
• 학습자 에이전트: REINFORCE 스타일의 업데이트를 사용하여 시간에 따라 주의 가중치 ($\beta$) 를 적응시킵니다. 행동 선택 정책을 학습하는 대신, 학습자는 이동 기준선에 대한 관찰된 보상에 기반하여 주의 할당 가중치를 조정합니다. 이를 통해 에이전트는 해석 가능한 주의 메커니즘을 유지하면서 불확실성 하에서 안정적인 의사결정을 지원하는 최상의 우선순위 요인들을 학습할 수 있습니다.

실험 설정
모델들은 부분 관측성과 확률적 역학을 가진 시뮬레이션된 주간 의약품 부족 시나리오에서 평가되었습니다. 시뮬레이션은 $n=19$개의 의약품을 포함하며, 다양한 시간 범위를 가진 세 가지 시나리오 세트를 포함했습니다:

• 세트 1: 3 주 시간 범위 (제어된 교란).
• 세트 2: 10 주 시간 범위 (복합 효과 및 지연된 결과).
• 세트 3: 52 주 시간 범위 (장기적 안정성 및 스트레스 테스트).

에이전트들은 네 가지 기준선과 비교되었습니다: 무작위 에이전트, 그리디 에이전트 (낮은 런웨이 우선순위), 휴리스틱 에이전트 (고정된 약사 영감 규칙 사용), 그리고 전체 POMDP 에이전트 (완전한 상태 온라인 계획).

주요 결과

• 계산 효율성: 주의 유도 에이전트는 전체 POMDP 기준선에 비해 계획 시간을 크게 단축했습니다. 세트 1 에서는 계획 시간이 주당 0.59 초에서 약 0.3 초로 감소했으며, 세트 2 에서는 2.11 초에서 약 0.7 초로 감소했습니다. 이러한 효율성 향상은 심층 계획을 고우선순위 의약품의 집중된 하위 집합으로 제한함으로써 비롯되었습니다.
• 성능 안정성: 전문가 에이전트는 모든 시나리오 세트, 특히 장기 시간 범위 시나리오 (세트 3) 에서 정적 기준선 (그리디 및 휴리스틱) 보다 우수한 성과를 거두었습니다. 휴리스틱 에이전트는 4 건의 품절과 막대한 음의 보상 (-4.9M) 을 겪은 반면, 전문가 에이전트는 품절 없이 36,236 의 총 보상을 달성했습니다.
• 학습 능력: 학습자 에이전트는 주의 가중치를 성공적으로 적응시키면서 모든 세트에서 전문가 에이전트와 비교 가능한 성과를 달성했습니다 (예: 세트 3 보상: 36,448 대 36,236). 학습자의 가중치 진화에 대한 분석은 시간이 지남에 따라 사용량 및 사용량 불확실성을 우선시하는 방향으로의 전환을 보여주었으며, 이는 수요 측 신호가 장기적 안정성에 중요해짐을 나타냅니다.
• 제한된 초점: 두 에이전트 모두 52 주 시나리오 전반에 걸쳐 제한된 초점 집합 (최대 8 개의 의약품) 을 유지하여, 포괄적인 상태 추론 없이도 안정적인 의사결정을 달성할 수 있음을 입증했습니다.

의의 및 주장
이 논문은 고차원적이고 부분 관측적인 의사결정 문제에서 주요 의사결정은 무엇을 할 것이냐가 아니라 어디에 인지적 추론 노력을 할당하느냐라는 점을 주장합니다. 저자들은 이러한 영역에서 강력한 성능을 위해 전역 최적화 전략이 반드시 필요하지 않다고 주장합니다. 대신, 주의 유도 만족 전략은 상태 공간을 동적으로 분해하여 문제 복잡성을 줄이고, thereby 결정의 질이나 안정성을 희생하지 않으면서 처리 가능성을 달성할 수 있습니다.

이 프레임워크는 관찰된 인간 전문가의 행동과 부합하는 전체 상태 POMDP 에 대한 계산적으로 실현 가능한 대안을 제공합니다. 우선순위가 어떻게 형성되고 업데이트되는지를 명시적으로 모델링함으로써 설명 가능성을 위한 메커니즘을 제공합니다. 저자들은 이 모델이 시뮬레이션 기반이며 단순화된 공급망 역학을 사용하지만, "문제가 포괄적으로 계획하기에는 너무 클 때, 효과적인 에이전트는 명시적으로 추론의 범위를 관리해야 한다"는 일반적인 인지 원칙을 확립한다고 지적합니다. 향후 연구는 실제 운영 데이터로 전향적 검증을 수행하고, 더 풍부한 사회적 역학과 병원 간 조정을 통합하는 것으로 식별되었습니다.