Modeling Bounded Rationality in Drug Shortage Pharmacists Using Attention-Guided Dynamic Decomposition

Resumen Técnico: Modelado de la Racionalidad Acotada en Farmacéuticos ante Escasez de Medicamentos Mediante Descomposición Dinámica Guiada por Atención

Definición del Problema
Los farmacéuticos hospitalarios que gestionan escasez de medicamentos operan en un entorno de alto riesgo y parcialmente observable, caracterizado por dinámicas de suministro inciertas, señales de demanda ruidosas y presión temporal. El problema de decisión implica gestionar cientos de medicamentos con niveles de inventario inciertos, tasas de utilización fluctuantes y estimaciones de entrega de proveedores poco fiables. Los enfoques tradicionales para este problema, como los Procesos de Decisión de Markov Parcialmente Observables (POMDP), intentan optimizar acciones sobre el espacio de estados completo. Sin embargo, estos métodos son computacionalmente intratables para escenarios realistas de escasez de medicamentos debido al crecimiento exponencial del espacio de estados. Además, las entrevistas con farmacéuticos en ejercicio revelan que los expertos humanos no realizan una optimización global; en su lugar, asignan dinámicamente el esfuerzo cognitivo a un pequeño subconjunto de medicamentos urgentes mientras monitorean pasivamente el resto. Los modelos existentes de apoyo a la decisión no capturan este mecanismo de atención selectiva ni proporcionan la explicabilidad requerida por los expertos para comprender la formación de prioridades.

Metodología
Los autores proponen un marco computacional que replantea el problema de decisión, pasando de optimizar acciones sobre una representación de estado fija a controlar la asignación de recursos computacionales entre las variables de estado. Este enfoque se fundamenta en las teorías de la racionalidad acotada y la Toma de Decisiones Basada en Reconocimiento (RPD), las cuales sugieren que los expertos utilizan el reconocimiento de patrones para descomponer los problemas en subconjuntos de alto riesgo y bajo riesgo.

El marco introduce un mecanismo de Planificación Guiada por Atención que descompone dinámicamente el conjunto de medicamentos en dos subconjuntos:

1. Subconjunto de Alta Urgencia: Un pequeño conjunto de medicamentos seleccionados para un razonamiento profundo y costoso mediante un planificador en línea.
2. Subconjunto de Baja Urgencia: El conjunto complementario de medicamentos sujeto a una supervisión de bajo costo.

La selección se impulsa mediante una Puntuación de Urgencia ($U_i$) para cada medicamento, calculada como una suma ponderada de componentes normalizados:
$$U_i = U_{runway}(s_i) + \sum_{f \in F \setminus \{runway\}} \beta_f \cdot U_f(s_i, f)$$
Donde $U_{runway}$ representa las semanas de suministro restantes, y otros términos ($U_f$) capturan la incertidumbre en el inventario/utilización, niveles de utilización atípicos, impacto clínico e historial previo de escasez. Los pesos ($\beta_f$) determinan la contribución de cada característica.

Se desarrollaron dos agentes para probar este marco:

• Agente Experto: Codifica pesos de atención derivados directamente de entrevistas semiestructuradas con farmacéuticos. Estos pesos sirven como una línea base cognitiva, priorizando medicamentos según señales identificadas por expertos, como el riesgo de agotamiento (runway) y la incertidumbre del suministro.
• Agente Aprendiz: Utiliza una actualización al estilo REINFORCE para adaptar los pesos de atención ($\beta$) con el tiempo. En lugar de aprender una política de selección de acciones, el aprendiz ajusta los pesos de asignación de atención basándose en las recompensas observadas en relación con una línea base móvil. Esto permite que el agente aprenda qué factores de priorización apoyan mejor la toma de decisiones estable bajo incertidumbre, manteniendo al mismo tiempo un mecanismo de atención interpretable.

Configuración Experimental
Los modelos se evaluaron en escenarios simulados semanales de escasez de medicamentos con observabilidad parcial y dinámicas estocásticas. Las simulaciones involucraron $n=19$ medicamentos e incluyeron tres conjuntos de escenarios con horizontes variables:

• Conjunto 1: Horizonte de 3 semanas (perturbaciones controladas).
• Conjunto 2: Horizonte de 10 semanas (efectos acumulativos y consecuencias retardadas).
• Conjunto 3: Horizonte de 52 semanas (estabilidad a largo plazo y pruebas de estrés).

Los agentes se compararon contra cuatro líneas base: un agente Aleatorio, un agente Codicioso (priorizando bajo runway), un agente Heurístico (utilizando reglas fijas inspiradas en farmacéuticos) y un agente POMDP Completo (planificación en línea de estado completo).

Resultados Clave

• Eficiencia Computacional: Los agentes guiados por atención redujeron significativamente el tiempo de planificación en comparación con la línea base POMDP Completa. En el Conjunto 1, el tiempo de planificación bajó de 0.59s a ~0.3s por semana; en el Conjunto 2, bajó de 2.11s a ~0.7s. Esta ganancia de eficiencia se deriva de restringir la planificación profunda a un subconjunto enfocado de medicamentos de alta urgencia.
• Estabilidad del Rendimiento: El Agente Experto superó a las líneas base estáticas (Codicioso y Heurístico) en todos los conjuntos de escenarios, particularmente en escenarios de largo horizonte (Conjunto 3). El agente Heurístico sufrió 4 roturas de stock y una recompensa negativa masiva (-4.9M), mientras que el Agente Experto mantuvo cero roturas de stock y logró una recompensa total de 36,236.
• Capacidad de Aprendizaje: El Agente Aprendiz logró un rendimiento comparable al del Agente Experto en todos los conjuntos (por ejemplo, recompensa en el Conjunto 3: 36,448 vs. 36,236) mientras adaptaba con éxito sus pesos de atención. El análisis de la evolución de los pesos del Aprendiz mostró un cambio hacia priorizar el uso y la incertidumbre del uso con el tiempo, indicando que las señales del lado de la demanda se vuelven críticas para la estabilidad a largo plazo.
• Enfoque Acotado: Ambos agentes mantuvieron un conjunto de enfoque acotado (máximo de ocho medicamentos) a lo largo de los escenarios de 52 semanas, demostrando que se puede lograr una toma de decisiones estable sin un razonamiento exhaustivo del estado.

Significado y Afirmaciones
El artículo afirma que, para problemas de decisión parcialmente observables de alta dimensión, la decisión principal no es qué acción tomar, sino dónde asignar el esfuerzo de razonamiento cognitivo. Los autores argumentan que las estrategias de optimización global no son estrictamente necesarias para un rendimiento sólido en estos dominios. En su lugar, las estrategias de satisfacción guiadas por la atención pueden reducir la complejidad del problema descomponiendo dinámicamente el espacio de estados, logrando así la tratabilidad sin sacrificar la calidad o la estabilidad de la decisión.

El marco ofrece una alternativa computacionalmente viable a los POMDP de estado completo que se alinea con el comportamiento observado de expertos humanos. Proporciona un mecanismo de explicabilidad al modelar explícitamente cómo se forman y actualizan las prioridades. Los autores señalan que, aunque el modelo se basa en simulaciones y utiliza dinámicas de cadena de suministro simplificadas, establece un principio cognitivo general: cuando un problema es demasiado grande para planificar exhaustivamente, los agentes efectivos deben gestionar explícitamente el alcance de su razonamiento. Se identifica que el trabajo futuro requiere validación prospectiva con datos operativos reales y la incorporación de dinámicas sociales más ricas y coordinación interhospitalaria.