Modeling Bounded Rationality in Drug Shortage Pharmacists Using Attention-Guided Dynamic Decomposition

Resumo Técnico: Modelagem da Racionalidade Limitada em Farmacêuticos de Escassez de Medicamentos Usando Decomposição Dinâmica Guiada por Atenção

Definição do Problema
Farmacêuticos hospitalares que gerenciam escassez de medicamentos operam em um ambiente de alto risco e parcialmente observável, caracterizado por dinâmicas de suprimento incertas, sinais de demanda ruidosos e pressão temporal. O problema de decisão envolve gerenciar centenas de medicamentos com níveis de estoque incertos, taxas de utilização flutuantes e estimativas de entrega de fornecedores pouco confiáveis. Abordagens tradicionais para este problema, como Processos de Decisão de Markov Parcialmente Observáveis (POMDPs), tentam otimizar ações sobre todo o espaço de estados. No entanto, esses métodos são computacionalmente intratáveis para cenários realistas de escassez de medicamentos devido ao crescimento exponencial do espaço de estados. Além disso, entrevistas com farmacêuticos em exercício revelam que especialistas humanos não realizam otimização global; em vez disso, eles alocam dinamicamente esforço cognitivo a um pequeno subconjunto de medicamentos urgentes, enquanto monitoram passivamente o restante. Modelos existentes de apoio à decisão não capturam esse mecanismo de atenção seletiva nem fornecem a explicabilidade necessária para que os especialistas compreendam a formação de prioridades.

Metodologia
Os autores propõem um framework computacional que reformula o problema de decisão, passando de otimizar ações sobre uma representação de estado fixa para controlar a alocação de recursos computacionais entre as variáveis de estado. Essa abordagem fundamenta-se nas teorias da racionalidade limitada e da Decisão Primada pelo Reconhecimento (RPD), que sugerem que especialistas utilizam reconhecimento de padrões para decompor problemas em subconjuntos de alto risco e baixo risco.

O framework introduz um mecanismo de Planejamento Guiado por Atenção que decompõe dinamicamente o conjunto de medicamentos em dois subconjuntos:

1. Subconjunto de Alta Urgência: Um pequeno conjunto de medicamentos selecionados para raciocínio profundo e custoso usando um planejador online.
2. Subconjunto de Baixa Urgência: O conjunto complementar de medicamentos sujeito a monitoramento de baixo custo.

A seleção é impulsionada por uma Pontuação de Urgência ($U_i$) para cada medicamento, calculada como uma soma ponderada de componentes normalizados:
$$U_i = U_{runway}(s_i) + \sum_{f \in F \setminus \{runway\}} \beta_f \cdot U_f(s_i, f)$$
Onde $U_{runway}$ representa as semanas de suprimento restantes, e outros termos ($U_f$) capturam incerteza no estoque/utilização, níveis de utilização atípicos, impacto clínico e histórico prévio de escassez. Os pesos ($\beta_f$) determinam a contribuição de cada característica.

Dois agentes foram desenvolvidos para testar este framework:

• Agente Especialista: Codifica pesos de atenção derivados diretamente de entrevistas semiestruturadas com farmacêuticos. Esses pesos servem como uma linha de base cognitiva, priorizando medicamentos com base em sinais identificados por especialistas, como risco de esgotamento (runway) e incerteza de suprimento.
• Agente Aprendiz: Utiliza uma atualização no estilo REINFORCE para adaptar os pesos de atenção ($\beta$) ao longo do tempo. Em vez de aprender uma política de seleção de ações, o aprendiz ajusta os pesos de alocação de atenção com base nas recompensas observadas em relação a uma linha de base móvel. Isso permite que o agente aprenda quais fatores de priorização melhor suportam a tomada de decisão estável sob incerteza, mantendo um mecanismo de atenção interpretável.

Configuração Experimental
Os modelos foram avaliados em cenários simulados de escassez semanal de medicamentos com observabilidade parcial e dinâmicas estocásticas. As simulações envolveram $n=19$ medicamentos e incluíram três conjuntos de cenários com horizontes variados:

• Conjunto 1: Horizonte de 3 semanas (perturbações controladas).
• Conjunto 2: Horizonte de 10 semanas (efeitos cumulativos e consequências atrasadas).
• Conjunto 3: Horizonte de 52 semanas (estabilidade de longo prazo e testes de estresse).

Os agentes foram comparados a quatro linhas de base: um agente Aleatório, um agente Ganancioso (priorizando baixo runway), um agente Heurístico (usando regras fixas inspiradas em farmacêuticos) e um agente POMDP Completo (planejamento online de estado completo).

Principais Resultados

• Eficiência Computacional: Agentes guiados por atenção reduziram significativamente o tempo de planejamento em comparação com a linha de base POMDP Completa. No Conjunto 1, o tempo de planejamento caiu de 0,59s para ~0,3s por semana; no Conjunto 2, caiu de 2,11s para ~0,7s. Esse ganho de eficiência decorre da restrição do planejamento profundo a um subconjunto focado de medicamentos de alta urgência.
• Estabilidade de Desempenho: O Agente Especialista superou as linhas de base estáticas (Ganancioso e Heurístico) em todos os conjuntos de cenários, particularmente em cenários de longo horizonte (Conjunto 3). O agente Heurístico sofreu 4 rupturas de estoque e uma recompensa negativa massiva (-4,9M), enquanto o Agente Especialista manteve zero rupturas de estoque e alcançou uma recompensa total de 36.236.
• Capacidade de Aprendizado: O Agente Aprendiz alcançou desempenho comparável ao Agente Especialista em todos os conjuntos (ex.: recompensa no Conjunto 3: 36.448 vs. 36.236), enquanto adaptou com sucesso seus pesos de atenção. A análise da evolução dos pesos do Aprendiz mostrou uma mudança em direção à priorização do uso e da incerteza de uso ao longo do tempo, indicando que sinais do lado da demanda tornam-se críticos para a estabilidade de longo prazo.
• Foco Limitado: Ambos os agentes mantiveram um conjunto de foco limitado (máximo de oito medicamentos) ao longo dos cenários de 52 semanas, demonstrando que a tomada de decisão estável pode ser alcançada sem raciocínio exaustivo sobre o estado.

Significância e Alegações
O artigo alega que, para problemas de decisão parcialmente observáveis e de alta dimensão, a decisão primária não é qual ação tomar, mas onde alocar o esforço de raciocínio cognitivo. Os autores argumentam que estratégias de otimização global não são estritamente necessárias para um desempenho forte nesses domínios. Em vez disso, estratégias de satisfação guiadas por atenção podem reduzir a complexidade do problema ao decompor dinamicamente o espaço de estados, alcançando assim a tratabilidade sem sacrificar a qualidade ou a estabilidade da decisão.

O framework oferece uma alternativa computacionalmente viável aos POMDPs de estado completo que se alinha ao comportamento observado de especialistas humanos. Ele fornece um mecanismo para explicabilidade ao modelar explicitamente como as prioridades são formadas e atualizadas. Os autores observam que, embora o modelo seja baseado em simulação e utilize dinâmicas simplificadas da cadeia de suprimentos, ele estabelece um princípio cognitivo geral: quando um problema é grande demais para ser planejado exaustivamente, agentes eficazes devem gerenciar explicitamente o escopo de seu raciocínio. Trabalhos futuros são identificados como necessitando de validação prospectiva com dados operacionais reais e a incorporação de dinâmicas sociais mais ricas e coordenação inter-hospitalar.