Modeling Bounded Rationality in Drug Shortage Pharmacists Using Attention-Guided Dynamic Decomposition

Résumé Technique : Modélisation de la Rationalité Limitée chez les Pharmaciens Gérant les Pénuries de Médicaments à l'Aide d'une Décomposition Dynamique Guidée par l'Attention

Définition du Problème
Les pharmaciens hospitaliers gérant les pénuries de médicaments évoluent dans un environnement à haut risque, partiellement observable, caractérisé par une dynamique d'approvisionnement incertaine, des signaux de demande bruités et une pression temporelle. Le problème de décision consiste à gérer des centaines de médicaments aux niveaux de stock incertains, à des taux d'utilisation fluctuants et à des estimations de livraison fournisseurs peu fiables. Les approches traditionnelles de ce problème, telles que les Processus de Décision Markoviens Partiellement Observables (POMDP), tentent d'optimiser les actions sur l'ensemble de l'espace d'états. Cependant, ces méthodes sont computationnellement ingérables dans des contextes réalistes de pénurie de médicaments en raison de la croissance exponentielle de l'espace d'états. De plus, des entretiens avec des pharmaciens en exercice révèlent que les experts humains ne réalisent pas d'optimisation globale ; ils allouent plutôt dynamiquement leur effort cognitif à un petit sous-ensemble de médicaments urgents tout en surveillant passivement le reste. Les modèles d'aide à la décision existants échouent à capturer ce mécanisme d'attention sélective ou à fournir l'explicabilité requise par les experts pour comprendre la formation des priorités.

Méthodologie
Les auteurs proposent un cadre computationnel qui reformule le problème de décision, passant de l'optimisation des actions sur une représentation d'état fixe au contrôle de l'allocation des ressources computationnelles à travers les variables d'état. Cette approche s'appuie sur les théories de la rationalité limitée et de la Décision Primée par la Reconnaissance (RPD), qui suggèrent que les experts utilisent la reconnaissance de motifs pour décomposer les problèmes en sous-ensembles à haut risque et à faible risque.

Le cadre introduit un mécanisme de Planification Guidée par l'Attention qui décompose dynamiquement l'ensemble des médicaments en deux sous-ensembles :

1. Sous-ensemble à Haute Urgence : Un petit ensemble de médicaments sélectionnés pour un raisonnement approfondi et coûteux à l'aide d'un planificateur en ligne.
2. Sous-ensemble à Faible Urgence : L'ensemble complémentaire de médicaments soumis à une surveillance à faible coût.

La sélection est pilotée par un Score d'Urgence ($U_i$) pour chaque médicament, calculé comme une somme pondérée de composantes normalisées :
$$U_i = U_{runway}(s_i) + \sum_{f \in F \setminus \{runway\}} \beta_f \cdot U_f(s_i, f)$$
Où $U_{runway}$ représente les semaines d'approvisionnement restantes, et les autres termes ($U_f$) capturent l'incertitude des stocks/d'utilisation, les niveaux d'utilisation atypiques, l'impact clinique et l'historique antérieur de pénurie. Les poids ($\beta_f$) déterminent la contribution de chaque caractéristique.

Deux agents ont été développés pour tester ce cadre :

• Agent Expert : Encode les poids d'attention dérivés directement d'entretiens semi-structurés avec des pharmaciens. Ces poids servent de référence cognitive, priorisant les médicaments sur la base de signaux identifiés par les experts, tels que le risque de rupture de stock et l'incertitude de l'approvisionnement.
• Agent Apprenant : Utilise une mise à jour de type REINFORCE pour adapter les poids d'attention ($\beta$) au fil du temps. Au lieu d'apprendre une politique de sélection d'actions, l'apprenant ajuste les poids d'allocation d'attention en fonction des récompenses observées par rapport à une référence mobile. Cela permet à l'agent d'apprendre quels facteurs de priorisation soutiennent le mieux une prise de décision stable dans l'incertitude tout en maintenant un mécanisme d'attention interprétable.

Configuration Expérimentale
Les modèles ont été évalués dans des scénarios simulés de pénurie hebdomadaire de médicaments avec observabilité partielle et dynamiques stochastiques. Les simulations impliquaient $n=19$ médicaments et comprenaient trois ensembles de scénarios avec des horizons variables :

• Ensemble 1 : Horizon de 3 semaines (perturbations contrôlées).
• Ensemble 2 : Horizon de 10 semaines (effets cumulatifs et conséquences retardées).
• Ensemble 3 : Horizon de 52 semaines (stabilité à long terme et tests de résistance).

Les agents ont été comparés à quatre références : un agent Aléatoire, un agent Glouton (priorisant le faible stock), un agent Heuristique (utilisant des règles fixes inspirées des pharmaciens) et un agent POMDP Complet (planification en ligne de l'état complet).

Résultats Clés

• Efficacité Computationnelle : Les agents guidés par l'attention ont considérablement réduit le temps de planification par rapport à la référence POMDP Complète. Dans l'Ensemble 1, le temps de planification est passé de 0,59 s à ~0,3 s par semaine ; dans l'Ensemble 2, il est passé de 2,11 s à ~0,7 s. Ce gain d'efficacité découle de la restriction de la planification approfondie à un sous-ensemble ciblé de médicaments à haute urgence.
• Stabilité des Performances : L'Agent Expert a surpassé les références statiques (Glouton et Heuristique) dans tous les ensembles de scénarios, en particulier dans les scénarios à long horizon (Ensemble 3). L'agent Heuristique a subi 4 ruptures de stock et une récompense négative massive (-4,9 M), tandis que l'Agent Expert a maintenu zéro rupture de stock et obtenu une récompense totale de 36 236.
• Capacité d'Apprentissage : L'Agent Apprenant a atteint des performances comparables à celles de l'Agent Expert dans tous les ensembles (par exemple, récompense de l'Ensemble 3 : 36 448 contre 36 236) tout en adaptant avec succès ses poids d'attention. L'analyse de l'évolution des poids de l'apprenant a montré un glissement vers la priorisation de l'utilisation et de l'incertitude d'utilisation au fil du temps, indiquant que les signaux liés à la demande deviennent critiques pour la stabilité à long terme.
• Focus Borné : Les deux agents ont maintenu un ensemble de focus borné (maximum de huit médicaments) tout au long des scénarios de 52 semaines, démontrant qu'une prise de décision stable peut être atteinte sans raisonnement exhaustif sur l'état.

Signification et Revendications
L'article revendique que pour les problèmes de décision partiellement observables de haute dimension, la décision principale n'est pas quelle action entreprendre, mais où allouer l'effort de raisonnement cognitif. Les auteurs soutiennent que les stratégies d'optimisation globale ne sont pas strictement nécessaires pour obtenir de fortes performances dans ces domaines. Au contraire, des stratégies guidées par l'attention et de type « satisfaisant » peuvent réduire la complexité du problème en décomposant dynamiquement l'espace d'états, atteignant ainsi la gérabilité sans sacrifier la qualité ou la stabilité de la décision.

Le cadre offre une alternative computationnellement faisable aux POMDP d'état complet qui s'aligne sur le comportement observé des experts humains. Il fournit un mécanisme d'explicabilité en modélisant explicitement comment les priorités sont formées et mises à jour. Les auteurs notent que si le modèle est basé sur une simulation et utilise une dynamique de chaîne d'approvisionnement simplifiée, il établit un principe cognitif général : lorsqu'un problème est trop vaste pour être planifié de manière exhaustive, des agents efficaces doivent explicitement gérer la portée de leur raisonnement. Les travaux futurs sont identifiés comme nécessitant une validation prospective avec des données opérationnelles réelles et l'intégration de dynamiques sociales plus riches et de coordination inter-hospitalière.