Modeling Bounded Rationality in Drug Shortage Pharmacists Using Attention-Guided Dynamic Decomposition

Technische Samenvatting: Modellering van Bounded Rationality bij Farmaceuten in Geneesmiddelenkrapte met Geleide Dynamische Decompositie

Probleemdefinitie
Ziekenhuisapothekers die geneesmiddelenkrapte beheren, opereren in een hoog-risico, deels waarneembare omgeving die wordt gekenmerkt door onzekere voorraaddynamiek, ruis in vraagsignalen en tijdsdruk. Het beslissingsprobleem omvat het beheren van honderden geneesmiddelen met onzekere voorraadniveaus, fluctuerende gebruikspercentages en onbetrouwbare leverancierslevertijdinschattingen. Traditionele benaderingen voor dit probleem, zoals Partially Observable Markov Decision Processes (POMDP's), trachten acties te optimaliseren over de volledige toestandsruimte. Echter, deze methoden zijn computationeel onuitvoerbaar voor realistische geneesmiddelenkrapte-scenario's vanwege de exponentiële groei van de toestandsruimte. Bovendien tonen interviews met praktiserende apothekers aan dat menselijke experts geen globale optimalisatie uitvoeren; in plaats daarvan wijzen ze dynamisch cognitieve inspanning toe aan een kleine subset van dringende geneesmiddelen, terwijl ze de rest passief monitoren. Bestaande beslissingsondersteunende modellen slagen er niet in dit selectieve aandachtsmechanisme te vangen of de benodigde verklaarbaarheid te bieden die experts vereisen om prioriteitsvorming te begrijpen.

Methodologie
De auteurs stellen een computationeel kader voor dat het beslissingsprobleem herformuleert van het optimaliseren van acties over een vaste toestandsrepresentatie naar het controleren van de toewijzing van computationele middelen over toestandsvariabelen. Deze aanpak is gebaseerd op theorieën van bounded rationality en Recognition-Primed Decision (RPD), die suggereren dat experts patroonherkenning gebruiken om problemen te decomponeren in subsets met hoog risico en laag risico.

Het kader introduceert een Geleide Planning met Aandacht (Attention-Guided Planning) mechanisme dat de set geneesmiddelen dynamisch decomponeert in twee subsets:

1. Subset met Hoge Urgentie: Een kleine set geneesmiddelen geselecteerd voor diep, kostbaar redeneren met behulp van een online planner.
2. Subset met Lage Urgentie: De complementaire set geneesmiddelen die onderhevig is aan goedkope monitoring.

De selectie wordt gedreven door een Urgentiescore ($U_i$) voor elk geneesmiddel, berekend als een gewogen som van genormaliseerde componenten:
$$U_i = U_{runway}(s_i) + \sum_{f \in F \setminus \{runway\}} \beta_f \cdot U_f(s_i, f)$$
Waar $U_{runway}$ de resterende voorraadweken voorstelt, en andere termen ($U_f$) onzekerheid in voorraad/gebruik, atypische gebruiksniveaus, klinische impact en eerdere kraptegeschiedenis vangen. De gewichten ($\beta_f$) bepalen de bijdrage van elk kenmerk.

Twee agenten zijn ontwikkeld om dit kader te testen:

• Expert Agent: Encodeert aandachtwichten die direct zijn afgeleid uit semi-gestructureerde interviews met apothekers. Deze gewichten dienen als cognitieve basislijn, waarbij geneesmiddelen prioriteit krijgen op basis van door experts geïdentificeerde signalen zoals runway-risico en voorraadzekerheid.
• Learner Agent: Gebruikt een REINFORCE-stijl update om de aandachtwichten ($\beta$) in de loop van de tijd aan te passen. In plaats van een beleidsselectie te leren, past de learner de toewijzingsgewichten voor aandacht aan op basis van waargenomen beloningen ten opzichte van een bewegende basislijn. Dit stelt de agent in staat te leren welke prioriteringsfactoren het beste stabiel beslissen onder onzekerheid ondersteunen, terwijl een interpreteerbaar aandachtsmechanisme behouden blijft.

Experimentele Opstelling
De modellen werden geëvalueerd in gesimuleerde wekelijkse geneesmiddelenkrapte-scenario's met deels waarneembaarheid en stochastische dynamiek. De simulaties omvatten $n=19$ geneesmiddelen en includeerden drie scenario-sets met variërende horizonnen:

• Set 1: 3-weken horizon (gecontroleerde verstoringen).
• Set 2: 10-weken horizon (opstapelende effecten en vertraagde gevolgen).
• Set 3: 52-weken horizon (langetermijnstabiliteit en stress testen).

Agenten werden vergeleken met vier basislijnen: een Random agent, een Greedy agent (prioritering op lage runway), een Heuristische agent (met vaste door apothekers geïnspireerde regels) en een Full POMDP agent (online planning voor volledige staat).

Belangrijkste Resultaten

• Computationele Efficiëntie: Geleid door aandacht agenten reduceerden de planningsduur significant in vergelijking met de Full POMDP-basislijn. In Set 1 daalde de planningsduur van 0,59s naar ~0,3s per week; in Set 2 daalde deze van 2,11s naar ~0,7s. Deze efficiëntiewinst vloeit voort uit het beperken van diepe planning tot een gefocuste subset van geneesmiddelen met hoge urgentie.
• Stabiliteit van Prestaties: De Expert Agent presteerde beter dan statische basislijnen (Greedy en Heuristisch) in alle scenario-sets, met name in scenario's met lange horizon (Set 3). De Heuristische agent leed 4 voorraadtekorten en een enorme negatieve beloning (-4,9M), terwijl de Expert Agent nul voorraadtekorten handhaafde en een totale beloning van 36.236 behaalde.
• Leervermogen: De Learner Agent behaalde prestaties die vergelijkbaar waren met de Expert Agent in alle sets (bijv. Set 3 beloning: 36.448 versus 36.236) terwijl het tegelijkertijd zijn aandachtwichten succesvol aanpaste. Analyse van de evolutie van de gewichten van de Learner toonde een verschuiving aan naar prioritering van gebruik en gebruiksonzekerheid in de loop van de tijd, wat aangeeft dat vraagzijde signalen kritiek worden voor langetermijnstabiliteit.
• Bounded Focus: Beide agenten handhaafden een bounded focus-set (maximaal acht geneesmiddelen) gedurende de 52-weken scenario's, wat aantoont dat stabiel beslissen kan worden bereikt zonder exhaustief redeneren over de volledige staat.

Betekenis en Claims
Het artikel claimt dat voor hoog-dimensionale, deels waarneembare beslissingsproblemen de primaire beslissing niet welke actie moet worden ondernomen is, maar waar cognitieve redeneerinspanning moet worden toegewezen. De auteurs betogen dat globale optimalisatiestrategieën niet strikt noodzakelijk zijn voor sterke prestaties in deze domeinen. In plaats daarvan kunnen door aandacht geleide, bevredigende strategieën (satisficing) de probleemcomplexiteit reduceren door de toestandsruimte dynamisch te decomponeren, waardoor uitvoerbaarheid wordt bereikt zonder in te leveren op beslissingskwaliteit of stabiliteit.

Het kader biedt een computationeel haalbaar alternatief voor full-state POMDP's dat overeenkomt met waargenomen gedrag van menselijke experts. Het biedt een mechanisme voor verklaarbaarheid door expliciet te modelleren hoe prioriteiten worden gevormd en bijgewerkt. De auteurs merken op dat hoewel het model simulatie-gebaseerd is en vereenvoudigde supply chain-dynamiek gebruikt, het een algemeen cognitief principe vaststelt: wanneer een probleem te groot is om exhaustief te plannen, moeten effectieve agenten expliciet het bereik van hun redeneren beheren. Toekomstig werk wordt geïdentificeerd als behoefte aan prospectieve validatie met echte operationele data en de integratie van rijkere sociale dynamiek en inter-hospitaal coördinatie.