🤖 AI

Learning to replenish: A hybrid deep reinforcement learning for dynamic inventory management in the pharmaceutical supply chains

Dit artikel stelt een hybride deep reinforcement learning-algoritme voor, specifiek een A3C DPPO-model, om de dynamische voorraadaanvulling in farmaceutische toeleveringsketens te optimaliseren door de productbeschikbaarheid en de afvalvermindering te balanceren onder onzekere vraag en levertijden, wat uiteindelijk een verbeterde winstgevendheid en lagere kosten aantoont vergeleken met bestaande benchmarks.

Oorspronkelijke auteurs: Amandeep Kaur, Gyan Prakash

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amandeep Kaur, Gyan Prakash

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorm, hoogwaardig spel van stoelen muziek, maar in plaats van mensen en stoelen heb je medicijnen en patiënten. De muziek is de onvoorspelbare vraag van zieke mensen, en de stoelen zijn de planken in apotheken en ziekenhuizen. Als de muziek te snel stopt (een plotselinge piek in de vraag), blijft er iemand staan (een patiënt kan zijn medicijn niet krijgen). Als de muziek te lang doorgaat zonder te stoppen, staan de stoelen leeg en kan de medicatie die erop ligt verlopen en weggegooid moeten worden.

Dit artikel gaat over het leren aan een computer hoe hij de perfecte muziekdirecteur voor dit spel kan zijn, waarbij ervoor wordt gezorgd dat iedereen een stoel krijgt zonder dat er stoelen verspild worden.

Hier is de uitsplitsing van het artikel in eenvoudige termen:

Het Probleem: Een Chaotische Dans

Farmaceutische toeleveringsketens zijn ongelooflijk chaotisch.

De Spelers: Er zijn fabrikanten (die de medicijnen maken), distributiecentra (de grote magazijnen) en retailers (apotheken en ziekenhuizen).
De Chaos: Mensen worden onvoorspelbaar ziek. Soms slaat de griep hard toe (hoge vraag), soms is het rustig. Ook hebben medicijnen een houdbaarheidsdatum (zoals melk in je koelkast). Als je te veel bestelt, bederft het. Als je te weinig bestelt, lijden mensen.
De Oude Manier: Traditionele methoden zijn als het gebruik van een statische kaart in een stad waar het verkeer elke seconde verandert. Ze proberen de toekomst te voorspellen op basis van vaste regels, maar ze falen vaak wanneer dingen vreemd of urgent worden.

De Oplossing: Een "Slimme Coach" (Deep Reinforcement Learning)

De auteurs hebben een nieuw soort computerbrein gebouwd genaamd Deep Reinforcement Learning (DRL). Denk aan dit als een video game AI die leert door de game duizenden keren te spelen.

Trial and Error (Vallen en Opstaan): De AI probeert verschillende bestelstrategieën. Als de AI te veel bestelt en medicijnen verlopen, krijgt het een "slechte score" (straf). Als de voorraad op is en een patiënt geen medicijn kan krijgen, krijgt het een "slechte score". Als het precies genoeg voorraad aanhoudt, krijgt het een "goede score" (beloning).
Continue Leren: In tegen tegenstelling tot oude computers die alleen kunnen kiezen uit een vaste lijst met opties (zoals "Bestel 10" of "Bestel 20"), kan deze AI elk willekeurig aantal kiezen. Het is als een chef die precies 1,5 gram zout kan toevoegen, in plaats van alleen "een snufje" of "een kopje".

Het Geheime Recept: Het "Hybrid A3C-DPPO" Algoritme

Het artikel introduceert een specifief recept voor deze AI genaamd A3C-DPPO. Laten we de naam ontleden met een analogie:

Het Team (A3C - Asynchronous Advantage Actor-Critic): Stel je een voetbalteam voor. In plaats van één coach die instructies naar het hele veld schreeuwt tegelijk, heb je meerdere assistent-coaches die tegelijkertijd over verschillende delen van het veld rennen. Ze oefenen allemaal tegelijkertijd verschillende spelopzetten. Dit zorgt ervoor dat het team veel sneller leert omdat ze tegelijkertijd veel mogelijkheden verkennen.
Het Veiligheidsnet (DPPO - Distributed Proximal Policy Optimization): Soms, wanneer je iets nieuws leert, kun je te hard uithalen en een fout maken. PPO werkt als een veiligheidsgordel. Het stelt de AI in staat om te leren en van strategie te veranderen, maar het trekt de AI voorzichtig terug als de verandering te drastisch is. Dit houdt het leerproces stabiel en voorkomt dat de AI door het lint gaat.
De Hybride: Door de snelheid van de "meerdere coaches" (A3C) te combineren met de veiligheid van de "gordel" (PPO), leert het systeem snel maar blijft het betrouwbaar.

Hoe Ze Het Testten

De onderzoekers hebben niet alleen gegokt; ze hebben deze AI onderworpen aan rigoureuze tests:

Gesimuleerde Chaos: Ze creëerden computersimulaties met verschillende soorten "weer" voor de vraag:
- Normaal Weer: Voorspelbare vraag (zoals een zonnige dag).
- Stormachtig Weer: Scheve, onvoorspelbare vraag (zoals een plotselinge storm).
- Seizoensgebonden Weer: Vraag die op en neer gaat in cycli (zoals het griepseizoen).
Real-World Data: Ze testten de AI met echte gegevens van een ziekenhuis dat twee apotheken bevoorraadt. Ze keken naar echte medicijnen zoals Tamiflu (voor de griep), Metformine (voor diabetes) en Spikevax (een vaccin).

De Resultaten: De AI Wint

De resultaten waren duidelijk:

Betere Scores: De AI behaalde aanzienlijk hogere "beloningen" (winst) dan de oude methoden.
Minder Verspilling: Het verminderde de kosten voor het weggooien van verlopen medicijnen met enorme marges (tot wel 95% in sommige gevallen vergeleken met andere AI-methoden).
Minder Voorraadtekorten: Het hield de planken goed genoeg gevuld om aan de behoeften van patiënten te voldoen, bijna 100% van de tijd, zelfs wanneer de vraag extreem was.
Aanpassingsvermogen: Wanneer de vraagpatronen plotseling veranderden, paste de AI zijn strategie veel sneller aan dan de oude op regels gebaseerde systemen.

De Kernboodschap

Dit artikel laat zien dat door een slim, hybride computerbrein te gebruiken dat leert door te doen, farmaceutische bedrijven de chaos van het spel "stoelen muziek" kunnen stoppen. Ze kunnen ervoor zorgen dat patiënten hun levensreddende medicijnen op tijd krijgen, terwijl ze ook veel minder geld verspillen aan verlopen medicijnen. Het is een beweging van gokken naar slimme, adaptieve besluitvorming.

Technische Samenvatting: Leren over de Aanvulling in Farmaceutische Toeleveringsketens

Probleemstelling
Farmaceutische toeleveringsketens (PSC's) worden geconfronteerd met aanzienlijke uitdagingen in voorraadbeheer (IM) als gevolg van onvoorspelbare vraagpatronen, variabele doorlooptijden en de eindige houdbaarheid van medicijnen. Traditionele deterministische modellen en klassieke reinforcement learning (RL) algoritmen slagen er vaak niet in om zich aan te passen aan deze dynamische omstandigheden, vooral wanneer ze te maken hebben met grote state-action ruimtes en continue beslissingsvariabelen. Het kernprobleem dat wordt aangepakt, is de optimalisatie van voorraadaanvullingsbeleid om de winstgevendheid en patiëntserviceniveaus (PSL) te maximaliseren, terwijl de kosten verbonden aan bestellingen, opslag, tekorten en de verwijdering van verlopen goederen worden geminimaliseerd. De studie richt zich specifiek op een multi-echelon PSC-netwerk bestaande uit fabrikanten, distributiecentra en detailhandelaars, waarbij de vraag stochastisch is en de doorlooptijden voor aanvulling variëren.

Methodologie
De auteurs formuleren het IM-probleem als een Markov Decision Process (MDP) binnen een multi-echelon netwerk. Het systeem omvat een globale agent (distributiecentrum) en meerdere lokale agents (detailhandelaars) die sequentiële beslissingen nemen met betrekking tot bestelhoeveelheden en noodaanvullingen.

State Space: Gedefinieerd door de huidige voorraadniveaus (gecategoriseerd naar houdbaarheidsfasen), openstaande bestellingen, noodbestellingen, stochastische vraag en doorlooptijden.
Action Space: Gemodelleerd als een continue actieruimte, wat precieze controle over bestelhoeveelheden mogelijk maakt in plaats van beperkt te zijn tot discrete niveaus.
Beloningsfunctie: Ontworpen om de netto winst te maximaliseren door de verkoopopbrengsten af te wegen tegen bestelkosten, opslagkosten, boetes voor noodaanvulling en verwijderingskosten, onderworpen aan PSL-beperkingen.

Om dit complexe MDP op te lossen, stelt het artikel een Hybrid Asynchronous Advantage Actor–Critic Distributed Proximal Policy Optimization (A3C-DPPO) algoritme voor.

Architectuur: Het framework maakt gebruik van asynchroon parallel leren waarbij meerdere lokale agents (detailhandelaars) interageren met hun omgevingen om ervaring op te doen. Deze agents berekenen lokale gradiënten voor zowel de policy (actor) als de value (critic) netwerken.
Hybride Mechanisme: In tegenstelling tot standaard A3C, waarbij globale parameters asynchroon worden bijgewerkt, aggregeert deze aanpak gradiënten bij een centrale server (distributiecentrum) en past PPO (Proximal Policy Optimization) updates toe. De PPO-component gebruikt een afgeknipte (clipped) objectieffunctie om stabiele policy-updates te garanderen, wat drastische afwijkingen voorkomt die de toeleveringsketen zouden kunnen destabiliseren.
Gradiënt Aggregatie: De globale actor- en critic-netwerken aggregeren gradiënten van alle lokale agents met behulp van importance weighting en exponentiële voortschrijdende gemiddelden om het leren te synchroniseren terwijl de stabiliteit behouden blijft.

Belangrijkste Bijdragen

Formulering van een Continue Actieruimte: De studie gaat verder dan de discrete of gekwantiseerde actieruimtes die gebruikelijk zijn in eerdere literatuur, en stelt een continue actieruimte voor die meer flexibiliteit en precisie biedt in aanvullingsbeslissingen onder stochastische vraag.
Hybride A3C-DPPO Algoritme: De ontwikkeling van een nieuw hybride algoritme dat de exploratie-efficiëntie van asynchrone A3C combineert met de trainingsstabiliteit van PPO. Dit pakt de "vloek van dimensionaliteit" en de gevoeligheid van PSC's voor beleidsveranderingen aan.
Multi-Echelon Coördinatie: Het framework modelleert expliciet de coördinatie tussen distributiecentra en detailhandelaars, waarbij beslissingen over de gehele keten worden geoptimaliseerd in plaats van in isolatie.
Validatie in de Praktijk: Het algoritme wordt gevalideerd met echte farmaceutische voorraadgegevens van een ziekenhuissysteem dat twee apotheken bedient, waarbij seizoensgebonden, niet-seizoensgebonden en door een pandemie gedreven scenario's worden behandeld.

Resultaten
Numerieke experimenten en validatie in de praktijk tonen de superioriteit van het voorgestelde A3C-DPPO algoritme aan ten opzichte van baseline-policies, waaronder klassieke $(s, S)$ , Deep Q-Network (DQN) en standaard PPO.

Convergentie en Beloningen: Het hybride algoritme convergeert sneller (ongeveer 3.000 episodes) vergeleken met PPO en DQN (meer dan 4.500 episodes). Onder Gamma- en Poisson-vraagverdelingen behaalde het gemiddelde beloningen die 28% en 35% hoger waren dan respectievelijk PPO en DQN.
Kostenreductie: In de validatie in de praktijk verminderde het voorgestelde algoritme de gemiddelde voorraadkosten aanzienlijk vergeleken met de baselines. Zo verminderde het de kosten met 61,5% voor Tamiflu en 95,1% voor Metformine vergeleken met DQN, en met respectievelijk 37,3% en 82,8% vergeleken met PPO.
Robuustheid: Gevoeligheidsanalyse toonde aan dat het algoritme een robuuste prestatie behoudt onder variërende vraagvarianties en strikte PSL-beperkingen (tot 0,99), terwijl traditionele methoden moeite hebben met hoge variabiliteit en convergentie-instabiliteit.
Impact van Beperkingen: De studie merkte op dat hoewel hogere PSL-doelstellingen de opslagkosten verhogen, het algoritme deze kosten effectief afweegt tegen tekort-boetes, waardoor de trade-off beter wordt geoptimaliseerd dan de benchmarks.

Betekenis en Claims
Het artikel beweert dat het voorgestelde hybride DRL-framework een significante vooruitgang vormt in dynamisch voorraadbeheer voor farmaceutische toeleveringsketens. Door asynchroon leren te integreren met stabiele policy-optimalisatie, kan de methode succesvol omgaan met de hoogdimensionale, stochastische aard van PSC's. De auteurs stellen dat hun aanpak een praktisch, real-time beslissingsinstrument biedt dat hoge patiëntserviceniveaus waarborgt terwijl verspilling en operationele kosten worden geminimaliseerd. De studie concludeert dat deze hybride architectuur naadloze aanpassing aan diverse vraagverdelingen mogelijk maakt, en een robuuste oplossing biedt voor de complexe, dynamische omgeving van de moderne farmaceutische logistiek. Toekomstig werk wordt gesuggereerd om volledig verbonden netwerken en temperatuurgevoelige producten te verkennen, maar de huidige studie richt zich op het valideren van de effectiviteit van de A3C-DPPO-aanpak in een standaard multi-echelon setting.