Coordinating Replenishment and Dynamic Pricing for Perishable Omnichannel Retail: A Fixed-Point Dynamic-Programming–Reinforcement-Learning Framework

In de wereld van de moderne detailhandel is de uitdaging om vers voedsel te verkopen een evenwichtsoefening geworden die op meerdere podia wordt uitgevoerd. Consumenten bezoeken niet langer één enkele winkel; ze kopen via een complex web van opties, waarbij ze artikelen ophalen bij een lokale winkel, bestellen voor thuisbezorging, of online kopen en persoonlijk ophalen. Deze omnichannel aanpak biedt gemak, maar creëert een logistieke nachtmerrie voor bederfelijke waren zoals fruit en groenten, die een strikte, tikkende klok op hun houdbaarheid hebben. De kern van de moeilijkheid ligt in het balanceren van twee concurrerende behoeften: prijzen flexibel genoeg houden om aan te sluiten bij wat klanten op elk gewenst moment bereid zijn te betalen, en precies de juiste hoeveelheid voorraad bestellen zodat er niets rot voordat het verkocht is. Als een retailer te veel bestelt, bederft het voedsel en wordt het afval; als ze te weinig bestellen, missen ze verkopen en frustreren ze klanten. Decennialang hebben onderzoekers geprobeerd wiskundige modellen te bouwen om dit puzzelstuk op te lossen, waarbij ze de beslissing over hoeveel er besteld moet worden en de beslissing over wat de prijs moet zijn, vaak als afzonderlijke problemen beschouwden. De realiteit van een gang met verse producten is echter dat deze twee beslissingen diep met elkaar verweven zijn, en de snelheid waarmee een winkel nieuwe leveringen ontvangt, speelt een veel kritiekere rol dan voorheen werd aangenomen.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld om dit probleem aan te pakken door twee verschillende soorten computercodes te combineren om de stroom van bederfelijke goederen te beheren. In plaats van te proberen het hele complexe systeem in één keer op te lossen, splitsen ze de taak op in twee delen die op verschillende tijdschalen opereren. Eén deel van hun systeem gebruikt een methode genaamd dynamische programmering, wat in essentie een rigoureuze, vooruitziende planner is. Deze planner kijkt vooruit over een langere periode om precies te beslissen hoeveel eenheden verse producten er besteld moeten worden, rekening houdend met hoe lang het voedsel houdbaar blijft en de kosten van verspilling. Het tweede deel gebruikt een techniek genaamd reinforcement learning, dat fungeert als een realtime handelaar. Deze agent houdt de ouderdom van de voorraad in de winkel en de schommelingen in de vraag in de gaten, en past prijzen direct aan om oudere voorraad te verkopen voordat deze verloopt. Cruciaal is dat de onderzoekers deze twee delen niet alleen in isolatie lieten werken; ze dwongen hen om met elkaar te communiceren. De langetermijnplanner past zijn besteldoelstellingen aan op basis van de prijzen die de realtime handelaar daadwerkelijk vaststelt, en de handelaar leert prijzen vast te stellen op basis van de voorraadniveaus die de planner creëert. Ze testten dit systeem in een gedetailleerde computersimulatie van een detailhandelaar in verse producten die aardbeien verkocht, die een bruikbare houdbaarheid van vier dagen hebben, gedurende een volledig jaar.

De meest opvallende ontdekking uit dit onderzoek is dat de verfijning van het prijsalgoritme er veel minder toe doet dan het schema van de bezorgwagen. De onderzoekers ontdekten dat of een winkel nu daadwerkelijk te maken krijgt met voedselverspilling, volledig afhangt van de verhouding tussen hoe vaak de nieuwe voorraad binnenkomt en hoe lang die voorraad houdbaar is. In hun simulatie, wanneer de retailer elke dag verse leveringen ontving tegenover een houdbaarheid van vier dagen, was het afvalpercentage nagenoeg nul, namelijk slechts 0,04 procent. In dit scenario kon geen enkele slimme prijsstelling of complexe planning de situatie verbeteren, omdat het voedsel zo snel werd verkocht dat het nooit de kans kreeg om oud te worden. Het systeem was simpelweg te efficiënt om het probleem te laten bestaan. Wanneer de leveringscyclus echter werd uitgerekt naar een driedaagse cyclus, veranderde de situatie drastisch. Dezelfde winkel, met dezelfde producten, zag het afval bijna springen naar 6,6 procent. Dit onthulde dat het "bederfprobleem" niet altijd aanwezig is; het is een conditie die wordt gecreëerd door de leveringskalender. Als de tijd tussen leveringen kort genoeg is, wordt het voedsel niet oud, en hebben de geavanceerde algoritmen niets te optimaliseren. De machinerie van complexe prijsstelling wordt pas waardevol wanneer de leveringscyclus lang genoeg is om het voedsel te laten verouderen.

Een andere belangrijke bevinding betrof de belofte die retailers doen aan online klanten over hoe vers hun voedsel zal zijn. Veel winkels garanderen dat online bestellingen een bepaat aantal dagen houdbaarheid over hebben, in de veronderstelling dat dit meer klanten aantrekt. De studie behandelde deze garantie niet als een vaste marketingregel, maar als een variabele beslissing. De resultaten toonden aan dat het aanscherpen van deze belofte om verser voedsel te garanderen, de business schaadde. Toen de onderzoekers de garantie verhoogden van één naar twee dagen, stegen de online verkopen met ongeveer 10 procent, maar daalde de winst met meer dan 3 procent en verdrievoudigde de hoeveelheid verspild voedsel. De reden is dat een striktere garantie oudere, maar nog steeds perfect eetbare voorraad uitsluit van verkoop online. Die voorraad wordt vervolgens naar de fysieke winkel gedrukt, waar het moeilijker te verkopen is, en uiteindelijk wordt afgeprijsd of weggegooid. De studie concludeerde dat, in deze specifieke omgeving, de beste strategie is om de minimale mogelijkheid aan versheidsgarantie te bieden, aangezien het proberen te beloven van meer versheid simpelweg meer afval creëert zonder dat er genoeg extra winst tegenover staat om het te rechtvaardigen.

De onderzoekers vergeleken hun gecoördineerde aanpak ook met verschillende andere methoden, waaronder een systeem waarbij de bestel- en prijsbeslissingen na elkaar werden genomen zonder feedback, en een systeem waarbij een enkele computeragent probeerde beide tegelijkertijd te leren. De resultaten waren duidelijk: een computeragent die alles vanaf nul probeerde te leren, presteerde het slechtst, behaalde aanzienlijk minder winst en vertoonde veel meer instabiliteit. Dit suggereert dat het proberen te leren van de complexe logistiek van het bestellen van vers voedsel te moeilijk is voor een machine om zelfstandig te ontdekken; het heeft het gestructureerde, logische kader van een planner nodig om de bestellingen af te handelen, terwijl machine learning het beste kan worden gebruikt voor de taak van het aanpassen van prijzen. Het gecoördineerde systeem dat beide benaderingen combineerde, maakte niet noodzakelijkerwijs de meeste winst vergeleken met een eenvoudiger sequentieel systeem, maar deed iets veel belangrijkers: het stabiliseerde de verspilling. Door de feedbackloop tussen bestellen en prijzen te sluiten, verminderde het systeem de verspilling met meer dan de helft in vergelijking met de sequentiële aanpak, waardoor de incidentele enorme pieken in bederf werden voorkomen die optraden wanneer de twee beslissingen niet op elkaar waren afgestemd.

Uiteindelijk biedt de studie een nuchtere maar praktische gids voor retailers. Het suggereert dat een winkel, voordat er geïnvesteerd wordt in dure, hoogtechnologische prijsalgoritmen, eerst naar zijn leveringsschema moet kijken. Als de winkel dagelijks verse voorraad ontvangt, is het probleem van verspilling al door de kalender opgelost, en zal geen enkele software de situatie verder kunnen verbeteren. Als de leveringscyclus langer is, dan bestaat het probleem, en wordt de keuze over hoe men het beheert cruciaal. Het onderzoek benadrukt ook dat de kosten van het voedsel zelf, bepaald door de leverancier, een veel grotere impact hebben op de winstgevendheid van de winkel dan enige prijsstrategie. Een kleine verbetering in de prijs betaald aan de leverancier kan de jaarlijkse winst met tienduizenden dollars veranderen, terwijl zelfs het beste prijsalgoritme de winst misschien slechts met enkele duizenden dollars kan verschuiven. De studie concludeert dat de meest effectieve manier om verspilling te verminderen niet is om klanten de vers mogelijke voeding te beloven, maar om de interne kosten van verwijdering en de timing van leveringen te beheren, zodat de toeleveringsketen zodanig wordt ontworpen dat deze past bij de natuurlijke levensduur van het product.