Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand

Dit paper introduceert twee nieuwe datagedreven algoritmen die offline versterkte leer- en overlevingsanalyse technieken combineren om optimale prijs- en voorraadbeheerstrategieën te leren in een omgeving met gecensureerde en afhankelijke vraag, waarbij de uitdagingen van ontbrekende winstinformatie en het verlies van de Markov-eigenschap worden overwonnen door het probleem te benaderen als een hoog-ordelijk Markov-beslissingsproces.

De kern

Stel je voor dat je de eigenaar bent van een populaire bakkerij. Je wilt elke dag de perfecte prijs voor je broodjes vinden en precies genoeg deeg bestellen, zodat je nooit te veel verspilt, maar ook nooit klanten teleurstelt omdat je uitverkocht bent.

In de echte wereld is dit echter een enorme puzzel, vooral omdat je twee grote problemen hebt:

1. De "Verborgen Waarde" (Censering)
Stel, je hebt vandaag 10 broodjes en je verkoopt ze allemaal. Je denkt: "Groot succes! Ik had misschien wel 15 verkocht als ik er meer had gehad." Maar je weet het niet zeker. Je ziet alleen dat je 10 hebt verkocht. De vraag van de overige 5 mensen is "gecensureerd" of verborgen. Het is alsof je een raam hebt dat dichtgetrokken is; je ziet de mensen staan, maar je weet niet hoeveel er echt zouden kopen als het raam open was.

2. De "Gedragsspoor" (Afhankelijke Vraag)
Mensen zijn niet robots. Als je gisteren een broodje hebt gekocht, is de kans groter dat je vandaag ook weer langskomt. Als je echter een keer uitverkocht was, zijn ze misschien boos en gaan ze naar de concurrent. De vraag van vandaag hangt dus direct af van wat er gisteren is gebeurd. Het is een kettingreactie.

Wat doet dit paper?

De onderzoekers van dit paper hebben een slimme manier bedacht om deze puzzel op te lossen, puur op basis van oude data (zoals oude verkoopbonnen en prijslijsten), zonder dat ze de klanten opnieuw hoeven te vragen.

Hier is de uitleg in simpele termen, met een paar creatieve vergelijkingen:

De "Gedachtenlees-machine" voor de Bakker
Stel je voor dat je een oude, vergeelde logboek hebt met alle transacties van de afgelopen jaren. De onderzoekers bouwen een algoritme (een soort slimme computer) dat in dat logboek kijkt en zegt: "Hé, kijk eens! Elke keer als we de prijs verlaagden en we uitverkocht raakten, kwamen de klanten de volgende dag niet terug. Maar als we de prijs iets hoger hielden en net genoeg brood hadden, waren ze blij en kwamen ze terug."

Het Oplossen van de "Vervormde Spiegel"
Het grootste probleem is dat de data "vervormd" is door de uitverkochte momenten. Het is alsof je probeert een foto te maken van een landschap, maar er staat een grote muur voor die deels van het beeld verbergt.

• De oplossing: De onderzoekers gebruiken een wiskundige truc. Ze behandelen de periode waarin je uitverkocht bent alsof het een "tijdreis" is. Ze zeggen: "Oké, we weten niet precies hoeveel mensen wilden kopen, maar we weten dat de 'geheime vraag' nog steeds daar is en de volgende dag misschien terugkomt." Ze bouwen een complexere versie van een beslissingsmodel (een 'hoge-orde MDP') die rekening houdt met hoe lang je al uitverkocht bent.

De Twee Nieuwe Wapens
Om dit te doen, gebruiken ze twee slimme methoden die lijken op hoe een leerling een spel leert spelen:

1. De "Overlevingsanalist": Dit is alsof je kijkt naar hoe lang een broodje "overleeft" voordat het weg is. Ze gebruiken technieken uit de geneeskunde (overlevingsanalyse) om te voorspellen wat er zou zijn gebeurd als je meer voorraad had gehad.
2. De "Offline Trainer": In plaats van dat je de bakkerij maandenlang moet testen met verschillende prijzen (en risico loopt op verliezen), "traint" de computer het model op de oude data. Het is alsof je een piloot traint in een simulator met oude vluchtgegevens, in plaats van hem echt te laten crashen.

Het Resultaat
Uiteindelijk levert dit algoritme een "ideale handleiding" op voor de bakker. Het zegt: "Vandaag, gezien de prijs van gisteren en de uitverkochte situatie, moet je de prijs op X zetten en Y broodjes bestellen om op de lange termijn het meeste geld te verdienen."

Waarom is dit speciaal?
Voorheen was dit bijna onmogelijk te doen omdat de data zo rommelig was (door de uitverkochte momenten) en omdat het gedrag van klanten zo afhankelijk was van het verleden. Dit paper is de eerste die een slimme, datagedreven manier vindt om dit exacte probleem op te lossen. Het is alsof ze een magische bril hebben ontdekt die de "verborgen" vraag van klanten zichtbaar maakt, zodat bedrijven nooit meer hoeven te gokken.

Kortom: Ze hebben een manier gevonden om uit een rommelig, onvolledig verleden een heldere toekomststrategie te halen voor winkels die vechten met hun voorraad en prijzen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand", vertaald en weergegeven in het Nederlands.

Probleemstelling

Het paper adresseert een complex probleem binnen de operationele research en het machine learning-veld: het bepalen van een optimale offline sequentiële prijs- en voorraadbeheersstrategie op basis van historische data. Het specifieke uitdagingen in dit scenario zijn:

1. Censuur (Censoring): Wanneer de vraag de beschikbare voorraad overschrijdt, gaat de overtollige vraag verloren. De waargenomen verkoop is dus "gecensureerd" en geeft niet de ware vraag weer. Dit leidt tot ontbrekende winstinformatie in de dataset.
2. Afhankelijke Vraag: De huidige vraag is niet onafhankelijk, maar hangt af van de vraagniveaus uit het verleden. Dit breekt met de traditionele aanname van onafhankelijke en identiek verdeelde (i.i.d.) vraag.
3. Offline Setting: De oplossing moet worden afgeleid uit een bestaande dataset (historische prijzen, bestelhoeveelheden, voorraadniveaus, covariaten en verkoopdata) zonder interactie met de omgeving tijdens het leren.

Het doel is om een beleid te schatten dat de langetermijnwinst maximaliseert, ondanks dat de onderliggende dynamiek door censuur en afhankelijkheid de standaard Markov-eigenschappen (Markov Property) schendt en resulteert in een niet-stationair optimaal beleid.

Methodologie

De auteurs ontwikkelen een nieuwe theoretische en algoritmische aanpak om de bovengenoemde obstakels te overwinnen:

• Hoge-orde Markov Beslissingsprocessen (MDP):
  Omdat de huidige vraag afhangt van het verleden en censuur de Markov-eigenschap van de waargenomen data vernietigt, benaderen de auteurs het optimale beleid door een hoge-orde MDP te modelleren. De staatruimte wordt uitgebreid met het aantal opeenvolgende censureringsinstanties. Dit stelt hen in staat om de afhankelijkheid en de censuur te modelleren binnen een MDP-raamwerk.
• Gespecialiseerde Bellman-vergelijking:
  Het oplossen van deze hoge-orde MDP komt neer op het oplossen van een specifieke, op het probleem toegesneden Bellman-vergelijking. Deze vergelijking houdt rekening met de gecensureerde data en de tijdsafhankelijke vraagdynamiek.
• Data-gedreven Algoritmen:
  Geïnspireerd door Offline Reinforcement Learning (RL) en Survival Analysis (een statistische methode om tijd tot een gebeurtenis te analyseren, vaak gebruikt bij censuur), stellen de auteurs twee nieuwe algoritmen voor:
  1. Deze algoritmen lossen de gespecialiseerde Bellman-vergelijkingen op.
  2. Ze schatten het optimale beleid direct uit de offline dataset zonder het risico van "distributional shift" (verschil tussen trainings- en testdata) dat vaak optreedt bij offline RL.

Kernbijdragen

1. Eerste Data-gedreven Aanpak: Dit is, naar de kennis van de auteurs, het eerste werk dat een data-gedreven methode introduceert voor het leren van optimale prijs- en voorraadbeheersbeleid in een omgeving met zowel gecensureerde als afhankelijke vraag.
2. Theoretische Formulering: Het modelleren van het probleem als een hoge-orde MDP om de complexe interactie tussen censuur en tijdsafhankelijkheid op te lossen.
3. Nieuwe Algoritmen: De ontwikkeling van twee algoritmen die technieken uit survival analysis en offline RL combineren om de Bellman-vergelijkingen effectief op te lossen.
4. Regret Bounds: Het bewijzen van finite-sample regret bounds. Dit betekent dat de auteurs wiskundig hebben aangetoond dat hun algoritmen binnen een bepaald aantal steekproeven een gegarandeerde prestatie leveren ten opzichte van het ideale beleid.

Resultaten

• Numerieke Experimenten: De auteurs hebben uitgebreide numerieke experimenten uitgevoerd. Deze resultaten tonen aan dat de voorgestelde algoritmen effectief zijn in het schatten van het optimale beleid en significant beter presteren dan bestaande methoden die de complexiteit van censuur en vraagafhankelijkheid negeren.
• Validatie: De theoretische regret bounds worden ondersteund door de empirische data, wat de robuustheid van de methode bevestigt.
• Open Source: De implementaties van de algoritmen zijn openbaar beschikbaar via GitHub, wat reproducibiliteit en verdere toepassing in de gemeenschap faciliteert.

Significantie

Deze paper is van groot belang voor zowel de academische wereld als de praktijk:

• Academisch: Het opent een nieuw onderzoeksgebied door de brug te slaan tussen operationele research (voorraadbeheer), statistiek (survival analysis) en machine learning (offline RL). Het lost een fundamenteel probleem op waarbij traditionele MDP-modellen falen door censuur en niet-Markovse dynamiek.
• Praktisch: Voor bedrijven die gebruikmaken van historische data om hun prijsstrategieën en voorraadniveaus te optimaliseren, biedt dit paper een oplossing voor een veelvoorkomend maar vaak genegeerd probleem: het feit dat verkochte eenheden de ware vraag niet altijd weergeven (verloren verkoop) en dat vraagpatronen door de tijd heen veranderen op basis van eerdere transacties. De methode stelt bedrijven in staat om hun winst te maximaliseren zonder dat ze dure online A/B-tests hoeven uit te voeren.