Beyond Accuracy: Evaluating Forecasting Models by Multi-Echelon Inventory Cost

Deze studie introduceert een gedigitaliseerde pipeline die diverse forecasting-modellen integreert met een voorraadoptimalisatieframework, waarbij wordt aangetoond dat Temporal CNN- en LSTM-modellen op de M5-dataset de voorraadkosten verlagen en de leverbetrouwbaarheid verbeteren ten opzichte van traditionele statistische methoden.

De kern

Voorbij de cijfers: Waarom de beste voorspelling niet altijd de slimste is

Stel je voor dat je een grote supermarkt runt. Je moet elke dag beslissen hoeveel brood, melk en blikken bonen je bestelt. Als je te weinig bestelt, lopen je klanten teleurgesteld weg (je mist omzet). Als je te veel bestelt, moet je het eten weggooien of in de koelkast laten rotten (je verliest geld). Dit is een eeuwigdurend spelletje "te veel of te weinig".

Dit wetenschappelijke artikel gaat over hoe we dit spelletje beter kunnen spelen. De auteurs, Swata, Swayamjit en Garga, zeggen: "Stop met alleen kijken naar hoe nauwkeurig een computer de vraag voorspelt. Kijk in plaats daarvan naar hoeveel geld het je bespaart."

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het probleem: De oude methoden zijn te simpel

Vroeger gebruikten supermarkten simpele regels om te voorspellen. Bijvoorbeeld: "Vorige week verkochten we 100 blikken, dus deze week doen we ook 100." Of ze gebruikten ingewikkelde wiskundige formules (zoals ARIMA) die aannamen dat de wereld altijd rustig en lineair blijft.

Maar de echte wereld is chaotisch. Soms is het een feestdag, soms regent het, soms is er een korting, en soms is er gewoon een plotselinge hype. De oude methoden kunnen hier niet goed mee omgaan. Ze zijn als een ouderwetse wekker die altijd op hetzelfde tijdstip afgaat, ongeacht of het nu stormt of zonnig is.

2. De oplossing: Slimme AI als een superkok

De auteurs hebben zeven verschillende "voorspellers" getest.

• De oude methoden: De simpele regels en wiskundige formules.
• De moderne methoden: Machine Learning en Deep Learning (zoals LSTM en Temporal CNN).

Je kunt deze moderne methoden vergelijken met een superkok die niet alleen naar het recept kijkt, maar ook naar de sfeer in de keuken, de smaak van de klanten, en het weer buiten. Deze "AI-koks" leren uit enorme hoeveelheden data (in dit geval de verkoopdata van Walmart) en vinden patronen die mensen niet eens zien.

3. De test: Het nieuwe spelletje

In plaats van alleen te kijken wie de kleinste fout maakt in de voorspelling (zoals "je had 100 voorspeld, maar het waren 105"), hebben de auteurs een simulatie gebouwd.

Stel je voor dat ze een virtuele supermarkt hebben gebouwd in een computer. Ze hebben de voorspellingen van de zeven modellen in deze virtuele winkel gestopt en gekeken wat er gebeurde:

• Hoeveel geld kostte het om de voorraad te houden?
• Hoe vaak moesten klanten weglopen omdat er niets op de plank lag?

Dit is als het verschil tussen een voetbalstatisticus die zegt: "De speler heeft een 90% kans om te scoren" (nauwkeurigheid), en een trainer die zegt: "Als we deze speler opstellen, winnen we het kampioenschap en verdienen we 1 miljoen euro" (operationeel resultaat).

4. De resultaten: De slimme AI wint

De uitkomsten waren duidelijk:

• De Temporale CNN (een heel slim AI-model) en de LSTM (een ander type slim model) waren de winnaars.
• Ze zorgden voor minder verspilling (minder rotte groenten) en minder gemiste verkoop (geen lege planken).
• In vergelijking met de simpele "vorige week" methode, bespaarde de beste AI-model bijna 19% aan kosten en zorgde het voor meer tevreden klanten.

Het is alsof je van een fiets op een racefiets overstapt: je komt niet alleen sneller aan, maar je verbruikt ook minder energie.

5. De "Twee-laagse" uitdaging: Het domino-effect

De auteurs gingen nog een stap verder. Ze keken niet alleen naar de winkel, maar ook naar het centrale magazijn (de DC) dat de winkels bevoorraadt.
Stel je een keten van dominostenen voor. Als het centrale magazijn een fout maakt in zijn voorspelling, valt die steen om en veroorzaakt een reeks fouten in alle winkels eronder.
De studie toonde aan dat als het centrale magazijn een slimme AI gebruikt, de hele keten (van magazijn tot winkel) veel efficiënter werkt. Een kleine verbetering bovenaan zorgt voor een enorme besparing onderaan.

Conclusie: Wat betekent dit voor jou?

De boodschap van dit papier is simpel: Niet alle cijfers zijn gelijk.

Voor managers en ondernemers betekent dit:

• Kijk niet alleen naar de "nauwkeurigheid" van een softwarepakket.
• Kijk naar de zakelijke impact: Bespaart het me geld? Zorgen mijn klanten voor minder gedoe?
• Moderne AI (zoals die van de Temporal CNN) is niet alleen "slimmer" in theorie, maar maakt je bedrijf ook daadwerkelijk winstgevender en veerkrachtiger, zelfs als het weer, de prijzen of de trends veranderen.

Kortom: Het is tijd om te stoppen met het meten van de thermometer en te beginnen met het regelen van de verwarming. De slimme AI weet precies hoe warm het moet zijn om je voorraad optimaal te houden.

Technische samenvatting

Titel: Voorbij Nauwkeurigheid: Evaluatie van Forecasting-modellen op Basis van Multi-Echelon Voorraadkosten

1. Probleemstelling

Moderne toeleveringsketens staan voor toenemende volatiliteit en verstoringen, wat digitalisering en AI-gestuurde besluitvorming vereist om veerkracht te vergroten. Hoewel vraagprognoses (demand forecasting) cruciaal zijn voor voorraadoptimalisatie, bestaat er een significante kloof in de huidige literatuur:

• Focus op statistische fouten: De meeste studies evalueren modellen puur op basis van nauwkeurigheidsmetrieken (zoals RMSE of MAE), zonder de operationele impact op bedrijfskosten te kwantificeren.
• Beperkte multi-echelon evaluatie: Er zijn weinig empirische studies die de gevolgen van voorspellingsfouten doorgeven naar gecoördineerde voorraadbeslissingen in meerlagige netwerken (bijv. Distributiecentrum - Winkel), met gebruik van echte retaildata.
• Niet-lineaire vraag: Klassieke modellen (zoals ARIMA) worstelen vaak met niet-lineaire, intermitterende en niet-stationaire retailvraag, terwijl de operationele waarde van geavanceerde ML/DL-modellen hier vaak niet wordt aangetoond.

Het doel van deze studie is om te bepalen hoe verschillende forecasting-modellen presteren in termen van operationele kosten (voorraadhouding en tekortkosten) en servicelevels (fill rate), in plaats van alleen statistische nauwkeurigheid.

2. Methodologie

De auteurs hebben een geïntegreerde pipeline ontwikkeld die forecasting-modellen koppelt aan een voorraadsimulatie.

• Dataset: Gebruik van de M5 Walmart-dataset. Voor de experimenten is gefilterd op de staat Californië (CA) en de afdeling "FOODS 1". De data bevat dagelijkse verkopen, gecombineerd met exogene covariaten (kalender, evenementen, SNAP-voedselprogramma's).
• Modelcategorieën (7 modellen):
  1. Klassiek: Naive (lag-1), Holt-Winters (exponentiële smoothing), ARIMA.
  2. Machine Learning (ML): Gradient Boosting Regressor (GBR), XGBoost.
  3. Deep Learning (DL): LSTM (Long Short-Term Memory), Temporal CNN (Convolutional Neural Network met causale dilaties).
  • Opmerking: De ML/DL-modellen worden globaal getraind over alle series met gebruik van features zoals lags, rolling means en kalenderindicatoren.
• Simulatie Framework:
  • Single-Echelon: Een "Newsvendor"-simulator wordt gebruikt om de kosten te berekenen op basis van voorspellingen. De kostenfunctie omvat overstockkosten ($h$) en onderstockkosten ($b$). De bestelhoeveelheid wordt direct gekoppeld aan de puntvoorspelling ($Q = \max(0, \hat{D})$).
  • Multi-Echelon (Twee lagen): Uitbreiding naar een systeem met één Distributiecentrum (DC) dat meerdere winkels voorziet. De vraag van de DC is de som van de winkelvragen. Tekorten bij de DC worden pro rata toegewezen aan de winkels.
• Evaluatiemetrics:
  • Voorspellingsnauwkeurigheid: RMSE en MAE.
  • Operationele KPI's: Gemiddelde dagelijkse voorraadkosten en gewogen "Fill Rate" (percentage van de vraag dat direct kan worden vervuld).

3. Belangrijkste Bijdragen

1. Gecentraliseerde Pipeline: Ontwikkeling van een uniforme framework die statistische, ML- en DL-modellen integreert binnen een gestandaardiseerde feature-engineering en trainingsomgeving.
2. Operationele Vertaling: Koppeling van voorspellingsnauwkeurigheid aan praktische voorraaduitkomsten via een Newsvendor-simulator, waarbij rekening wordt gehouden met verschillende kostenverhoudingen ($h/b$).
3. Multi-Echelon Analyse: Implementatie van een tweelaags DC-Winkel simulatie om te tonen hoe voorspellingsfouten zich stroomopwaarts voortplanten en de totale ketenkosten beïnvloeden.
4. Robuustheidsonderzoek: Gedetailleerde gevoeligheidsanalyse om te evalueren hoe modellen presteren onder variërende kostenstructuren (bijv. wanneer tekortkosten stijgen).

4. Resultaten

De resultaten zijn gebaseerd op de testset van de CA FOODS 1 subset:

• Prestatie van Deep Learning: Zowel Temporal CNN als LSTM presteerden significant beter dan klassieke baselines (ARIMA, Holt-Winters) en zelfs ML-modellen (XGBoost, GBR) op operationele metrics.
  • Temporal CNN behaalde de laagste kosten (3.674 per dag) en de hoogste fill rate (0.632). Dit vertegenwoordigt een 18,7% kostenreductie en een +9,8% verbetering in fill rate ten opzichte van de Naive-baseline.
  • LSTM had de laagste RMSE (2.207) en de op één na beste kosten.
• Sensitiviteit voor tekortkosten: De rangschikking van de modellen bleef stabiel toen de tekortkosten ($b$) varieerden (van 2 tot 10). Deep Learning-modellen behielden consistent de laagste kosten, wat aangeeft dat hun geleerde temporele representaties beter generaliseren onder asymmetrische serviceboetes.
• Multi-Echelon Impact: De simulatie toonde aan dat fouten op DC-niveau een disproportioneel negatief effect hebben op de totale keten. Zelfs als winkelniveau-voorspellingen goed zijn, kunnen fouten in de aggregatie op DC-niveau leiden tot grotere kostenstijgingen en serviceverlies in het hele netwerk.
• ML vs. Klassiek: Boomgebaseerde ensemble-methoden (GBR, XGBoost) presteerden beter dan klassieke statistische methoden, maar bleven achter bij de deep learning-modellen.

5. Betekenis en Conclusie

Dit onderzoek biedt een direct economisch argument voor investeringen in geavanceerde forecasting-pipelines:

• Van Statistiek naar Economie: Verbeteringen in voorspellingsnauwkeurigheid vertalen zich direct naar kwantificeerbare reducties in voorraadkosten en hogere servicelevels.
• Keuze van Modellen: Voor planners in productie en retail is het cruciaal om modellen te selecteren op basis van bedrijfs-KPI's (kosten en fill rate) in plaats van alleen RMSE, vooral onder onzekere vraagcondities.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, beperkt de studie zich tot één productcategorie en een deterministische bestelpolitiek. Toekomstig werk moet zich richten op probabilistische (kwantiel) forecasting, reinforcement learning voor voorraadbeheer, en complexere netwerken met zijwaartse transshipments.

Kortom, de studie bewijst dat Deep Learning-modellen (vooral Temporal CNN) superieur zijn voor het optimaliseren van multi-echelon toeleveringsketens, omdat ze niet alleen nauwkeuriger voorspellen, maar ook leiden tot aanzienlijk lagere operationele kosten in realistische scenario's.