🤖 AI

Bridging Forecast Accuracy and Inventory KPIs: A Simulation-Based Software Framework

Dit artikel introduceert een besluitvormingsgerichte simulatie-framework die de kloof overbrugt tussen statistische voorspellingsnauwkeurigheid en operationele voorraad-KPI's in de automotive aftermarket, waarbij wordt aangetoond dat verbeteringen in traditionele foutmetrieken niet noodzakelijkerwijs leiden tot betere kosten- en serviceresultaten en een instrument biedt voor het evalueren van modellen op basis van hun werkelijke zakelijke impact.

Oorspronkelijke auteurs: So Fukuhara, Abdallah Alabdallah, Nuwan Gunasekara, Slawomir Nowaczyk

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: So Fukuhara, Abdallah Alabdallah, Nuwan Gunasekara, Slawomir Nowaczyk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een enorme vloot vrachtwagens. Jouw taak is om ervoor te zorgen dat elke vrachtwagen de juiste reserveonderdelen (zoals banden, motoren of filters) bij de hand heeft wanneer ze kapot gaan. Als je te veel onderdelen in je magazijn hebt liggen, verspil je geld aan opslag en loop je het risico dat ze verouderd raken. Als je te weinig hebt, staan de vrachtwagens stil, worden klanten boos en moet je betalen voor dure noodleveringen.

De grote vraag is: Hoe weet je hoeveel onderdelen je moet aanhouden?

Meestal proberen bedrijven dit te beantwoorden door computerprogramma's te gebruiken om te voorspellen wanneer een onderdeel kapot zal gaan. Decennialang hebben experts deze voorspellingsprogramma's beoordeeld op basis van hoe "statistisch accuraat" ze zijn. Het is alsof je een weerman beoordeelt enkel op het feit of hij zei "20% kans op regen" wanneer het daadwerkelijk 15% van de tijd regende. Ze gebruiken complexe wiskundige scores (zoals MAE of RMSE) om te zeggen: "Dit model is het beste omdat de getallen het dichtst bij de waarheid liggen."

Het Probleem:
De auteurs van dit artikel betogen dat deze aanpak misleidend is. Alleen omdat een voorspellingsmodel wiskundig gezien "perfect" is, betekent dat niet dat het in de echte wereld geld bespaart. Een model kan heel goed zijn in het raden van het exacte aantal defecte onderdelen, maar verschrikkelijk in het helpen bij de beslissing hoeveel onderdelen je moet op voorraad houden, wat le leidt tot enorme kosten.

De Oplossing: Een "Vliegsimulator" voor Reserveonderdelen
Om dit op te lossen, hebben de onderzoekers een speciale softwareframework gebouwd. Denk aan een vliegsimulator voor voorraadbeheer.

De Motor (Synthetische Datagenerator): In plaats van echte, geheime bedrijfsgegevens te gebruiken, hebben ze een digitale motor gebouwd die nep maar realistische vrachtwagenvloten creëert. Ze simuleren hoe vrachtwagens verouderen, hoe het weer (zoals winterkou of zomerhitte) invloed heeft op onderdelen, en hoe een dealer plotseling kan groeien van 50 naar 100 vrachtwagens. Dit creëert een "trainingsgrond" waar ze verschillende scenario's kunnen testen zonder echt geld te riskeren.
De Piloot (Voorspellingsmodellen): Ze laten verschillende computermodellen (sommige moderne AI, andere ouderwetse wiskunde) proberen te voorspellen wanneer onderdelen kapot zullen gaan in deze fictieve wereld.
De Landing (Voorraadsimulator): Dit is het belangrijkste deel. De software neemt de voorspellingen en vraagt: "Oké, op basis van deze voorspellingen, hoeveel geld hebben we uitgegeven aan opslag, spoedtransport en verloren klanten?"

De Grote Verrassing
Toen ze de simulatie draalden, kwamen ze tot een contra-intuïtief resultaat: De "beste" wiskundige modellen kosten vaak het meeste geld.

De "Slimme" Modellen: Moderne AI-modellen (zoals XGBoost) waren erg goed in het juist krijgen van de getallen statistisch gezien. Ze hadden de laagste "foutscores".
De "Ouderwetse" Modellen: Eenvoudige, oudere methoden (zoals de methode van Croston) hadden hogere foutscores. Ze waren "slechter" in het voorspellen van de exacte aantallen.

Echter, toen ze naar de eindfactuur keken:
De eenvoudige, "slechtere" modellen bespaarden het bedrijf eigenlijk het meeste geld. De "slimme" AI-modellen leidden, ondanks hun hoge nauwkeurigheid, tot beslissingen die resulteerden in hogere kosten.

De Analogie
Stel je voor dat je probeert te raden hoeveel ijsjes je morgen zult verkopen.

Model A voorspelt dat je 42,3 ijsjes zult verkopen. Het is wiskundig gezien zeer precies.
Model B voorspelt dat je 40 ijsjes zult verkopen. Het is iets minder precies.

Als je 42,3 ijsjes koopt (wat je niet kunt doen, dus je koopt er 43), gooi je misschien 3 onverkochte ijsjes weg. Als je er 40 koopt, kun je misschien uitverkocht raken, maar heb je niets verspild. In de echte wereld kan de "slechtere" voorspelling (Model B) eigenlijk leiden tot een beter bedrijfsresultaat, omdat het beter aansluit bij hoe je daadwerkelijk je schappen vult.

De Kernboodschap
De conclusie van het artikel is dat we moeten stoppen met het beoordelen van voorspellingsmodellen enkel op basis van hun "toetsresultaten" (statistische nauwkeurigheid). In plaats daarvan moeten we ze beoordelen op hun impact in de echte wereld (hoeveel geld ze besparen of kosten).

Ze hebben hun "vliegsimulator"-software open-source gemaakt, zodat andere onderzoekers hun eigen ideeën kunnen testen. Het doel is om de focus te verschuiven van "Wie heeft de beste wiskunde?" naar "Wie helpt ons het bedrijf het meest efficiënt te runnen?"

Technisch overzicht: De brug slaan tussen voorspellingsnauwkeurigheid en voorraad-KPI's

Probleemstelling
In de automotive aftermarket, met name voor reserveonderdelen van zware voertuigen, wordt de vraag gekenmerkt door hoge intermittentie (onregelmatigheid), schaarste en onzekerheid. Efficiënt voorraadbeheer is cruciaal om de economische en milieukosten van overstocking (kapitaalbinding, veroudering) af te wegen tegen de kosten van onderstocking (stilstand, spoedleveringen, ontevredenheid bij klanten). Hoewel Kunstmatige Intelligentie en Machine Learning (AI/ML) geavanceerde voorspellende mogelijkheden bieden, blijft de evaluatie van voorspellingsmodellen in dit domein gedomineerd door statistische nauwkeurigheidsmetrieken (bijv. MAE, RMSE, $R^2$ ). Er bestaat een aanzienlijke kloof in het begrip van hoe deze statistische metrieken vertalen naar operationele Key Performance Indicators (KPI's), zoals de totale voorraadkosten en serviceniveaus. Bijgevolg leveren modellen met een superieure statistische nauwkeurigheid niet noodzakelijkerwijs optimale operationele resultaten op, en de relatie tussen voorspellingsfout en voorraadprestaties is onvoldoende begrepen.

Methodologie
Om deze kloof te dichten, stellen de auteurs een besluitvormingsgerichte, closed-loop simulatiesoftwareframework voor, ontworpen om voorspellingsmodellen te evalueren op basis van hun downstream impact op voorraadbeslissingen. Het framework bestaat uit drie geïntegreerde modules:

Synthetische Vraaggenerator:
- Structuur: Een Discrete Time Simulation (DTS) systeem, hiërarchisch gemodelleerd (Dealer $\to$ Vrachtwagen $\to$ Onderdeel).
- Mechanisme: Vraag wordt gegenereerd door het simuleren van onderdeeldefecten met behulp van survivalmodellen. De tijd tot defect (time-to-failure) wordt behandeld als een willekeurige variabele die wordt beheerst door hazardfuncties.
- Modellen: Vier parametrische survivalmodellen zijn geïmplementeerd: Exponentieel, Weibull, Log-logistisch en Gompertz. Deze maken heterogene defectdynamiek mogelijk (bijv. geheugenloos versus verouderende componenten).
- Factoren: De generator incorporeert seasonaliteit (gemodelleerd via Radial Basis Functions om regionale en component-specifieke variaties te vangen), gebruiksinspanning (Normaal vs. Intensief) en concept drift (plotselinge of langzame veranderingen in de voertuigvloot).
- Output: Dagelijkse vraag-tijdreeksen voor diverse typen onderdelen over meerdere dealers, waarbij de realiteit van de echte wereld (gemeten via het gemiddelde vraaginterval en de variatiecoëfficiënt) wordt gereproduceerd.
Flexibele Voorspellingsmodule:
- Deze module accepteert de synthetische vraagdata en huisvest diverse voorspellende modellen.
- Geteste Modellen: De studie evalueert drie machine learning-modellen (XGBoost, Random Forest, SVR) en vier statistische tijdreeksmethoden (ARIMA, Croston's methode, TSB, SBA).
- Training: Modellen worden getraind op de eerste twee jaar aan synthetische data om het derde jaar te voorspellen. Hyperparameters worden afgestemd om de Mean Absolute Error (MAE) te minimaliseren.
Voorraadbeheersimulator (Kostensimulator):
- Mechanisme: Een Discrete-Event Simulation (DES) die de voorspellingen verwerkt om voorraadbeslissingen aan te sturen.
- Beleid: Het hanteert een standaard voorraadbeleid (berekening van veiligheidsvoorraad, bestelpunten en bestelhoeveelheden) gebaseerd op gevestigde formules.
- Kostencomponenten: De simulator berekent de totale operationele kosten, inclusief houdkosten, bestelkosten, spoedbestelkosten, transportkosten en badwill-kosten (boetes voor tekortkomingen in het serviceniveau).
- Output: Operationele KPI's, specifische de Totale Kosten en het Serviceniveau (fill rate).

Experimentele Opzet
De auteurs genereerden 48 synthetische scenario's over een horizon van drie jaar ( $T=1095$ dagen) met een dagelijkse tijdstap. Scenario's varieerden op basis van:

Concept Drift: Geen, plotseling, langzaam of gecombineerd.
Vlootgrootte: Vier bereiken van vrachtwagens per dealer ( $N_t \in [5, 100]$ ).
Levensduur Onderdeel: Drie bereiken van de mediane tijd tot defect ( $t_m \in [100, 730]$ dagen).
Configuratie: Vier dealers, met vaste parameters voor onderdelenprijs, doorlooptijd en leverancierscapaciteit.

Belangrijkste Resultaten
De experimenten toonden een significante discrepantie aan tussen statistische nauwkeurigheid en operationele prestaties:

Nauwkeurigheid vs. Kosten: Modellen die de beste statistische nauwkeurigheid behaalden (XGBoost en Random Forest, die de MAE en RMSE minimaliseerden) resulteerden in hogere totale voorraadkosten vergeleken met klassieke methoden voor intermitterende vraag.
Contraintuïtieve bevindingen: Croston's methode, die slechter presteerde op statistische metrieken (hogere MAE/RMSE), behaalde de laagste totale voorraadkosten. Random Forest was qua kosten de op één na beste, terwijl SVR en XGBoost de hoogste kosten veroorzaakten.
Simpson's Paradox: Analyse van de relatie tussen foutmetrieken (MAE, RMSE) en totale kosten onthulde een zwakke of negatieve correlatie binnen specifieke scenario's. Een lagere statistische fout garandeerde geen lagere operationele kosten.
Modelrangschikking: De rangschikking van modellen veranderde drastisch wanneer het evaluatiecriterium verschoof van voorspellende nauwkeurigheid naar operationele kosten. Klassieke methoden ontworpen voor intermitterende vraag (Croston, SBA, TSB) bleken robuuster voor voorraadoptimalisatie dan complexe ML-modellen in deze specifieke context.

Betekenis en Bijdragen
De paper claimt twee primaire bijdragen:

Een Modulair, Open-Source Framework: De auteurs bieden een herbruikbaar, transparant softwareframework dat de brug slaat tussen vraagvoorspelling en voorraadbeheer. Door een synthetische vraaggenerator te koppelen aan een voorraadkostensimulator, verlagen zij de drempel voor onderzoekers om rigoureuze, reproduceerbare experimenten uit te voeren die modellen evalueren op basis van operationele relevantie in plaats van enkel statistische fout.
Empirische Kwantificering van de Nauwkeurigheid-Prestatiekloof: De studie demonstreert empirisch dat verbeteringen in conventionele nauwkeurigheidsmetrieken niet noodzakelijkerwijs leiden tot betere kosten-servicetrade-offs. Het benadrukt het risico van het uitsluitend vertrouwen op statistische foutmaten bij de modelselectie in de logistiek van reserveonderdelen.

Conclusie
De auteurs concluderen dat de evaluatie van voorspellingsmodellen in de automotive aftermarket moet verschuiven van een puur voorspellende focus naar een besluitvormingsgerichte aanpak. Het voorgestelde framework operationaliseert de link tussen voorspelling en voorraad, en suggereert dat toekomstige methodologische ontwikkeling prioriteit moet geven aan operationele relevantie. De software en de experimentele resultaten worden als open-source vrijgegeven om verder onderzoek in dit domein te faciliteren.

Technisch overzicht: De brug slaan tussen voorspellingsnauwkeurigheid en voorraad-KPI's

Meer zoals dit