Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting

Deze studie concludeert dat voor de verkoopvoorspelling in de detailhandel, ondanks de complexiteit van de data, geavanceerde deep learning-modellen onderpresteren ten opzichte van geoptimaliseerde boomgebaseerde ensemble-methoden zoals XGBoost, wat aantoont dat de afstemming op de probleemkarakteristiek belangrijker is dan architecturale complexiteit.

De kern

Hier is een uitleg van het onderzoek, vertaald naar alledaags Nederlands met behulp van een paar creatieve vergelijkingen.

De Grote Wedstrijd: Wie voorspelt het beste wat mensen kopen?

Stel je voor dat je de eigenaar bent van een groot supermarktketen. Je moet elke dag beslissen: Hoeveel zeep, tandpasta en shampoo moet ik bestellen?

• Bestel je te weinig? Dan staan de schappen leeg en lopen klanten weg.
• Bestel je te veel? Dan staat er een berg aan producten dat misschien nooit verkocht wordt, en dat kost geld.

De auteurs van dit paper hebben gekeken naar verschillende "wiskundige voorspellers" (computermodellen) om te zien welke het beste werkt voor een fysieke supermarkt. Ze hebben drie soorten modellen getest:

1. De Oude Klokkenluiders: Traditionele statistische methoden (zoals het kijken naar het gemiddelde van het verleden).
2. De Slimme Boom-constructeurs: Moderne modellen die werken met "bomen" van beslissingen (XGBoost en LightGBM).
3. De Diepe Neurale Netwerken: Complexe, geavanceerde kunstmatige intelligentie (zoals N-BEATS en Transformers), die vaak worden gebruikt door grote online giganten zoals Amazon.

Het Probleem: Een Chaotische Supermarkt

De data die ze gebruikten kwam van een echte supermarkt in Kroatië. Dit was geen rustige, voorspelbare omgeving. Het was meer als een stormachtige zee:

• Intermitterende vraag: Soms kopen mensen 100 flessen shampoo, en de volgende 30 dagen kopen ze er geen enkele.
• Gaten in de data: Soms ontbreken gegevens (bijvoorbeeld omdat een concurrent zijn prijs niet heeft doorgegeven).
• Veel variatie: Elke winkel is anders, en producten komen en gaan.

De Experimenten: Twee Manieren van Leren

Ze testten de modellen op twee manieren:

1. Lokaal leren: Het model leert voor één specifieke groep producten (bijvoorbeeld alleen tandpasta). Dit is alsof je een specialist huurt die alleen tandpasta kent.
2. Globaal leren: Het model leert voor alles tegelijk (tandpasta, zeep, shampoo, alles). Dit is alsof je één "super-genie" huurt die alles moet weten.

Ze testten ook of het helpen was om de gaten in de data op te vullen met een slimme AI (SAITS), alsof je een detective bent die gaten in een verhaal probeert in te vullen.

De Uitslag: De Verassende Winnaar

Hier komt de verrassing: De complexe, dure "Super-Genies" (de neurale netwerken) wonnen niet.

In plaats daarvan wonnen de Boom-constructeurs (XGBoost en LightGBM) met gemak.

• XGBoost was de absolute kampioen. Het maakte de minste fouten.
• De Neurale Netwerken (de dure AI) deden het veel slechter, vooral als de data chaotisch was. Ze leken te verwarren door alle gaten en de onregelmatige verkooppatronen.

Waarom?
Stel je voor dat je een complex, duur robotbrein (Neuraal Netwerk) geeft om te voorspellen hoeveel ijs er verkocht wordt in een dorp waar het soms vriest en soms 30 graden is, maar waar de data over de temperatuur soms ontbreekt. Dat robotbrein probeert een ingewikkeld patroon te vinden dat er niet is, en raakt in de war.

De Boom-constructeurs werken meer als een ervaren winkelmanager. Die kijkt niet naar ingewikkelde formules, maar zegt: "Als het weekend is en er is een promotie, dan kopen mensen meer. Als er gaten in de data zitten, ignoreer ik die even en kijk ik naar wat er logischerwijs had moeten gebeuren." Ze zijn robuust, snel en houden zich niet druk om de kleine details die de AI verwart.

De Leerervaringen (De "Lessons Learned")

1. Complexiteit is niet altijd beter: In de wereld van de fysieke supermarkt (met veel gaten in de data en onregelmatige verkoop) werkt een simpele, goed getrainde "boom" beter dan een super-complexe AI. Het is alsof je een Ferrari gebruikt om door modder te rijden; een stevige terreinwagen (de boom) doet het veel beter.
2. Lokaal is beter dan globaal: Het bleek beter om voor elke productgroep een eigen model te trainen, dan één model voor alles. Een specialist (die alleen tandpasta kent) is vaak slimmer dan een generalist die alles moet weten.
3. Het gevaar van "invullen": Toen ze probeerden de ontbrekende data slim in te vullen met AI, ging het bij de boom-modellen juist slechter. Het was alsof ze de winkelmanager een nep-verhaal gaven over de weersvoorspelling; hij vertrouwde zijn eigen ervaring niet meer en begon fouten te maken.

Conclusie voor de Praktijk

Als je een supermarkt runt en je wilt weten hoeveel je moet bestellen:

• Gebruik geen de duurste, meest complexe AI-modellen die je kunt vinden.
• Gebruik wel geavanceerde, maar gestructureerde modellen (zoals XGBoost).
• Laat je modellen per productgroep leren, in plaats van alles door elkaar te gooien.

Kortom: In de rommelige, echte wereld van de fysieke supermarkt wint de ervaren, pragmatische manager (de boom-modellen) het van de theoretische, ingewikkelde professor (de neurale netwerken). Soms is de simpele, slimme oplossing gewoon de beste.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting" in het Nederlands.

Probleemstelling

Het artikel richt zich op de uitdagingen van nauwkeurige vraagprognoses voor fysieke winkels (brick-and-mortar retail). In tegenstelling tot e-commerce, waar vraagdata vaak dicht en continu is, kenmerkt fysieke retail zich door:

• Intermittente vraag: Veel producten hebben dagen zonder verkoop (gemiddeld 492 nul-verkoopdagen per reeks).
• Ontbrekende waarden: Ruim 20% van de data is ontbrekend, vaak door schommelingen in assortiment of logistieke problemen.
• Productverloop: Frequent wisselende producten en assortimentsveranderingen.
• Gefragmenteerde data: Duizenden individuele winkels met beperkte schaal per locatie, wat leidt tot ruis en lokale variabiliteit.

De huidige literatuur en benchmarks (zoals de M5-wedstrijd) tonen gemengde resultaten, waarbij diepe leermodellen (Deep Learning) niet altijd beter presteren dan traditionele methoden, vooral bij tabulaire, schaarse data. Het doel van deze studie is om te bepalen welke modellen het beste presteren onder deze specifieke, realistische retail-omstandigheden.

Methodologie

De auteurs hebben een grootschalige evaluatie uitgevoerd op data van een grote retailer in Zuidoost-Europa, specifiek voor de hygiëne-categorie (27 groepen, 79 eenheden van behoefte, 446 winkels).

1. Data en Preprocessing:

• Dataset: 46.841 dagelijkse SKU-winkels-tijdreeksen met een gemiddelde lengte van 727 observaties.
• Ontbrekende waarden: Er werd een experiment uitgevoerd met geavanceerde imputatie via het SAITS-model (een deep learning-imputatiemodel) om te vergelijken met eenvoudigere methoden (zoals forward-fill, nul-vullen).
• Feature Engineering: Inclusief lag-variabelen, rollende statistieken, kalender-effecten, concurrentiegegevens (prijzen binnen 1km), en macro-economische indicatoren (CPI).
• Data Leakage Preventie: Strikte scheiding tussen "past-only" variabelen (historische verkoop) en "future-known" variabelen (kalender, geplande promoties) om realistische forecast-omstandigheden te garanderen.

2. Modellen:
Er werden drie klassen van modellen vergeleken:

• Statistische baselines: Exponential Smoothing (ETS), Theta, Croston SBA.
• Tree-based ensembles: XGBoost en LightGBM.
• Deep Learning architecturen: N-BEATS, N-HiTS en Temporal Fusion Transformer (TFT).

3. Experimenteel Ontwerp:
De modellen werden getest in vier configuraties:

• Lokaal (Case A & C): Afzonderlijke modellen per productgroep.
• Globaal (Case B & D): Één model getraind op de hele categorie.
• Data-varianten: Gebruik van ruwe data versus data met SAITS-imputatie.
• Evaluatie: Voorspellingen werden gedaan voor een horizon van 26 weken (182 dagen). De dagelijkse voorspellingen werden geaggregeerd naar wekelijkse niveaus voor de evaluatie met metrics zoals RMSE, MAE, Demand Error en Bias.

Belangrijkste Bijdragen

1. Praktische leidraad: Een end-to-end modelleringstroom voor lange-horizon retailvoorspellingen, inclusief data-preprocessing en feature-engineering strategieën.
2. Uitgebreide empirische vergelijking: Een systematische vergelijking van state-of-the-art modellen (statistisch, boom-gebaseerd, neurale netwerken) over meerdere dimensies (lokaal vs. globaal, geïmputeerd vs. niet-geïmputeerd).
3. Inzicht in beperkingen: Het aantonen dat geavanceerde neurale netwerken niet automatisch beter presteren in gefragmenteerde fysieke retailomgevingen en dat de keuze van het model moet worden afgestemd op de data-karakteristieken in plaats van puur op architecturale complexiteit.

Resultaten

De resultaten tonen een duidelijke superioriteit van gradient-boosted decision trees (XGBoost en LightGBM) boven deep learning-modellen in deze context.

• Beste Prestatie: XGBoost in de lokale configuratie (Case A) behaalde de laagste RMSE van 4.833 en een MAE van 1.935. LightGBM volgde zeer dicht achter.
• Deep Learning: Neurale netwerken (N-BEATS, N-HiTS, TFT) presteerden aanzienlijk slechter, met RMSE-waarden vaak boven de 7.0 of 12.0. Ze vertoonden een systematische overschatting van de vraag (positieve bias), terwijl boom-modellen een lichte onderschatting vertoonden.
• Invloed van Imputatie:
  • Het gebruik van SAITS-imputatie had een negatief effect op LightGBM in de lokale setting (Case C), waarbij de RMSE explodeerde van 4.847 naar 10.758. Dit wordt toegeschreven aan de "compressie" van de variantie en veranderingen in verdeling door de imputatie, die de boom-structuur verstoren.
  • Deep learning-modellen profiteerden iets van imputatie in de globale setting (Case D), maar bleven toch inferieur aan de ensemble-methoden.
• Efficiëntie: XGBoost en LightGBM waren aanzienlijk sneller in trainingstijd (minuten) vergeleken met neurale netwerken (uren tot dagen).
• Schalingswetten: In tegenstelling tot bevindingen van Zalando (die schalingswelden voor transformers zagen bij grote datasets), werd hier geen verbetering gezien door het vergroten van de datasetgrootte binnen de globale configuratie. De data was te schaars en gefragmenteerd.

Betekenis en Conclusie

De studie concludeert dat voor brick-and-mortar retail, gekenmerkt door intermittente vraag, ontbrekende data en lokale variabiliteit, geen geavanceerde deep learning-architecturen nodig zijn.

• Aanbeveling voor Praktijk: Lokale modellen gebaseerd op XGBoost of LightGBM bieden de beste balans tussen nauwkeurigheid, snelheid en schaalbaarheid.
• Data Kwaliteit: Geavanceerde imputatiemethoden (zoals SAITS) kunnen zelfs schadelijk zijn voor boom-gebaseerde modellen als ze de onderliggende verdeling van de data verstoren.
• Strategisch Inzicht: De complexiteit van het model moet worden afgestemd op de problematiek. In gefragmenteerde fysieke retailomgevingen wint de robuustheid van boom-ensembles het van de representatieve leerkracht van neurale netwerken, tenzij de data-dichtheid en schaal vergelijkbaar zijn met grote e-commerce platforms.

De auteurs pleiten voor hybridere benaderingen in de toekomst, maar benadrukken dat voor de huidige realiteit van fysieke retail, de "ouderwetse" maar goed getuneerde boom-modellen de gouden standaard blijven.