Technische Samenvatting: Over de hertrainingsfrequentie van globale modellen in retail-vraagvoorspelling

Probleemstelling

In het domein van retail-vraagvoorspelling worden organisaties geconfronteerd met een kritieke afweging tussen voorspellende nauwkeurigheid, computationele efficiëntie en duurzaamheid. Hoewel Globale Voorspellingsmodellen (GMs)—die een enkel model fitten over een volledige dataset van tijdreeksen (cross-learning)—aan populariteit winnen vanwege hun vermogen om gedeelde dynamiek te benutten en de computationele overhead te verminderen in vergelijking met Lokale Modellen (LMs), is de industriestandaard vaak gericht op continue modelhertraining. Deze praktijk gaat ervan uit dat frequente updates noodzakelijk zijn om zich aan veranderende patronen aan te passen. Echter, continue hertraining brengt aanzienlijke computationele kosten, energieverbruik en koolstofemissies met zich mee, met name voor grootschalige toepassingen waarbij miljoenen SKU's betrokken zijn. Dit artikel onderzoekt of deze frequente hertraining werkelijk noodzakelijk is voor het behoud van de voorspellende prestaties van globale modellen, of dat minder frequente strategieën een duurzamer en kosteneffectiever alternatief kunnen bieden zonder in te boeten op nauwkeurigheid.

Methodologie

De studie hanteert een rigoureus experimenteel ontwerp om de impact van de hertrainingsfrequentie op globale voorspellingsmodellen te evalueren.

• Datasets: De analyse maakt gebruik van twee uitgebreide retail-voorspellingsdatasets:

  • M5 Competitie: Dagelijkse eenheidsverkoopgegevens voor 30.490 SKU-winkelcombinaties van Walmart (2011–2016).
  • VN1 Forecasting Challenge: Wekelijkse verkoopgegevens voor 15.053 producten uit 328 magazijnen van 46 retailers (2020–2024).
  • De experimenten richten zich op het meest gedisaggregeerde niveau (SKU × Winkel) om de potentiële voordelen van verminderde hertraining te maximaliseren.

• Modellen: Tien verschillende globale voorspellingsmethoden werden geëvalueerd, bestaande uit:

  • Machine Learning (5 modellen): Lineaire (gepoolde) regressie, Random Forest (RF), Extreme Gradient Boosting (XGBoost), Light Gradient Boosting Machine (LGBM) en Categorical Boosting (CatBoost).
  • Deep Learning (5 modellen): Multi-Layer Perceptron (MLP), Long Short-Term Memory (LSTM), Temporal Convolutional Networks (TCN), Neural Basis Expansion Analysis for Time Series (NBEATS), NBEATS met exogene variabelen (NBEATSx), en Neural Hierarchical Interpolation for Time Series (NHITS).

• Hertrainingsscenario's: De studie definieert een hertrainingsvenster $r$ (het aantal nieuwe observaties voordat er wordt hertraind). Scenario's variëren van:

  • Continue Hertraining ($r=1$ of $r=7$ voor dagelijkse data): De benchmark voor maximale nauwkeurigheid en kosten.
  • Periodieke Hertraining: Intermediaire intervallen (bijv. wekelijks, maandelijks).
  • Geen Hertraining ($r=T$): Het model wordt eenmalig gefit op de initiële trainingsset en gebruikt voor de gehele testhorizon.

• Evaluatiekader:

  • Validatie: Rolling origin evaluatie met een expanding window-benadering om real-world zakelijke condities te simuleren.
  • Metrieken:
    • Puntvoorspelling: Root Mean Squared Scaled Error (RMSSE).
    • Probabilistische Voorspelling: Scaled Multi-Quantile Loss (SMQL) over 14 kwantielen.
    • Efficiëntie: Rekentijd (CT) in seconden, direct gecorreleerd aan monetaire kosten via cloud-prijsmodellen.
  • Statistische Analyse: Friedman-Nemenyi testen werden gebruikt om statistische significantie over scenario's te verifiëren.

Belangrijkste Resultaten

1. Voorspellende Nauwkeurigheid vs. Hertrainingsfrequentie

• Puntvoorspelling: De studie stelt vast dat minder frequente hertraining de nauwkeurigheid van puntvoorspellingen niet schaadt, en in sommige gevallen zelfs licht verbetert. Voor zowel de M5 als de VN1 datasets bleven de RMSSE-profielen stabiel over de verschillende hertrainingsfrequenties. Zelfs in het scenario "geen hertraining" was de prestatieverslechtering verwaarloosbaar (minder dan 5%).
• Probabilistische Voorspelling: De resultaten waren iets genuanceerder. Voor de M5-dataset vertoonde de nauwkeurigheid (gemeten via SMQL) een lichte daling naarmate de hertrainingsfrequentie afnam, hoewel het verschil binnen 5-6 procentpunten bleef. Voor de VN1-dataset werd een bijna convexe relatie waargenomen, waarbij lage hertrainingsscenario's aanvankelijk de prestaties verbeterden voordat ze bij hogere intervallen verslechterden.
• Verschillen tussen Modellen: Machine learning-modellen behielden over het algemeen de nauwkeurigheid of verbeterden deze bij minder frequente hertraining naarmate de datafrequentie toenam, terwijl deep learning-modellen meer stabiliteit vertoonden maar minder marginaal gewin in deze specifieke context.

2. Computationele Kosten en Efficiëntie

• Exponentiële Reductie: De rekentijd (CT) neemt exponentieel af naarmate het hertrainingsinterval $r$ groter wordt.
  • De overstap van continue naar maandelijkse hertraining verminderde de CT met ongeveer 75%.
  • Het "geen hertraining"-scenario verminderde de CT met wel 90% vergeleken met de baseline.
• Kostenimplicaties: Gebruikmakend van een hypothetisch scenario voor een grote retailer (200.000 SKU's, 5.000 winkels), schat de studie dat continue hertraining jaarlijks ongeveer $750.000 kost voor dagelijkse data. Het overstappen op een "geen hertraining"-strategie zou dit kunnen verlagen naar ~$250.000, wat een besparing van meer dan 60% betekent. Voor wekelijkse data liepen de besparingen op tot 90%.
• Modelselectie: Machine learning-modellen gekoppeld aan minder frequente hertrainingsstrategieën bleken een marginaal betere keuze voor kostenreductie naarmate de datafrequentie toenam, waarbij ze deep learning-modellen overtrof in termen van kosten-efficiëntiewinst.

3. Optimale Hertrainingsintervallen

De analyse identificeerde "optimale" hertrainingsfrequenties op basis van nauwkeurigheid:

• Puntvoorspelling: Optimale intervallen werden gevonden tussen 3–4 weken (ongeveer 21 observaties) voor M5 en 8–10 weken voor VN1.
• Probabilistische Voorspelling: Optimale intervallen waren korter (ongeveer 2 weken voor M5, 4 weken voor VN1), wat suggereert dat onzekerheidsschatting mogelijk iets frequentere updates vereist dan puntvoorspellingen.

Belangrijkste Bijdragen

1. Omvattende Empirische Studie: Dit is de eerste studie die systematisch de relatie tussen hertrainingsfrequentie en voorspellende nauwkeurigheid analyseert over 10 diverse globale modellen (ML en DL) met behulp van real-world retail-datasets, waarbij zowel punt- als probabilistische voorspellingen worden behandeld.
2. Kwantificering van Trade-offs: Het artikel kwantificeert de afweging tussen nauwkeurigheid en duurzaamheid, en toont aan dat aanzienlijke reducties in computationele kosten (tot 90%) kunnen worden bereikt met een verwaarloosbare impact op de voorspellende prestaties.
3. Praktische Richtlijnen: De studie biedt bruikbare aanbevelingen voor professionals, waarbij wordt gesuggereerd dat periodieke hertraining (bijv. maandelijks) een superieur evenwicht biedt tussen nauwkeurigheid en kosten vergeleken met het conventionele paradigma van continue hertraining.

Betekenis en Claims

Het artikel daagt de gangbare opvatting uit dat frequente of continue hertraining essentieel is voor het behoud van de hoge voorspellende prestaties van globale voorspellingsmodellen. De auteurs beweren dat globale modellen, door gedeelde dynamiek over meerdere tijdreeksen te leren, robuust genoeg zijn om effectief te blijven zonder constante updates, vooral in contexten met relatief stabiele vraagpatronen.

De betekenis van deze bevindingen ligt in hun dubbele impact:

• Economisch: Organisaties kunnen aanzienlijke financiële besparingen realiseren door hertrainingsschema's te optimaliseren zonder de kwaliteit van de voorspellingen in gevaar te brengen.
• Milieu: Door de frequentie van modeltraining te verminderen, kunnen organisaties het energieverbruik en de koolstofemissies aanzienlijk verlagen, wat aansluit bij de principes van "Green AI".

De studie concludeert dat de verschuiving van een continu hertrainingsparadigma naar een periodieke aanpak bedrijven in staat stelt hun voorspellingspipelines te optimaliseren, waarbij zij relevante kostenbesparingen realiseren terwijl zij een hoge voorspellende prestatie garanderen. De auteurs merken op dat hoewel hun bevindingen robuust zijn voor stabiele retailvraag, toekomstig onderzoek adaptieve hertrainingsstrategieën moet verkennen die worden getriggerd door detectie van concept drift, en deze analyses moet uitbreiden naar andere domeinen en modelarchitecturen.