📊 statistics

Intermittent time series forecasting: local vs global models

Deze studie presenteert de eerste uitgebreide vergelijking van de meest geavanceerde probabilistische lokale en globale modellen voor het voorspellen van intermitterende tijdreeksen, waarbij wordt aangetoond dat de eenvoudige neurale netwerkarchitectuur TiDE zowel complexe globale modellen als traditionele lokale benaderingen overtreft in nauwkeurigheid en computationele efficiëntie, terwijl de Tweedie-distributiekop de beste schattingen oplevert voor hoge kwantielen.

Oorspronkelijke auteurs: Stefano Damato, Nicolò Rubattu, Dario Azzimonti, Giorgio Corani

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stefano Damato, Nicolò Rubattu, Dario Azzimonti, Giorgio Corani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magazijn runt. De meeste dagen verkoop je een gestage stroom artikelen. Maar voor sommige producten — zoals een specifiek reserveonderdeel voor een vintage auto of een zeldzame kerstdecoratie — verkoop je misschien wekenlang nul eenheden, om dan plotseling tien stuks op één dag te verkopen. Dit worden intermitterende tijdreeksen genoemd. Ze zitten vol met nullen en onvoorspelbare pieken.

Om je magazijn draaiende te houden, moet je raden hoeveel voorraad je moet aanhouden. Als je het fout raadt, verlies je ofwel geld door te veel voorraad aan te houden, of verlies je verkopen omdat je niet op voorraad bent. Om dit veilig te doen, heb je niet alleen een enkele getalsmatige schatting nodig (zoals "we verkopen er 5"); je hebt een waarschijnlijkheidsvoorspelling nodig (zoals "er is een kans van 90% dat we tussen de 0 en 10 verkopen, maar een kleine kans dat we er 50 verkopen").

Dit artikel is een enorme "smaaktest" om uit te zoeken wat de beste manier is om deze schattingen te maken. De onderzoekers vergeleken twee belangrijke stromingen: Lokale Modellen en Globale Modellen.

De Twee Stromingen

1. Lokale Modellen: De "Specialisten"-aanpak
Stel je voor dat je voor elk product in je magazijn een andere expert inhuurt.

Hoe het werkt: Je traint één model specifiek voor "Widget A", een ander voor "Widget B", enzovoort. Elk model kijkt alleen naar de geschiedenis van dat ene item.
De bevindingen van het artikel: Deze specialisten zijn goed, maar ze zijn traag om in te huren (computationeel duurzaam) en missen soms het grote plaatje. De beste "specialisten" in deze studie waren een Bayesiaans model genaamd TweedieGP en een methode genaamd iETS. Echter, TweedieGP duurt lang om te trainen, net als een promovendus die voor elk item een scriptie schrijft.

2. Globale Modellen: De "Generalisten"-aanpak
Stel je voor dat je één superintelligente AI inhuurt die naar álle producten in je magazijn tegelijkertijd kijkt.

Hoe het werkt: Je voert de AI gegevens van 40.000 verschillende artikelen. Het leert patronen die algemeen van toepassing zijn (bijv. "wanneer de vraag nul is, blijft deze meestal een tijdje nul") en past die kennis vervolgens toe op elk afzonderlijk item.
De bevindingen van het artikel: Deze aanpak is over het algemeen sneller en nauwkeuriger. De onderzoekers hebben veel verschillende soorten "Generalisten" getest, van eenvoudige neurale netwerken tot enorme, complexe AI-architecturen (zoals Transformers).

De Race: Wie Won Er?

De onderzoekers lieten deze modellen tegen elkaar strijden op echte gegevens (verkoopcijfers van Walmart, auto-onderdelen, vliegtuigonderdelen, etc.). Dit is wat zij ontdekten:

De "Zwaargewichten" Verloorden
In de wereld van AI bestaat de overtuiging dat "groter beter is". De onderzoekers testten enorme, complexe modellen (zoals Autoformer en PatchTST) die beroemd zijn om het afhandelen van vloeiende, voorspelbare data.

Het resultaat: Voor deze "spottige" intermitterende producten waren de zwaargewichten traag en instabiel. Ze namen veel tijd in beslag om te trainen en gaven vaak slechtere antwoorden dan eenvoudigere modellen. Het is alsof je een supercomputer gebruikt om een Sudoku-puzzel op te lossen; het is overkill en helpt niet per se.
Gradient Boosted Trees (LightGBM): Deze zijn populair in data science-competities. Hoewel ze geweldig zijn in het voorspellen van een enkel getal, vonden de onderzoekers dat ze moeite hebben wanneer ze gevraagd wordt om het volledige bereik van mogelijkheden (waarschijnlijkheden) te voorspellen voor intermitterende data.

De "Lichtgewichten" Wonnen
De winnaar was een eenvoudige, lichtgewicht neurale netwerkarchitectuur genaamd TiDE (Time-series Dense Encoder).

Waarom het won: Het was snel, stabiel en verrassend nauwkeurig. Het versloeg consequent de lokale specialisten en de zware AI-modellen. Het is als een wendbare sportwagen die je sneller en betrouwbaarder op je bestemming brengt dan een zware tank.
Runner-up: Een ander eenvoudig model genaamd DLinear presteerde ook erg goed, vooral wanneer het werd gecombineerd met een specifieke vorm van wiskunde.

Het Geheime Ingrediënt: De "Distribution Head"

Zodra je een model hebt (de motor), moet je beslissen wat voor soort "kaart" het gebruikt om de toekomst te voorspellen. Omdat deze producten veel nullen en plotselinge pieken hebben, werkt een standaard kaart niet. De onderzoekers testten drie verschillende "kaarten" (distribution heads):

Negative Binomial: Een standaard kaart voor telgegevens.
Hurdle-Shifted Negative Binomial (HSNB): Een kaart die specifiek de splitsing tussen "nul versus niet-nul" afhandelt.
Tweedie: Een flexibele kaart die zowel de nullen als de lange, zware staarten van grote pieken kan afhandelen.

De Verdict:

Voor de hoogste veiligheidsniveaus (het voorspellen van de zeldzame, enorme pieken), was de Tweedie-kaart de duidelijke winnaar. Het gaf de meest nauwkeurige waarschuwingen voor die "wat als we er 50 verkopen in plaats van 5?" scenario's.
Voor lagere niveaus waren de kaarten grotendeels vergelijkbaar, maar Tweedie hield zich nog steeds goed staande.

De Eindconclusie voor Praktijkgebruikers

Als je een supply chain manager bent die de voorraad van artikelen probeert te beheren die sporadisch verkopen:

Maak het niet te ingewikkeld: Je hebt niet de duurste, massieve AI-modellen nodig. Ze zijn traag en presteren niet beter voor deze specifieke taak.
Ga Globaal: Train één model op al je gegevens in plaats van een apart model voor elk afzonderlijk item te bouwen. Dit is sneller en vaak nauwkeuriger.
Gebruik het Juiste Gereedschap: Het artikel raadt aan om het TiDE-model (een lichtgewicht neuraal netwerk) te gebruiken in combinatie met de Tweedie-verdeling.
- Deze combinatie is als het hebben van een snelle, betrouwbare sportwagen met een GPS die specifiek is afgestemd op het afhandelen van plotselinge files en omleidingen.
- Het verslaat de "specialistische" lokale modellen in snelheid en nauwkeurigheid, vooral wanneer je moet plannen voor de worst-case scenario's (hoge kwantielen).

Kortom: Voor het voorspellen van het onvoorspelbare, wint een eenvoudige, globale aanpak met de juiste wiskunde (Tweedie) het van complexe, lokale of overdreven zware AI-oplossingen.

Technische Samenvatting: Intermitterende Tijdreeksvoorspelling: Lokale versus Globale Modellen

Probleemdefinitie

Het artikel behandelt de uitdaging van het voorspellen van intermitterende tijdreeksen, gedefinieerd als niet-negatieve, doorgaans op tellingen gebaseerde reeksen die nulwaarden bevatten. Dergelijke reeksen zijn veelvoorkomend in supply chain management, waar nauwkeurige probabilistische voorspellingen essentieel zijn voor het vaststellen van veiligheidsvoorraden. Deze voorspellingen moeten specifieke distributionele eigenschappen voldoen: ondersteuning op niet-negatieve waarden, een massapunt bij nul, en een lange bovenstaande staart om vraagpieken te vangen.

Hoewel er probabilistische modellen voor intermitterende reeksen bestaan, zijn dit overwegend lokale modellen, die individueel op elke tijdreeks worden getraind. Daarentegen zijn globale modellen, die getraind worden op grote collecties tijdreeksen om een enkele voorspellingsfunctie te leren, populair geworden voor vloeiende tijdreeksen met behulp van deep learning en gradient-boosted trees. Er is echter een gebrek aan empirisch bewijs dat state-of-the-art probabilistische lokale en globale modellen specifiek voor intermitterende data vergelijkt, met name wat betreft computationele efficiëntie en de geschiktheid van verschillende distributiekoppen (distribution heads).

Methodologie

Geëvalueerde Modellen

De studie vergelijkt een uitgebreide set lokale en globale modellen over vijf real-world datasets (M5, UCI, Auto, Carparts, RAF) bestaande uit meer dan 40.000 tijdreeksen.

Lokale Modellen:

In-sample Quantiles (ISQ): Een baseline die gebruikmaakt van de empirische distributies van de trainingsdata.
iETS: Een intermitterende extensie van het ETS-model met behulp van Croston's decompositie, die een bimodale distributie produceert (massa bij nul + Gamma voor positieve waarden).
GAS-NB: Een Generalised Autoregressive Score model met een tijdsvariërende Negative Binomial distributie.
TweedieGP: Een Bayesiaans Gaussian Process model met een Tweedie likelihood.
Markov Walk (MW): Een model dat een ARMA-proces combineert met een Markovketen voor de voorkoms, waarbij een Gaussische voorspellingsdistributie wordt aangenomen.

Globale Modellen:
De studie evalueert diverse neurale netwerkarchitecturen en Gradient Boosted Trees (GBTs), die allemaal zijn aangepast om de parameters van een distributie te produceren:

Lichte Architecturen (Shallow Architectures): Feed-forward Neural Networks (FNN), DLinear, en TiDE (Time-series Dense Encoder).
Grote/Diepe Architecturen (Large/Deep Architectures): DeepAR (LSTM-gebaseerd), PatchTST, en Autoformer (Transformer-gebaseerd).
Boom-gebaseerd (Tree-based): LightGBM, aangepast voor distributionele voorspelling.

Distributiekoppen (Distribution Heads)

Een cruciaal onderdeel van de methodologie is de aanpassing van globale modellen aan intermitterende data via specifieke distributiekoppen. De auteurs evalueren drie koppen:

Negative Binomial (NegBin): Breed gebruikt voor intermitterende vraag; unimodaal met overdispersie.
Hurdle-Shifted Negative Binomial (HSNB): Een bimodale distributie die de kans op nul scheidt van de positieve vraagdistributie.
Tweedie: Een continue distributie met een massa bij nul en een lange staart, geschikt voor real-valued intermitterende data.
Noot: De auteurs claimen dat dit de eerste toepassing is van HSNB en Tweedie als distributiekoppen voor globale neurale netwerkmodellen.

Experimentele Opzet

Datasets: Vijf datasets met variërende frequenties (dagelijks/maandelijks), lengtes en intermitterendieniveaus (gemeten via de Average Demand Interval en de Squared Coefficient of Variation).
Evaluatie: Probabilistische nauwkeurigheid wordt gemeten met behulp van Quantile Loss (geschaald door in-sample quantiles) voor quantielen $q \in \{0.5, 0.8, 0.9, 0.95, 0.99\}$ en RMSSE (Root Mean Squared Scaled Error) voor puntvoorspellingen.
Computationele Kosten: Trainings- en predictietijden worden geregistreerd op een enkele CPU (Macbook Pro M3).
Robuustheid: Modellen worden 10 keer uitgevoerd met verschillende random seeds om variabiliteit te beoordelen.

Belangrijkste Resultaten

1. Globale vs. Lokale Prestaties

Nauwkeurigheid: Lichte globale modellen, met name TiDE en DLinear, presteren consistent beter dan lokale modellen op hogere quantielen (0.8 tot 0.99), die cruciaal zijn voor veiligheidsvoorraadplanning.
Puntvoorspellingen: Lokale modellen (specifiek iETS en TweedieGP) presteren soms beter dan globale modellen op RMSSE, vooral op ijle (sparse) datasets zoals RAF en UCI.
Stabiliteit: Lichte globale modellen (TiDE, DLinear) vertonen een hoge stabiliteit over verschillende random initialisaties. In tegen grootte deep learning modellen (Autoformer, PatchTST) en GBTs laten daarentegen een hogere variabiliteit en instabiliteit zien.

2. Computationele Efficiëntie

Trainingstijd: Grote globale modellen (Autoformer, DeepAR) en GBTs (LightGBM) brengen aanzienlijk hogere computationele kosten met zich mee dan lichte modellen.
Predictietijd: Lichte globale modellen (TiDE, DLinear) zijn computationeel efficiënt en presteren vaak beter dan lokale modellen in totale runtime wanneer men de overhead van het trainen van individuele lokale modellen meerekent.
Trade-off: De studie vindt geen nauwkeurigheid-computatie trade-off die in het voordeel van grote modellen werkt; grote modellen zijn zowel duurder als over het algemeen minder nauwkeurig of stabiel dan lichtere alternatieven.

3. Architectuurvergelijking

TiDE komt naar voren als de superieure globale architectuur, die de beste balans biedt tussen nauwkeurigheid en snelheid. Het presteert beter dan Transformer-gebaseerde modellen (PatchTST, Autoformer) en RNNs (DeepAR).
Transformers (Autoformer, PatchTST) en LightGBM worden geacht "hun kosten niet waard te zijn", aangezien ze een lagere nauwkeurigheid en een hogere computationele overhead bieden vergeleken met lichte netwerken.

4. Analyse van de Distributiekoppen

Tweedie: Biedt de beste schattingen voor de hoogste quantielen (0.95, 0.99), waarschijnlijk door de flexibele staarteigenschappen. Het is bijzonder effectief wanneer het wordt gekoppeld aan TiDE.
HSNB vs. NegBin: Bij lagere quantielen is er geen groot prestatieverschil tussen HSNB, Tweedie en Negative Binomial. HSNB laat verbeteringen zien op specifieke datasets (bijv. Auto), maar is niet universeel superieur.
Real-valued Data: De Tweedie-distributie wordt genoteerd als de enige geschikte kop voor real-valued intermitterende series (bijv. verkoopwaarde), aangezien HSNB en NegBin op tellingen (counts) gebaseerd zijn.

Betekenis en Claims

Het artikel claimt de eerste studie te zijn die state-of-the-art probabilistische lokale en globale modellen specifiek voor intermitterende tijdreeksen systematisch vergelijkt. De belangrijkste bijdragen zijn:

Empirische Validatie van Globale Modellen: Het toont aan dat globale modellen, wanneer geïmplementeerd met lichte architecturen, lokale modellen op intermitterende data kunnen verslaan, wat de aanname dat lokale training noodzakelijk is voor ijle series uitdaagt.
Architectuurbegeleiding: Het identificeert TiDE als de geprefereerde architectuur, waarbij wordt aangetoond dat eenvoudige, lichte netwerken complexe Transformers en RNNs overtreffen in zowel nauwkeurigheid als efficiëntie voor dit domein.
Innovatie in Distributiekoppen: Het introduceert en valideert het gebruik van HSNB en Tweedie distributiekoppen binnen globale neurale netwerkframeworks, waarbij wordt aangetoond dat Tweedie bijzonder effectief is voor hoog-quantiel voorspellingen.
Praktische Begeleiding: De auteurs bieden een gids voor professionals, waarbij zij lichte globale modellen (TiDE met Tweedie kop) aanbevelen voor hoog-quantiel voorspellingsbehoeften, terwijl ze erkennen dat eenvoudige in-sample quantielen een robuust en goedkoop alternatief blijven voor specifieke scenario's (bijv. RMSSE op zeer ijle data).

De studie concludeert dat hoewel grote deep learning architecturen en GBTs succes hebben getoond in puntvoorspellingscompetities, ze niet competitief zijn in de probabilistische setting voor intermitterende series, waar lichte modellen superieure nauwkeurigheid en stabiliteit bieden met lagere computationele vereisten.