📊 statistics

End-to-end probabilistic hierarchical forecasting of large hierarchies via probabilistic top-down

Het artikel introduceert e2eTD, een snelle en schaalbare methode voor het genereren van coherente probabilistische voorspellingen van grote hiërarchische tijdreeksen door direct een kleine subset van geaggregeerde series te voorspellen en deze via een nieuw probabilistisch top-down samplingsalgoritme naar het onderste niveau te propageren, waarmee state-of-the-art prestaties wordt behaald op belangrijke retail-datasets met minimale computationele kosten.

Oorspronkelijke auteurs: Lorenzo Zambon, Dario Azzimonti, Giorgio Corani

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lorenzo Zambon, Dario Azzimonti, Giorgio Corani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een enorme keten van supermarkten. Je moet elke dag weten hoeveel melk, brood en ontbijtgranen je voor elke winkel moet bestellen.

Dit is een nachtmerrie van cijfers. Je hebt duizenden producten (SKU's) in honderden winkels. Als je probeert de verkoop van elk individueel item in elke winkel te voorspellen, is de data rommelig. Op sommige dagen verkoopt een specifiek artikel 100 eenheden; op andere dagen verkoopt het nul. Het is alsof je probeert de exacte baan van een enkele regendruppel in een storm te voorspellen. Het is te ruisig, te "intermittent" (gefragmenteerd) en te moeilijk om goed te krijgen.

Echter, als je naar het grote plaatje kijkt — zeg de totale melkverkoop voor het hele land — dan is dat getal veel vloeiender en gemakkelijker te voorspellen. Het is alsof je naar de storm kijkt vanuit de ruimte; je kunt het patroon zien, zelfs als je niet elke druppel kunt volgen.

Het Probleem: Het Dilemma van de "Conflicterende Kaarten"
Retailers proberen dit meestal op twee manieren op te lossen, maar beide hebben gebreken:

De "Bottom-Up" benadering: Voorspel eerst elk individueel item, en tel ze dan bij elkaar op. Dit is traag, duur en omdat de individuele items zo rommelig zijn, is het totaal vaak fout.
De "Top-Down" benadering: Voorspel eerst het grote totaal, en raad vervolgens hoe je dit kunt verdelen. Dit is snel, maar de "verdeling" gebeurt vaak met rigide, oude regels die geen rekening houden met onzekerheid.

Het resultaat? Je eindigt met een plan waarbij het totaal voor het land zegt "1 miljoen eenheden", maar de som van al je winkelplannen "900.000 eenheden" is. Dit is een coherentieprobleem. Het is alsof je een kaart hebt waarop de afstand van New York naar Boston 200 mijl is, maar de afstand van New York naar Philadelphia plus Philadelphia naar Boston 300 mijl is. Je kunt geen goede zakelijke beslissingen nemen met een kapotte kaart.

De Oplossing: e2eTD (De "Slimme Tussenpersoon")
Het paper introduceert een nieuwe methode genaamd e2eTD. Zie dit als een slimme, probabilistische tussenpersoon die de kloof overbrugt tussen het vloeiende grote plaatje en de rommelige kleine details.

Zo werkt het, stap voor stap:

Kies de "Makkelijke" Doelwitten: In plaats van te proberen de rommelige individuele items te voorspellen (de onderkant), voorspelt e2eTD alleen een piepklein, beheersbaar deel van de "vloeiende" middelste lagen (ongeveer 0,3% van de data). Het is als een weervoorspeller die alleen de algemene stormfront voorspelt, niet elke individuele regendruppel.
Maak een "Groepsplan": Het creëert een probabilistische voorspelling voor deze vloeiende lagen. Dit betekent dat het niet alleen zegt "We zullen 1.000 eenheden verkopen"; het zegt "We zijn voor 90% zeker dat we tussen de 900 en 1.100 eenheden zullen verkopen."
De "Slimme Verdeling" (Probabilistische Top-Down): Dit is het geheime ingrediënt van het paper. Meestal, wanneer je een groot getal naar kleine getallen splitst, gebruik je een vaste ratio (bijv. "Winkel A krijgt altijd 10%"). e2eTD is slimmer. Het kijkt naar de historie en zegt: "Toen het totaal 1.000 was, kreeg Winkel A meestal tussen de 9% en 11%, en Winkel B de rest, en ze bewegen meestal samen."
- Het gebruikt een wiskundig hulpmiddel genaamd een Copula (denk aan een soort "lijm" die de relaties tussen winkels bij elkaar houdt) om duizenden mogelijke scenario's te simuleren.
- Het splitst de grote voorspelling willekeurig op in kleine stukjes, maar respecteert de historische "dans" tussen de winkels. Als Winkel A meestal piekt wanneer Winkel B daalt, weet de simulatie dat.
De "Controle" (Reconciliatie): Ten slotte worden alle kleine stukjes weer bij elkaar opgeteld. Omdat het begon met een coherent groot getal en de stukjes zorgvuldig heeft verdeeld, tellen de kleine stukjes automatisch op tot het grote getal. Geen conflicten. Geen kapotte kaarten.

Waarom is dit een big deal?

Snelheid: Het paper beweert dat deze methode ongelooflijk snel is. Op een standaard laptop kan het een dataset met 300.000 tijdreeksen (zoals de Favorita-dataset) verwerken in ongeveer 20 minuten. Andere methoden die dit proberen te doen met complexe neurale netwerken, hebben mogelijk supercomputers of uren nodig.
Nauwkeurigheid: Bij tests tegen real-world data (de M5 en Favorita datasets) versloeg het bijna alle andere methoden. Als deze methode had deelgenomen aan de beroemde M5 forecasting competitie, zou het gerangschikt zijn als 11e van de 892 teams.
Risicobeheer: Omdat het "probabilistische" voorspellingen produceert (bereiken van mogelijkheden), kunnen retailers veiligere beslissingen nemen. Ze kunnen zeggen: "We hebben genoeg voorraad nodig om het 95%-worst-case scenario te dekken," in plaats van alleen het gemiddelde te gokken.

In een Notendop
e2eTD is een snelle, efficiënte manier om de vraag te voorspellen voor enorme winkelketens. Het vermijdt de rommeligheid van het voorspellen van elk individueel item door zich eerst te concentreren op de vloeiende, voorspelbare totalen. Vervolgens gebruikt het een slim "verdelingsalgoritme" op basis van de historie om die totalen naar beneden te verdelen naar de individuele items, waarbij het ervoor zorgt dat de kleine getallen altijd perfect optellen bij de grote getallen. Het is als het bouwen van een huis door eerst een perfect fundament te leggen en dan zorgvuldig de stenen te plaatsen, in plaats van te gokken waar elke steen komt en te hopen dat het dak past.

Technische Samenvatting: End-to-end Probabilistische Hiërarchische Forecasting via Probabilistische Top-Down (e2eTD)

1. Probleemstelling

Retail- en supply chain-operaties vertrouwen op vraagvoorspellingen voor beslissingen die variëren van productniveau-aanvulling tot capaciteitsplanning op winkelniveau. Deze voorspellingen moeten aan twee kritieke, vaak conflicterende vereisten voldoen:

Probabilistisch Karakter: Om risico-bewuste besluitvorming mogelijk te maken (bijv. het instellen van veiligheidsvoorraden), moeten voorspellingen volledige predictieve distributies bieden in plaats van enkelvoudige punt-schattingen.
Coherentie: Voorspellingen over de aggregatiehiërarchie heen (bijv. SKU, Winkel, Regio, Totaal) moeten consistent zijn. De voorspelling voor een bovenliggende node moet gelijk zijn aan de som van de voorspellingen van de onderliggende kinderen.

Bestaande benaderingen kampen met aanzienlijke schaalbaarheids- en modelleringsuitdagingen in grote hiërarchieën die worden gekenmerkt door intermitterende vraag (ijle, nul-geïnfleerde series op het laagste niveau):

Twee-staps (Forecast-then-Reconcile): Hoewel effectief voor punt-voorspellingen, is probabilistische reconciliatie computationeel duur voor grote hiërarchieën. Het leunt vaak op restrictieve aannames (bijv. Gaussianiteit) die falen voor intermitterende telgegevens, of vereist hoogdimensionale matrixinversies.
End-to-End Neurale Modellen: Deze produceren coherente voorspellingen maar vereisen doorgaans complexe architecturen, gespecialiseerde hardware (GPU's) en aanzienlijke engineeringinspanning, wat ze onpraktisch maakt voor snelle, grootschalige implementatie.
Traditionele Top-Down: Hoewel schaalbaar, vertrouwen standaard top-down methoden vaak op deterministische historische proporties, waardoor ze niet in staat zijn om de onzekerheid en de cross-serie afhankelijkheid te vangen die nodig zijn voor probabilistische coherentie.

Het artikel identificeert een gat voor een methode die snel, schaalbaar en in staat is om coherente probabilistische voorspellingen te genereren voor grote hiërarchieën met intermitterende onderste series zonder dat speciale hardware vereist is.

2. Methodologie: e2eTD

De voorgestelde methode, e2eTD (end-to-end Top-Down), genereert coherente probabilistische voorspellingen door alleen een kleine subset van vloeiende bovenliggende series te modelleren en samples omlaag te propageren via een nieuw probabilistisch top-down algoritme.

Kernworkflow

De methode verloopt in vijf stappen (geïllustreerd in Fig. 2 van het artikel):

Selectie van Bovenliggende Series: In plaats van alle onderste series te voorspellen, selecteert e2eTD een kleine subhiërarchie van vloeiende, voorspelbare bovenliggende series (ongeveer 0,3% van de totale series in experimenten). Deze subset moet een subhiërarchie vormen die alle onderste series dekt.
Probabilistische Voorspelling: Probabilistische voorspellingen worden onafhankelijk gegenereerd voor de geselecteerde bovenliggende series. De auteurs gebruiken Exponential Smoothing (ETS) met automatische modelselectie, in staat om exogene regressoren (bijv. feestdagen, promoties) te integreren.
Reconciliatie: Om coherentie tussen de geselecteerde bovenliggende series te waarborgen, wordt een Gaussian probabilistische reconciliatie stap toegepast. Dit combineert de onafhankelijke voorspellingen in een gezamenlijke multivariate normale distributie. Samples worden getrokken uit deze gereconcilieerde distributie op het laagste niveau van de geselecteerde subhiërarchie.
Probabilistische Top-Down Sampling (Nieuwigheid): Dit is de kernbijdrage. In plaats van vaste historische proporties te gebruiken, modelleert het algoritme de disaggregatie-proporties als gezamenlijke distributies.
- Modellering: Voor elk paar series dat wordt gesplitst, schat de methode de gezamenlijke distributie van hun historische aantallen. Marginale distributies worden gefit als Poisson of Negative Binomial (afhankelijk van dispersie), en de afhankelijkheid wordt gemodelleerd met behulp van een Plackett copula.
- Sampling: Gegeven een sample $z$ van een bovenliggende node, trekt het algoritme een paar $(a, b)$ zodanig dat $a+b=z$ . De waarschijnlijkheid van elke splitsing wordt bepaald door de geschatte gezamenlijke distributie te conditioneren op de beperking $A+B=z$ .
- Recursie: Dit proces wordt recursief toegepast (via binaire splitsing) van de geselecteerde bovenliggende nodes naar beneden naar het onderste niveau. Cruciaal is dat het algoritme de cross-serie afhankelijkheid die afkomstig is van de reconciliatie stap behoudt door de sample-indices niet te herschikken.
Aggregatie: De resulterende gezamenlijke onderste samples worden opgeteld met behulp van de aggregatiematrix om coherente probabilistische voorspellingen voor alle niveaus van de hiërarchie te verkrijgen.

Computationele Strategieën

Om schaalbaarheid naar honderdduizenden series te garanderen:

Batching: Het algoritme berekent sampling-gewichten voor unieke integer waarden van de bovenliggende samples één keer, in plaats van over elke sample te itereren.
Parallellisatie: Voorspellingen op bovenliggend niveau en top-down sampling voor verschillende takken van de hiërarchie worden geparallelliseerd over CPU-cores.
Efficiënte Estimatie: De methode gebruikt moment matching voor marginale parameters en Spearman rank correlation inversie voor de copula parameter, waardoor computationeel dure Maximum Likelihood Estimation (MLE) wordt vermeden.

3. Belangrijkste Bijdragen

Schaalbare Probabilistische Coherentie: e2eTD bereikt coherente probabilistische voorspellingen voor hiërarchieën met ~300k series (Favorita dataset) in minder dan 20 minuten op een standaard laptop, zonder gespecialiseerde hardware.
Probabilistisch Top-Down Algoritme: Het artikel introduceert een sampling-mechanisme dat disaggregatie-proporties behandelt als gezamenlijke distributies (via copula's) in plaats van deterministische ratio's, waardoor cross-serie afhankelijkheid behouden blijft en coherentie op alle niveaus wordt gewaarborgd.
Afhandeling van Intermittentie: Door alleen vloeiende bovenliggende series te voorspellen en intermitterentie natuurlijk te induceren tijdens de top-down sampling stap, vermijdt de methode de moeilijkheden van het direct modelleren van ijle, nul-geïnfleerde onderste series.
Empirische Validatie: De methode wordt geëvalueerd op de twee grootste publiekelijk beschikbare retail-datasets (M5 en Favorita), waarbij het superieure prestaties levert ten opzichte van bestaande schaalbare baselines.

4. Experimentele Resultaten

De auteurs hebben e2eTD geëvalueerd tegen vijf concurrerende methoden (Empirical Distribution, Seasonal Empirical, WLS Reconciliation, Long et al. (2025), en HINT) op de M5 en Favorita datasets.

Nauwkeurigheid (WSPL): e2eTD behaalde de laagste Weighted Scaled Pinball Loss (WSPL) over alle aggregatieniveaus op beide datasets.
- Op M5 zou e2eTD op de 11e plaats geëindigd zijn van 892 teams in de M5 Uncertainty competitie.
- Op Favorita presteerde het aanzienlijk beter dan alle concurrenten, inclusclusief neurale netwerk-gebaseerde benaderingen.
- De methode behield een hoge nauwkeurigheid, zelfs op het onderste niveau (SKU-winkel), waar het 7e zou zijn geëindigd onder de top 50 M5 teams.
Computationele Efficiëntie:
- M5 (~30k series): ~4,5 minuten.
- Favorita (~160k series): ~17 minuten.
- In contrast hiermee vereisten neurale methoden (HINT) GPU's, en schaalden reconciliatie-gebaseerde methoden (WLS) slecht, waarbij ze aanzienlijk langer tijd in beslag namen op grotere datasets.
Ablatie Studie:
- Reconciliatie: Het verwijderen van de bovenliggende reconciliatie stap verslechterde de prestaties aanzienlijk (+8,8% WSPL op M5), wat de waarde bevestigt van het combineren van informatie over verschillende niveaus.
- Copula: Het gebruik van een onafhankelijke copula (het negeren van cross-serie afhankelijkheid) had een verwaarloosbaar effect op M5, maar verhoogde de fout op Favorita, wat suggereert dat afhankelijkheidsstructuren per dataset variëren.
- Exogene Regressoren: Het opnemen van covariaten (feestdagen, promoties) verbeterde de M5 prestaties aanzienlijk, maar had een minimaal effect op Favorita.

5. Betekenis en Claims

Het artikel positioneert e2eTD als een praktische oplossing voor de "first-order operational concern" van de kosten van forecasting in retail.

Operationele Impact: De auteurs merken op dat grote retailers mogelijk miljarden voorspellingen dagelijks moeten verversen. De overstap van zware methoden naar e2eTD zou tientallen miljoenen dollars jaarlijks kunnen besparen en de ecologische voetafdruk (CO2e) van forecasting pipelines kunnen verkleinen.
Besluitvormingsondersteuning: Door coherente probabilistische voorspellingen te bieden, maakt de methode risico-bewuste beslissingen mogelijk (bijv. optimalisatie van veiligheidsvoorraden) die consistent zijn over strategische, tactische en operationele niveaus.
Bescheidenheid: De auteurs erkennen beperkingen, zoals de aanname van benaderende stationariteit in de onderste proporties en de handmatige selectie van de bovenliggende subhiërarchie. Ze suggereren dat toekomstig werk zich zou kunnen richten op principes voor het selecteren van de subhiërarchie en meer geavanceerde modellering van tijdvariërende proporties.

Samenvattend overbrugt e2eTD de kloof tussen de behoefte aan coherente, probabilistische voorspellingen en de computationele beperkingen van grootschalige retail-operaties, door een snelle, nauwkeurige en hardware-efficiënte alternatief te bieden voor bestaande neurale en reconciliatie-gebaseerde benaderingen.