📊 statistics

Contextual Deconvolution for Variance-Stable Demand Sensing: Kernel-Modulated Operators in Promotional Retail

Dit artikel introduceert Contextual Deconvolution, een tweestaps, door een kernel gemoduleerde estimator die demand sensing herformuleert als een convexe decompositie om promotionele schokken te scheiden van structurele baselines, waardoor de spreiding in voorspellingsfouten en voorraadvolatiliteit over duizenden SKU's aanzienlijk wordt verminderd, terwijl de totale kosten alleen worden geoptimaliseerd wanneer de voorraadkosten aanzienlijk hoger zijn dan de kosten van voorraadtekorten.

Oorspronkelijke auteurs: Mohammad Forouhesh

Gepubliceerd 2026-07-29

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Forouhesh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te voorspellen hoeveel mensen er morgen naar een limonadekraam zullen lopen. In de wereld van de wetenschap wordt dit forecasting (voorspelling) genoemd, en het is een groot ding voor alles, van zeecontainers tot ziekenhuisbedden. Lange tijd waren de slimste computers (Machine Learning) geobsedeerd door het krijgen van het exacte getal, tot op de decimaal nauwkeurig. Ze zijn als supernauwkeurige weersvoorspellers die vertellen dat het om 14:13 uur precies 0,04 inch gaat regenen. Maar hier komt de crux: in de echte zakenwereld kan té precies zijn over de kleine bobbels en deukjes in de data juist chaos veroorzaken. Als een computer te enthousiast wordt over een kleine, tijdelijke piek in de verkoop, kan hij de fabriek opdracht geven om een miljoen extra citroenen te bouwen, om er later achter te komen dat het slechts een toevalstreffer was. Deze overreactie creëert een rimpeleffect dat het "Bullwhip Effect" (zweepslageffect) wordt genoemd, waarbij kleine veranderingen bij de winkel leiden tot enorme, dure schommelingen in de productie verderop in de toeleveringsketen.

Om dit op te lossen, proberen wetenschappers vaak de data glad te strijken, zoals het strijken van een verkreukeld overhemd, maar traditionele methoden missen vaak het grote plaatje of raken in de war door speciale evenementen zoals feestdagen of uitverkoop. Dit artikel introduceert een nieuwe manier om naar het probleem te kijken. In plaats van alleen het toekomstige getal te raden, behandelt het de vraag als een liedje dat uit twee delen bestaat: een gestage, neuriende achtergrondmelodie (de normale, saaie vraag) en plotselinge, harde trommelslagen (promoties en uitverkoop). De auteurs hebben een tool gebouwd die deze twee delen netjes van elkaar scheidt, zodat een bedrijf kan plannen voor de gestage melodie zonder in paniek te raken over de trommelslagen, en de trommelslagen pas weer toevoegt wanneer ze daadwerkelijk plaatsvinden.

Het Probleem: De "Te Opgewekte" Computer

Stel je voor dat je de manager bent van een enorme keten van supermarkten. Je hebt duizenden producten, van ontbijtgranen tot kattenvoer. Elke dag probeert je computer te raden hoeveel van elk item je zult verkopen. Moderne AI-modellen zijn ongelooflijk slim; ze kijken naar het verleden en proberen de toekomst te voorspellen met een hoge statistische nauwkeurigheid. Maar er is een probleem: ze zijn te gevoelig.

Wanneer er een grote uitverkoop plaatsvindt (zoals "Eén halen, één gratis" op ontbijtgranen), schieten de verkopen omhoog. De AI ziet deze piek en denkt: "Wauw, iedereen houdt nu van ontbijtgranen! We moeten een miljoen extra dozen bestellen!" Maar vaak is die piek slechts een tijdelijke toevalligheid. Zodra de uitverkoop voorbij is, dalen de verkopen weer. Omdat de AI niet begreep dat de piek tijdelijk was, heeft hij te veel besteld. Wanneer de verkoop vervolgens daalt, zit je vast met een magazijn vol onverkochte ontbijtgranen. Dit is het "Bullwhip Effect": een kleine rimpeling in de vraag van de klant verandert in een enorme, dure schommeling in hoeveel je bestelt.

Het artikel stelt dat huidige AI-modellen als een drummer zijn die één enkele snaredrumslag hoort en direct begint met een hele solo te spelen. Ze verwarren een tijdelijke "schok" (een uitverkoop) met een permanente verandering in de populariteit van de winkel. Dit leidt tot te veel voorraad op de schappen liggen (geld verspillen) of, omgekeerd, niet genoeg wanneer de echte grote drukte komt.

De Oplossing: De "Contextual Deconvolution" Tool

De auteurs, onder leiding van Mohammad Forouhesh, stellen een nieuwe methode voor genaamd Contextual Deconvolution (CD). Zie het als een magische noise-cancelling koptelefoon voor je data.

In plaats van te proberen het uiteindelijke getal direct te voorspellen, splitst CD het vraagsignaal in twee duidelijke lagen:

De Gladde Baseline: Dit is de gestage, neuriende achtergrond van de normale vraag. Dit is wat je zou verkopen als er geen uitverkoop, feestdagen of vreemde gebeurtenissen waren.
De Spaarzame Schokken: Dit zijn de plotselinge, harde trommelslagen veroorzaakt door promoties, feestdagen of speciale evenementen.

Het slimme deel is hoe CD omgaat met de "carryover" (het effect dat doorwerkt). Wanneer je een uitverkoop hebt, kopen mensen misschien vandaag extra, maar ze kunnen morgen ook een beetje extra kopen omdat ze nog steeds enthousiast zijn, of ze kopen de dag daarna juist minder omdat ze al genoeg hebben ingeslagen. Oude modellen krijgen dit timingprobleem vaak verkeerd in; ze behandelen het hele evenement als één grote, directe piek. CD gebruikt een speciale wiskundige "kernel" (zie dit als een vormveranderend filter) die begrijpt hoe een promotie door de tijd heen rimpelt. Het weet dat een uitverkoop op dinsdag een ander effect kan hebben dan een uitverkoop op vrijdag.

Hoe het werkt: De Twee-Fasen Pipeline

De methode werkt in twee eenvoudige stappen, zoals een chef die een gerecht bereidt:

Het Detrenden (Het Schoonmaken van de Bouillon): Eerst kijkt de tool naar de verkoopgeschiedenis en verwijdert de "ruis" om de gladde, gestage baseline te vinden. Het is alsof je de bouillon zeft om een heldere bouillon te krijgen, waarbij je de drijvende kruiden even negeert.
De Deconvolution (Het Toevoegen van de Specerijen): Vervolgens kijkt het naar de bekende toekomstige kalender (we weten immers van tevoren wanneer de uitverkoop plaatsvindt). Het gebruikt een vooraf berekende "kernel" om precies te bepalen hoe die verkoop door de dagen heen rimpelt. Het voegt deze "specerij" weer toe aan de gladde bouillon.

Het resultaat is een voorspelling die kalm en gestaag is op de tussenliggende dagen, maar perfect getimed is voor de grote evenementen. Het reageert niet overdreven op een enkele piek op één dag, en het mist de grote golf van een feestdag niet.

De Resultaten: Stabiliteit boven Perfectie

De auteurs testten dit op twee enorme real-world datasets:

M5: 30.490 verschillende producten van een grote retailer (zoals Walmart).
Favorita: 2.845 levensmiddelen van een andere keten.

Ze vergeleken hun nieuwe tool met de beste bestaande AI-modellen, inclussief de beroemde XGBoost en deep learning transformers. Dit is wat ze vonden:

De Bullwhip is getemd: De nieuwe methode verminderde de "variantie" (het wilde schommelen van bestellingen) met een enorme hoeveelheid. Op de M5-dataset daalde de "Variance Ratio" (een maatstaf voor hoeveel de voorspelling ruis versterkt) van 0,0135 (voor het beste AI-model) naar 0,0007 voor hun methode. Dat is een enorme vermindering van de chaos.
Minder Voorraad, maar een Keerzijde: Omdat de voorspellingen zo stabiel zijn, hoeven winkels veel minder "veiligheidsvoorraad" (extra inventaris voor het geval dat) aan te houden. Op M5 hadden ze slechts 0,16 keer (ongeveer 16%) van de veiligheidsvoorraad nodig die de AI-modellen vereisten.
De Trade-off: De paper is echter zeer eerlijk over een nadeel. Omdat de methode zo goed is in het gladstrijken van de ruis, kan het soms "onder-voorzien" voor de grootste, scherpste pieken. Het kan het absolute hoogtepunt van een enorme uitverkoop missen, wat leidt tot iets meer "stockouts" (nee-verkopen) op die specifieke dagen.
De Kostenbalans: De auteurs hebben een gedetailleerde kostenanalyse uitgevoerd. Ze vonden dat deze methode alleen het totale geld bespaart (houdkosten + kosten van nee-verkoop) als de kosten voor het aanhouden van voorraad hoog zijn (specifiek, als de houdkosten meer dan 20% van de kosten van een nee-verkoop zijn). In veel supermarkten, waar het niet hebben van melk een grotere ramp is dan het opslaan ervan, kan de AI nog steeds goedkoper zijn. Maar voor bedrijven waar het opslaan van artikelen erg duur is, is deze nieuwe methode een winnaar.

Wat het Niet Is

De paper is voorzichtig in de bewering dat dit hulpmiddel niet alles is. Het is geen toverstaf die elke voorspelling perfect maakt.

Het werkt niet als je de toekomstige kalender niet kent. Je moet van tevoren weten wanneer de uitverkoop plaatsvindt.
Het modelleert geen "cannibalisatie" (waarbij het kopen van een aanbieding op ontbijtgranen betekent dat je minder pasta koopt). Het behandelt elk product afzonderlijk.
Het vervangt de behoefte aan menselijk oordeel niet; het is een hulpmiddel om planners te helpen betere beslissingen te nemen, geen robot die de hele winkel runt.

Het Grote Plaatje

De belangrijkste les is dat in de chaotische wereld van de detailhandel, "statistisch perfect" zijn niet altijd hetzelfde is als "operationeel nuttig" zijn. De beste AI-modellen zijn geweldig in het raken van de roos op een dartbord, maar als het dartbord trilt, mis je het doel. Contextual Deconvolution stopt het trillen. Het scheidt het gestage ritme van de zaken van de chaotische trommelslagen van de uitverkoop, waardoor managers een voorspelling krijgen die stabiel, betrouwbaar en veel minder waarschijnlijk is om een paniek in het magazijn te veroorzaken. Het is een herinnering dat soms een iets minder "nauwkeurige" voorspelling die de toeleveringsketen rustig houdt, meer waard is dan een perfecte voorspelling die een meltdown veroorzaakt.

Technische Samenvatting: Contextuele Deconvolutie voor Variantie-stabile Vraagdetectie

Probleemstelling

In promotionele retailomgevingen optimaliseren standaard machine learning (ML) prognosemodellen—zoals gradient-boosted trees en temporele transformers—op puntwijze statistische nauwkeurigheid (bijv. RMSE), maar houden ze geen rekening met operationele volatiliteit. Deze modellen verwarren vaak transiënte vraagshocks (bijv. promoties, SNAP-events) met structurele verschuivingen in de vraag. Als gevolg hiervan propageren ongesmoothde prognoses stroomopwaarts, wat de veiligheidsvoorraad opblaast en het bullwhip-effect versterkt.

De kernuitdaging is dat klassieke autoregressieve modellen geen structurele beperkingen hebben om vertraagde exogene effecten terug te koppelen aan hun brongebeurtenissen. Ze behandelen meerdaagse promotionele voetafdrukken als structurele instortingen of instantane anomalieën, wat leidt tot operationele instabiliteit. Hoewel voorraadbewuste leermethoden bestaan, richten deze zich vaak direct op de besluitvormingslaag. Dit artikel richt zich op de decompositielaag, met als doel het scheiden van latente structurele baselines van transiënte shocks om een stabiele input te bieden voor downstream voorraadoptimalisaties.

Methodologie: Contextuele Deconvolutie (CD)

De auteurs herformuleren vraagdetectie als een invers probleem: het herstellen van latente structurele en transiënte componenten uit geobserveerde signaaldata. Het voorgestelde framework, Contextual Deconvolution (CD), maakt gebruik van een twee-traps estimator die distributed lag regressie combineert met een convexe smoothness-plus-sparsity decompositie.

1. Formulering van het Invers Probleem

Het geobserveerde vraagsignaal $b$ wordt gemodelleerd als een superpositie van een glad structureel baseline ( $x_{base}$ ) en een sparse transiënt signaal ( $x_{spec}$ ), afgebeeld door forward operators:
$b = A_{base}x_{base} + A_{spec}(\theta)x_{spec} + \epsilon$
Waarbij $A_{base} = I$ (identiteit) en $A_{spec}(\theta)$ een context-gemoduleerde banded operator is, geparametriseerd door kernel hyperparameters $\theta$ . Het herstel wordt geformuleerd als een convex optimalisatieprobleem waarbij de getrouwheid (fidelity), gladheid ( $\ell_2$ -penalty op derivaten) en sparsiteit ( $\ell_1$ -penalty op shocks) worden geminimaliseerd:
$\min_{x_{base}, x_{spec}} \|b - (x_{base} + A_{spec}x_{spec})\|_2^2 + \lambda_{smooth}\|Lx_{base}\|_2^2 + \lambda_{sparse}\|x_{spec}\|_1$

2. Kernel-Gemoduleerde Operators

In tegen tegenstelling tot klassieke decompositie, die uitgaat van instantane shocks ( $A=I$ ), gebruikt CD een kernel-gemoduleerde operator om promotionele doorwerking (carryover) te coderen.

Parametrische Familie: Om de niet-normaliteit en transiënte groei te vermijden die voorkomen bij data-gedreven Koopman-operators (EDMD), gebruikt CD een compacte, interpreteerbare Difference-of-Exponentials (DoE) kernel. Deze kernel vangt een onmiddellijke piek, geleidelijke doorwerking en optionele post-promotionele cannibalisatie (vacuüm) op.
Bron-Gemoduleerde Propagatie: De operator is een onder-triangulaire banded matrix waarbij de sub-diagonalen worden gemoduleerd door exogene kenmerken (bijv. promotietype). Cruciaal is dat de bijdrage op tijdstip $t$ vanuit een lag $k$ wordt gemoduleerd door de waarde van het kenmerk op de bron-tijd $t-k$ , wat de supply chain dynamiek weerspieelt.
Bandbreedte: De kernel lag is datagedreven (standaard $n=14$ dagen), waarbij $\ge 94\%$ van de impulse-response energie in de meeste categorieën wordt gevangen, terwijl de computationele efficiëntie behouden blijft.

3. Twee-Traps Estimatie Pipeline

Om schaalbaarheid en stabiliteit te garanderen, ontkoppelt CD de baseline-estimatie van de kernel-recovery:

Robuuste Detrending: Een Huber loss functie extraheert een robuuste trend $\hat{\mu}$ uit het ruwe signaal, waarbij extreme observaties worden afgewogen.
Distributed Lag Regressie: Het residu wordt geregresseerd tegen event-kenmerken en hun causale lags met behulp van ridge regressie om kernel-coëfficiënten te schatten. Voor parametrische families worden deze gefit via nonlinear least squares.

4. Hiërarchische Partial Pooling

Om de statistische fragiliteit van per-SKU kernel-estimatie aan te pakken (vaak voorkomend in enterprise retail met schaarse event-historie), gebruikt CD hiërarchische partial pooling. Kernel-parameters worden geschat op per-SKU, categorie- en globaal niveau. SKU's met schaarse historie lenen kracht van de mediaan van de categorie of het globale niveau, wat deployment over tienduizenden SKU's mogelijk maakt zonder per-SKU tuning.

5. Prognose Architectuur

De uiteindelijke prognose is een superpositie van twee stromen:

Stroom A: Extrapolatie van de gladde baseline (bijv. Holt-Winters).
Stroom B: Deterministische injectie van bekende toekomstige events via de vaste kernel.

Belangrijkste Bijdragen

Context-Gemoduleerde Banded Operator: Introduceert een gestructureerde operator die promotionele doorwerking direct in een convex invers probleem codeert, waarbij de klassieke identiteitsmapping wordt vervangen door een fysiek gemotiveerde, inverseerbare operator.
Schaalbare Twee-Traps Pipeline: Een ontkoppeld estimatieproces (Robuuste Detrending + Distributed Lag Regressie) dat stabiliteit garandeert en deployment op catalogus-schaal op CPU's mogelijk maakt.
Hiërarchische Partial Pooling: Een mechanisme dat per-SKU kernels reguleert richting categorie- en globale medianen, waardoor de methode bruikbaar is voor SKU's met schaarse event-historie.
Eerlijke Kostenrekening: Het artikel biedt een rigoureuze inventaris-kostenanalyse, waarbij een specifiek kruispunt wordt geïdentificeerd waar CD de totale kosten minimaliseert versus waar het stabiliteit boven kosten verkiest.
Operator-Theoretische Analyse: Demonstreert dat onbeperkte geleerde operators sterk niet-normaal zijn, wat het gebruik van compacte parametrische kernels rechtvaardigt voor interpreteerbaarheid en operationele stabiliteit.

Empirische Resultaten

Het framework werd strikt out-of-sample geëvalueerd op 30.490 M5 SKU's en 2.845 Favorita items, waarbij alle baselines een identieke toekomstige promotiekalender kregen.

Operationele Stabiliteit (Variantie Ratio): CD bereikt een mediane Variance Ratio (VR) van 0.0007 op M5 en 0.0072 op Favorita. Dit is aanzienlijk lager dan Tuned XGBoost (0.0135 op M5, 0.0395 op Favorita) en andere structurele/boosted baselines.
Veiligheidsvoorraad: CD reduceert de vereiste veiligheidsvoorraad tot 0.16× die van Tuned XGBoost op M5 en 0.38× op Favorita bij een gelijkwaardig serviceniveau.
Betrouwbaarheid vs. Centrale Tendens: Hoewel de winst in mediane nauwkeurigheid bescheiden is (CD wMAPE 1.01 vs. 1.14 voor XGBoost op M5), vertoont CD een superieure cross-sectionele betrouwbaarheid. Het heeft de laagste dispersie van per-SKU fout (SD 0.23 vs. 1.11–4.51) en de laagste incidentie van catastrofale fouten (0.8% van de SKU's met >200% fout vs. 9.9–20.6% voor baselines).
Kosten-Baten Afweging:
- CD verlaagt de totale voorraadkosten alleen wanneer de houdkosten hoger zijn dan $\sim 20\%$ van de stockout-kosten ( $h/p \gtrsim 0.20$ ).
- In regimes waar stockout-kosten domineren (typisch voor de dagelijkse supermarktretail), leidt de agressieve smoothing van CD tot onderbevoorrading van promotionele pieken, wat de stockout-kosten verhoogt.
- Daarom is CD gepositioneerd als een laag voor operationele stabiliteit en voorraadkapitaal in plaats van een universele minimizer van de verwachte kosten.

Betekenis en Claims

Het artikel claimt dat Contextual Deconvolution een structurele oplossing biedt voor de statistisch-operationele tradeoff in supply chains. Door transiënte shocks expliciet te scheiden van de structurele baseline via een kernel-gemoduleerde operator, vermindert CD de prognose- en bestelvariantie zonder dat per-SKU training of GPU-bronnen nodig zijn.

De auteurs benadrukken dat de operationele winsten (verminderd Bullwhip-effect, lagere veiligheidsvoorraad) primair voortkomen uit de structurele decompositie (smooth baseline + sparse shocks) in plaats van de specifieke vorm van de carryover-kernel. De kernel fungeert als een adaptieve verfijning die prestaties verbetert waar echte meerdaagse doorwerking bestaat (bijv. M5 Hobbies categorie), maar terugvalt naar een impuls waar promoties instantaan zijn (bijv. M5 Foods/Household, Favorita).

Dit werk positioneert CD niet als een vervanging voor bestaande prognosepipelines, maar als een beslissingsondersteunende laag die naast deze pipelines draait. Het is bijzonder waardevol voor ondernemingen die de replenishment-signalen willen stabiliseren en het voorraadkapitaal willen verlagen in omgevingen met bekende toekomstige promotiekalenders, mits de kostenstructuur gericht is op het reduceren van de houdkosten in plaats van het dekken van pieken.