Technische Samenvatting: FreshRetailNet-LT

Probleemstelling

Nauwkeurige vraaginschatting is fundamenteel voor voorraad- en prijsbeleid voor bederfelijke retailproducten. Er ontstaat echter een kritieke uitdaging door gecensureerde verkoopgegevens veroorzaakt door stockout-gebeurtenissen (nee-verkoop). Wanneer een product niet op voorraad is, dalen de geobserveerde verkopen naar nul, niet omdat de vraag is gestopt, maar omdat de voorraad is uitgeput. Dit creëert een systematische bias waarbij voorspellingsmodellen die getraind zijn op ruwe verkoopgegevens, de werkelijke latente vraag systematisch onderschatten. Deze onderschatting houdt een vicieuze cirkel in stand: slechte voorspellingen leiden tot onvoldoende voorraad, wat weer leidt tot meer stockouts, wat de meting van de vraag verder corrumpeert.

Bestaande publieke retail-datasets (bijv. M5, Walmart, Favorita) pakken dit niet effectief aan vanwege twee primaire beperkingen:

1. Gebrek aan Stockout-annotaties: Ze maken geen onderscheid tussen werkelijke nul-vraag en nul-vraag veroorzaakt door voorraadtekort; ze behandelen alle nul-verkopen als accurate waarnemingen van de vraag.
2. Onvoldoende Temporele Granulariteit: De meeste datasets aggregeren gegevens op dagelijkse of wekelijkse intervallen. Dit maskeert intraday-vraagpatronen (bijv. pieken in de ochtend/avond) en verzwakt de zichtbaarheid van stockout-gebeurtenissen, die vaak kortstondig maar cruciaal zijn voor bederfelijke goederen.

Bovendien gaan standaard imputatie- en voorspellingsmethoden vaak uit van "Missing At Random" (MAR). In de bederfelijke retail is de vraag "Missing Not At Random" (MNAR), gedreven door gestructureerde covariaten zoals promoties, weer en tijdstip van de dag, waardoor standaardbenaderingen ineffectief zijn.

Methodologie

Het artikel introduceert FreshRetailNet-LT, een grootschalige benchmark ontworpen om onderzoek naar latente vraagherstel en voorspelling onder censuur te faciliteren. De methodologie is gestructureerd rond een twee-fasen raamwerk:

1. Dataset Constructie

FreshRetailNet-LT aggregeert multi-source operationele gegevens van 1.057 winkels verspreid over 18 grote Chinese steden gedurende een periode van twee jaar (juni 2023 – juli 2025).

• Schaal: Bevat meer dan 20.000 winkel-product tijdreeksen die 576 bederfelijke SKU's (groenten, vlees, vis/schelpdieren, fruit, etc.) beslaan.
• Resolutie: Uurlijkse granulariteit, die gedetailleerde verlooplijnen van de verkoop en de voorraadstatus vastlegt.
• Annotaties: Biedt uniek geverifieerde uurlijkse stockout-labels, waardoor onderscheid wordt gemaakt tussen perioden van werkelijke nul-vraag en perioden waarin de vraag gecensureerd werd door stockouts.
• Covariaten: Bevat rijke contextuele data zoals promotionele kortingspercentages, neerslag, temperatuur en wettelijke feestdagen.

2. Twee-fasen Modelleringsaanpak

De auteurs stellen een pipeline voor die eerst de latente vraag herstelt en deze vervolgens voorspelt:

• Fase 1: Latente Vraagherstel: Het doel is om de niet-geobserveerde vraag ($d$) tijdens stockout-perioden te reconstrueren. Het model neemt geobserveerde verkopen ($y$), covariaten (promoties, weer, etc.) en de stockout-indicator ($s$) als input. Het schat de ontbrekende vraag ($\hat{d}$) alleen wanneer $s=0$ (stockout), terwijl het geobserveerde verkopen behoudt wanneer $s=1$.
  • Geteste Baselines: Multi-periodiciteitsmodellen (TimesNet), aandacht-gebaseerde imputatie (SAITS, ImputeFormer, iTransformer), onzekerheid-bewuste generatoren (GPVAE, CSDI) en interpreteerbare baselines (DLinear).
• Fase 2: Censoring-Robuuste Voorspelling: De herstelde vraagreeks wordt geaggregeerd naar een dagelijks niveau om een de-biased trainingsset te creëren. Deze data wordt vervolgens gebruikt om voorspellingsmodellen te trainen voor een horizon van 7 dagen.
  • Geteste Baselines: Similar Scenario Average (SSA), Temporal Fusion Transformer (TFT), DLinear, en het foundation model Chronos2 (zero-shot en LoRA fine-tuned).

Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Geverifieerde Stockout-gebeurtenis Annotaties: Het is de eerste open-source benchmark die uurlijkse, geverifieerde stockout-labels biedt. Dit stelt onderzoekers in staat om direct onderscheid te maken tussen werkelijke nul-vraag en door aanbod beperkte nul-vraag, een capaciteit die voorheen vereiste via indirecte inferentie.
2. Multi-Jaar Longitudinale Dekking met Hoge Granulariteit: De dataset legt zowel fijnmazige intraday-fluctuaties (bijv. bimodale dagelijkse pieken) als langetermijn seizoensdynamiek over twee jaar vast, waarmee het gat in de temporele resolutie van bestaande bederfelijke retail-datasets wordt gedicht.
3. Multi-Model Covariaten: Het integreert uniek hyperlokale weersomstandigheden, feestdageffecten en promotionele kortingen, wat onderzoek ondersteunt naar klimaatbestendige supply chains en dynamische prijsstelling onder bederfelijkheid-restricties.

Experimentele Resultaten

De auteurs evalueerden het raamwerk met behulp van Weighted Absolute Percentage Error (WAPE) voor nauwkeurigheid en Weighted Percentage Error (WPE) voor bias, naast een Decoupling Score ($\rho_{DS}$) om de verwijdering van spuriale correlaties tussen stockouts en vraag te meten.

• Latente Vraagherstel:

  • TimesNet behaalde state-of-the-art prestaties met een WAPE van 21,35% en een WPE van -8,00%.
  • Cruciaal is dat TimesNet een Decoupling Score bereikte van -0,04, wat aanzienlijk dichter bij nul ligt dan de ruwe verkoopgegevens (-0,60), wat aangeeft dat het succesvol de kunstmatige link tussen stockouts en vraagonderdrukking heeft geëlimineerd.
  • Generatieve modellen zoals GPVAE vertoonden hogere fouten (48,55% WAPE), wat suggereert dat zij de volatiele vraagpatronen van verse producten mogelijk te veel afvlakken (over-smoothing).

• Voorspellingsprestaties:

  • Gebruikmakend van ruwe verkoopgegevens vertoonde het TFT-model een systematische onderschatting-bias (WPE van -6,69%).
  • Wanneer getraind op de door TimesNet herstelde vraag, werd de bias van TFT verminderd tot bijna nul (-0,13%), en verbeterde de WAPE van 25,10% naar 23,47%.
  • Vergelijkbare verbeteringen werden waargenomen bij andere modellen (SSA, DLinear, Chronos2) bij gebruik van de herstelde vraag, wat bevestigt dat het corrigeren van de censoring-bias de betrouwbaarheid van voorspellingen verhoogt.
  • Chronos2 (een foundation model) profiteerde ook van herstel, maar kon de adaptiviteit van gespecialiseerde architecturen zoals TFT niet evenaren, waarschijnlijk door een gebrek aan domeinspecifieke adaptatie aan complexe retail-covariaten.

Betekenis en Claims

Het artikel positioneert FreshRetailNet-LT als een cruciale bron voor het bevorderen van onderzoek naar bederfelijke retailoperaties. De betekenis ligt in:

• Het Doorbreken van de Censuur-Cirkel: Door ground-truth annotaties voor stockouts te bieden, maakt het de ontwikkeling van modellen mogelijk die de zelfversterkende cirkel van vraagonderschatting en voorraadverspilling kunnen doorbreken.
• Standaardisering van Benchmarks: Het vestigt een gerichte benchmark voor "voorraad-bewuste voorspelling", waarbij de specifieke MNAR-mechanismen die in de bederfelijke retail voorkomen, worden geadresseerd die algemene datasets missen.
• Facilitering van Causale Analyse: De structuur van de dataset ondersteunt causale inferentie over hoe promotionele, klimatologische en operationele verstoringen interageren met bederfelijkheidsrisico's.
• Praktisch Nut: De auteurs claimen dat de dataset directe oplossingen biedt voor voorraadoptimalisatie en een platform vormt voor toekomstige methodologische innovatie, waarmee de kloof tussen machine learning-theorie en de praktische beperkingen van bederfelijke supply chains wordt overbrugd.

Het artikel concludeert dat hoewel de dataset langdurige beperkingen aanpakt, er nog steeds uitdagingen blijven bij het modelleren van schaarse, "long-tail" SKU's en het ontwikkelen van end-to-end gezamenlijke optimalisatie-frameworks, wat wijst op toekomstige onderzoeksrichtingen.