🤖 machine learning

FreshRetailNet-LT: A Stockout-Annotated Censored Demand Dataset for Latent Demand Recovery and Forecasting in Fresh Retail

Questo articolo introduce FreshRetailNet-50K, il primo dataset di benchmark su larga scala caratterizzato da 50.000 serie temporali prodotto-negozio orarie con annotazioni precise sulle rotture di stock, che consente ai ricercatori di ricostruire la domanda latente e migliorare significativamente l'accuratezza delle previsioni per i prodotti retail deperibili correggendo i bias sistemici causati dai dati di vendita censurati.

Autori originali: Yangyang Wang, Jiawei Gu, Li Long, Xin Li, Li Shen, Zhouyu Fu, Xiangjun Zhou, Xu Jiang

Pubblicato 2026-06-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yangyang Wang, Jiawei Gu, Li Long, Xin Li, Li Shen, Zhouyu Fu, Xiangjun Zhou, Xu Jiang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire un chiosco di limonata molto affollato. Vuoi sapere esattamente quante tazze la gente vuole comprare per poter preparare la quantità perfetta di limonata. Se ne fai troppa, diventa acerba (spreco); se ne fai troppo poca, perdi vendite.

Il problema è che il tuo registro delle vendite è un bugiardo.

Il Problee: L'illusione della "Tazza Vuota"

Nel mondo del cibo fresco (come fragole, pesce o latte), i negozi spesso rimangono senza scorte. Supponiamo che tu abbia 100 clienti che vogliono le fragole, ma tu ne hai solo 50. Ti esaurisci entro le 11:00 del mattino.

Il tuo registro delle vendite per il resto della giornata dice: "0 vendite."

Ma non è vero! La domanda c'era ancora; semplicemente sei rimasto senza scorte. Questo è chiamato dato censurato. È come una telecamera che smette di registrare nel momento in cui la batteria si scarica. Se provi a imparare da questa telecamera rotta, penserai: "Oh, nessuno vuole le fragole dopo le 11:00", e ordinerai meno fragole il giorno successivo. Questo crea un ciclo vizioso in cui rimani costantemente senza scorte e perdi denaro.

La Soluzione: FreshRetailNet-LT

Gli autori di questo articolo hanno creato un nuovo dataset massiccio chiamato FreshRetailNet-LT per riparare questa telecamera rotta. Immaginalo come un "diario super dettagliato" per le vendite di cibo fresco.

Ecco cosa lo rende speciale, usando analogie semplici:

1. Il video in alta definizione rispetto al riassunto giornaliero
La maggior parte dei vecchi dataset sono come un riassunto giornaliero: "Vendute 50 mele oggi". Non ti dicono quando sei rimasto senza scorte.
Questo nuovo dataset è come un video in alta definizione registrato ogni ora. Ti mostra esattamente quando lo scaffale si è svuotato. Registra 20.000 storie di prodotti diversi da oltre 1.000 negozi in 18 città, nell'arco di due anni. Poiché traccia le cose ora per ora, può individuare che sei rimasto senza fragole alle 11:00, anche se non hai venduto nulla alle 14:00.

2. L'Etichetta della Verità (Truth Label)
Di solito, i computer devono indovinare se un negozio è rimasto senza scorte. Questo dataset arriva con "etichette di stockout verificate". È come avere un insegnante che mette una stella d'oro ogni volta che lo scaffale era effettivamente vuoto. Ciò consente ai ricercatori di insegnare ai computer la differenza tra "nessuno voleva il prodotto" (domanda zero reale) e "siamo rimasti senza scorte" (domanda censurata).

3. Gli Indizi di Contesto
Il dataset non si limita a contare le vendite; registra il "rapporto meteo" per le vendite. Include:

Promozioni: Avevamo un saldo del 50%? (Questo di solito causa un enorme picco nella domanda).
Meteo: Sta piovendo? (Le persone potrebbero comprare più verdure fresche per cucinare a casa).
Festività: È il Capodanno Cinese? (La gente compra cose diverse).

Come lo hanno testato: La correzione in due fasi

I ricercatori hanno utilizzato questo nuovo dataset per testare un metodo in due fasi per correggere il "registro delle vendite bugiardo":

Fase 1: Il lavoro del detective (Ricostruzione)
Per prima cosa, hanno usato le etichette con la "stella d'oro" per ricostruire le vendite mancanti. Se lo scaffale era vuoto alle 11:00, il modello stima quante persone avrebbero comprato le fragole se lo scaffale non fosse stato vuoto. È come riempire i fotogrammi mancanti di un film.
Fase 2: La palla di cristallo (Previsione)
In secondo luogo, hanno usato questa "verità ricostruita" per insegnare a un computer come prevedere la domanda futura.

I Risultati: Un quadro più chiaro

Quando hanno testato questo metodo, i risultati sono stati impressionanti:

Meno tentativi ed errori: Il computer ha smesso di sottostimare la domanda. Prima, sbagliava di circa il 6,7% (pensando che la gente volesse meno di quanto effettivamente desiderasse). Dopo l'uso di questo nuovo metodo, l'errore è sceso a quasi zero.
Maggiore accuratezza: L'accuratezza complessiva della previsione è migliorata dell' 1,63%. Nel mondo della vendita di milioni di dollari di cibo fresco, quella piccola percentuale risparmia un sacco di soldi e riduce gli sprechi.

Perché è importante

Questo articolo non riguarda solo la matematica; riguarda il riparare un sistema rotto. Fornendo un dataset che ammette "siamo rimasti senza scorte" e dice esattamente quando, aiuta i negozi a interrompere il ciclo di rimanere senza cibo fresco. Permette loro di ordinare la giusta quantità di prodotti deperibili, assicurando che, quando andate al negozio, le fragole siano effettivamente presenti.

Gli autori hanno reso questo "diario super dettagliato" e il loro codice disponibili per chiunque voglia usarli, sperando di aiutare sia gli scienziati che i proprietari di negozi a risolvere l'enigma della domanda di cibo fresco.

Sintesi Tecnica: FreshRetailNet-LT

Definizione del Problema

Una stima accurata della domanda è fondamentale per le politiche di inventario e di prezzo dei prodotti retail deperibili. Tuttavia, una sfida critica sorge dai dati di vendita censurati causati da eventi di esaurimento delle scorte (stockout). Quando un prodotto è esaurito, le vendite osservate scendono a zero, non perché la domanda sia cessata, ma perché l'offerta si è esaurita. Ciò crea un bias sistematico in cui i modelli di previsione addestrati sui dati di vendita grezzi apprendono a sottostimare la reale domanda latente. Questa sottostima perpetua un ciclo vizioso: previsioni scarse portano a scorte insufficienti, causando ulteriori stockout, che a loro volta corrompono ulteriormente le misurazioni della domanda.

I dataset retail pubblici esistenti (es. M5, Walmart, Favorita) non affrontano efficacemente questo problema a causa di due limitazioni primarie:

Mancanza di annotazioni di stockout: Non distinguono tra vera domanda zero e domanda zero causata dall'esaurimento dell'inventario, trattando tutte le vendite zero come osservazioni accurate della domanda.
Granularità temporale insufficiente: La maggior parte dei dataset aggrega i dati su intervalli giornalieri o settimanali. Ciò oscura i pattern di domanda intraday (es. picchi mattutini/serali) e diluisce la visibilità degli eventi di stockout, che sono spesso di breve durata ma critici per i beni deperibili.

Inoltre, i metodi standard di imputazione e previsione spesso assumono che i dati siano "Missing At Random" (MAR). Nel retail deperibile, gli stockout sono "Missing Not At Random" (MNAR), guidati da covariate strutturate come promozioni, meteo e ora del giorno, rendendo inefficaci gli approoli standard.

Metodologia

Il documento introduce FreshRetailNet-LT, un benchmark su larga scala progettato per facilitare la ricerca sul recupero della domanda latente e sulla previsione sotto censura. La metodologia è strutturata attorno a un framework a due stadi:

1. Costruzione del Dataset

FreshRetailNet-LT aggrega dati operativi multi-fonte da 1.057 negozi in 18 grandi città cinesi durante un periodo di due anni (giugno 2023 – luglio 2025).

Scala: Contiene oltre 20.000 serie temporali negozio-prodotto coprendo 576 SKU deperibili (verdure, carne, pesce, frutta, ecc.).
Risoluzione: Granularità oraria, catturando traiettorie di vendita dettagliate e lo stato delle scorte.
Annotazioni: Fornisce in modo unico etichette di stockout orarie verificate, distinguendo tra periodi di domanda zero genuina e periodi in cui la domanda è stata censurata a causa degli stockout.
Covariate: Include ricchi dati contestuali come tassi di sconto promozionale, precipitazioni, temperatura e festività ufficiali.

2. Approccio di Modellazione a Due Stadi

Gli autori propongono una pipeline per recuperare prima la domanda latente e poi prevederla:

Stadio 1: Recupero della Domanda Latente: L'obiettivo è ricostruire la domanda non osservata ( $d$ $d$ ) durante i periodi di stockout. Il modello prende come input le vendite osservate ( $y$ $y$ ), le covariate (promozioni, meteo, ecc.) e l'indicatore di stockout ( $s$ $s$ ). Stima la domanda mancante ( $\hat{d}$ $\hat{d}$ ) solo quando $s=0$ $s = 0$ (stockout), mantenendo le vendite osservate quando $s=1$ $s = 1$ .
- Baseline testate: Modelli a multi-periodicità (TimesNet), imputazione basata su attenzione (SAITS, ImputeFormer, iTransformer), generatori consapevoli dell'incertezza (GPVAE) e baseline interpretabili (DLinear).
Stadio 2: Previsione Robusta alla Censura: La serie di domanda recuperata viene aggregata a livello giornaliero per creare un set di addestramento de-biased. Questi dati vengono poi utilizzati per addestrare modelli di previsione per un orizzonte di 7 giorni.
- Baseline testate: Similar Scenario Average (SSA), Temporal Fusion Transformer (TFT), DLinear e il foundation model Chronos2 (zero-shot e LoRA fine-tuned).

Contributi Chiave

Il documento rivendica tre contributi primari:

Annotazioni Verificate di Eventi di Stockout: È il primo benchmark open-source che fornisce etichette di stockout orarie verificate. Ciò consente ai ricercatori di distinguere direttamente tra domanda zero reale e domanda zero limitata dall'offerta, una capacità che precedentemente richiedeva inferenze indirette.
Copertura Longitudinale Multi-Anno con Alta Granularità: Il dataset cattura sia le fluttuazioni intraday fini (es. picchi giornalieri bimodali) sia le dinamiche stagionali a lungo termine su due anni, affrontando il gap di risoluzione temporale dei dataset retail deperibili esistenti.
Covariate Multi-Modello: Integra in modo unico il meteo iper-locale, gli effetti delle festività e gli sconti promozionali, supportando la ricerca su catene di approvvigionamento resilienti al clima e pricing dinamico sotto vincoli di deperibilità.

Risultati Sperimentali

Gli autori hanno valutato il framework utilizzando il Weighted Absolute Percentage Error (WAPE) per l'accuratezza e il Weighted Percentage Error (WPE) per il bias, insieme a un Decoupling Score ( $\rho_{DS}$ ) per misurare la rimozione delle correlazioni spurie tra stockout e domanda.

Recupero della Domanda Latente:
- TimesNet ha raggiunto prestazioni state-of-the-art con un WAPE del 21,35% e un WPE del -8,00%.
- Crucialmente, TimesNet ha ottenuto un Decoupling Score di -0,04, significativamente più vicino allo zero rispetto ai dati di vendita grezzi (-0,60), indicando che ha eliminato con successo il legame artificiale tra stockout e soppressione della domanda.
- Modelli generativi come GPVAE hanno mostrato errori più elevati (48,55% WAPE), suggerendo che potrebbero eccessivamente smussare (over-smooth) i pattern di domanda volatili dei prodotti freschi.
Performance di Previsione:
- Utilizzando i dati di vendita grezzi, il modello TFT ha mostrato un bias di sottostima sistematica (WPE di -6,69%).
- Quando addestrato sulla domanda recuperata da TimesNet, il bias di TFT è stato ridotto quasi a zero (-0,13%) e il WAPE è migliorato dal 25,10% al 23,47%.
- Miglioramenti simili sono stati osservati in altri modelli (SSA, DLinear, Chronos2) utilizzando la domanda recuperata, confermando che la correzione del bias di censura migliora l'affidabilità della previsione.
- Chronos2 (un foundation model) ha beneficiato del recupero ma non ha eguagliato l'adattabilità di architetture specializzate come TFT, probabilmente a causa della mancanza di adattamento specifico al dominio per le complesse covariate retail.

Significato e Rivendicazioni

Il documento posiziona FreshRetailNet-LT come una risorsa cruciale per far avanzare la ricerca operativa nel retail deperibile. Il suo significato risiede nel:

Rompere il Ciclo di Censura: Fornendo annotazioni della verità di base (ground-truth) per gli stockout, permette lo sviluppo di modelli in grado di rompere il ciclo auto-rinforzante di sottostima della domanda e spreco di inventario.
Standardizzare i Benchmark: Stabilisce un benchmark mirato per la "previsione consapevole dell'inventario", affrontando i meccanismi MNAR specifici del retail di prodotti freschi che i dataset generalisti non colgono.
Abilitare l'Analisi Causale: La struttura del dataset supporta l'inferenza causale su come le perturbazioni promozionali, climatiche e operative interagiscano con i rischi di deperibilità.
Utilità Pratica: Gli autori affermano che il dataset fornisce soluzioni immediate per l'ottimizzazione dell'inventario e una piattaforma per la futura innovazione metodologica, colmando il divario tra la teoria del machine learning e i vincoli pratici delle catene di approvvigionamento di prodotti deperibili.

Il documento conclude che, sebbene il dataset affronti problemi di lunga data, rimangono sfide nel modellare gli SKU con distribuzione a coda lunga (long-tail) e nello sviluppare framework di ottimizzazione congiunta end-to-end, indicandoli come direzioni per la ricerca futura.