🤖 machine learning

FreshRetailNet-LT: A Stockout-Annotated Censored Demand Dataset for Latent Demand Recovery and Forecasting in Fresh Retail

Cet article présente FreshRetailNet-50K, le premier ensemble de données de référence à grande échelle comprenant 50 000 séries temporelles produit-magasin horaires avec des annotations précises de ruptures de stock, ce qui permet aux chercheurs de reconstruire la demande latente et d'améliorer considérablement la précision des prévisions pour les produits de détail périssables en corrigeant les biais systémiques causés par les données de ventes censurées.

Auteurs originaux : Yangyang Wang, Jiawei Gu, Li Long, Xin Li, Li Shen, Zhouyu Fu, Xiangjun Zhou, Xu Jiang

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yangyang Wang, Jiawei Gu, Li Long, Xin Li, Li Shen, Zhouyu Fu, Xiangjun Zhou, Xu Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous tenez un stand de limonade très fréquenté. Vous voulez savoir exactement combien de verres les gens veulent acheter afin de préparer la quantité parfaite de limonade. Si vous en faites trop, elle devient acide (gaspillage) ; si vous n'en faites pas assez, vous manquez des ventes.

Le problème, c'est que votre registre de ventes est un menteur.

Le Problème : L'Illusion du « Verre Vide »

Dans le monde des produits frais (comme les fraises, le poisson ou le lait), les magasins tombent souvent en rupture de stock. Disons que vous avez 100 clients qui veulent des fraises, mais que vous n'en avez que 50. Vous êtes en rupture de stock dès 11h00.

Votre registre de ventes pour le reste de la journée indique alors : « 0 vente. »

Mais ce n'est pas vrai ! La demande était toujours là ; vous étiez simplement en rupture de stock. C'est ce qu'on appelle des données censurées. C'est comme une caméra qui arrête d'enregistrer dès que la batterie est vide. Si vous essayez d'apprendre de cette caméra défectueuse, vous penserez : « Oh, personne ne veut de fraises après 11h00 », et vous en commanderez moins le lendemain. Cela crée un cercle vicieux où vous êtes constamment en rupture de stock et perdez de l'argent.

La Solution : FreshRetailNet-LT

Les auteurs de cet article ont créé un nouveau jeu de données massif appelé FreshRetailNet-LT pour réparer cette caméra défectueuse. Considérez cela comme un « journal ultra-détaillé » des ventes de produits frais.

Voici ce qui le rend spécial, en utilisant des analogies simples :

1. La Vidéo Haute Définition vs Le Résumé Quotidien
La plupart des anciens jeux de données sont comme un résumé quotidien : « 50 pommes vendues aujourd'hui. » Ils ne vous disent pas quand vous avez été en rupture de stock.
Ce nouveau jeu de données est comme une vidéo haute définition enregistrée chaque heure. Il vous montre exactement quand l'étagère s'est vidée. Il enregistre 20 000 histoires de produits différents provenant de plus de 1 000 magasins dans 18 villes, sur deux ans. Parce qu'il suit les choses heure par heure, il peut repérer que vous avez manqué de fraises à 11h00, même si vous n'avez rien vendu à 14h00.

2. L'Étiquette de « Vérité »
Habituellement, les ordinateurs doivent deviner si un magasin est en rupture de stock. Ce jeu de données propose des étiquettes de rupture de stock vérifiées. C'est comme avoir un professeur qui met une étoile dorée à chaque fois que l'étagère était réellement vide. Cela permet aux chercheurs d'apprendre aux ordinateurs la différence entre « personne ne voulait l'article » (demande nulle réelle) et « nous étions en rupture de stock » (demande censurée).

3. Les Indices de Contexte
Le jeu de données ne se contente pas de compter les ventes ; il enregistre le « rapport météo » des ventes. Il inclut :

Promotions : Avions-nous une promotion de -50 % ? (Cela provoque généralement un énorme pic de demande).
Météo : Pleut-il ? (Les gens pourraient acheter plus de légumes frais pour cuisiner à la maison).
Jours fériés : Est-ce le Nouvel An chinois ? (Les gens achètent des choses différentes).

Comment ils l'ont testé : La Correction en Deux Étapes

Les chercheurs ont utilisé ce nouveau jeu de données pour tester une méthode en deux étapes afin de corriger le « mensonge du registre de ventes » :

Étape 1 : Le Travail de Détective (Récupération)
D'abord, ils ont utilisé les étiquettes avec l'« étoile dorée » pour reconstruire les ventes manquantes. Si l'étagère était vide à 11h00, le modèle estime combien de personnes auraient acheté des fraises si l'étagère n'avait pas été vide. C'est comme reconstituer les images manquantes d'un film.
Étape 2 : La Boule de Cristal (Prévision)
Ensuite, ils ont utilisé cette « vérité reconstruite » pour apprendre à un ordinateur comment prédire la demande future.

Les Résultats : Une Image Plus Claire

Lorsqu'ils ont testé cette méthode, les résultats ont été impressionnants :

Moins de Suppositions : L'ordinateur a cessé de sous-estimer la demande. Avant, il se trompait d'environ 6,7 % (pensant que les gens voulaient moins que ce qu'ils voulaient réellement). Après l'utilisation de cette nouvelle méthode, l'erreur est tombée à presque zéro.
Meilleure Précision : La précision globale des prévisions s'est améliorée de 1,63 %. Dans le monde de la vente de millions de dollars de produits frais, ce petit pourcentage permet d'économiser beaucoup d'argent et de réduire le gaspillage.

Pourquoi cela compte

Cet article n'est pas seulement une question de mathématiques ; c'est une façon de réparer un système défaillant. En fournissant un jeu de données qui admet « nous sommes en rupture de stock » et qui indique précisément quand, il aide les magasins à ne plus tomber dans le cycle de la rupture de stock de produits frais. Cela leur permet de commander la bonne quantité de denrées périssables, garantissant que lorsque vous allez au magasin, les fraises sont bien présentes.

Les auteurs ont rendu ce « journal ultra-détaillé » et leur code disponibles pour que quiconque puisse les utiliser, dans l'espoir d'aider tant les scientifiques que les commerçants à résoudre l'énigme de la demande de produits frais.

Résumé Technique : FreshRetailNet-LT

Énoncé du Problème

Une estimation précise de la demande est fondamentale pour les politiques d'inventaire et de tarification des produits de détail périssables. Cependant, un défi critique surgit de l'existence de données de ventes censurées causées par des événements de rupture de stock. Lorsqu'un produit est en rupture de stock, les ventes observées chutent à zéro, non pas parce que la demande a cessé, mais parce que l'offre est épuisée. Cela crée un biais systématique où les modèles de prévision entraînés sur les données de ventes brutes apprennent à sous-estimer la véritable demande latente. Cette sous-estimation perpétue un cycle vicieux : de mauvaises prévisions mènent à un inventaire insuffisant, provoquant davantage de ruptures de stock, ce qui corrompt davantage la mesure de la demande.

Les jeux de données de vente au détail publics existants (ex. : M5, Walmart, Favorita) ne parviennent pas à traiter cela efficacement en raison de deux limitations primaires :

Absence d'annotations de rupture de stock : Ils ne distinguent pas la véritable demande nulle d'une demande nulle causée par l'épuisement des stocks, traitant toutes les ventes nulles comme des observations de demande exactes.
Granularité temporelle insuffisante : La plupart des jeux de données agrègent les données à des intervalles journaliers ou hebdomadaires. Cela occulte les modèles de demande intraday (ex. : pics matinaux/vespertins) et dilue la visibilité des événements de rupture de stock, qui sont souvent de courte durée mais critiques pour les produits périssables.

De plus, les méthodes standards d'imputation et de prévision supposent souvent que les données sont « manquantes de façon aléatoire » (MAR - Missing At Random). Dans le commerce de détail périssable, les ruptures de stock sont « manquantes de façon non aléatoire » (MNAR - Missing Not At Random), pilotées par des covariables structurées comme les promotions, la météo et l'heure de la journée, rendant les approches standards inefficaces.

Méthodologie

Le document présente FreshRetailNet-LT, un benchmark à grande échelle conçu pour faciliter la recherche sur la récupération de la demande latente et la prévision sous censure. La méthodologie est structurée autour d'un cadre à deux étapes :

1. Construction du Jeu de Données

FreshRetailNet-LT agrège des données opérationnelles multi-sources provenant de 1 057 magasins répartis dans 18 grandes villes chinoises sur une période de deux ans (juin 2023 – juillet 2025).

Échelle : Contient plus de 20 000 séries temporelles magasin-produit couvrant 576 SKU périssables (légumes, viande, fruits de mer, fruits, etc.).
Résolution : Granularité horaire, capturant les trajectoires de ventes détaillées et l'état des stocks.
Annotations : Fournit de manière unique des étiquettes de rupture de stock horaires vérifiées, distinguant les périodes de demande nulle réelle des périodes où la demande a été censurée en raison de ruptures de stock.
Covariables : Inclut des données contextuelles riches telles que les taux de remise promotionnelle, les précipitations, la température et les jours fériés légaux.

2. Approche de Modélisation à Deux Étapes

Les auteurs proposent un pipeline pour d'abord récupérer la demande latente, puis la prévoir :

Étape 1 : Récupération de la Demande Latente : L'objectif est de reconstruire la demande non observée ( $d$ $d$ ) pendant les périodes de rupture de stock. Le modèle prend en entrée les ventes observées ( $y$ $y$ ), les covariables (promotions, météo, etc.) et l'indicateur de rupture de stock ( $s$ $s$ ). Il estime la demande manquante ( $\hat{d}$ $\hat{d}$ ) uniquement lorsque $s=0$ $s = 0$ (rupture de stock), tout en conservant les ventes observées lorsque $s=1$ $s = 1$ .
- Baselines testés : Modèles de multi-périodicité (TimesNet), imputation basée sur l'attention (SAITS, ImputeFormer, iTransformer), générateurs sensibles à l'incertitude (GPVAE) et baselines interprétables (DLinear).
Étape 2 : Prévision Robuste à la Censure : La série de demande récupérée est agrégée au niveau quotidien pour créer un ensemble d'entraînement débiaisé. Ces données sont ensuite utilisées pour entraîner des modèles de prévision pour un horizon de 7 jours.
- Baselines testés : Similar Scenario Average (SSA), Temporal Fusion Transformer (TFT), DLinear, et le modèle de fondation Chronos2 (zero-shot et fine-tuning LoRA).

Principales Contributions

Le document revendique trois contributions principales :

Annotations d'Événements de Rupture de Stock Vérifiées : C'est le premier benchmark open-source fournissant des étiquettes de rupture de stock horaires vérifiées. Cela permet aux chercheurs de distinguer directement la demande nulle réelle de la demande contrainte par l'offre, une capacité qui nécessitait auparavant une inférence indirecte.
Couverture Longitudinale Multi-Annuelle avec Haute Granularité : Le jeu de données capture à la fois les fluctuations intraday fines (ex. : pics quotidiens bimodaux) et les dynamiques saisonnières à long terme sur deux ans, comblant ainsi l'écart de résolution temporelle des jeux de données de vente au détail périssable existants.
Covariables Multi-Modèles : Il intègre de manière unique la météo hyperlocale, les effets des jours fériés et les remises promotionnelles, soutenant la recherche sur les chaînes d'approvisionnement résilientes au climat et la tarification dynamique sous contraintes de péremption.

Résultats Expérimentaux

Les auteurs ont évalué le cadre en utilisant l'Erreur Absolue Pondérée (WAPE) pour la précision et l'Erreur Pondérée (WPE) pour le biais, ainsi qu'un Score de Découplage ( $\rho_{DS}$ ) pour mesurer l'élimination des corrélations spécieuses entre les ruptures de stock et la demande.

Récupération de la Demande Latente :
- TimesNet a atteint les performances de l'état de l'art avec un WAPE de 21,35 % et un WPE de -8,00 %.
- Crucialement, TimesNet a obtenu un Score de Découplage de -0,04, nettement plus proche de zéro que les données de ventes brutes (-0,60), indiquant qu'il a réussi à éliminer le lien artificiel entre les ruptures de stock et la suppression de la demande.
- Les modèles génératifs comme GPVAE ont montré des erreurs plus élevées (48,55 % WAPE), suggérant qu'ils peuvent trop lisser les modèles de demande volatiles des produits frais.
Performance de Prévision :
- En utilisant les données de ventes brutes, le modèle TFT a présenté un biais de sous-estimation systématique (WPE de -6,69 %).
- Lorsqu'il est entraîné sur la demande récupérée par TimesNet, le biais de TFT est devenu presque nul (-0,13 %), et le WAPE est passé de 25,10 % à 23,47 %.
- Des améliorations similaires ont été observées pour d'autres modèles (SSA, DLinear, Chronos2) lors de l'utilisation de la demande récupérée, confirmant que la correction du biais de censure améliore la fiabilité des prévisions.
- Chronos2 (un modèle de fondation) a bénéficié de la récupération mais n'a pas égalé l'adaptabilité d'architectures spécialisées comme TFT, probablement en raison d'un manque d'adaptation spécifique au domaine face aux covariables complexes de la vente au détail.

Signification et Revendications

Le document positionne FreshRetailNet-LT comme une ressource pivot pour faire progresser la recherche opérationnelle dans la vente de détail périssable. Sa signification réside dans :

Briser le Cycle de la Censure : En fournissant des annotations de vérité terrain pour les ruptures de stock, il permet le développement de modèles capables de briser le cycle auto-renforcé de la sous-estimation de la demande et du gaspillage d'inventaire.
Standardiser les Benchmarks : Il établit un benchmark ciblé pour la « prévision consciente de l'inventaire », abordant les mécanismes MNAR spécifiques trouvés dans la vente de produits frais que les jeux de données généralistes ignorent.
Permettre l'Analyse Causale : La structure du jeu de données permet l'inférence causale concernant la manière dont les perturbations promotionnelles, climatiques et opérationnelles interagissent avec les risques de péremption.
Utilité Pratique : Les auteurs affirment que le jeu de données offre des solutions immédiates pour l'optimisation des inventaires et constitue une plateforme pour l'innovation méthodologique future, comblant le fossé entre la théorie de l'apprentissage automatique et les contraintes pratiques des chaînes d'approvisionnement périssables.

Le document conclut que bien que le jeu de données réponde à des limitations de longue date, des défis subsistent, notamment pour modéliser les SKU à faible densité (sparse) et à longue traîne, ainsi que pour développer des cadres d'optimisation conjointe de bout en bout, désignant ces points comme des directions de recherche futures.