Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting

Cette étude démontre que, pour la prévision des ventes au détail caractérisée par une demande intermittente et des données manquantes, les méthodes d'ensemble basées sur des arbres de décision comme XGBoost surpassent les architectures d'apprentissage profond, suggérant que l'adéquation aux spécificités du problème prime sur la sophistication architecturale.

L'essentiel

Voici une explication simple et imagée de cette étude, comme si nous en discutions autour d'un café.

🛒 Le Défi : Prévoir les ventes d'un magasin physique

Imaginez que vous êtes le directeur d'une grande chaîne de supermarchés. Votre plus grand cauchemar ? Avoir trop de produits (qui s'abîment et coûtent de l'argent) ou pas assez (et voir les clients partir les mains vides). Pour éviter cela, vous devez prévoir exactement combien de produits vous vendrez la semaine prochaine.

Mais prédire les ventes dans un magasin physique, c'est comme essayer de deviner la météo dans une ville où il pleut parfois, fait soleil, et où les gens achètent des parapluies seulement s'ils en ont besoin ce jour-là. C'est chaotique :

• Parfois, un produit ne se vend pas du tout pendant des semaines (demande intermittente).
• Parfois, les données manquent (on ne sait pas si le produit était en rupture de stock ou s'il n'y avait tout simplement pas de clients).
• Les promotions changent tout le temps.

🧠 La Grande Question : Quelle "recette" utiliser pour prédire ?

Les chercheurs de ce papier ont voulu tester trois types de "cuisiniers" (modèles d'intelligence artificielle) pour voir qui fait le meilleur plat de prédiction :

1. Les Anciens (Statistiques classiques) : Comme des recettes de grand-mère, simples et éprouvées, mais qui peinent avec les nouvelles complexités.
2. Les Arbres de Décision (XGBoost, LightGBM) : Imaginez une équipe de détectives très méthodiques. Ils posent des milliers de questions simples ("Est-ce qu'il y a une promo ?", "Est-ce un jour de pension ?", "Quel est le prix ?") pour prendre une décision. C'est très efficace et rapide.
3. Les Réseaux de Neurones (Deep Learning) : Imaginez un génie surdoué capable de voir des motifs invisibles dans des montagnes de données. C'est la technologie de pointe, souvent utilisée par les géants d'Amazon ou Zalando.

🏆 Le Résultat : Qui gagne le concours ?

Dans le contexte spécifique des magasins physiques (avec leurs petits rayons, leurs ruptures de stock et leurs clients imprévisibles), le résultat est sans appel :

🥇 Les vainqueurs sont les "Détectives" (XGBoost et LightGBM).
Ils ont gagné avec une précision incroyable (une erreur moyenne de seulement 4,8 unités). Ils sont rapides, robustes et gèrent parfaitement les données "sales" ou manquantes.

🥈 Les perdants sont le "Génie" (Deep Learning).
C'est surprenant, non ? Les modèles les plus complexes (comme les Transformers) ont eu du mal. Pourquoi ?

• L'analogie du "Génie perdu" : Imaginez un chef étoilé (le réseau de neurones) qui doit cuisiner dans une cuisine de camping avec des ingrédients manquants et des recettes incomplètes. Il a besoin de beaucoup de données parfaites pour briller. Dans un magasin physique, les données sont souvent "cassées" ou rares. Le chef se trompe alors plus souvent que le détective méthodique qui s'adapte à la situation.
• Le problème de l'imputation (remplir les trous) : Les chercheurs ont essayé de "réparer" les données manquantes avec une technique avancée (SAITS). Pour les réseaux de neurones, cela a aidé un peu, mais pour les détectives (LightGBM), cela a parfois créé de la confusion et dégradé leurs performances. C'est comme si on avait donné de fausses informations à un détective : il a fait une erreur de jugement.

💡 La Leçon Principale : "Le bon outil pour le bon travail"

L'étude nous apprend une chose fondamentale : La complexité n'est pas toujours synonyme de meilleure performance.

• Si vous travaillez pour un géant du e-commerce (comme Amazon) avec des millions de ventes continues et lisses, les "Génies" (Deep Learning) sont excellents.
• Mais si vous gérez un réseau de magasins physiques avec des produits qui se vendent par intermittence, des promotions locales et des données incomplètes, les modèles plus simples et robustes (les arbres de décision) sont bien supérieurs.

🚀 En résumé pour vous

Ne cherchez pas toujours la technologie la plus chère ou la plus complexe. Parfois, la solution la plus intelligente est d'utiliser un outil simple, bien réglé, qui comprend parfaitement les réalités du terrain (comme les ruptures de stock ou les jours de pluie).

Dans ce cas précis, pour un magasin physique, XGBoost (le détective) est le meilleur allié pour gérer les stocks et faire des économies, tandis que les modèles de type "Deep Learning" (le génie) sont trop fragiles face au chaos du monde réel.

Résumé technique

Voici un résumé technique détaillé de l'article « Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting » (Analyse comparative des modèles d'apprentissage automatique modernes pour la prévision des ventes au détail), rédigé en français.

1. Problématique et Contexte

La prévision précise de la demande est cruciale pour les détaillants physiques (brick-and-mortar) afin d'optimiser la gestion des stocks et de minimiser les coûts. Cependant, ce secteur fait face à des défis spécifiques qui rendent la prévision difficile :

• Demande intermittente : De nombreux produits ont des jours de vente nuls (99,98 % des séries temporelles dans l'étude contiennent au moins un jour sans vente).
• Données manquantes et bruitées : Présence de valeurs manquantes (20,93 %) et d'irrégularités dues aux changements d'assortiment, aux ruptures de stock et aux variations locales.
• Turnover élevé : Rotation fréquente des produits et variabilité au niveau de chaque magasin.

L'objectif de l'étude est de déterminer si les architectures de deep learning modernes (réseaux de neurones) surpassent les méthodes statistiques classiques et les ensembles d'arbres de décision (gradient boosting) dans ce contexte spécifique de commerce physique, en particulier pour une catégorie de produits d'hygiène sur un horizon de 26 semaines.

2. Méthodologie

Données

• Source : Données réelles d'un grand détaillant d'Europe du Sud-Est.
• Volume : 46 841 séries temporelles quotidiennes (niveau SKU-magasin).
• Caractéristiques : Données hiérarchiques (catégories, groupes, unités de besoin), forte intermittence, et présence de variables exogènes (prix, promotions, concurrents, indicateurs macroéconomiques).

Prétraitement et Ingénierie des Caractéristiques

• Nettoyage : Élimination des biais de rupture de stock (out-of-stock) et gestion des valeurs aberrantes.
• Imputation : Une expérience comparative a été menée pour évaluer l'impact de l'imputation des valeurs manquantes. Une méthode avancée basée sur le deep learning (SAITS) a été comparée à des méthodes simples (remplissage par zéro, interpolation linéaire, médiane par groupe).
• Fonctionnalités (Features) : Création de variables temporelles (lags, fenêtres glissantes), ajustement des prix à l'inflation (CPI), et intégration de données concurrentielles. Une séparation stricte a été faite entre les covariables "passées uniquement" et les "connues à l'avenir" pour éviter les fuites de données (data leakage).

Modèles Évalués

L'étude compare trois catégories de modèles :

1. Statistiques : Lissage exponentiel (ETS), Modèle Theta, Croston SBA.
2. Ensembles d'arbres (Tree-based) : LightGBM et XGBoost.
3. Deep Learning : N-BEATS, N-HiTS, et Temporal Fusion Transformer (TFT).

Stratégies d'Expérimentation

Les modèles ont été testés selon quatre configurations :

• Local vs Global : Entraînement d'un modèle par groupe de produits (local) vs un modèle unique pour toute la catégorie (global).
• Données brutes vs Imputées : Utilisation des données originales vs données traitées avec SAITS.
• Protocoles d'évaluation :
  • Arbres : Validation glissante (one-step-ahead).
  • Réseaux de neurones : Prévision directe multi-horizon (182 jours d'un coup), avec vérification via une validation glissante pour assurer l'équité.

3. Résultats Clés

Performance Prédictive

• Supériorité des Arbres de Décision : Les modèles basés sur le gradient boosting (XGBoost et LightGBM) ont systématiquement surpassé les réseaux de neurones et les méthodes statistiques.
  • XGBoost a obtenu les meilleurs résultats globaux avec un RMSE de 4,833 (Cas A : groupes individuels, données non imputées).
  • Les modèles statistiques (ETS, Theta) et les réseaux de neurones (N-BEATS, N-HiTS, TFT) ont affiché des erreurs significativement plus élevées (RMSE > 7,7 pour le TFT, > 12 pour les autres).
• Impact de l'Imputation (SAITS) :
  • L'imputation par SAITS a dégradé la performance de LightGBM dans le cadre local (le RMSE a bondi de 4,847 à 10,758), probablement à cause de la compression de la variance et de la modification des distributions introduites par l'imputation.
  • XGBoost a montré plus de résilience face à l'imputation.
  • Dans le cadre global (toute la catégorie), l'imputation a permis aux modèles de deep learning de devenir compétitifs, mais ils sont restés inférieurs aux ensembles d'arbres.

Biais et Comportement

• Les modèles ensemblistes (arbres) tendent à une légère sous-estimation (biais négatif).
• Les réseaux de neurones tendent à une surestimation systématique (biais positif), particulièrement marquée dans les configurations locales.

Efficacité Computationnelle

• Entraînement : Les méthodes d'ensemble sont considérablement plus rapides. XGBoost a nécessité 14,5 minutes d'entraînement au total, contre 4424 minutes (plus de 73 heures) pour le TFT.
• Ressources : Les modèles d'arbres sont beaucoup moins gourmands en mémoire et en puissance de calcul.

4. Contributions Principales

1. Guide Pratique pour les Praticiens : Fourniture d'un pipeline de modélisation complet (du prétraitement à l'entraînement) adapté aux contraintes du commerce physique.
2. Comparaison Empirique Rigoureuse : Analyse multidimensionnelle (architecture, portée locale/global, stratégies d'imputation) démontrant que la complexité architecturale ne garantit pas une meilleure performance dans des environnements de données fragmentés et intermittents.
3. Validation des Limites du Deep Learning : Démonstration que, contrairement aux résultats observés dans le commerce électronique (e-commerce) ou les compétitions comme M5, les modèles de deep learning (Transformers) ne surpassent pas les méthodes simples dans le contexte de la vente au détail physique fragmentée, surtout lorsque les données sont intermittentes.

5. Signification et Conclusion

L'étude conclut que pour la prévision des ventes en magasin (B&M), l'alignement du modèle avec les caractéristiques du problème est plus important que la sophistication architecturale.

• Recommandation : Les détaillants devraient privilégier les modèles d'arbres de décision localisés (XGBoost/LightGBM) entraînés sur des données non imputées ou soigneusement nettoyées. Cette approche offre un meilleur compromis entre précision, robustesse face aux données manquantes, et efficacité computationnelle.
• Limites du Deep Learning : Les architectures neuronales complexes semblent sensibles au bruit et aux irrégularités des données de vente physique, et ne bénéficient pas des "lois d'échelle" (scaling laws) observées dans les environnements de données massives et denses du e-commerce.
• Avenir : L'article suggère que les recherches futures devraient explorer des approches hybrides ou des méthodes d'imputation préservant mieux la structure sous-jacente des données, plutôt que de simplement augmenter la complexité des modèles.

En résumé, pour les détaillants physiques confrontés à des données intermittentes et fragmentées, la simplicité et la robustesse des ensembles d'arbres de décision l'emportent sur la complexité des réseaux de neurones profonds.