Designing a double deep reinforcement learning selection tool for resilient demand prediction

Résumé technique : Conception d'un outil de sélection par apprentissage par renforcement profond double pour la prévision résiliente de la demande

Énoncé du problème
L'article aborde le défi critique de la prévision de la demande dans la gestion de la chaîne d'approvisionnement, en particulier dans des environnements volatils caractérisés par des événements tels que la pandémie et les conflits régionaux. Bien que de nombreuses architectures de prévision par intelligence artificielle (IA) existent, aucune méthode unique ne performe systématiquement de manière optimale sur tous les ensembles de données en raison de caractéristiques de données variables telles que la saisonnalité, le bruit, la volatilité et l'intermittence. Les approches traditionnelles reposent souvent sur une sélection manuelle par des experts ou une optimisation statique des hyperparamètres, ce qui est chronophage, sujet aux erreurs et incapable de s'adapter aux changements en temps réel de la dynamique des données. De plus, les méthodes d'ensemble existantes ne réexaminent pas fréquemment la sélection de la solution appropriée, entraînant une accumulation d'erreurs au fil du temps. Le problème central est l'absence d'un mécanisme agile et automatisé pour sélectionner dynamiquement le modèle de prévision le plus adapté parmi un comité de candidats, en fonction de l'état spécifique des données à tout moment donné.

Méthodologie
Les auteurs proposent une architecture novatrice, CRFFNN-ARIRBES, qui fonctionne comme un agent d'apprentissage par renforcement profond double (DDRL) pour automatiser la sélection de modèles.

1. Agent d'apprentissage par renforcement profond double (DDRL) :

   • Le système utilise un cadre d'apprentissage Q (Q-learning) au sein d'un processus de décision de Markov (MDP) pour sélectionner un modèle de prévision parmi un « comité » de six candidats basés sur des réseaux de neurones (FFNN, LSTM, GRU, BiLSTM, CNN et un hybride CNN-LSTM).
   • Pour atténuer la surestimation des valeurs Q courante dans les réseaux Q profonds (Deep Q-Networks) standards, les auteurs emploient une architecture de Double Deep Q-Network (DDQN). Cela implique deux réseaux distincts : un réseau Q en ligne (mis à jour fréquemment) et un réseau Q cible (mis à jour périodiquement) pour fournir une référence stable pour la sélection d'actions.
   • Représentation de l'état : L'état ($s$) de l'agent est construit en concaténant la demande historique des 35 jours précédents ($d_{t-35} \dots d_{t-1}$) avec les sorties prévisionnelles des six membres du comité ($f_{t1} \dots f_{t6}$).
   • Action : L'action consiste à sélectionner un modèle de prévision spécifique parmi le comité pour générer la prévision finale pour l'instant présent.
   • Récompense : L'agent reçoit une récompense basée sur l'inverse de l'erreur quadratique moyenne (MSE) entre les valeurs réelles et prédites, formulée spécifiquement comme $1 / e^{MSE}$, afin de pénaliser davantage les grandes erreurs.

2. Architecture CRFFNN :

   • Au lieu d'un simple réseau feed-forward, le réseau Q utilise un Réseau de Neurones Feed-Forward Récurrent Convolutif (CRFFNN).
   • Couches convolutives : Extraient des caractéristiques spatiales des données d'entrée.
   • Couches récurrentes : Capturent les motifs temporels et les relations dépendantes du temps au sein des données séquentielles.
   • Couches feed-forward : Consolident les caractéristiques extraites pour les mapper vers la sortie attendue (valeurs Q pour chaque action).
   • Cette architecture hybride permet à l'agent de mieux comprendre les caractéristiques spatiales et temporelles complexes de l'état de l'environnement.

3. Arrêt anticipé basé sur le taux d'amélioration de la récompense moyenne (ARIRBES) :

   • Pour faire face à l'intensité computationnelle et aux longs temps d'entraînement associés à l'apprentissage par renforcement, un mécanisme d'arrêt anticipé novateur est introduit.
   • Cette méthode lisse le signal de récompense en utilisant une moyenne mobile. L'entraînement s'arrête si la récompense moyenne actuelle ne dépasse pas la meilleure récompense moyenne historique d'un seuil spécifique de Taux d'Amélioration (IR) au sein d'une fenêtre de « patience » définie. Cela empêche le surapprentissage et réduit considérablement la durée d'entraînement.

Contributions clés

1. DDRL pour la sélection dynamique de modèles : L'introduction d'une architecture d'apprentissage par renforcement profond double qui sélectionne dynamiquement des modèles de prévision en temps réel, en utilisant un CRFFNN pour traiter à la fois la demande historique et les prévisions du comité afin de prendre des décisions éclairées.
2. ARIRBES : La proposition d'une technique d'arrêt anticipé novatrice basée sur le taux d'amélioration des récompenses moyennes, conçue pour accélérer le temps d'entraînement sans sacrifier les performances.
3. Validation empirique : Une évaluation rigoureuse de l'approche proposée par rapport à un comité de prévision et à quatre stratégies de sélection automatique de modèles (Moyenne d'ensemble, Médiane, Empilement et FFNN-DDQL) utilisant deux ensembles de données distincts.

Résultats expérimentaux
L'étude a été évaluée sur deux ensembles de données : un ensemble de données public de ventes d'épicerie de la Corporación Favorita et un ensemble de données privé de demande de snacks d'un client (tous deux avec un horizon de prévision de 28 jours).

• Métriques de performance : Les modèles ont été évalués à l'aide de l'erreur absolue moyenne symétrique (SMAPE) et de l'erreur absolue moyenne mise à l'échelle (MASE).
• Précision : La méthode proposée CRFFNN-ARIRBES a obtenu le SMAPE moyen et le MASE moyen les plus bas sur les deux ensembles de données par rapport aux modèles individuels (FFNN, LSTM, GRU, etc.) et aux autres stratégies de sélection (Empilement, FFNN-DDQL).
  • Ensemble de données Favorita : A obtenu un SMAPE moyen de 37,03 et un MASE moyen de 1,79.
  • Ensemble de données Snacks : A obtenu un SMAPE moyen de 48,52 et un MASE moyen de 1,49.
• Stabilité : La méthode proposée a démontré une stabilité supérieure, attestée par l'écart-type le plus faible des métriques d'erreur et des distributions d'erreur étroites dans les diagrammes en violon à travers 10 initialisations aléatoires différentes des poids.
• Efficacité : Le mécanisme d'arrêt anticipé ARIRBES a considérablement réduit le temps d'entraînement. Pour l'ensemble de données Favorita, le temps d'entraînement est passé d'environ 19 841 secondes (sans arrêt anticipé) à environ 5 120 secondes. Pour l'ensemble de données Snacks, il est passé d'environ 10 190 secondes à environ 2 635 secondes, tout en maintenant ou en améliorant légèrement la précision des prévisions.

Signification et affirmations
L'article affirme que la solution proposée offre une approche robuste et efficace au problème « aucun modèle unique ne convient à tous » dans la prévision de la demande. En tirant parti de l'adaptabilité de l'apprentissage par renforcement et des capacités d'extraction de caractéristiques de l'apprentissage profond (CNN/RNN), le système peut s'adapter continuellement aux changements de la dynamique des données. Les auteurs affirment que leur méthode surpasse les méthodes de sélection statique et d'ensemble de pointe en termes de précision et de stabilité.

L'étude conclut que, bien que l'approche soit intensive sur le plan computationnel en raison de la nécessité d'exécuter l'ensemble du comité pendant l'entraînement et l'inférence, l'introduction de la stratégie ARIRBES rend le processus d'entraînement considérablement plus réalisable. Les auteurs notent modestement que les travaux futurs pourraient impliquer l'intégration de variables macroéconomiques, la segmentation des ensembles de données en sous-groupes plus homogènes, et l'optimisation supplémentaire du coût computationnel pour les applications industrielles à grande échelle.