Designing a double deep reinforcement learning selection tool for resilient demand prediction

Technische Samenvatting: Ontwerp van een Double Deep Reinforcement Learning-selectietool voor veerkrachtige vraagvoorspelling

Probleemstelling
Het artikel adresseert de kritieke uitdaging van vraagprognoses in supply chain management, met name in volatiele omgevingen die worden gekenmerkt door gebeurtenissen zoals de pandemie en regionale conflicten. Hoewel er talloze kunstmatige intelligentie (AI)-prognosearchitecturen bestaan, presteert geen enkele methode consequent optimaal over alle datasets heen vanwege variërende data-eigenschappen zoals seizoensinvloeden, ruis, volatiliteit en intermittentie. Traditionele benaderingen vertrouwen vaak op handmatige selectie door experts of statische optimalisatie van hyperparameters, wat tijdrovend is, foutgevoelig en faalt in het aanpassen aan real-time verschuivingen in datadynamiek. Bovendien kunnen bestaande ensemble-methoden de selectie van de geschikte oplossing niet frequent herzien, wat leidt tot cumulerende fouten in de loop van de tijd. Het kernprobleem is het ontbreken van een wendbaar, geautomatiseerd mechanisme om dynamisch het meest geschikte prognosemodel te selecteren uit een comité van kandidaten, gebaseerd op de specifieke staat van de data op elk willekeurig moment.

Methodologie
De auteurs stellen een nieuwe architectuur voor, CRFFNN-ARIRBES, die fungeert als een double deep reinforcement learning (DDRL)-agent om modelselectie te automatiseren.

1. Double Deep Reinforcement Learning (DDRL)-agent:

   • Het systeem maakt gebruik van een Q-learning-kader binnen een Markov Decision Process (MDP) om een prognosemodel te selecteren uit een "comité" van zes op neurale netwerken gebaseerde kandidaten (FFNN, LSTM, GRU, BiLSTM, CNN en een CNN-LSTM-hybride).
   • Om de overschatting van Q-waarden, die vaak voorkomt bij standaard Deep Q-Networks, te mitigeren, hanteren de auteurs een Double Deep Q-Network (DDQN)-architectuur. Dit omvat twee aparte netwerken: een Online Q-netwerk (frequent bijgewerkt) en een Target Q-netwerk (periodiek bijgewerkt) om een stabiele referentie te bieden voor actiekeuze.
   • Staatrepresentatie: De staat ($s$) van de agent wordt geconstrueerd door de historische vraag van de vorige 35 dagen ($d_{t-35} \dots d_{t-1}$) te concateneren met de voorspelde outputs van alle zes comitéleden ($f_{t1} \dots f_{t6}$).
   • Actie: De actie bestaat uit het selecteren van één specifiek prognosemodel uit het comité om de uiteindelijke voorspelling voor de huidige tijdstap te genereren.
   • Beloning: De agent ontvangt een beloning gebaseerd op het omgekeerde van de Mean Squared Error (MSE) tussen de werkelijke en voorspelde waarden, specifiek geformuleerd als $1 / e^{MSE}$, om grote fouten zwaarder te straffen.

2. CRFFNN-architectuur:

   • In plaats van een eenvoudig feedforward-netwerk maakt het Q-netwerk gebruik van een Convolutional Recurrent Feed-Forward Neural Network (CRFFNN).
   • Convolutionele lagen: Extraheren ruimtelijke kenmerken uit de invoerdata.
   • Recurrente lagen: Vangen temporele patronen en tijd-afhankelijke relaties binnen de sequentiële data op.
   • Feed-forward lagen: Consolideren de geëxtraheerde kenmerken om deze te mappen naar de verwachte output (Q-waarden voor elke actie).
   • Deze hybride architectuur stelt de agent in staat om de complexe ruimtelijke en temporele kenmerken van de omgevingsstaat beter te begrijpen.

3. Average Reward Improvement Rate Based Early Stopping (ARIRBES):

   • Om de rekenintensiteit en lange trainingtijden die gepaard gaan met reinforcement learning aan te pakken, wordt een nieuw early-stopping-mechanisme geïntroduceerd.
   • Deze methode gladde het beloningssignaal met een voortschrijdend gemiddelde. De training stopt als het huidige gemiddelde de beste historische gemiddelde beloning niet overschrijdt met een specifieke Improvement Rate (IR)-drempel binnen een gedefinieerd "geduld"-venster. Dit voorkomt overfitting en verkort de trainingsduur aanzienlijk.

Belangrijkste bijdragen

1. DDRL voor dynamische modelselectie: De introductie van een double deep reinforcement learning-architectuur die prognosemodellen in real-time dynamisch selecteert, waarbij gebruik wordt gemaakt van een CRFFNN om zowel historische vraag als comitévoorspellingen te verwerken voor onderbouwde besluitvorming.
2. ARIRBES: De voorstellen van een nieuwe early-stopping-techniek gebaseerd op de verbeteringssnelheid van gemiddelde beloningen, ontworpen om de trainingsduur te versnellen zonder prestaties in te leveren.
3. Empirische validatie: Een rigoureuze evaluatie van de voorgestelde aanpak tegenover een prognosecomité en vier automatische modelselectiestrategieën (Ensemble Averaging, Median, Stacking en FFNN-DDQL) met behulp van twee verschillende datasets.

Experimentele resultaten
De studie werd geëvalueerd op twee datasets: een openbare Corporación Favorita supermarktwinkelverkoopdataset en een private klant-snackvraagdataset (beide met een prognosehorizon van 28 dagen).

• Prestatiemetrics: De modellen werden beoordeeld met Symmetric Mean Absolute Percentage Error (SMAPE) en Mean Absolute Scaled Error (MASE).
• Nauwkeurigheid: De voorgestelde CRFFNN-ARIRBES-methode behaalde de laagste gemiddelde SMAPE en gemiddelde MASE op beide datasets in vergelijking met individuele modellen (FFNN, LSTM, GRU, enz.) en andere selectiestrategieën (Stacking, FFNN-DDQL).
  • Favorita-dataset: Behaalde een gemiddelde SMAPE van 37,03 en een gemiddelde MASE van 1,79.
  • Snack-dataset: Behaalde een gemiddelde SMAPE van 48,52 en een gemiddelde MASE van 1,49.
• Stabiliteit: De voorgestelde methode toonde superieure stabiliteit, bewezen door de laagste standaardafwijking in foutmetrieken en smalle foutverdelingen in vioolplots over 10 verschillende random gewichtsinitialisaties.
• Efficiëntie: Het ARIRBES early-stopping-mechanisme verkortte de trainingsduur drastisch. Voor de Favorita-dataset daalde de trainingsduur van ~19.841 seconden (zonder early stopping) naar ~5.120 seconden. Voor de snack-dataset werd deze gereduceerd van ~10.190 seconden naar ~2.635 seconden, terwijl de prognosenauwkeurigheid behouden bleef of licht verbeterde.

Betekenis en claims
Het artikel beweert dat de voorgestelde oplossing een robuuste en effectieve aanpak biedt voor het "geen enkel model past voor iedereen"-probleem in vraagprognoses. Door gebruik te maken van de aanpasbaarheid van reinforcement learning en de kenmerkextractiecapaciteiten van deep learning (CNN/RNN), kan het systeem zich continu aanpassen aan veranderende datadynamiek. De auteurs stellen dat hun methode zowel qua nauwkeurigheid als stabiliteit beter presteert dan geavanceerde statische selectie- en ensemble-methoden.

De studie concludeert dat, hoewel de aanpak rekenintensief is vanwege de noodzaak om het volledige comité tijdens training en inferentie te draaien, de introductie van de ARIRBES-strategie het trainingsproces aanzienlijk haalbaarder maakt. De auteurs merken bescheiden op dat toekomstig werk zou kunnen bestaan uit het integreren van macro-economische variabelen, het segmenteren van datasets in homogene subgroepen en het verder optimaliseren van de rekenkosten voor grootschalige industriële toepassingen.