Designing a double deep reinforcement learning selection tool for resilient demand prediction

Sintesi Tecnica: Progettazione di uno Strumento di Selezione per la Previsione della Domanda Resiliente basato su Apprendimento per Rinforzo Doppio Profondo

Enunciato del Problema
Il documento affronta la sfida critica della previsione della domanda nella gestione della catena di approvvigionamento, in particolare in ambienti volatili caratterizzati da eventi come la pandemia e i conflitti regionali. Sebbene esistano numerose architetture di previsione basate sull'intelligenza artificiale (AI), nessun singolo metodo performa costantemente in modo ottimale su tutti i dataset a causa delle diverse caratteristiche dei dati, quali stagionalità, rumore, volatilità e intermittenza. Gli approcci tradizionali si basano spesso sulla selezione manuale da parte di esperti o sull'ottimizzazione statica degli iperparametri, processi che richiedono tempo, sono soggetti a errori e non riescono ad adattarsi agli spostamenti in tempo reale delle dinamiche dei dati. Inoltre, i metodi di ensemble esistenti potrebbero non rivedere frequentemente la selezione della soluzione appropriata, portando ad un accumulo di errori nel tempo. Il problema centrale è la mancanza di un meccanismo agile e automatizzato per selezionare dinamicamente il modello di previsione più adatto da un comitato di candidati, basandosi sullo stato specifico dei dati in qualsiasi momento.

Metodologia
Gli autori propongono una nuova architettura, CRFFNN-ARIRBES, che funge da agente di apprendimento per rinforzo doppio profondo (DDRL) per automatizzare la selezione del modello.

1. Agente di Apprendimento per Rinforzo Doppio Profondo (DDRL):

   • Il sistema utilizza un framework Q-learning all'interno di un Processo Decisionale di Markov (MDP) per selezionare un modello di previsione da un "comitato" di sei candidati basati su reti neurali (FFNN, LSTM, GRU, BiLSTM, CNN e un ibrido CNN-LSTM).
   • Per mitigare la sovrastima dei valori Q comune nelle Deep Q-Network standard, gli autori impiegano un'architettura Double Deep Q-Network (DDQN). Ciò comporta l'uso di due reti separate: una Online Q-network (aggiornata frequentemente) e una Target Q-network (aggiornata periodicamente) per fornire un riferimento stabile per la selezione delle azioni.
   • Rappresentazione dello Stato: Lo stato ($s$) dell'agente è costruito concatenando la domanda storica dei 35 giorni precedenti ($d_{t-35} \dots d_{t-1}$) con gli output previsti di tutti e sei i membri del comitato ($f_{t1} \dots f_{t6}$).
   • Azione: L'azione consiste nel selezionare un modello di previsione specifico dal comitato per generare la previsione finale per l'istante temporale corrente.
   • Ricompensa: L'agente riceve una ricompensa basata sull'inverso dell'Errore Quadratico Medio (MSE) tra i valori effettivi e quelli previsti, specificamente formulata come $1 / e^{MSE}$, per penalizzare più severamente gli errori di grandi dimensioni.

2. Architettura CRFFNN:

   • Invece di una semplice rete feedforward, la Q-network utilizza una Rete Neurale Feed-Forward Ricorrente con Convoluzione (CRFFNN).
   • Livelli Convoluzionali: Estraggono caratteristiche spaziali dai dati di input.
   • Livelli Ricorrenti: Catturano pattern temporali e relazioni dipendenti dal tempo all'interno dei dati sequenziali.
   • Livelli Feed-Forward: Consolidano le caratteristiche estratte per mapparle sull'output atteso (valori Q per ogni azione).
   • Questa architettura ibrida permette all'agente di comprendere meglio le complesse caratteristiche spaziali e temporali dello stato dell'ambiente.

3. Arresto Anticipato Basato sul Tasso di Miglioramento della Ricompensa Media (ARIRBES):

   • Per affrontare l'intensità computazionale e i lunghi tempi di addestramento associati all'apprendimento per rinforzo, viene introdotto un nuovo meccanismo di arresto anticipato.
   • Questo metodo smussa il segnale di ricompensa utilizzando una media mobile. L'addestramento si interrompe se la ricompensa media corrente non supera la migliore ricompensa media storica di una specifica soglia Tasso di Miglioramento (IR) entro una finestra di "pazienza" definita. Ciò previene l'overfitting e riduce significativamente la durata dell'addestramento.

Contributi Chiave

1. DDRL per la Selezione Dinamica dei Modelli: L'introduzione di un'architettura di apprendimento per rinforzo doppio profondo che seleziona dinamicamente i modelli di previsione in tempo reale, utilizzando una CRFFNN per elaborare sia la domanda storica che le previsioni del comitato per un processo decisionale informato.
2. ARIRBES: La proposta di una nuova tecnica di arresto anticipato basata sul tasso di miglioramento delle ricompense medie, progettata per accelerare i tempi di addestramento senza sacrificare le prestazioni.
3. Validazione Empirica: Una valutazione rigorosa dell'approccio proposto rispetto a un comitato di previsione e a quattro strategie di selezione automatica dei modelli (Media dell'Ensemble, Mediana, Stacking e FFNN-DDQL) utilizzando due dataset distinti.

Risultati Sperimentali
Lo studio è stato valutato su due dataset: un dataset pubblico delle vendite di alimentari della Corporación Favorita e un dataset privato della domanda di snack di un cliente (entrambi con un orizzonte di previsione di 28 giorni).

• Metriche di Prestazione: I modelli sono stati valutati utilizzando l'Errore Percentuale Assoluto Simmetrico Medio (SMAPE) e l'Errore Assoluto Scalato Medio (MASE).
• Accuratezza: Il metodo proposto CRFFNN-ARIRBES ha ottenuto il SMAPE Medio e il MASE Medio più bassi su entrambi i dataset rispetto ai modelli singoli (FFNN, LSTM, GRU, ecc.) e ad altre strategie di selezione (Stacking, FFNN-DDQL).
  • Dataset Favorita: Ha ottenuto un SMAPE Medio di 37,03 e un MASE Medio di 1,79.
  • Dataset Snack: Ha ottenuto un SMAPE Medio di 48,52 e un MASE Medio di 1,49.
• Stabilità: Il metodo proposto ha dimostrato una stabilità superiore, evidenziata dalla deviazione standard più bassa nelle metriche di errore e da distribuzioni di errore ristrette nei grafici a violino attraverso 10 diverse inizializzazioni casuali dei pesi.
• Efficienza: Il meccanismo di arresto anticipato ARIRBES ha ridotto drasticamente i tempi di addestramento. Per il dataset Favorita, il tempo di addestramento è sceso da ~19.841 secondi (senza arresto anticipato) a ~5.120 secondi. Per il dataset snack, è sceso da ~10.190 secondi a ~2.635 secondi, mantenendo o migliorando leggermente l'accuratezza della previsione.

Significato e Affermazioni
Il documento afferma che la soluzione proposta offre un approccio robusto ed efficace al problema "nessun singolo modello va bene per tutti" nella previsione della domanda. Sfruttando l'adattabilità dell'apprendimento per rinforzo e le capacità di estrazione delle caratteristiche dell'apprendimento profondo (CNN/RNN), il sistema può adattarsi continuamente alle dinamiche dei dati in cambiamento. Gli autori affermano che il loro metodo supera i metodi di selezione statica e di ensemble all'avanguardia sia in termini di accuratezza che di stabilità.

Lo studio conclude che, sebbene l'approccio sia computazionalmente intensivo a causa della necessità di eseguire l'intero comitato durante l'addestramento e l'inferenza, l'introduzione della strategia ARIRBES rende il processo di addestramento significativamente più fattibile. Gli autori notano con modestia che il lavoro futuro potrebbe coinvolgere l'integrazione di variabili macroeconomiche, la segmentazione dei dataset in sottogruppi più omogenei e l'ulteriore ottimizzazione dei costi computazionali per applicazioni industriali su larga scala.