Designing a double deep reinforcement learning selection tool for resilient demand prediction

Resumen Técnico: Diseño de una Herramienta de Selección de Aprendizaje por Refuerzo Profundo Doble para la Predicción de Demanda Resiliente

Enunciado del Problema
El artículo aborda el desafío crítico de la previsión de la demanda en la gestión de la cadena de suministro, particularmente en entornos volátiles caracterizados por eventos como la pandemia y conflictos regionales. Si bien existen numerosas arquitecturas de pronóstico basadas en inteligencia artificial (IA), ningún método único rinde de manera óptima de forma consistente en todos los conjuntos de datos debido a las variadas características de los datos, como la estacionalidad, el ruido, la volatilidad y la intermitencia. Los enfoques tradicionales suelen depender de la selección manual por expertos o de la optimización estática de hiperparámetros, lo cual consume tiempo, es propenso a errores y no logra adaptarse a los cambios en tiempo real de la dinámica de los datos. Además, los métodos de conjunto existentes pueden no revisar frecuentemente la selección de la solución adecuada, lo que conduce a la acumulación de errores con el tiempo. El problema central es la falta de un mecanismo ágil y automatizado para seleccionar dinámicamente el modelo de pronóstico más adecuado de un comité de candidatos, basándose en el estado específico de los datos en cualquier momento dado.

Metodología
Los autores proponen una arquitectura novedosa, CRFFNN-ARIRBES, que funciona como un agente de aprendizaje por refuerzo profundo doble (DDRL) para automatizar la selección de modelos.

1. Agente de Aprendizaje por Refuerzo Profundo Doble (DDRL):

   • El sistema utiliza un marco de aprendizaje Q dentro de un Proceso de Decisión de Markov (MDP) para seleccionar un modelo de pronóstico de un "comité" de seis candidatos basados en redes neuronales (FFNN, LSTM, GRU, BiLSTM, CNN y un híbrido CNN-LSTM).
   • Para mitigar la sobreestimación de los valores Q común en las Redes Q Profundas (DQN) estándar, los autores emplean una arquitectura de Red Q Doble (DDQN). Esto implica dos redes separadas: una Red Q en Línea (actualizada frecuentemente) y una Red Q Objetivo (actualizada periódicamente) para proporcionar una referencia estable para la selección de acciones.
   • Representación del Estado: El estado del agente ($s$) se construye concatenando la demanda histórica de los 35 días anteriores ($d_{t-35} \dots d_{t-1}$) con las salidas pronosticadas de los seis miembros del comité ($f_{t1} \dots f_{t6}$).
   • Acción: La acción consiste en seleccionar un modelo de pronóstico específico del comité para generar la predicción final para el paso de tiempo actual.
   • Recompensa: El agente recibe una recompensa basada en el inverso del Error Cuadrático Medio (MSE) entre los valores reales y los predichos, formulada específicamente como $1 / e^{MSE}$, para penalizar más severamente los errores grandes.

2. Arquitectura CRFFNN:

   • En lugar de una red de alimentación directa simple, la Red Q utiliza una Red Neuronal de Alimentación Directa Recurrente Convolucional (CRFFNN).
   • Capas Convolucionales: Extraen características espaciales de los datos de entrada.
   • Capas Recurrentes: Capturan patrones temporales y relaciones dependientes del tiempo dentro de los datos secuenciales.
   • Capas de Alimentación Directa: Consolidan las características extraídas para mapearlas a la salida esperada (valores Q para cada acción).
   • Esta arquitectura híbrida permite que el agente comprenda mejor las características espaciales y temporales complejas del estado del entorno.

3. Parada Temprana Basada en la Tasa de Mejora de la Recompensa Promedio (ARIRBES):

   • Para abordar la intensidad computacional y los largos tiempos de entrenamiento asociados al aprendizaje por refuerzo, se introduce un mecanismo novedoso de parada temprana.
   • Este método suaviza la señal de recompensa utilizando una media móvil. El entrenamiento se detiene si la recompensa promedio actual no supera la mejor recompensa promedio histórica en un umbral específico de Tasa de Mejora (IR) dentro de una ventana de "paciencia" definida. Esto previene el sobreajuste y reduce significativamente la duración del entrenamiento.

Contribuciones Clave

1. DDRL para Selección Dinámica de Modelos: La introducción de una arquitectura de aprendizaje por refuerzo profundo doble que selecciona dinámicamente modelos de pronóstico en tiempo real, utilizando una CRFFNN para procesar tanto la demanda histórica como las predicciones del comité para la toma de decisiones informada.
2. ARIRBES: La propuesta de una técnica novedosa de parada temprana basada en la tasa de mejora de las recompensas promedio, diseñada para acelerar el tiempo de entrenamiento sin sacrificar el rendimiento.
3. Validación Empírica: Una evaluación rigurosa del enfoque propuesto frente a un comité de pronóstico y cuatro estrategias de selección automática de modelos (Promedio de Conjunto, Mediana, Apilamiento y FFNN-DDQL) utilizando dos conjuntos de datos distintos.

Resultados Experimentales
El estudio fue evaluado en dos conjuntos de datos: un conjunto de datos público de ventas de comestibles de Corporación Favorita y un conjunto de datos privado de demanda de aperitivos de un cliente (ambos con un horizonte de pronóstico de 28 días).

• Métricas de Rendimiento: Los modelos fueron evaluados utilizando el Error Porcentual Absoluto Simétrico Medio (SMAPE) y el Error Escalado Absoluto Medio (MASE).
• Precisión: El método propuesto CRFFNN-ARIRBES logró el SMAPE Medio y el MASE Medio más bajos en ambos conjuntos de datos en comparación con modelos individuales (FFNN, LSTM, GRU, etc.) y otras estrategias de selección (Apilamiento, FFNN-DDQL).
  • Conjunto de datos Favorita: Logró un SMAPE Medio de 37.03 y un MASE Medio de 1.79.
  • Conjunto de datos Aperitivos: Logró un SMAPE Medio de 48.52 y un MASE Medio de 1.49.
• Estabilidad: El método propuesto demostró una estabilidad superior, evidenciada por la desviación estándar más baja en las métricas de error y distribuciones de error estrechas en gráficos de violín a través de 10 inicializaciones aleatorias diferentes de pesos.
• Eficiencia: El mecanismo de parada temprana ARIRBES redujo drásticamente el tiempo de entrenamiento. Para el conjunto de datos Favorita, el tiempo de entrenamiento bajó de ~19,841 segundos (sin parada temprana) a ~5,120 segundos. Para el conjunto de datos de aperitivos, se redujo de ~10,190 segundos a ~2,635 segundos, manteniendo o mejorando ligeramente la precisión del pronóstico.

Significado y Afirmaciones
El artículo afirma que la solución propuesta ofrece un enfoque robusto y efectivo para el problema de que "no existe un modelo único que sirva para todo" en la previsión de la demanda. Al aprovechar la adaptabilidad del aprendizaje por refuerzo y las capacidades de extracción de características del aprendizaje profundo (CNN/RNN), el sistema puede adaptarse continuamente a los cambios en la dinámica de los datos. Los autores afirman que su método supera a los métodos de selección estática y de conjunto más avanzados en términos de precisión y estabilidad.

El estudio concluye que, aunque el enfoque es intensivo en términos computacionales debido a la necesidad de ejecutar todo el comité durante el entrenamiento y la inferencia, la introducción de la estrategia ARIRBES hace que el proceso de entrenamiento sea significativamente más viable. Los autores notan modestamente que el trabajo futuro podría involucrar la incorporación de variables macroeconómicas, la segmentación de conjuntos de datos en subgrupos más homogéneos y la optimización adicional del costo computacional para aplicaciones industriales a gran escala.