A Predict-then-Correct Loop Based on Few-Shot Continuous Contextual Bandit for Demand Forecasting

Resumen Técnico: Un Bucle de Predicción-y-Corrección Basado en un Bandit de Contexto Continuo de Pocos Ejemplos para la Previsión de la Demanda

Planteamiento del Problema
La previsión de la demanda minorista se enfrenta a un desafío crítico en entornos de mercado dinámicos donde los cambios en la demanda ocurren más rápido de lo que los modelos estáticos de aprendizaje automático (ML) pueden reentrenarse. Esto es particularmente agudo durante los ciclos tempranos de demanda, lanzamientos de productos o para nuevos SKUs, donde las etiquetas observadas son escasas, lo que genera desafíos de "arranque en frío" (cold-start). Los pipelines tradicionales de ML supervisado dependen de procesos de entrenamiento rígidos y orientados a lotes (batch), y de grandes volúmenes de datos, lo que les impide ingerir de forma fluida el feedback de la demanda en tiempo real. En consecuencia, una vez desplegados, estos modelos operan como predictores de bucle abierto sin la capacidad de realizar una calibración en tiempo real frente a fluctuaciones a corto plazo. Aunque los modelos avanzados offline (por ejemplo, Transformers, Gradient Boosting) sobresalen en la generalización histórica, a menudo fallan al adaptarse a rupturas estructurales o regímenes no estacionarios sin un reentrenamiento costoso, lo que conlleva el riesgo de sobreajuste o de olvido catastrófico cuando los datos son limitados.

Metodología
El artículo propone un marco de Predicción-y-Corrección (PtC, por sus siglas en inglés) diseñado para cerrar la brecha entre el aprendizaje de la demanda offline y la toma de decisiones minoristas en tiempo real. La arquitectura desacopla el proceso de previsión en dos etapas:

1. Etapa 1: Predicción de ML Offline:

   • Los SKUs se agrupan en categorías (por ejemplo, estables/de alto volumen, erráticos/intermitentes) basadas en la demanda promedio, el coeficiente de variación y la intermitencia.
   • Un modelo de ML preentrenado (por ejemplo, LightGBM, N-BEATS) genera un pronóstico base para el SKU objetivo basado en su clúster.
   • Aumento de Datos: Para abordar la escasez de datos para el SKU objetivo, el sistema identifica $k$ SKUs vecinos más cercanos dentro del mismo clúster utilizando la distancia euclidiana. Si no existen suficientes vecinos, se aplican perturbaciones de misma tendencia a la demanda histórica y predicha para alcanzar un tamaño mínimo de conjunto de entrenamiento.

2. Etapa 2: Corrección mediante un Bandit de Contexto Continuo de Pocos Ejemplos (FSCCB):

   • Formulación: La corrección del pronóstico se modela como un problema de bandit de contexto continuo. El sistema observa un estado de contexto $s_t$ que comprende la demanda real histórica, las predicciones de ML, los errores de predicción, características de series temporales (pendiente, medias) e indicadores temporales (fines de semana, festivos).
   • Espacio de Acción: La red de política genera un factor de corrección continuo $a_t$ muestreado de una distribución Gaussiana, limitado al intervalo $[-1, 1]$. El pronóstico corregido es $\hat{y}^{CB}_t = \hat{y}^{ML}_t (1 + a_t)$.
   • Recompensa: La recompensa $r_t$ se define como la reducción del error absoluto: $r_t = \tau (| \hat{y}^{ML}_t - y_t | - | \hat{y}^{CB}_t - y_t |)$.
   • Actualización con Máscara Top-p: Para prevenir el sobreajuste y el olvido catastrófico en regímenes de pocos datos, el marco emplea un mecanismo de actualización selectiva de parámetros. Solo la proporción top-$p$ de parámetros con los valores absolutos más pequeños se actualiza durante la adaptación online, mientras que la mayoría de la red (que contiene el conocimiento preentrenado "fuertemente expresado") permanece congelada. Esto equilibra la estabilidad con la plasticidad.

Contribuciones Clave

1. Marco Adaptativo de Bucle Cerrado: El artículo introduce un marco de PtC de dos etapas que transforma la previsión estática de bucle abierto en un sistema adaptativo de bucle cerrado. Preserva el conocimiento estructural de los modelos de ML offline mientras permite la capacidad de respuesta en tiempo real mediante una capa de corrección de bandit de contexto.
2. Estrategia de Actualización de Pocos Ejemplos (Few-Shot): Los autores desarrollan un mecanismo para gestionar la escasez de datos en tiempo real. Al combinar el aumento de SKUs con similitud de características y una regla de actualización de máscara top-p, el sistema se adapta rápidamente a nuevos patrones de demanda sin destruir las regularidades aprendidas previamente ni sobreajustarse al ruido disperso.
3. Validación Teórica y Empírica: El estudio proporciona proposiciones teóricas que establecen que la clase de hipótesis de PtC contiene la línea base de solo ML (asegurando que no haya degradación del rendimiento en el óptimo de la población) y analiza el compromiso entre estabilidad y adaptación de la regla de actualización top-p.

Resultados Experimentales
El marco fue evaluado en dos conjuntos de datos: datos minoristas de Walmart (competencia M5) y un conjunto de datos exclusivo de bebidas de un fabricante norteamericano.

• Precisión de la Previsión: El modelo PtC logró reducciones estadísticamente significativas ($p < 0.01$) en MAPE, MAE y RMSE en patrones de demanda estables/alto volumen, estables/bajo volumen y erráticos/intermitentes.
  • En el estudio de ablación utilizando N-BEATS como base, la línea base estándar de solo ML tuvo un RMSE de 11.41. La corrección estándar de CB (actualizando todos los parámetros) produjo una mejora marginal del 0.34%. El PtC propuesto (con FSCCB) redujo el RMSE a 10.34, una mejora del 9.52%.
  • En el conjunto de datos de bebidas, el PtC alcanzó reducciones máximas de error del 14.64% (MAPE), 14.85% (MAE) y 13.40% (RMSE) en la categoría "Estable y de Alto Volumen".
• Gestión de Inventarios: Cuando se integra en un sistema de inventario de revisión periódica, el PtC superó a las políticas de Stock Base (BS), PPO (Optimización de Política de Gradiente Proximal) y SAC (Actor-Crítico Suave). El PtC produjo los costos de inventario más bajos en plazos de entrega de 2 a 4 periodos, demostrando que la mejora en la precisión de la previsión se traduce directamente en ahorros de costos operativos.
• Análisis de Sensibilidad: Los resultados indicaron que actualizar demasiados pocos parámetros limita la adaptación, mientras que actualizar demasiados aumenta el riesgo de sobreajuste. El rendimiento óptimo se encontró en proporciones de actualización de $p=0.10$ (Walmart) y $p=0.16$ (Bebidas).

Significado y Reivindicaciones
El artículo afirma que el marco PtC aborda un vacío metodológico crítico: la ausencia de un mecanismo sistemático y eficiente en muestras para aprender explícitamente a corregir los errores de predicción base sobre la marcha sin un reentrenamiento completo.

• Cambio de Paradigma: Desplaza el paradigma de la previsión operativa de la predicción estática al control inteligente autónomo y autocalibrable.
• Utilidad Práctica: Al desacoplar el pronosticador base de la política de corrección, el marco permite actualizar los pronósticos para artículos de ciclo temprano, esporádicos o intermitentes sin reconstruir sistemas de previsión completos.
• Cerrar la Brecha: El estudio demuestra que la corrección de la previsión online puede cerrar eficazmente la brecha entre el aprendizaje de la demanda offline y la toma de decisiones en tiempo real, adaptándose a la retroalimentación dispersa mientras mantiene la integridad estructural de los modelos históricos.

Los autores señalan limitaciones, incluyendo el enfoque actual a nivel de SKU (que carece de modelado explícito de sustitución o complementariedad) y configuraciones de decisión downstream simplificadas, sugiriendo que trabajos futuros deberían explorar políticas de múltiples productos y restricciones de cadena de suministro más complejas.