Beyond Accuracy: Evaluating Forecasting Models by Multi-Echelon Inventory Cost

Este estudio desarrolla una pipeline digitalizada que integra modelos de pronóstico tradicionales, de aprendizaje automático y de secuencias profundas en un marco de simulación de inventario, demostrando mediante el conjunto de datos M5 de Walmart que los modelos Temporal CNN y LSTM reducen significativamente los costos de inventario y mejoran las tasas de llenado en comparación con las bases estadísticas en sistemas de un solo y doble nivel.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una carrera de cocineros que compiten por ver quién puede predecir mejor cuánta comida pedirán sus clientes, para que no les falte nada ni les sobre demasiado.

Aquí tienes la explicación de la investigación, traducida a un lenguaje sencillo y con analogías divertidas:

🍔 El Problema: La Cocina Caótica

Imagina que tienes una cadena de restaurantes (como Walmart). Tienes dos grandes problemas:

1. El "Efecto Látigo": Si el restaurante de la esquina pide un poco más de hamburguesas de lo normal, el almacén central se asusta y pide el doble, y el proveedor de carne pide el cuádruple. ¡El pánico se amplifica!
2. El Dilema del Chef: Si pides demasiada comida, se echa a perder (pérdida de dinero). Si pides muy poca, los clientes se van enojados (pérdida de ventas).

Antiguamente, los chefs usaban reglas simples (como "si ayer llovió, vendimos menos") para adivinar el futuro. Pero el mundo es caótico y esas reglas a veces fallan.

🤖 La Solución: Los Nuevos "Cocineros" con IA

Los autores del estudio probaron 7 tipos diferentes de "cocineros" (modelos de predicción) para ver quién era el mejor. No solo miraron quién acertaba más números, sino cuánto dinero ahorraban en la cocina real.

Los competidores fueron:

• Los Clásicos: Como un chef anciano que usa solo la experiencia y reglas fijas (ARIMA, Holt-Winters).
• Los Modernos (Máquinas de Aprendizaje): Como un chef joven que usa hojas de cálculo avanzadas (XGBoost, GBR).
• Los Genios (Inteligencia Artificial Profunda): Como un chef con un supercerebro que puede ver patrones ocultos en miles de años de datos (LSTM y Temporal CNN).

🏆 El Resultado: ¿Quién Ganó?

El estudio descubrió algo fascinante: Los "Genios" (IA) ganaron por goleada.

• La Analogía del Termómetro: Los modelos antiguos eran como un termómetro de mercurio: funcionaban bien si el clima era estable, pero se rompían con cambios bruscos. Los modelos de IA (especialmente el Temporal CNN y el LSTM) eran como un satélite meteorológico moderno: podían ver tormentas lejanas y ajustar la temperatura con precisión.
• El Ahorro Real: Gracias a estos modelos de IA, la tienda pudo reducir sus costos de inventario en casi un 19% y tener más productos disponibles para los clientes. ¡Es como si el chef hubiera dejado de tirar comida a la basura y hubiera servido a más gente!

🚚 El Giro: La Cadena de Mando (Dos Niveles)

Lo más interesante es que no solo probaron esto en un solo restaurante, sino en una cadena completa:

1. El Almacén Central (DC): Donde se acumula la comida.
2. Las Tiendas: Donde se vende.

El estudio mostró que si el Almacén Central comete un error al predecir, ese error se multiplica y llega a todas las tiendas como una ola gigante. Los modelos de IA fueron tan buenos que lograron calmar esa ola, evitando que el pánico se propagara desde el almacén hasta la tienda.

💡 La Lección para el Mundo Real

La conclusión principal es simple: No te fíes solo de la "precisión matemática" de una predicción.

Imagina que tienes dos pronósticos del tiempo:

• El Acierto 1: "Mañana lloverá" (Acierto: 90%).
• El Acierto 2: "Mañana lloverá a las 3 PM" (Acierto: 85%).

Si solo miras el porcentaje, el primero gana. Pero si eres un agricultor, el segundo te ahorra más dinero porque sabes exactamente cuándo cubrir tus cultivos.

Este estudio nos dice a las empresas: Dejen de obsesionarse solo con la precisión estadística y empiecen a mirar el impacto en el bolsillo. Usar Inteligencia Artificial avanzada no es solo "moderno", es una herramienta que evita que se pierda dinero y que los clientes se vayan con las manos vacías.

En resumen: La IA no solo "adivina" mejor el futuro; actúa como un guardián inteligente que mantiene el equilibrio perfecto entre tener demasiada y demasiada poca mercancía, ahorrando millones en el proceso.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Beyond Accuracy: Evaluating Forecasting Models by Multi-Echelon Inventory Cost" en español, estructurado según los puntos solicitados.

1. Planteamiento del Problema

Las cadenas de suministro modernas enfrentan una volatilidad creciente y riesgos de disrupción. Si bien la digitalización y la IA ofrecen herramientas para mejorar la resiliencia, existe una brecha crítica en la evaluación de los modelos de pronóstico de demanda:

• Enfoque tradicional: La mayoría de los estudios evalúan los modelos de pronóstico basándose únicamente en métricas estadísticas de error (como RMSE o MAE), ignorando su impacto operativo real.
• Limitaciones actuales: Los enfoques clásicos (ARIMA, suavizado exponencial) a menudo fallan ante demandas no lineales, intermitentes y no estacionarias típicas del comercio minorista.
• Vacío de investigación: Hay una escasez de estudios empíricos que vinculen las mejoras en la precisión del pronóstico con resultados de inventario coordinados en redes de multi-escalón (centros de distribución y tiendas) utilizando datos reales de retail. Los errores de pronóstico se propagan aguas arriba, amplificando la variabilidad (efecto látigo) y aumentando los costos.

2. Metodología

El estudio propone una tubería de optimización de pronóstico e inventario digitalizada que integra modelos tradicionales, de aprendizaje automático (ML) y de aprendizaje profundo (DL) dentro de un marco de simulación unificado.

• Datos: Se utiliza el conjunto de datos M5 Walmart, filtrando específicamente para el estado de California y el departamento de alimentos (CA FOODS 1). Se incorporan covariables exógenas (calendario, eventos, SNAP).
• Modelos Evaluados (7 enfoques):
  1. Naive (Lag-1): Línea base de persistencia.
  2. Holt-Winters (ES): Suavizado exponencial con tendencia y estacionalidad.
  3. ARIMA(1,1,1): Modelo de series temporales lineales diferenciadas.
  4. Gradient Boosting Regressor (GBR): Ensemble de árboles de regresión.
  5. XGBoost: Modelo de árboles de gradiente regularizado y escalable.
  6. LSTM (Global): Red neuronal recurrente para dependencias de largo plazo.
  7. Temporal CNN: Modelo de convolución causal con dilataciones para patrones de largo contexto.
• Marco de Simulación (Newsvendor):
  • Se implementa un simulador de inventario de un solo periodo (Newsvendor) con costos de exceso (mantenimiento, $h$) y costos de escasez ($b$).
  • Los pronósticos puntuales se mapean directamente a cantidades de pedido ($Q = \max(0, \hat{D})$).
  • Métricas de Rendimiento: Costo promedio diario y tasa de llenado (Fill Rate) ponderada por la demanda.
• Extensión Multi-Escalón: Se extiende la simulación a un sistema de dos escalones (un Centro de Distribución - DC - abasteciendo a múltiples tiendas). La demanda del DC se calcula agregando las demandas de las tiendas, permitiendo evaluar cómo los errores en el nivel del DC afectan el abastecimiento aguas abajo.
• Análisis de Sensibilidad: Se evalúa la robustez de los modelos variando la relación entre el costo de escasez y el de mantenimiento ($b/h$).

3. Contribuciones Clave

El artículo aporta cuatro contribuciones principales:

1. Pipeline Unificado: Desarrollo de un marco estandarizado que integra siete clases de modelos (estadísticos, ML y DL) bajo un mismo protocolo de características y entrenamiento.
2. Evaluación Operativa: Incrustación de los pronósticos en un simulador basado en el problema del "Newsvendor" para cuantificar cómo la precisión predictiva se traduce en costos de inventario y niveles de servicio reales, más allá de las métricas de error estadístico.
3. Análisis Multi-Escalón: Implementación de una simulación de dos escalones (DC-Tienda) para evaluar el impacto operativo aguas arriba y aguas abajo, demostrando cómo la calidad del pronóstico en el nivel de distribución afecta a toda la red.
4. Análisis de Sensibilidad: Evaluación detallada de la robustez de cada modelo bajo diferentes estructuras de costos, proporcionando información accionable para la toma de decisiones en entornos con penalizaciones asimétricas.

4. Resultados Principales

Los experimentos se realizaron en el periodo de prueba retenido con costos de exceso $h=1$ y costos de escasez variables ($b \in \{2, 5, 10\}$).

• Superioridad de los Modelos de Aprendizaje Profundo:
  • Los modelos basados en aprendizaje profundo (Temporal CNN y LSTM) superaron consistentemente a los baselines estadísticos (ARIMA, Holt-Winters) y a los modelos clásicos (Naive).
  • Temporal CNN logró el mejor rendimiento global:
    • Reducción de costos: 18.7% menos de costos de inventario en comparación con el pronóstico Naive.
    • Mejora en servicio: Aumento de 9.8 puntos porcentuales en la tasa de llenado.
    • Costo promedio diario: 3.674 (el más bajo de todos los modelos).
  • LSTM obtuvo el mejor RMSE (2.207) y el segundo mejor costo de inventario.
• Rendimiento de los Ensembles (ML): Los modelos basados en árboles (GBR y XGBoost) también mostraron mejoras significativas sobre los baselines estadísticos, situándose en un nivel intermedio entre los modelos clásicos y los de DL.
• Robustez Multi-Escalón:
  • La jerarquía de rendimiento se mantuvo estable al variar el costo de escasez ($b$).
  • Se demostró que los errores en la agregación de demanda a nivel de DC tienen un efecto desproporcionado aguas abajo, amplificando los costos y degradando el servicio en las tiendas, incluso si los pronósticos a nivel de tienda son precisos.
• Observación sobre MAPE: Se notó que el MAPE era extremadamente alto debido a días de demanda cercana a cero, por lo que el estudio priorizó RMSE, MAE y métricas basadas en costos para la interpretación.

5. Significado e Implicaciones

• Valor Económico Directo: El estudio proporciona un argumento económico sólido para invertir en pipelines de pronóstico avanzados. Las mejoras en la precisión no son solo estadísticas; se convierten en reducciones cuantificables de costos de inventario y mejoras en el servicio al cliente.
• Toma de Decisiones Basada en KPIs: Los planificadores de retail y manufactura deben seleccionar modelos basándose en KPIs de negocio (costo y tasa de llenado) y no solo en la precisión estadística, especialmente bajo penalizaciones asimétricas de escasez.
• Resiliencia de la Cadena de Suministro: La adopción de arquitecturas profundas (como Temporal CNN) ofrece una mayor resiliencia ante la volatilidad de la demanda y estructuras de costos cambiantes.
• Limitaciones y Futuro: El estudio se limitó a una categoría de producto y un horizonte temporal específico. El trabajo futuro debería incorporar pronósticos distribucionales (cuantiles), control de inventario mediante aprendizaje por refuerzo y redes más complejas con trasbordos laterales.

En conclusión, el artículo demuestra que los modelos de aprendizaje profundo, específicamente las Redes Neuronales Convolucionales Temporales (Temporal CNN), ofrecen la mejor relación costo-beneficio para la optimización de inventarios en entornos minoristas complejos, superando a los métodos tradicionales y de aprendizaje automático estándar.