📊 statistics

End-to-end probabilistic hierarchical forecasting of large hierarchies via probabilistic top-down

El artículo presenta e2eTD, un método rápido y escalable para generar pronósticos probabilísticos coherentes de series temporales jerárquicas de gran tamaño mediante la predicción directa de un pequeño subconjunto de series agregadas y su propagación hacia el nivel inferior a través de un novedoso algoritmo de muestreo top-down probabilístico, logrando un rendimiento de vanguardia en los principales conjuntos de datos minoristas con un costo computacional mínimo.

Autores originales: Lorenzo Zambon, Dario Azzimonti, Giorgio Corani

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lorenzo Zambon, Dario Azzimonti, Giorgio Corani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el gerente de una cadena masiva de tiendas de comestibles. Necesitas saber cuánto pedir de leche, pan y cereales para cada una de las tiendas, todos los días.

Esto es una pesadilla de números. Tienes miles de productos (SKUs) en cientos de tiendas. Si intentas predecir las ventas de cada artículo individual, los datos son caóticos. Algunos días un artículo específico vende 100 unidades; otros días, vende cero. Es como intentar predecir la trayectoria exacta de una sola gota de lluvia en una tormenta. Es demasiado ruidoso, demasiado "intermitente" y demasiado difícil de lograr con precisión.

Sin embargo, si miras el panorama general —por ejemplo, las ventas totales de leche en todo el país— ese número es mucho más suave y fácil de predecir. Es como observar la tormenta desde el espacio; puedes ver el patrón incluso si no puedes rastrear cada gota.

El Problema: El dilema de los "Mapas en Conflicto"
Los minoristas suelen intentar resolver esto de dos maneras, pero ambas tienen fallas:

El enfoque "Bottom-Up" (De abajo hacia arriba): Predice cada artículo primero, luego los suma. Es lento, costoso y, debido a que los artículos individuales son tan caóticos, el total final suele ser erróneo.
El enfoque "Top-Down" (De arriba hacia abajo): Predice el gran total primero, luego intenta adivinar cómo dividirlo. Es rápido, pero la "división" suele hacerse con reglas rígidas y antiguas que no tienen en cuenta la incertidumbre.

El resultado es que terminas con un plan donde el total para el país dice "1 millón de unidades", pero la suma de todos los planes de tus tiendas dice "900,000 unidades". Esto es un problema de coherencia. Es como tener un mapa donde la distancia de Nueva York a Boston es de 200 millas, pero la distancia de Nueva York a Filadelfia más Filadelfia a Boston es de 300 millas. No puedes tomar buenas decisiones comerciales con un mapa roto.

La Solución: e2eTD (El "Intermediario Inteligente")
El artículo presenta un nuevo método llamado e2eTD. Piensa en él como un intermediario probabilístico inteligente que cierra la brecha entre el panorama general suave y los detalles pequeños y caóticos.

Así es como funciona, paso a paso:

Elige los objetivos "Fáciles": En lugar de intentar predecir los artículos individuales caóticos (la base), e2eTD solo predice una porción diminuta y manejable de las capas medias "suaves" (aproximadamente el 0.3% de los datos). Es como un pronosticador del clima que solo predice el frente de la tormenta general, no cada gota de lluvia.
Crea un "Plan de Grupo": Crea un pronóstico probabilístico para estas capas suaves. Esto significa que no solo dice "Venderemos 1,000 unidades"; dice "Estamos 90% seguros de que venderemos entre 900 y 1,100 unidades".
La "División Inteligente" (Top-Down Probabilístico): Esta es la esencia del artículo. Usualmente, cuando se divide un número grande en números pequeños, se usa una proporción fija (por ejemplo, "La Tienda A siempre recibe el 10%"). e2eTD es más inteligente. Observa la historia y dice: "Cuando el total era de 1,000, la Tienda A solía recibir entre el 9% y el 11%, y la Tienda B recibía el resto, y tienden a moverse juntas".
- Utiliza una herramienta matemática llamada Cópula (piensa en ella como un "pegamento" que mantiene unidas las relaciones entre las tiendas) para simular miles de escenarios posibles.
- Divide aleatoriamente el pronóstico grande en piezas pequeñas, pero respeta la "danza" histórica entre las tiendas. Si la Tienda A suele tener un pico cuando la Tienda B cae, la simulación lo sabe.
La "Verificación" (Reconciliación): Finalmente, suma todas las piezas pequeñas. Debido a que comenzó con un número grande coherente y lo dividió cuidadosamente, las piezas pequeñas automáticamente suman el número grande. Sin conflictos. Sin mapas rotos.

¿Por qué es esto importante?

Velocidad: El artículo afirma que este método es increíblemente rápido. En una computadora portátil estándar, puede procesar un conjunto de datos con 300,000 series temporales (como el conjunto de datos Favorita) en unos 20 minutos. Otros métodos que intentan hacer esto con redes neuronales complejas podrían necesitar supercomputadoras o tardar horas.
Precisión: Al ser probado contra datos del mundo real (los conjuntos de datos M5 y Favorita), e2eTD superó a casi todos los demás métodos. Si este método hubiera participado en la famosa competencia de pronósticos M5, habría quedado en el puesto 11 de 892 equipos.
Gestión de Riesgos: Debido a que produce pronósticos "probabilísticos" (rangos de posibilidades), los minoristas pueden tomar decisiones más seguras. Pueden decir: "Necesitamos suficiente inventario para cubrir el 95% de los peores escenarios", en lugar de simplemente adivinar el promedio.

En Resumen
e2eTD es una forma rápida y eficiente de predecir la demanda para grandes cadenas minoristas. Evita el caos de predecir cada artículo individual enfocándose primero en los totales suaves y predecibles. Luego, utiliza un ingenioso algoritmo de "división" basado en la historia para distribuir esos totales hacia los artículos individuales, asegurando que los números pequeños siempre sumen perfectamente los números grandes. Es como construir una casa colocando primero una base perfecta y luego colocando cuidadosamente los ladrillos, en lugar de intentar adivinar dónde va cada ladrillo y esperar que el techo encaje.

Resumen Técnico: Pronóstico Jerárquico Probabilístico de Extremo a Extremo mediante Top-Down Probabilístico (e2eTD)

1. Planteamiento del Problema

Las operaciones de retail y cadena de suministro dependen de los pronósticos de demanda para la toma de decisiones que van desde el reabastecimiento a nivel de producto hasta la planificación de capacidad a nivel de tienda. Estos pronósticos deben satisfacer dos requisitos críticos, a menudo contrapuestos:

Naturaleza Probabilística: Para permitir la toma de decisiones consciente del riesgo (por ejemplo, establecer stocks de seguridad), los pronósticos deben proporcionar distribuciones predictivas completas en lugar de estimaciones de punto único.
Coherencia: Los pronósticos a través de la jerarquía de agregación (por ejemplo, SKU, Tienda, Región, Total) deben ser consistentes. El pronóstico de un nodo padre debe ser igual a la suma de los pronósticos de sus hijos.

Los enfoques existentes enfrentan desafíos significos de escalabilidad y modelado en grandes jerarquías caracterizadas por una demanda intermitente (series en el nivel inferior con escasez y exceso de ceros):

Dos pasos (Pronosticar-luego-Reconciliar): Aunque son efectivos para pronósticos de punto, la reconciliación probabilística es computacionalmente costosa para jerarquías grandes. A menudo dependen de supuestos restrictivos (por ejemplo, gaussianidad) que fallan para datos de conteo intermitentes o requieren inversiones de matrices de alta dimensión.
Modelos Neuronales de Extremo a Extremo: Estos producen pronósticos coherentes pero típicamente requieren arquitecturas complejas, hardware especializado (GPUs) y un esfuerzo de ingeniería significativo, lo que los hace poco prácticos para un despliegue rápido y a gran escala.
Top-Down Tradicional: Aunque es escalable, los métodos top-down estándar suelen depender de proporciones históricas deterministas, fallando en capturar la incertidumbre y la dependencia entre series requerida para la coherencia probabilística.

El artículo identifica una brecha para un método que sea rápido, escalable y capaz de producir pronósticos probabilísticos coherentes para grandes jerarquías con series intermitentes en el nivel inferior sin requerir hardware especializado.

2. Metodología: e2eTD

El método propuesto, e2eTD (end-to-end Top-Down), genera pronósticos probabilísticos coherentes modelando solo un pequeño subconjunto de series de nivel superior suaves y propagando las muestras hacia abajo mediante un novedoso algoritmo top-down probabilístico.

Flujo de Trabajo Principal

El método procede en cinco pasos (ilustrados en la Fig. 2 del artículo):

Selección de Series Superiores: En lugar de pronosticar todas las series inferiores, e2eTD selecciona una pequeña subjerarquía de series superiores suaves y predecibles (aproximadamente el 0.3% del total de las series en los experimentos). Este subconjunto debe formar una subjerarquía que cubra todas las series inferiores.
Pronóstico Probabilístico: Los pronósticos probabilísticos se generan de forma independiente para las series superiores seleccionadas. Los autores utilizan Suavizado Exponencial (ETS) con selección automática de modelo, capaz de incorporar regresores exógenos (por ejemplo, festivos, promociones).
Reconciliación: Para asegurar la coherencia entre las series superiores seleccionadas, se aplica un paso de reconciliación probabilística Gaussiana. Esto combina los pronósticos independientes en una distribución normal multivariante conjunta. Se extraen muestras de esta distribución reconciliada en el nivel más bajo de la subjerarquía seleccionada.
Muestreo Top-Down Probabilístico (Novedad): Esta es la contribución central. En lugar de usar proporciones históricas fijas, el algoritmo modela las proporciones de desagregación como distribuciones conjuntas.
- Modelado: Para cada par de series que se dividen, el método estima la distribución conjunta de sus conteos históricos. Las marginales se ajustan como Poisson o Binomial Negativa (dependiendo de la dispersión), y la dependencia se modela utilizando una cópula de Plackett.
- Muestreo: Dado un ejemplo $z$ de un nodo superior, el algoritmo extrae un par $(a, b)$ tal que $a+b=z$ . La probabilidad de cada división se determina condicionando la distribución conjunta estimada a la restricción $A+B=z$ .
- Recursión: Este proceso se aplica recursivamente (mediante división binaria) desde los nodos superiores seleccionados hacia el nivel inferior. Crucialmente, el algoritmo preserva la dependencia entre series heredada del paso de reconciliación al no desordenar los índices de las muestras.
Agregación: Las muestras resultantes del nivel inferior se suman utilizando la matriz de agregación para obtener pronósticos probabilísticos coherentes para todos los niveles de la jerarquía.

Estrategias Computacionales

Para asegurar la escalabilidad a cientos de miles de series:

Agrupación (Batching): El algoritmo calcula los pesos de muestreo para valores enteros únicos de las muestras superiores una sola vez, en lugar de iterar sobre cada muestra.
Paralelización: El pronóstico de nivel superior y el muestreo top-down para diferentes ramas de la jerarquía se paralelizan a través de núcleos de CPU.
Estimación Eficiente: El método utiliza el ajuste de momentos para los parámetros marginales y la inversión de la correlación de rango de Spearman para el parámetro de la cópula, evitando la costosa Estimación de Máxima Verosimilitud (MLE).

3. Principales Contribuciones

Coherencia Probabilística Escalable: e2eTD logra pronósticos probabilísticos coherentes para jerarquías de ~300k series (dataset Favorita) en menos de 20 minutos en una laptop estándar, sin hardware especializado.
Algoritmo Top-Down Probabilístico: El artículo introduce un mecanismo de muestreo que trata las proporciones de desagregación como distribuciones conjuntas (vía cópulas) en lugar de ratios deterministas, preservando la dependencia entre series y asegurando la coherencia en todos los niveles.
Manejo de la Intermitencia: Al pronosticar solo series superiores suaves e inducir la intermitencia naturalmente durante el paso de muestreo top-down, el método evita las dificultades de modelar directamente series inferiores dispersas y con exceso de ceros.
Validación Empírica: El método se evalúa en los dos conjuntos de datos de retail más grandes disponibles públicamente (M5 y Favorita), demostrando un rendimiento superior sobre las líneas base escalables existentes.

4. Resultados Experimentales

Los autores evaluaron e2eTD contra cinco métodos competidores (Distribución Empírica, Empírico Estacional, Reconciliación WLS, Long et al. (2025), y HINT) en los datasets M5 y Favorita.

Precisión (WSPL): e2eTD logró la menor Pérdida de Pinball Escalada Ponderada (WSPL) en todos los niveles de agregación en ambos datasets.
- En M5, e2eTD habría quedado en el puesto 11 de 892 equipos en la competencia de incertidumbre de M5.
- En Favorita, superó significativamente a todos los competidores, incluyendo enfoques basados en redes neuronales.
- El método mantuvo una alta precisión incluso en el nivel inferior (SKU-tienda), donde habría quedado en el 7º lugar entre los 50 mejores equipos de M5.
Eficiencia Computacional:
- M5 (~30k series): ~4.5 minutos.
- Favorita (~160k series): ~17 minutos.
- En contraste, los métodos neuronales (HINT) requirieron GPUs, y los métodos de reconciliación (WLS) escalaron pobremente, tomando significativamente más tiempo en datasets más grandes.
Estudio de Ablación:
- Reconciliación: Eliminar el paso de reconciliación de nivel superior degradó significativamente el rendimiento (+8.8% WSPL en M5), confirmando el valor de combinar información entre niveles.
- Cópula: El uso de una cópula independiente (ignorando la dependencia entre series) tuvo un efecto insignificante en M5 pero aumentó el error en Favorita, sugiriendo que las estructuras de dependencia varían según el dataset.
- Regresores Exógenos: La inclusión de covariables (festivos, promociones) mejoró significativamente el rendimiento en M5, pero tuvo un efecto mínimo en Favorita.

5. Significación y Reivindicaciones

El artículo posiciona a e2eTD como una solución práctica para la "preocupación operativa de primer orden" del costo de pronóstico en retail.

Impacto Operativo: Los autores señalan que los grandes minoristas pueden necesitar refrescar miles de millones de pronósticos diariamente. Cambiar de métodos pesados a e2eTD podría ahorrar decenas de millones de dólares anualmente y reducir la huella ambiental (CO2e) de los procesos de pronóstico.
Soporte de Decisiones: Al proporcionar pronósticos probabilísticos coherentes, el método permite la toma de decisiones consciente del riesgo (por ejemplo, optimización de stock de seguridad) que es consistente a través de los niveles estratégicos, tácticos y operativos.
Modestia: Los autores reconocen limitaciones, como el supuesto de estacionariedad aproximada en las proporciones del nivel inferior y la selección manual de la subjerarquía superior. Sugieren que trabajos futuros podrían incluir criterios fundamentados para la selección de la subjerarquía y un modelado más sofisticado de las proporciones variables en el tiempo.

En resumen, e2eTD cierra la brecha entre la necesidad de pronósticos probabilísticos coherentes y las restricciones computacionales de las operaciones de retail a gran escala, ofreciendo una alternativa rápida, precisa y eficiente en hardware frente a los enfoques neuronales y de reconciliación existentes.