Hierarchical Bayes meets hierarchical forecasting: A flexible framework for level-focused forecasts

Resumen Técnico: El Bayes Jerárquico se encuentra con el Pronóstico Jerárquico

Planteamiento del Problema
El pronóstico jerárquico es esencial para la toma de decisiones en sistemas complejos donde los pronósticos en los niveles inferiores deben agregarse de manera coherente hacia los niveles superiores (por ejemplo, la demanda regional que suma al total nacional). Los métodos actuales de vanguardia, como la Reconciliación de Traza Mínima (MinT), operan típicamente como un paso de post-procesamiento. Estos generan pronósticos base independientes y luego los reconcilian para asegurar la coherencia. Este enfoque presenta varias limitaciones:

1. Separación de Estimación y Coherencia: El requisito de coherencia no se incorpora en la estimación de parámetros subyacente, lo que significa que el modelo no aprende de la estructura jerárquica durante el entrenamiento.
2. Desafíos en la Estimación de la Covarianza: La reconciliación probabilística (por ejemplo, extendiendo MinT a distribuciones) requiere estimar la matriz de covarianza de los errores de pronóstico, lo cual es computacionalmente difícil y a menudo inestable para horizontes de múltiples pasos.
3. Falta de Enfoque en la Decisión: Los métodos existentes generalmente tratan todos los niveles por igual o optimizan la reducción del error global, fallando al no considerar escenarios donde ciertos niveles son más críticos para los resultados de las decisiones o donde la coherencia estricta es menos importante que la precisión en un nivel específico.
4. Problemas de Calibración: La reconciliación post-hoc puede forzar la coherencia a expensas de la calibración del pronóstico, lo que conduce a pronósticos probabilísticos mal calibrados incluso si el modelo base está bien especificado.

Metodología
Los autores proponen un marco de pronóstico jerárquico totalmente bayesiano que integra el intercambio de información, las restricciones de coherencia y el pesaje enfocado en la decisión directamente en el proceso de entrenamiento del modelo. La metodología consta de tres componentes principales:

1. Prioris Bayesianos Jerárquicos:
   En lugar de estimar los parámetros para cada serie de forma independiente, los autores emplean una estructura de prioris jerárquicos donde los parámetros ($\theta_i$) para series individuales se extraen de una distribución poblacional definida por hiperparámetros ($\phi$). Esto facilita la agrupación parcial de información (partial information pooling), permitiendo que las series en el mismo nivel y a través de diferentes niveles (nodos padre-hijo) compartan información. Esto es particularmente beneficioso para series con datos ruidosos o incompletos, ya que estas se ven informadas por series relacionadas.

2. Penalización de Coherencia Suave (Soft Coherence Penalty):
   En lugar de imponer restricciones rígidas, el marco introduce una penalización suave sobre la incoherencia dentro de la función de verosimilitud. La diferencia entre la suma de las series de nivel inferior y la serie correspondiente de nivel superior ($d_t$) se modela como una distribución Gaussiana $N(0, \sigma^2_{coh})$.

• La verosimilitud se multiplica por este término de penalización: $p(d|\sigma^2_{coh}I_T)$.
• El parámetro $\sigma_{coh}$ controla la rigurosidad de la penalización. Un $\sigma_{coh}$ más pequeño impone una coherencia más estricta.
• Este enfoque "suave" permite al modelo equilibrar la precisión frente a la coherencia, evitando predicciones poco realistas cuando el modelo está mal especificado. Elimina la necesidad de estimar matrices de covarianza complejas de múltiples pasos requeridas por MinT.

3. Pesaje de Niveles (Posteriores de Potencia):
   Para abordar la importancia variable de los distintos niveles en la toma de decisiones, los autores aplican un factor de pesaje $\lambda_i$ a la verosimilitud de series o niveles específicos.

• Al establecer $\lambda_i > 1$, el modelo prioriza la precisión en niveles específicos (por ejemplo, el nivel total nacional o un propósito de viaje específico).
• Esto se implementa mediante un enfoque de posterior de potencia, aumentando efectivamente el peso de los datos del nivel enfocado respecto a los demás.
• Esto permite que el modelo global sea optimizado para resultados de decisión específicos mientras mantiene las restricciones de coherencia suave.

La distribución posterior completa combina el prior jerárquico, la verosimilitud pesada y la penalización de coherencia.

Contribuciones Clave

• Marco Integrado: El artículo introduce un marco bayesiano unificado que realiza la estimación de parámetros, la agrupación de información y la imposición de coherencia de forma simultánea, en lugar de una corrección post-hoc.
• Coherencia Suave: Propone una restricción distributiva que penaliza suavemente la incoherencia, ofreciendo un equilibrio flexible entre el ajuste del modelo y las restricciones de agregación sin requerir la estimación de la matriz de covarianza para horizontes de múltiples pasos.
• Enfoque Consciente de la Decisión: La metodología introduce un mecanismo para ponderar diferencialmente los niveles jerárquicos según su relevancia para los resultados de las decisiones, optimizando la jerarquía para la precisión en los niveles de interés.
• Capacidad Diagnóstica: El enfoque sirve como una herramienta de diagnóstico; si el modelo no puede lograr la coherencia incluso con penalizaciones estrictas, esto indica una mala especificación del modelo en lugar de un simple fallo de reconciliación.

Resultados
El marco fue evaluado tanto en datos simulados (modelos ARMA/ETS bien especificados y mal especificados) como en datos reales de turismo doméstico australiano (una jerarquía de 5 niveles de regiones, zonas, estados y propósitos de viaje).

• Coherencia: El enfoque jerárquico bayesiano redujo inherentemente la incoherencia media y distributiva en comparación con los modelos independientes, incluso antes de aplicar penalizaciones. La aplicación de la penalización suave redujo la incoherencia significativamente.
• Precisión (Datos Simulados):
  • En modelos bien especificados, los modelos bayesianos independientes funcionaron mejor, ya que la contracción (shrinkage) jerárquica sesgó ligeramente las estimaciones lejos de los parámetros reales. Sin embargo, el enfoque bayesiano con penalizaciones de coherencia superó a MinT en términos de cobertura probabilística.
  • En modelos mal especificados, el enfoque jerárquico mostró beneficios, particularmente al ponderar los niveles con mejor calidad de datos (por ejemplo, los niveles inferiores). El ponderar el nivel superior en un escenario de mala especificación empeoró el rendimiento general, resaltando la importancia de la calidad de los datos/modelos en el nivel enfocado.
• Precisión (Datos de Turismo Australiano):
  • Los modelos bayesianos jerárquicos superaron a los modelos bayesianos independientes y a la reconciliación MinT en la mayoría de las métricas (RMSSE, ES, CRPS).
  • Pesaje de Niveles: Los modelos ponderados hacia niveles específicos (por ejemplo, "Total" o "Propósitos") lograron el mejor rendimiento en esos niveles específicos y a menudo mejoraron el rendimiento en los niveles vecinos en comparación con los modelos no ponderados.
  • Calibración: La reconciliación MinT resultó en una sub-cobertura significativa (pobre calibración) en los niveles superiores. El enfoque bayesiano propuesto mantuvo una mejor calibración, aunque los modelos con pesaje de nivel mostraron una ligera sub-cobertura en los niveles enfocados debido al aumento de la confianza, lo cual se mantuvo dentro de los límites aceptables (dentro del 5% del objetivo del 95%).
  • Detección de Mala Especificación: La incapacidad del modelo para converger con penalizaciones de coherencia muy estrictas en los datos de turismo sugirió una mala especificación del modelo (probablemente debido a covariables no modeladas en el modelo ETS), demostrando la utilidad del marco para diagnosticar las limitaciones del modelo.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en desplazar el pronóstico jerárquico de una tarea de reconciliación de post-procesamiento a un proceso de modelado integrado. Al embeber la coherencia y las prioridades de decisión directamente en la estimación de parámetros bayesianos:

1. Mejora el intercambio de información tanto dentro como a través de los niveles jerárquicos, lo que conduce a mejores estimaciones de parámetros, especialmente en escenarios de pocos datos o con ruido.
2. Proporciona un control flexible sobre el equilibrio entre precisión y coherencia, permitiendo a los pronosticadores priorizar niveles relevantes para la decisión sin forzar rígidamente una coherencia que degrade la calidad del pronóstico.
3. Evita los problemas computacionales y estadísticos de la estimación de la matriz de covarianza para la reconciliación probabilística de múltiples pasos.
4. Ofrece una perspectiva diagnóstica: si una penalización suave no logra la coherencia, señala que el modelo subyacente está mal especificado, lo que incita a una reevaluación de la elección del modelo en lugar de forzar una reconciliación suboptimal.

Los autores concluyen que, si bien su enfoque sobresale en equilibrar la precisión y la coherencia, es más efectivo cuando el modelo subyacente está razonablemente bien especificado o cuando se enfoca en niveles con alta calidad de datos. Reconocen que en muestras pequeñas, el enfoque de pesaje puede conducir a una cierta calibración errónea de la posterior, pero argumentan que las ganancias en el rendimiento predictivo enfocado superan este costo.