Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

Resumen Técnico: Volviéndose loco con ADVI: Explorando diversas técnicas de inferencia bayesiana con Facebook Prophet

Declaración del Problema
Facebook Prophet ha ganado tracción en el pronóstico de series temporales debido a su estructura de modelo decomponible y sus métodos de inferencia integrados: la estimación de Máxima A Posteriori (MAP) mediante L-BFGS-B y el muestreo de Markov Chain Monte Carlo (MCMC) mediante el No-U-Turn Sampler (NUTS). Sin embargo, los autores identificaron dos limitaciones primarias en la implementación original:

1. Inflexibilidad: El diseño de la API fluida restringe la capacidad de incorporar componentes de modelado personalizados o técnicas de inferencia alternativas más allá de los valores predeterminados.
2. Restricciones de Inferencia: El muestreo MCMC completo suele ser computacionalmente prohibitivo para la experimentación rápida, mientras que la estimación MAP colapsa la distribución posterior en un único punto, descartando información crítica respecto a la incertidumbre de los parámetros.

Para abordar estos problemas, los autores buscaron evaluar y comparar múltiples técnicas de inferencia bayesana (MCMC completo, MAP y Inferencia Variacional) en un escenario específico de pronóstico de series temporales.

Metodología
El núcleo del trabajo consiste en una reimplementación completa del modelo Facebook Prophet utilizando PyMC, una biblioteca de programación probabilística.

• Reimplementación del Modelo: Los autores reconstruyeron el modelo Prophet ($y(t) \sim g(t) + \sum s(t; p_i, c_i) + h(t) + \epsilon(t)$) dentro de PyMC. Reemplazaron la API fluida original por una API modular e intuitiva que refleja la notación matemática. Esto permite a los usuarios definir componentes (por ejemplo, LinearTrend, FourierSeasonality) por separado y combinarlos mediante operadores aritméticos estándar (por ejemplo, model = trend * (1 + yearly + weekly)).
• Técnicas de Inferencia Evaluadas:
  • MCMC Completo: Se probaron tres algoritmos: Metropolis-Hastings (MH), NUTS y la adaptación de Z-score de DEMetropolis (DMZ).
  • Estimación MAP: Realizada utilizando el algoritmo L-BFGS-B.
  • Inferencia Variacional (VI): Se investigaron dos algoritmos: la Inferencia Variacional de Diferenciación Automática (ADVI) y la ADVI de Rango Completo (FR ADVI).
• Configuración Experimental:
  • Conjunto de Datos: Dos años de visitas diarias de páginas en escala logarítmica para la página de Wikipedia de Peyton Manning (pronosticando el año siguiente).
  • Configuración del Modelo: Ajustes predeterminados de Prophet (tendencia lineal segmentada con 25 puntos de cambio, estacionalidad anual y semanal aditiva).
  • Diagnósticos: La convergencia se evaluó mediante R-hat (Gelman-Rubin), Tamaño de Muestra Efectivo (ESS) y gráficos de autocorrelación para MCMC; y la convergencia del Límite Inferior de Evidencia Negativa (ELBO) para VI.
  • Métricas: El rendimiento del pronóstico se midió mediante MSE, RMSE, MAE y MAPE, junto con el tiempo de ejecución y la eficiencia computacional (muestras efectivas por segundo).

Contribuciones Clave

1. Reimplementación de Prophet basada en PyMC: Un marco flexible y modular que desacopla la definición del modelo del motor de inferencia, permitiendo la integración de componentes personalizados y diversos algoritmos de inferencia.
2. Análisis Comparativo: Una comparación empírica detallada de MAP, MCMC completo (MH, DMZ, NUTS) y VI (ADVI, FR ADVI) sobre un problema estándar de series temporales, analizando tanto la calidad estadística como la eficiencia computacional.
3. Perspectivas de Diagnóstico: El artículo proporciona hallazgos diagnósticos específicos sobre el comportamiento de convergencia de diferentes muestreadores en la estructura del modelo Prophet, destacando que el MH estándar y el DMZ tienen dificultades con la convergencia en este contexto en comparación con NUTS.

Resultos

• Convergencia de MCMC:
  • NUTS fue el único algoritmo MCMC que logró la convergencia (R-hat < 1.01, ESS > 400) de manera eficiente, requiriendo solo 550 muestras para converger. Demostró tasas de muestreo efectivo superiores (169.69 muestras/seg) en comparación con MH y DMZ.
  • MH y DMZ no lograron converger incluso después de 1,000,000 de muestras. MH mostró una alta autocorrelación y DMZ produjo valores de ESS bajos, lo que indica una exploración ineficiente de la posterior.
  • A pesar de la falta de convergencia, DMZ sorprendentemente produjo las mejores métricas de pronóstico entre los métodos MCMC, aunque esto se atribuye a la naturaleza específica de las estimaciones puntuales más que a una aproximación de la posterior fiable.
• Inferencia Variacional:
  • Tanto ADVI como FR ADVI convergieron alrededor de las 80,000 iteraciones.
  • ADVI produjo los pronósticos de mayor calidad entre los métodos VI, pero subestimó la incertidumbre posterior (exceso de confianza).
  • FR ADVI sobreestimó la incertidumbre posterior (menor certeza) y tuvo un peor desempeño en las métricas de pronóstico.
  • Los métodos VI fueron significativamente más rápidos (aproximadamente 18–23 segundos) que los métodos MCMC, aunque no igualaron la fidelidad de la posterior de NUTS.
• Estimación MAP:
  • MAP proporcionó pronósticos de alta calidad con los tiempos de ejecución más rápidos.
  • Los autores señalan que MAP es equivalente a la Estimación de Máxima Verosimilitud (MLE) con regularización (L1 para distribuciones Laplace, L2 para distribuciones Normales).
• Aproximación de la Posterior:
  • Los histogramas del parámetro de pendiente revelaron que NUTS proporcionó una distribución posterior robusta.
  • ADVI fue "excesivamente confiado" (distribución más estrecha), mientras que FR ADVI fue "poco confiado" (distribución más amplia) en comparación con la verdad de terreno de NUTS.

Significancia y Conclusiones
El artículo concluye que no existe un método de inferencia universalmente óptimo; la elección depende del compromiso entre el costo computacional y la necesidad de una cuantificación de la incertidumbre precisa.

• NUTS se identifica como la mejor opción para este problema específico dadas las configuraciones actuales, ofreciendo un equilibrio entre la fiabilidad de la convergencia y un tiempo de convergencia razonable, a pesar de ser más lento que VI.
• MAP es adecuado para escenarios donde capturar la forma completa de la posterior es menos crítico que la velocidad y la precisión de la estimación puntual.
• VI (específicamente ADVI) ofrece una alternativa viable cuando los recursos computacionales son limitados, proporcionando métricas de pronóstico comparables a MCMC con un tiempo de ejecución significativamente reducido, aunque sufre de limitaciones para capturar con precisión la incertidumbre de la posterior.

Los autores enfatizan que, si bien VI es más rápido, la sobre/subestimación de la incertidumbre por parte de ADVI y FR ADVI respectivamente sigue siendo un problema que requiere mayor investigación. El trabajo futuro se centrará en la aceleración por GPU (vía JAX/NumPyro) para acelerar los cálculos de verosimilitud, aunque los autores señalan que la naturaleza secuencial de MCMC limita los beneficios de paralelización en comparación con los enfoques de VI, que son más paralelizables.