Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

Resumo Técnico: Going NUTS com ADVI: Explorando várias técnicas de inferência Bayesiana com Facebook Prophet

Definição do Problema
O Facebook Prophet ganhou tração para previsão de séries temporais devido à sua estrutura de modelo decomponível e métodos de inferência integrados: estimativa de Máxima A Posteriori (MAP) via L-BFGS-B e amostragem de Markov Chain Monte Carlo (MCMC) via No-U-Turn Sampler (NUTS). No entanto, os autores identificaram duas limitações primárias na implementação original:

1. Inflexibilidade: O design da API fluente restringe a capacidade de incorporar componentes de modelagem customizados ou técnicas de inferência alternativas além dos padrões.
2. Restrições de Inferência: A amostragem MCMC completa é frequentemente computacionalmente proibitiva para experimentação rápida, enquanto a estimativa MAP colapsa a distribuição posterior em um único ponto, descartando informações críticas sobre a incerteza dos parâmetros.

Para abordar essas questões, os autores buscaram avaliar e comparar múltiplas técnicas de inferência Bayesiana (MCMC Completo, MAP e Inferência Variacional) em um cenário específico de previsão de séries temporais.

Metodologia
O núcleo do trabalho envolve uma reimplementação completa do modelo Facebook Prophet usando PyMC, uma biblioteca de programação probabilística.

• Reimplementação do Modelo: Os autores reconstruíram o modelo Prophet ($y(t) \sim g(t) + \sum s(t; p_i, c_i) + h(t) + \epsilon(t)$) dentro do PyMC. Eles substituíram a API fluente original por uma API modular e intuitiva que espelha a notação matemática. Isso permite que os usuários definam componentes (ex: LinearTrend, FourierSeasonality) separadamente e os combinem usando operadores aritméticos padrão (ex: model = trend * (1 + yearly + weekly)).
• Técnicas de Inferência Avaliadas:
  • MCMC Completo: Três algoritmos foram testados: Metropolis-Hastings (MH), NUTS e a adaptação de Z-score do DEMetropolis (DMZ).
  • Estimativa MAP: Realizada utilizando o algoritmo L-BFGS-B.
  • Inferência Variacional (VI): Dois algoritmos foram investigados: Automatic Differentiation Variational Inference (ADVI) e Full-Rank ADVI (FR ADVI).
• Configuração Experimental:
  • Dataset: Dois anos de visualizações diárias em log da página da Wikipedia de Peyton Manning (prevendo o ano subsequente).
  • Configuração do Modelo: Configurações padrão do Prophet (tendência linear segmentada com 25 pontos de mudança, sazonalidade anual e semanal aditiva).
  • Diagnósticos: A convergência foi avaliada usando R-hat (Gelman-Rubin), Tamanho de Amostra Efetivo (ESS) e gráficos de autocorrelação para MCMC; e convergência do Limite Inferior de Evidência Negativa (ELBO) para VI.
  • Métricas: O desempenho da previsão foi medido via MSE, RMSE, MAE e MAPE, juntamente com o tempo de execução e eficiência computacional (amostras efetivas por segundo).

Principais Contribuições

1. Reimplementação do Prophet baseada em PyMC: Um framework flexível e modular que desacopla a definição do modelo do motor de inferência, permitindo a integração de componentes customizados e diversos algoritmos de inferência.
2. Análise Comparativa: Uma comparação empírica detalhada de MAP, MCMC Completo (MH, DMZ, NUTS) e VI (ADVI, FR ADVI) em um problema padrão de série temporal, analisando tanto a qualidade estatística quanto a eficiência computacional.
3. Insights Diagnósticos: O artigo fornece achados diagnósticos específicos sobre o comportamento de convergência de diferentes amostradores na estrutura do modelo Prophet, destacando que o MH padrão e o DMZ lutam para atingir a convergência neste contexto em comparação ao NUTS.

Resultados

• Convergência MCMC:
  • NUTS foi o único algoritmo MCMC a atingir a convergência (R-hat < 1.01, ESS > 400) de forma eficiente, exigindo apenas 550 amostras para convergir. Demonstrou taxas de amostragem efetiva superiores (169.69 amostras/seg) em comparação ao MH e DMZ.
  • MH e DMZ falharam em convergir mesmo após 1.000.000 de amostras. O MH mostrou alta autocorrelação, e o DMZ produziu valores de ESS baixos, indicando uma exploração ineficiente da posterior.
  • Apesar da não convergência, o DMZ surpreendentemente produziu as melhores métricas de previsão entre os métodos MCMC, embora isso seja atribuído à natureza específica das estimativas de ponto, e não a uma aproximação posterior confiável.
• Inferência Variacional:
  • Tanto o ADVI quanto o FR ADVI convergiram em torno de 80.000 iterações.
  • ADVI rendeu as previsões de maior qualidade entre os métodos VI, mas subestimou a incerteza posterior (superconfiante).
  • FR ADVI superestimou a incerteza posterior (menos certo) e teve um desempenho inferior nas métricas de previsão.
  • Métodos VI foram significativamente mais rápidos (aproximadamente 18–23 segundos) que os métodos MCMC, embora não tenham igualado a fidelidade da posterior do NUTS.
• Estimativa MAP:
  • O MAP forneceu previsões de alta qualidade com os tempos de execução mais rápidos.
  • Os autores observam que o MAP é equivalente à Estimativa de Máxima Verossimilhança (MLE) com regularização (L1 para priors de Laplace, L2 para priors Normais).
• Aproximação da Posterior:
  • Histogramas do parâmetro de inclinação revelaram que o NUTS forneceu uma distribuição posterior robusta.
  • O ADVI foi "superconfiante" (distribuição mais estreita), enquanto o FR ADVI foi "subconfiante" (distribuição mais larga) em comparação com a verdade fundamental do NUTS.

Significância e Conclusões
O artigo conclui que não existe um método de inferência universalmente ideal; a escolha depende do compromisso entre custo computacional e a necessidade de quantificação precisa da incerteza.

• NUTS é identificado como a melhor escolha para este problema específico dadas as configurações atuais, oferecendo um equilíbrio entre confiabilidade de convergência e um tempo razoável para convergência, apesar de ser mais lento que o VI.
• MAP é adequado para cenários onde capturar a forma total da posterior é menos crítico do que a velocidade e a precisão da estimativa de ponto.
• VI (especificamente o ADVI) oferece uma alternativa viável quando os recursos computacionais são limitados, fornecendo métricas de previsão comparáveis ao MCMC com tempo de execução significativamente reduzido, embora sofra de limitações em capturar a incerteza da posterior com precisão.

Os autores enfatizam que, embora o VI seja mais rápido, a super/subestimação da incerteza pelo ADVI e FR ADVI, respectivamente, permanece um problema que requer investigação adicional. Trabalhos futuros focarão na aceleração por GPU (via JAX/NumPyro) para acelerar os cálculos de verossimilhança, embora os autores notem que a natureza sequencial do MCMC limita os benefícios de paralelização em comparação às abordagens de VI, que são mais paralelizáveis.