Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

Technische Samenvatting: Going NUTS met ADVI: Het verkennen van diverse Bayesiaanse inferentietechnieken met Facebook Prophet

Probleemstelling
Facebook Prophet heeft veel tractie gekregen voor tijdreeksvoorspellingen vanwege de decomponeerbare modelstructuur en ingebouwde inferentiemethoden: Maximum A Posteriori (MAP) schatting via L-BFGS-B en Markov Chain Monte Carlo (MCMC) sampling via de No-U-Turn Sampler (NUTS). De auteurs identificeerden echter twee primaire beperkingen in de oorspronkelijke implementatie:

1. Onbuigzaamheid: Het fluent API-ontwerp beperkt de mogelijkheid om aangepaste modelcomponenten of alternatieve inferentietechnieken buiten de standaardopties toe te voegen.
2. Inferentiebeperkingen: Volledige MCMC-sampling is vaak computationeel te kostbaar voor snelle experimenten, terwijl MAP-schatting de posterieure verdeling reduceert tot een enkel punt, waardoor cruciale informatie over parameteronzekerheid verloren gaat.

Om deze problemen aan te pakken, zochten de auteurs naar manieren om meerdere Bayesiaanse inferentietechnieken (Full MCMC, MAP en Variational Inference) te evalueren en te vergelijken in een specifiek scenario voor tijdreeksvoorspelling.

Methodologie
De kern van het werk bestaat uit een volledige reimplementatie van het Facebook Prophet-model met behulp van PyMC, een probabilistische programmeerbibliotheek.

• Modelreimplementatie: De auteurs hebben het Prophet-model ($y(t) \sim g(t) + \sum s(t; p_i, c_i) + h(t) + \epsilon(t)$) gereconstrueerd binnen PyMC. Ze vervingen de oorspronkelijke fluent API door een modulaire, intuïtieve API die de wiskundige notatie weerspiegelt. Dit stelt gebruikers in staat om componenten (bijv. LinearTrend, FourierSeasonality) afzonderlijk te definiëren en deze te combineren met behulp van standaard rekenkundige operatoren (bijv. model = trend * (1 + yearly + weekly)).
• Geëvalueerde inferentietechnieken:
  • Full MCMC: Drie algoritmen werden getest: Metropolis-Hastings (MH), NUTS en de Z-score adaptatie van DEMetropolis (DMZ).
  • MAP-schatting: Uitgevoerd met het L-BFGS-B algoritme.
  • Variational Inference (VI): Twee algoritmen werden onderzocht: Automatic Differentiation Variational Inference (ADVI) en Full-Rank ADVI (FR ADVI).
• Experimentele opzet:
  • Dataset: Twee jaar aan log dagelijkse paginaweergaven voor de Wikipedia-pagina van Peyton Manning (voorspelling van het daaropvolgende jaar).
  • Modelconfiguratie: Standaard Prophet-instellingen (piecewise lineaire trend met 25 change points, additieve jaarlijkse en wekelijkse seasonaliteit).
  • Diagnostiek: Convergentie werd beoordeeld met behulp van R-hat (Gelman-Rubin), Effective Sample Size (ESS) en autocorrelatieplots voor MCMC; en Negative Evidence Lower Bound (ELBO) convergentie voor VI.
  • Metrieken: De voorspellende prestaties werden gemeten via MSE, RMSE, MAE en MAPE, naast uitvoeringstijd en computationele efficiëntie (effectieve samples per seconde).

Belangrijkste bijdragen

1. PyMC-gebaseerde Prophet-reimplementatie: Een flexibel, modulair framework dat de modeldefinitie ontkoppelt van de inferentie-engine, wat de integratie van aangepaste componenten en diverse inferentie-algoritmen mogelijk maakt.
2. Vergelijkende analyse: Een gedetailleerde empirische vergelijking van MAP, Full MCMC (MH, DMZ, NUTS) en VI (ADVI, FR ADVI) op een standaard tijdreeksprobleem, waarbij zowel de statistische kwaliteit als de computationele efficiëntie worden geanalyseerd.
3. Diagnostische inzichten: Het artikel biedt specifieke diagnostische bevindingen over het convergentiegedrag van verschillende samplers op de Prophet-modelstructuur, waarbij wordt benadrukt dat standaard MH en DMZ moeite hebben met convergentie in deze context vergeleken met NUTS.

Resultaten

• MCMC-convergentie:
  • NUTS was het enige MCMC-algoritme dat efficiënt convergerde (R-hat < 1.01, ESS > 400) en had slechts 550 samples nodig om te convergeren. Het vertoonde superieure effectieve sampling-snelheden (169,69 samples/sec) vergeleken met MH en DMZ.
  • MH en DMZ slaagden er niet in om te convergeren, zelfs niet na 1.000.000 samples. MH vertoonde een hoge autocorrelatie, en DMZ produceerde lage ESS-waarden, wat duidt op een inefficiënte exploratie van de posterieur.
  • Ondanks de niet-convergentie produceerde DMZ verrassend genoeg de beste voorspellingsmetrieken onder de MCMC-methoden, hoewel dit wordt toegeschreven aan de specifieke aard van de punt-schattingen in plaats van een betrouwbare posterieure benadering.
• Variational Inference:
  • Zowel ADVI als FR ADVI convergeerden rond de 80.000 iteraties.
  • ADVI leverde de hoogste kwaliteit voorspellingen onder de VI-methoden, maar onderschatte de posterieure onzekerheid (overconfident).
  • FR ADVI overschatte de posterieure onzekerheid (minder zeker) en presteerde slechter op de voorspellingsmetrieken.
  • VI-methoden waren aanzienlijk sneller (ongeveer 18–23 seconden) dan MCMC-methoden, hoewel ze de posterieure getrouwheid van NUTS niet evenaarden.
• MAP-schatting:
  • MAP leverde hoogwaardige voorspellingen met de snelste uitvoeringstijden.
  • De auteurs merken op dat MAP equivalent is aan Maximum Likelihood Estimation (MLE) met regularisatie (L1 voor Laplace priors, L2 voor Normal priors).
• Posterieure benadering:
  • Histogrammen van de hellingsparameter (slope parameter) lieten zien dat NUTS een robuuste posterieure verdeling bood.
  • ADVI was "overconfident" (smallere verdeling), terwijl FR ADVI "underconfident" was (bredere verdeling) vergeleken met de NUTS ground truth.

Betekenis en Conclusies
Het artikel concludeert dat er geen universeel optimale inferentiemethode is; de keuze hangt af van de afweging tussen computationele kosten en de noodzaak voor nauwkeurige onzekerheidskwantificering.

• NUTS wordt geïdentificeerd als de beste keuze voor dit specifieke probleem gezien de huidige instellingen, omdat het een balans biedt tussen convergentiebetrouwbaarheid en een redelijke tijd-tot-convergentie, ondanks dat het langzamer is dan VI.
• MAP is geschikt voor scenario's waarin het vastleggen van de volledige vorm van de posterieur minder kritisch is dan snelheid en de nauwkeurigheid van punt-schattingen.
• VI (specifiek ADVI) biedt een levensvatbaar alternatief wanneer de computationele middelen beperkt zijn, waarbij het vergelijkbare voorspellingsmetrieken biedt als MCMC met een aanzienlijk lagere uitvoeringstijd, hoewel het kampt met beperkingen in het nauwkeurig vastleggen van de posterieure onzekerheid.

De auteurs benadrukken dat hoewel VI sneller is, de over- of onderschatting van onzekerheid door respectievelijk ADVI en FR ADVI een probleem blijft dat verder onderzoek vereist. Toekomstig werk zal zich richten op GPU-acceleratie (via JAX/NumPyro) om de likelihood-berekeningen te versnellen, hoewel de auteurs opmerken dat de sequentiële aard van MCMC de voordelen van parallellisatie beperkt in vergelijking met de meer paralleliseerbare VI-benaderingen.