📊 statistics

Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

Questo articolo presenta una reimplementazione completa di Facebook Prophet in PyMC per superare i limiti dei suoi metodi di inferenza predefiniti, consentendo un confronto dettagliato di varie tecniche bayesiane — tra cui MCMC, MAP e l'inferenza variazionale — su problemi di previsione di serie temporali.

Autori originali: Jovan Krajevski, Biljana Tojtovska Ribarski

Pubblicato 2026-01-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jovan Krajevski, Biljana Tojtovska Ribarski

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: cercare di prevedere il futuro

Immagina di cercare di prevedere quante persone visiteranno una specifica pagina di Wikipedia domani. Hai uno strumento chiamato Facebook Prophet che è molto bravo in questo. Analizza i dati passati e cerca di indovinare il futuro scomponendo il problema in tre parti:

Il Trend (Tendenza): La pagina sta diventando più popolare nel tempo? (Come una collina che sale lentamente).
Le Stagionalità: Le persone visitano la pagina più spesso nei fine settimana o durante le festività? (Come le maree che vanno e vengono).
Il Rumore (Noise): Botte casuali e imprevedibili nei dati.

Gli autori di questo paper volevano usare questo strumento per testare diversi modi di "risolvere" la matematica dietro la previsione. Hanno scoperto che lo strumento originale era un po' troppo rigido, quindi lo hanno ricostruito da zero utilizzando un nuovo kit di strumenti chiamato PyMC.

I tre modi per risolvere l'enigma

Il paper confronta tre diversi "detective" (metodi di inferenza) che cercano di risolvere il mistero dei dati futuri. Pensateli come tre diversi modi per trovare il miglior percorso attraverso una montagna nebbiosa.

1. Il detective del "Miglior Indovino" (Stima MAP)

L'analogia: Immagina di cercare la vetta più alta in una catena montuosa. Questo detective guarda la mappa, trova l'unico punto più alto e dice: "La risposta è proprio qui".
Cosa dice il paper: Questo metodo è molto veloce. Ti fornisce un numero specifico per la risposta. Tuttavia, ignora il fatto che potrebbero esserci altre vette alte nelle vicinanze o che il terreno potrebbe essere instabile. Ti dice dove si trova la risposta, ma non quanto sia sicuro.
Risultato: È stato veloce e ha fornito buone previsioni, ma non ha raccontato tutta la storia sull'incertezza.

2. L' "Escursionista Esaustivo" (Full MCMC / NUTS)

L'analogia: Questo detective non si limita a scegliere un punto. Invia un intero team di escursionisti a percorrere ogni singolo sentiero della catena montuosa, facendo migliaia di passi per mappare l'intero terreno. Vogliono conoscere la forma dell'intera montagna, non solo la cima.
Cosa dice il paper: Questo è il metodo più accurato. Esplora la "distribuzione a posteriori" (la forma completa delle possibili risposte). Gli autori hanno testato tre tipi di escursionisti:
- Metropolis-Hastings (MH): Un escursionista che compie passi casuali e lenti. Si è perso e non ha esplorato bene la montagna.
- DMZ: Un escursionista che cerca di copiare i passi degli altri. Anche questo ha avuto difficoltà a coprire il terreno in modo efficiente.
- NUTS (No-U-Turn Sampler): Un escursionista super intelligente che usa una mappa e una bussola (gradienti) per camminare in modo efficiente. Questo è stato il vincitore. Ha trovato il percorso migliore rapidamente e ha mappato la montagna perfettamente senza sprecare tempo.
Risultato: NUTS è stato il più affidabile, ma ha richiesto più tempo per l'esecuzione rispetto al detective del "Miglior Indovino".

3. Il "Rapido Approssimatore" (Inferenza Variazionale / VI)

L'analogia: Inve di camminare su tutta la montagna, questo detective guarda la montagna da un elicottero e disegna una forma ovale semplice e liscia che assomiglia alla montagna. È una scorciatoia.
Cosa dice il paper: Questo metodo cerca di adattare una forma semplice (come una curva a campana) ai dati complessi. È molto più veloce dell' "Escursista Esaustivo".
- ADVI: Ha disegnato un semplice ovale. Era veloce, ma è diventato un po' troppo sicuro di sé (l'ovale era troppo stretto).
- FullRank ADVI: Ha disegnato un ovale più complesso e allungato. Era anche veloce, ma è diventato un po' troppo incerto (l'ovale era troppo largo).
Risultato: Era il metodo più veloce, ma la "forma" della risposta non era perfettamente accurata rispetto all'Escursista Esaustivo.

I risultati della gara

Gli autori hanno messo alla prova questi detective usando i dati di una famosa pagina Wikipedia di un calciatore. Ecco come si sono confrontati:

Velocità: Il "Rapido Approssimatore" (VI) è stato il più veloce. Anche il "Miglior Indovino" (MAP) è stato molto veloce. L' "Escursista Esaustivo" (NUTS) è stato più lento, ma comunque gestibile. Gli altri escursionisti (MH e DMZ) erano così lenti e inefficienti da non riuscire a portare a termine bene il lavoro.
Accuratezza: L' "Escursista Esaustivo" (NUTS) ha fornito la mappa più affidabile del futuro. Il "Rapido Approssimatore" era vicino, ma presentava alcuni difetti nel misurare l'incertezza. Il "Miglior Indovino" era buono per una risposta rapida, ma mancava dei dettagli.
Il Vincitore: Per questo problema specifico, NUTS è stata la scelta migliore in assoluto. Non era il più veloce, ma è stato l'unico che è riuscito a mappare l'intera montagna senza perdersi o fare brutte ipotesi.

Il Nuovo Strumento (L'API Ricostruita)

Gli autori hanno anche menzionato che l'originale strumento Facebook Prophet era come un pasto preconfezionato: potevi mangiarlo, ma non potevi cambiare facilmente gli ingredienti.
Lo hanno ricostruito in PyMC per essere come un set di Lego modulari. Ora, invece di seguire solo una ricetta, puoi incastrare diversi pezzi (come "Trend Lineare" + "Stagionalità Annuale") per costruire esattamente il modello che desideri. Questo nuovo modo "intuitivo" di costruire i modelli rende molto più facile sperimentare con idee diverse.

Riassunto

Il paper è essenzialmente una gara per vedere come prevedere al meglio il futuro usando un modello matematico specifico.

Se hai bisogno di velocità e di una singola risposta, usa il Miglior Indovino (MAP).
Se hai bisogno di un'approssimazione rapida dell'incertezza, usa il Rapido Approssimatore (VI).
Se hai bisogno della visione più accurata e affidabile del futuro e delle sue incertezze, l' Escursista Esaustivo (NUTS) è la scelta migliore, anche se richiede un po' più di tempo.

Gli autori hanno concluso che, sebbene i metodi rapidi siano allettanti, il metodo intelligente e approfondito (NUTS) ha fornito il miglior equilibrio tra accuratezza e affidabilità per il loro problema di previsione delle serie temporali.

Sintesi Tecnica: Andare NUTS con ADVI: Esplorazione di varie tecniche di inferenza bayesiana con Facebook Prophet

Problematica
Facebook Prophet ha guadagnato popolarità per la previsione di serie temporali grazie alla sua struttura di modello decomponibile e ai metodi di inferenza integrati: la stima Maximum A Posteriori (MAP) tramite L-BFGS-B e il campionamento Markov Chain Monte Carlo (MCMC) tramite l'algoritmo No-U-Turn Sampler (NUTS). Tuttavia, gli autori hanno identificato due limitazioni primarie nell'implementazione originale:

Inflessibilità: Il design dell'API fluente limita la capacità di incorporare componenti di modellazione personalizzati o tecniche di inferenza alternative oltre ai default.
Vincoli di Inferenza: Il campionamento MCMC completo è spesso computazionalmente proibitivo per una sperimentazione rapida, mentre la stima MAP collassa la distribuzione a posteriori in un singolo punto, scartando informazioni critiche riguardanti l'incertezza dei parametri.

Per affrontare questi problemi, gli autori hanno cercato di valutare e confrontare molteplici tecniche di inferenza bayesiana (Full MCMC, MAP e Variational Inference) su uno specifico scenario di previsione di serie temporali.

Metodologia
Il nucleo del lavoro consiste in una completa reimplementazione del modello Facebook Prophet utilizzando PyMC, una libreria di programmazione probabilistica.

Reimplementazione del Modello: Gli autori hanno ricostruito il modello Prophet ( $y(t) \sim g(t) + \sum s(t; p_i, c_i) + h(t) + \epsilon(t)$ ) all'interno di PyMC. Hanno sostituito l'originale API fluente con un'API modulare e intuitiva che rispecchia la notazione matematica. Ciò consente agli utenti di definire i componenti (ad es. LinearTrend, FourierSeasonality) separatamente e di combinarli utilizzando operatori aritmetici standard (ad es. model = trend * (1 + yearly + weekly)).
Tecniche di Inferenza Valutate:
- Full MCMC: Sono stati testati tre algoritmi: Metropolis-Hastings (MH), NUTS e l'adattamento dello Z-score di DEMetropolis (DMZ).
- Stima MAP: Eseguita utilizzando l'algoritmo L-BFGS-B.
- Inferenza Variazionale (VI): Sono stati investigati due algoritmi: Automatic Differentiation Variational Inference (ADVI) e Full-Rank ADVI (FR ADVI).
Configurazione Sperimentale:
- Dataset: Due anni di visualizzazioni giornaliere in scala logaritmica della pagina Wikipedia di Peyton Manning (previsione dell'anno successivo).
- Configurazione del Modello: Impostazioni predefinite di Prophet (trend lineare a tratti con 25 punti di cambiamento, stagionalità annuale e settimanale additiva).
- Diagnostica: La convergenza è stata valutata tramite R-hat (Gelman-Rubin), Effective Sample Size (ESS) e grafici di autocorrelazione per MCMC; e convergenza del Negative Evidence Lower Bound (ELBO) per VI.
- Metriche: Le prestazioni di previsione sono state misurate tramite MSE, RMSE, MAE e MAPE, insieme al tempo di esecuzione e all'efficienza computazionale (campioni effettivi al secondo).

Contributi Chiave

Reimplementazione di Prophet basata su PyMC: Un framework flessibile e modulare che scinde la definizione del modello dal motore di inferenza, consentendo l'integrazione di componenti personalizzate e diversi algoritmi di inferenza.
Analisi Comparativa: Un dettagliato confronto empirico tra MAP, Full MCMC (MH, DMZ, NUTS) e VI (ADVI, FR ADVI) su un problema standard di serie temporali, analizzando sia la qualità statistica che l'efficienza computazionale.
Approfondimenti Diagnostici: Il documento fornisce risultati diagnostici specifici riguardo il comportamento di convergenza di diversi sampler sulla struttura del modello Prophet, evidenziando come lo standard MH e DMZ fatichino a convergere in questo contesto rispetto a NUTS.

Risultati

Convergenza MCMC:
- NUTS è stato l'unico algoritmo MCMC a raggiungere la convergenza (R-hat < 1.01, ESS > 400) in modo efficiente, richiedendo solo 550 campioni per convergere. Ha dimostrato tassi di campionamento effettivo superiori (169.69 campioni/sec) rispetto a MH e DMZ.
- MH e DMZ non sono riusciti a convergere nemmeno dopo 1.000.000 di campioni. MH ha mostrato un'alta autocorrelazione, e DMZ ha prodotto valori di ESS bassi, indicando un'esplorazione inefficiente della distribuzione a posteriori.
- Nonostante la mancata convergenza, DMZ ha sorprendentemente prodotto le migliori metriche di previsione tra i metodi MCMC, sebbene ciò sia attribuito alla natura specifica delle stime puntuali piuttosto che a un'approssimazione affidabile della distribuzione a posteriori.
Inferenza Variazionale:
- Sia ADVI che FR ADVI sono converguti intorno a 80.000 iterazioni.
- ADVI ha fornito le previsioni di qualità più elevata tra i metodi VI, ma ha sottostimato l'incertezza a posteriori (eccessiva fiducia).
- FR ADVI ha sovrastimato l'incertezza a posteriori (minore fiducia) e ha ottenuto prestazioni peggiori nelle metriche di previsione.
- I metodi VI sono stati significativamente più veloci (circa 18–23 secondi) rispetto ai metodi MCMC, sebbene non abbiano raggiunto la fedeltà della distribuzione a posteriori di NUTS.
Stima MAP:
- MAP ha fornito previsioni di alta qualità con i tempi di esecuzione più rapidi.
- Gli autori osservano che MAP è equivalente alla stima di Massima Verosimiglianza (MLE) con regolarizzazione (L1 per prior di Laplace, L2 per prior Normali).
Approssimazione della Distribuzione a Posteriori:
- Gli istogrammi del parametro di pendenza (slope) hanno rivelato che NUTS ha fornito una distribuzione a posteriori robusta.
- ADVI era "eccessivamente fiduciosa" (distribuzione più stretta), mentre FR ADVI era "poco fiduciosa" (distribuzione più ampia) rispetto alla verità di base di NUTS.

Significatività e Conclusioni
Il documento conclude che non esiste un metodo di inferenza universalmente ottimale; la scelta dipende dal compromesso tra costo computazionale e necessità di una precisa quantificazione dell'incertezza.

NUTS è identificato come la scelta migliore per questo specifico problema date le impostazioni attuali, offrendo un equilibrio tra affidabilità della convergenza e tempi di convergenza ragionevoli, nonostante sia più lento di VI.
MAP è adatto per scenari in cui catturare l'intera forma della distribuzione a posteriori è meno critico rispetto alla velocità e all'accuratezza della stima puntuale.
VI (specificamente ADVI) offre un'alternativa valida quando le risorse computazionali sono limitate, fornendo metriche di previsione comparabili a MCMC con tempi di esecuzione significativamente ridotti, pur soffrendo di limitazioni nel catturare accuratamente l'incertezza a posteriori.

Gli autori sottolineano che, sebbene VI sia più veloce, la sovrastima/sottostima dell'incertezza da parte di ADVI e FR ADVI rispettivamente rimane un problema che richiede ulteriori indagini. Il lavoro futuro si concentrerà sull'accelerazione tramite GPU (tramite JAX/NumPyro) per velocizzare i calcoli della verosimiglianza, sebbene gli autori notino che la natura sequenziale di MCMC limiti i benefici della parallelizzazione rispetto agli approcci VI, che sono più parallelizzabili.