Practical and Scalable Hamiltonian Monte Carlo Without the Metropolis Test

Problematica
L'Hamiltonian Monte Carlo (HMC) e l'underdamped Langevin Monte Carlo (LMC) sono metodi allo stato dell'arte per il campionamento da distribuzioni ad alta dimensionalità con densità differenziabili. Tuttavia, questi metodi si affidano all'integrazione numerica, il che introduce un bias asintotico nelle stime di aspettativa perché la distribuzione stazionaria del campionatore ($\tilde{p}$) devia dalla distribuzione target ($p$). Tradizionalmente, questo bias viene eliminato aggiungendo un passaggio di rifiuto Metropolis–Hastings (MH). Sebbene ciò assicuri che la catena soddisfi il bilancio dettagliato e rimuova il bias asintotico, il passaggio MH comporta un costo computazionale significativo in alta dimensione: la probabilità di accettazione dipende dalla somma degli errori di energia su tutti i parametri, costringendo la dimensione del passo (step size) a diminuire all'aumentare della dimensione $d$ (scalando come $d^{1/4}$). Ciò risulta in un rimescolamento (mixing) più lento e una varianza più elevata per catene di lunghezza finita.

In alternativa, gli schemi "unadjusted" (non corretti) omettono il passaggio MH per evitare questa penalità di scalabilità. Questi metodi possono operare con step size più grandi e mantenere un'efficienza costante indipendentemente dalla dimensione. Tuttavia, soffrono di bias asintotico. La barriera principale alla loro adozione pratica è stata la mancanza di un metodo automatizzato e rigoroso per selezionare una dimensione del passo che bilanci questo bias con la varianza del set di campioni finiti. Senza un tale schema, i professionisti non possono utilizzare i metodi unadjusted in modo "black-box".

Metodologia
Gli autori propongono uno schema di tuning automatico per HMC, LMC e Microcanonical Langevin Monte Carlo (MCLMC) non corretti, che seleziona una dimensione del passo basata su una tolleranza di bias asintotico specificata dall'utente. Il nucleo della metodologia si basa sulla relazione tra la Varianza dell'Errore di Energia per Dimensione (EEVPD) e il bias asintotico.

1. Definizione della Metrica: Gli autori definiscono l'EEVPD come la varianza dell'errore di energia a singolo passo ($\Delta H$) indotto dall'integrazione numerica, normalizzata per dimensione $d$. Questa quantità è computazionalmente economica da stimare online come media mobile durante il processo di campionamento.
2. Limiti Teorici:
   • Per distribuzioni target gaussiane, gli autori derivano una relazione analitica esatta mostrando che l'EEVPD fornisce un limite superiore sul bias asintotico della matrice di covarianza ($b^2_{cov}$) e sulla distanza di Wasserstein ($W_2$). Nello specifico, dimostrano che $b^2_{cov} \leq \phi^{-1}(\text{EEVPD})$ per valori di EEVPD al di sotto di una specifica soglia.
   • Dimostrano che per Gaussiane isotrope questo limite è stretto (sharp).
3. Validazione Empirica: Esperimenti numerici su benchmark non gaussiani (inclusi Rosenbrock, Funnel e Brownian motion) confermano che il limite superiore derivato dalle Gaussiane generalmente vale anche per target non gaussiani, con l'eccezione del caso Brownian motion dove il bias è leggermente superiore a quanto previsto.
4. Algoritmo di Tuning: Il processo proposto varia adattivamente la dimensione del passo $\epsilon$ durante una fase di warm-up per puntare a un valore specifico di EEVPD. Questo target EEVPD è derivato dalla tolleranza dell'errore quadratico medio (RMSE) relativo desiderata dall'utente. Basandosi su un'analisi del trade-off bias-varianza per target gaussiani, gli autori raccomandano di impostare il quadrato del bias in modo che sia circa un quinto della tolleranza totale dell'errore quadratico medio.

Contributi Chiave

• Schema di Tuning Automatico: Un algoritmo black-box che seleziona automaticamente le dimensioni dei passi per HMC, LMC e MCLMC non corretti senza il tuning manuale degli iperparametri.
• Giustificazione Teorica: Dimostrazione rigorosa che stabilisce come l'EEVPD limiti superiormente il bias della covarianza asintotica per le distribuzioni gaussiane, fornendo una base teorica per l'uso dell'errore di energia come proxy per il controllo del bias.
• Scalabilità: Dimostrazione che i metodi unadjusted, quando sintonizzati tramite questo schema, evitano la penalità di scalabilità $d^{1/4}$ dei metodi con correzione Metropolis, mantenendo un costo computazionale costante all'aumentare della dimensionalità.

Risultati
Il paper valuta il metodo proposto rispetto alle controparti con correzione Metropolis (inclusi NUTS e MALT) e ai metodi corretti ottimizzati tramite grid-search su diversi benchmark:

• Benchmark di Inferenza Bayesiana: Su problemi standard (Standard Gaussian, Rosenbrock, German Credit, Item Response, Stochastic Volatility), i metodi unadjusted superano costantemente i metodi corretti e NUTS in termini di numero di chiamate al gradiente richieste per raggiungere un errore target ($b^2_{avg} < 0.01$). Nella maggior parte dei casi, i metodi unadjusted richiedono significativamente meno valutazioni del gradiente.
• Modelli di Fisica ad Alta Dimensionalità:
  • Teoria di Campo $\phi^4$ ($>10^6$ dimensioni): L'MCLMC non corretto ha richiesto solo 1.344 chiamate al gradiente per convergere, un miglioramento di 100 volte rispetto a NUTS (133.266 chiamate) e un miglioramento significativo rispetto all'MCLMC corretto (39.240 chiamate).
  • Teoria di Gauge su Reticolo U(1) ($\approx 2 \times 10^6$ dimensioni): L'MCLMC non corretto è convergito in 198 chiamate al gradiente, mentre NUTS, HMC e MCLMC corretti richiedevano rispettivamente 127.875, 17.699 e 15.578 chiamate.
• Controllo del Bias: Nel problema "Funnel", l'MCLMC non corretto ha prodotto posterior marginali indistinguibili da una catena NUTS molto lunga, dimostrando che il bias di discretizzazione è stato soppresso con successo a livelli trascurabili.

Significatività e Rivendicazioni
Gli autori sostengono che il loro lavoro trasformi i campionatori basati sul gradiente non corretti in strumenti completamente automatici e scalabili che non richiedono il tuning manuale degli iperparametri. Affermano che, con questo schema di tuning, i metodi unadjusted superano costantemente e significativamente le controparti corrette, in particolare in contesti ad alta dimensionalità dove il costo del test di Metropolis diventa proibitivo. Il paper posiziona questi metodi come un'alternativa scalabile per una vasta gamma di applicazioni, dalla programmazione probabilistica alla scienza computazionale (specificamente la teoria statistica e della teoria quantistica dei campi).

Gli autori rimangono modesti riguardo all'ambito delle loro rivendicazioni:

• Riconoscono che i limiti teorici sono rigorosamente provati per le Gaussiane ed estesi empiricamente alle non-Gaussiane, notando un'eccezione (Brownian motion) dove il bias è maggiore di quanto previsto.
• Non rivendicano la superiorità nelle pure applicazioni di machine learning (es. reti neurali bayesiane), citando la controversia sul fatto che tali modelli offrano vantaggi rispetto alle reti standard.
• Sottolineano che, sebbene il metodo sia "black-box", gli utenti dovrebbero comunque utilizzare diagnostiche (es. far girare le catene con metà della dimensione del passo) per verificare che il bias di discretizzazione sia trascurabile per il loro problema specifico, similmente alle pratiche standard per controllare il bias di inizializzazione.