Practical and Scalable Hamiltonian Monte Carlo Without the Metropolis Test

Probleemstelling
Hamiltonian Monte Carlo (HMC) en underdamped Langevin Monte Carlo (LMC) zijn state-of-the-art methoden voor het bemonsteren van hoogdimensionale verdelingen met differentiabele dichtheden. Deze methoden vertrouwen echter op numerieke integratie, wat een asymptotische bias introduceert in verwachtingsschattingen omdat de stationaire verdeling van de sampler ($\tilde{p}$) afwijkt van de doelverdeling ($p$). Traditioneel wordt deze bias geëlimineerd door een Metropolis–Hastings (MH) rejectiestap toe te voegen. Hoewel dit ervoor zorgt dat de keten voldoet aan de gedetailleerde balans en de asymptotische bias verwijdert, brengt de MH-stap een aanzienlijke computationele kosten met zich mee in hoge dimensies: de acceptatiekans hangt af van de som van de energie-fouten over alle parameters, waardoor de stapgrootte moet afnemen naarmate de dimensie $d$ toeneemt (schalend als $d^{1/4}$). Dit resulteert in langzamere menging en een hogere variantie voor ketens van eindige lengte.

Alternatieve "ongecorrigeerde" schema's laten de MH-stap weg om deze schaleringsstraf te vermijden. Deze methoden kunnen werken met grotere stapgroottes en behouden een constante efficiëntie, ongeacht de dimensie. Ze lijden echter aan asymptotische bias. De primaire barrière voor hun praktische adoptie is het gebrek aan een geautomatiseerde, principiële methode voor het selecteren van een stapgrootte die de bias afweegt tegen de variantie van de eindige steekproefverdeling. Zonder een dergelijk schema kunnen beoefenaars ongecorrigeerde methoden niet op een "black-box"-wijze gebruiken.

Methodologie
De auteurs stellen een automatisch afstemingsschema voor ongecorrigeerde HMC, LMC en Microcanonical Langevin Monte Carlo (MCLMC) voor dat een stapgrootte selecteert op basis van een door de gebruiker gespecificeerde asymptotische bias-tolerantie. De kern van de methodologie berust op een relatie tussen de Energy Error Variance Per Dimension (EEVPD) en de asymptotische bias.

1. Definitie van de metriek: De auteurs definiëren EEVPD als de variantie van de één-stap energie-fout ($\Delta H$) veroorzaakt door numerieke integratie, genormaliseerd door dimensie $d$. Deze grootheid is computationeel goedkoop te schatten als een online voortschrijdend gemiddelde tijdens het bemonsteringsproces.
2. Theoretische grenzen:
   • Voor Gaussische doelverdelingen leiden de auteurs een exacte analytische relatie af waaruit blijkt dat EEVPD een bovengrens vormt voor de asymptotische covariantie-matrix-bias ($b^2_{cov}$) en de Wasserstein-afstand ($W_2$). Specifiek bewijzen zij dat $b^2_{cov} \leq \phi^{-1}(\text{EEVPD})$ voor EEVPD-waarden onder een specifieke drempelwaarde.
   • Zij demonstreren dat deze bovengrens scherp is voor isotrope Gaussische verdelingen.
3. Empirische validatie: Numerieke experimenten op niet-Gaussische benchmarks (inclusief de Rosenbrock-, Funnel- en Brownian motion-verdelingen) bevestigen dat de uit Gaussische verdelingen afgeleide bovengrens over het algemeen standhoudt voor niet-Gaussische doelverdelingen, met uitzondering van het Brownian motion-geval waarbij de bias iets hoger is dan voorspeld.
4. Afstemmingsalgoritme: Het voorgestelde algoritme varieert de stapgrootte $\epsilon$ adaptief tijdens een warm-up fase om een specifieke EEVPD-waarde te targeten. Deze target EEVPD wordt afgeleid van de door de gebruiker gewenste relatieve Root Mean Squared Error (RMSE) tolerantie. Op basis van een bias-variantie trade-off analyse voor Gaussische doelverdelingen, adviseren de auteurs de gekwadrateerde bias ongeveer één vijfde van de totale mean squared error tolerantie te stellen.

Belangrijkste bijdragen

• Automatisch afstemmingsschema: Een black-box algoritme dat automatisch stapgroottes selecteert voor ongecorrigeerde HMC, LMC en MCLMC zonder handmatige hyperparameter-afstemming.
• Theoretische rechtvaardiging: Een rigoureus bewijs dat EEVPD de asymptotische covariantie-bias voor Gaussische verdelingen begrenst, wat een theoretische fundering biedt voor het gebruik van de energie-fout als proxy voor bias-controle.
• Schaalbaarheid: Demonstratie dat ongecorrigeerde methoden, wanneer ze via dit schema worden afgestemd, de $d^{1/4}$ schaleringsstraf van Metropolis-gecorrigeerde methoden vermijden en een constante computationele kosten behouden naarmate de dimensionaliteit toeneemt.

Resultaten
Het artikel evalueert de voorgestelde methode tegenover Metropolis-gecorrigeerde tegenhangers (inclusief NUTS en MALT) en grid-search-geoptimaliseerde gecorrigeerde methoden over verschillende benchmarks:

• Bayesiaanse Inferentie Benchmarks: Op standaardproblemen (Standard Gaussian, Rosenbrock, German Credit, Item Response, Stochastic Volatility) presteren de ongecorrigeerde methoden consistent beter dan gecorrigeerde methoden en NUTS in termen van het aantal gradiënt-aanroepen vereist om een doel-fout te bereiken ($b^2_{avg} < 0.01$). In de meeste gevallen vereisen de ongecorrigeerde methoden aanzienlijk minder gradiënt-evaluaties.
• Hoogdimensionale Fysica Modellen:
  • $\phi^4$ Veldtheorie ($>10^6$ dimensies): Ongecorrigeerde MCLMC had slechts 1.344 gradiënt-aanroepen nodig om te convergeren, een 100-voudige verbetering ten opzichte van NUTS (133.266 aanroepen) en een significante verbetering ten opzichte van gecorrigeerde MCLMC (39.240 aanroepen).
  • U(1) Lattice Gauge Theory ($\approx 2 \times 10^6$ dimensies): Ongecorrigeerde MCLMC convergeerde in 198 gradiënt-aanroepen, terwijl gecorrigeerde NUTS, HMC en MCLMC respectievelijk 127.875, 17.699 en 15.578 aanroepen vereisten.
• Bias-controle: In het "Funnel"-probleem produceerde de ongecorrigeerde MCLMC marginale posteriors die ononderscheidbaar waren van een zeer lange NUTS-keten, wat aantoont dat de discretisatie-bias succesvol tot verwaarloosbare niveaus was onderdrukt.

Betekenis en Claims
De auteurs claimen dat hun werk ongecorrigeerde gradiënt-gebaseerde samplers transformeert tot volledig automatische, schaalbare instrumenten die geen handmatige afstemming vereisen. Zij stellen dat ongecorrigeerde methoden, met dit afstemmingsschema, consequent en significant beter presteren dan gecorrigeerde tegenhangers, met name in hoogdimensionale settings waar de kosten van de Metropolis-test prohibitief worden. Het artikel positioneert deze methoden als een schaalbaar alternatief voor een breed scala aan toepassingen, van probabilische programmering tot computationele wetenschap (specifiek statistische en kwantumveldentheorie).

De auteurs blijven bescheiden over de reikwijdte van hun claims:

• Zij erkennen dat de theoretische grenzen rigoureus bewezen zijn voor Gaussische verdelingen en empirisch zijn uitgebreid naar niet-Gaussische verdelingen, waarbij zij één uitzondering noemen (Brownian motion) waarbij de bias groter is dan verwacht.
• Zij beweren geen superioriteit te hebben in pure machine learning toepassingen (bijv. Bayesiaanse neurale netwerken), wijzend op de controverse over de vraag of dergelijke modellen voordelen bieden boven standaard netwerken.
• Zij benadrukken dat hoewel de methode "black-box" is, gebruikers nog steeds diagnostiek moeten toepassen (bijv. ketens draaien met de helft van de stapgrootte) om te verifiëren dat de discretisatie-bias verwaarloosbaar is voor hun specifieke probleem, vergelijkbaar met de standaardpraktijken voor het controleren van initialisatie-bias.