Practical and Scalable Hamiltonian Monte Carlo Without the Metropolis Test

Énoncé du Problème
Le Monte Carlo Hamiltonien (HMC) et le Monte Carlo de Langevin sous-amorti (LMC) sont des méthodes de pointe pour l'échantillonnage de distributions de grande dimension possédant des densités différentiables. Cependant, ces méthodes reposent sur l'intégration numérique, ce qui introduit un biais asymptotique dans les estimations d'espérance car la distribution stationnaire de l'échantillonneur ($\tilde{p}$) dévie de la distribution cible ($p$). Traditionnellement, ce biais est éliminé en ajoutant une étape de rejet de Metropolis–Hastings (MH). Bien que cela garantisse que la chaîne satisfasse le principe de l'équilibre détaillé et élimine le biais asymptotique, l'étape MH impose un coût computationnel important dans les hautes dimensions : la probabilité d'acceptation dépend de la somme des erreurs d'énergie sur l'ensemble des paramètres, forçant la taille du pas à diminuer à mesure que la dimension $d$ augmente (suivant une loi en $d^{1/4}$). Cela se traduit par un mélange plus lent et une variance plus élevée pour les chaînes de longueur finie.

Alternativement, les schémas « non ajustés » omettent l'étape MH pour éviter cette pénalité d'échelle. Ces méthodes peuvent fonctionner avec des tailles de pas plus grandes et maintenir une efficacité constante quelle que soit la dimension. Cependant, elles souffrent d'un biais asymptotique. La principale barrière à leur adoption pratique a été l'absence d'une méthode automatisée et fondée sur des principes pour sélectionner une taille de pas qui équilibre ce biais par rapport à la variance de l'ensemble d'échantillons finis. Sans un tel schéma, les praticiens ne peuvent pas utiliser les méthodes non ajustées de manière « boîte noire ».

Méthodologie
Les auteurs proposent un schéma de réglage automatique pour l'HMC, le LMC et le Monte Carlo de Langevin microcanonique (MCLMC) non ajustés, qui sélectionne une taille de pas basée sur une tolérance de biais asymptotique spécifiée par l'utilisateur. Le cœur de la méthodologie repose sur une relation entre la Variance de l'Erreur d'Énergie par Dimension (EEVPD) et le biais asymptotique.

1. Définition de la métrique : Les auteurs définissent l'EEVPD comme la variance de l'erreur d'énergie d'un pas ($\Delta H$) induite par l'intégration numérique, normalisée par la dimension $d$. Cette quantité est peu coûteuse à estimer en ligne sous forme de moyenne mobile pendant le processus d'échantillonnage.
2. Limites théoriques :
   • Pour les distributions gaussiennes cibles, les auteurs dérivent une relation analytique exacte montrant que l'EEVPD fournit une borne supérieure sur le biais asymptotique de la matrice de covariance ($b^2_{cov}$) et la distance de Wasserstein ($W_2$). Plus précisément, ils prouvent que $b^2_{cov} \leq \phi^{-1}(\text{EEVPD})$ pour des valeurs d'EEVPD inférieures à un certain seuil.
   • Ils démontrent que pour les gaussiennes isotropes, cette borne est étroite.
3. Validation empirique : Des expériences numériques sur des benchmarks non gaussiens (incluant Rosenbrock, Funnel et le mouvement brownien) confirment que la borne supérieure dérivée des gaussiennes tient généralement pour les cibles non gaussiennes, à l'exception du cas du mouvement brownien où le biais est légèrement plus élevé que prévu.
4. Algorithme de réglage : L'algorithme proposé fait varier de manière adaptative la taille du pas $\epsilon$ durant une phase de chauffe (warm-up) pour cibler une valeur d'EEVPD spécifique. Cette EEVPD cible est dérivée de la tolérance de l'erreur quadratique moyenne (RMSE) relative souhaitée par l'utilisateur. Sur la base d'une analyse du compromis biais-variance pour les cibles gaussiennes, les auteurs recommandent de fixer le carré du biais pour qu'il soit environ un cinquième de la tolérance de l'erreur quadratique moyenne totale.

Contributions Clés

• Schéma de réglage automatique : Un algorithme « boîte noire » qui sélectionne automatiquement les tailles de pas pour l'HMC, le LMC et le MCLMC non ajustés sans réglage manuel des hyperparamètres.
• Justification théorique : Preuve rigoureuse établissant que l'EEVPD borne supérieurement le biais de la covariance asymptotique pour les distributions gaussiennes, fournissant une fondation théorique à l'utilisation de l'erreur d'énergie comme proxy pour le contrôle du biais.
• Scalabilité : Démonstration que les méthodes non ajustées, lorsqu'elles sont réglées via ce schéma, évitent la pénalité d'échelle en $d^{1/4}$ des méthodes ajustées par Metropolis, maintenant un coût computationnel constant à mesure que la dimension augmente.

Résultats
L'article évalue la méthode proposée par rapport à ses homologues ajustés par Metropolis (incluant NUTS et MALT) et aux méthodes ajustées optimisées par recherche sur grille à travers plusieurs benchmarks :

• Benchmarks d'inférence bayésienne : Sur des problèmes standards (Gaussienne standard, Rosenbrock, Crédit allemand, Réponse à l'item, Volatilité stochastique), les méthodes non ajustées surpassent systématiquement les méthodes ajustées et NUTS en termes de nombre d'appels de gradient requis pour atteindre une erreur cible ($b^2_{avg} < 0,01$). Dans la plupart des cas, les méthodes non ajustées nécessitent nettement moins d'évaluations de gradient.
• Modèles de physique de haute dimension :
  • Théorie des champs $\phi^4$ ($>10^6$ dimensions) : Le MCLMC non ajusté n'a nécessité que 1 344 appels de gradient pour converger, soit une amélioration de 100 fois par rapport à NUTS (133 266 appels) et une amélioration significative par rapport au MCLMC ajusté (39 240 appels).
  • Théorie de jauge U(1) ($\approx 2 \times 10^6$ dimensions) : Le MCLMC non ajusté a convergé en 198 appels de gradient, tandis que les méthodes NUTS, HMC et MCLMC ajustées nécessitaient respectivement 127 875, 17 699 et 15 578 appels.
• Contrôle du biais : Dans le problème « Funnel », le MCLMC non ajusté a produit des distributions marginales indiscernables d'une très longue chaîne NUTS, démontant que le biais de discrétisation a été supprimé avec succès à des niveaux négligeables.

Signification et Revendications
Les auteurs affirment que leur travail transforme les échantillonneurs basés sur le gradient non ajustés en outils entièrement automatiques et scalables qui ne nécessitent pas de réglage manuel. Ils soutiennent qu'avec ce schéma de réglage, les méthodes non ajustées surpassent systématiquement et de manière significative leurs homologues ajustés, particulièrement dans les contextes de haute dimension où le coût du test de Metropolis devient prohibitif. Le papier positionne ces méthodes comme une alternative scalable pour un large éventail d'applications, de la programmation probabiliste à la science computationnelle (spécifiquement la théorie statistique et la théorie quantique des champs).

Les auteurs restent modestes quant à la portée de leurs revendications :

• Ils reconnaissent que les bornes théoriques sont rigoureusement prouvées pour les gaussiennes et étendues empiriquement aux non-gaussiennes, notant une exception (mouvement brownien) où le biais est plus élevé que prévu.
• Ils ne revendiquent pas de supériorité dans les applications pures d'apprentissage automatique (ex: réseaux de neurones bayésiens), citant la controverse sur l'avantage de tels modèles par rapport aux réseaux standards.
• Ils soulignent que bien que la méthode soit « boîte noire », les utilisateurs doivent toujours employer des diagnostics (ex: faire tourner des chaînes avec la moitié de la taille de pas) pour vérifier que le biais de discrétisation est négligeable pour leur problème spécifique, de la même manière que les pratiques standards pour vérifier le biais d'initialisation.