Practical and Scalable Hamiltonian Monte Carlo Without the Metropolis Test

Planteamiento del Problema
El Monte Carlo Hamiltoniano (HMC) y el Monte Carlo de Langevin subamortiguado (LMC) son métodos de vanguardia para el muestreo de distribuciones de alta dimensión con densidades diferenciables. Sin embargo, estos métodos dependen de la integración numérica, lo que introduce un sesgo asintótico en las estimaciones de la esperanza porque la distribución estacionaria del muestreador ($\tilde{p}$) se desvía de la distribución objetivo ($p$). Tradicionalmente, este sesgo se elimina añadiendo un paso de rechazo de Metropolis–Hastings (MH). Si bien esto asegura que la cadena satisfaga el equilibrio detallado y elimine el sesgo asintótico, el paso de MH incurre en un costo computacional significativo en altas dimensiones: la probabilidad de aceptación depende de la suma de los errores de energía en todos los parámetros, lo que obliga a que el tamaño del paso disminuya a medida que la dimensión $d$ aumenta (escalando como $d^{1/4}$). Esto resulta en una mezcla más lenta y una mayor varianza para cadenas de longitud finita.

Alternativamente, los esquemas "no ajustados" omiten el paso de MH para evitar esta penalización de escalabilidad. Estos métodos pueden operar con tamaños de paso más grandes y mantener una eficiencia constante independientemente de la dimensión. Sin embargo, sufren de sesgo asintótico. La principal barrera para su adopción práctica ha sido la falta de un método automatizado y basado en principios para seleccionar un tamaño de paso que equilibre este sesgo frente a la varianza del conjunto de muestras finitas. Sin tal esquema, los profesionales no pueden utilizar los métodos no ajustados de manera "caja negra".

Metodología
Los autores proponen un esquema de ajuste automático para HMC, LMC y Monte Carlo de Langevin microcanónico (MCLMC) no ajustados que selecciona un tamaño de paso basado en una tolerancia de sesgo asintótico especificada por el usuario. El núcleo de la metodología reside en una relación entre la Varianza del Error de Energía por Dimensión (EEVPD, por sus siglas en inglés) y el sesgo asintótico.

1. Definición de la Métrica: Los autores definen la EEVPD como la varianza del error de energía de un solo paso ($\Delta H$) inducido por la integración numérica, normalizada por la dimensión $d$. Esta cantidad es computacionalmente económica de estimar en línea como un promedio móvil durante el proceso de muestreo.
2. Límites Teóricos:
   • Para distribuciones Gaussianas objetivo, los autores derivan una relación analítica exacta que muestra que la EEVPD proporciona un límite superior en el sesgo asintótico de la matriz de covarianza ($b^2_{cov}$) y la distancia de Wasserstein ($W_2$). Específicamente, demuestran que $b^2_{cov} \leq \phi^{-1}(\text{EEVPD})$ para valores de EEVPD por debajo de un umbral específico.
   • Demuestran que para Gaussianas isotrópicas, este límite es ajustado.
3. Validación Empírica: Experimentos numéricos en entornos de referencia no gaussianos (incluyendo Rosenbrock, Funnel y movimiento Browniano) confirman que el límite superior derivado de la distribución Gaussiana generalmente se mantiene para objetivos no gaussianos, con la excepción del caso del movimiento Browniano donde el sesgo es ligeramente mayor de lo previsto.
4. Algoritmo de Ajuste: El algoritmo propuesto varía adaptativamente el tamaño de paso $\epsilon$ durante una fase de calentamiento (warm-up) para apuntar a un valor de EEVPD específico. Este EEVPD objetivo se deriva de la tolerancia de error cuadrático medio (RMSE) relativo deseada por el usuario. Basándose en un análisis de compromiso entre sesgo y varianza para objetivos Gaussianos, los autores recomiendan establecer el sesgo al cuadrado aproximadamente a un quinto de la tolerancia total del error cuadrático medio.

Contribuciones Clave

• Esquema de Ajuste Automático: Un algoritmo de caja negra que selecciona automáticamente los tamaños de paso para HMC, LMC y MCLMC no ajustados sin necesidad de un ajuste manual de hiperparámetros.
• Justificación Teórica: Prueba rigurosa que establece que la EEVPD actúa como un límite superior para el sesgo de la covarianza asintótica para distribuciones Gaussianas, proporcionando una base teórica para el uso del error de energía como un sustituto para el control del sesgo.
• Escalabilidad: Demostración de que los métodos no ajustados, cuando se sintonizan mediante este esquema, evitan la penalización de escalado $d^{1/4}$ de los métodos ajustados por Metropolis, manteniendo un costo computacional constante a medida que aumenta la dimensionalidad.

Resultados
El artículo evalúa el método propuesto frente a sus contrapartes ajustadas por Metropolis (incluyendo NUTS y MALT) y métodos ajustados optimizados mediante búsqueda de cuadrícula (grid-search) a través de varios entornos de referencia:

• Entornos de Referencia de Inferencia Bayesiana: En problemas estándar (Gaussiana Estándar, Rosenbrock, Crédito Alemán, Respuesta de Ítem, Volatilidad Estocástica), los métodos no ajustados superan consistentemente a los métodos ajustados y a NUTS en términos del número de llamadas al gradiente requeridas para alcanzar un error objetivo ($b^2_{avg} < 0.01$). En la mayoría de los casos, los métodos no ajustados requieren significativamente menos evaluaciones de gradiente.
• Modelos de Física de Alta Dimensión:
  • Teoría de Campos $\phi^4$ ($>10^6$ dimensiones): El MCLMC no ajustado requirió solo 1,344 llamadas al gradiente para converger, una mejora de 100 veces respecto a NUTS (133,266 llamadas) y una mejora significativa sobre el MCLMC ajustado (39,240 llamadas).
  • Teoría de Gauge U(1) ($\approx 2 \times 10^6$ dimensiones): El MCLMC no ajustado convergió en 198 llamadas al gradiente, mientras que NUTS, HMC y MCLMC ajustados requirieron 127,875, 17,699 y 15,578 llamadas, respectivamente.
• Control de Sesgo: En el problema "Funnel", el MCLMC no ajustado produjo distribuciones marginales indistinguibles de una cadena NUTS muy larga, demostrando que el sesgo de discretización fue suprimido con éxito a niveles insignificantes.

Significancia y Reivindicaciones
Los autores afirman que su trabajo transforma los muestreadores basados en gradientes no ajustados en herramientas totalmente automáticas y escalables que no requieren ajuste manual. Sostienen que, con este esquema de ajuste, los métodos no ajustados superan de manera consistente y significativa a sus contrapartes ajustadas, particularmente en entornos de alta dimensión donde el costo de la prueba de Metropolis se vuelve prohibitivo. El artículo posiciona estos métodos como una alternativa escalable para una amplia gama de aplicaciones, desde la programación probabilística hasta la ciencia computacional (específicamente la teoría estadística y de campos cuánticos).

Los autores mantienen la modestia respecto al alcance de sus afirmaciones:

• Reconocen que los límites teóricos están probados rigurosamente para Gaussianas y se extienden empíricamente a no Gaussianas, señalando una excepción (movimiento Browniano) donde el sesgo es mayor de lo esperado.
• No reclaman superioridad en aplicaciones puras de aprendizaje automático (por ejemplo, redes neuronales bayesianas), citando la controversia sobre si tales modelos ofrecen ventajas sobre las redes estándar.
• Enfatizan que, aunque el método es de "caja negra", los usuarios aún deben emplear diagnósticos (por ejemplo, ejecutar cadenas con la mitad del tamaño de paso) para verificar que el sesgo de discretización sea insignificante para su problema específico, de manera similar a las prácticas estándar para verificar el sesgo de inicialización.