Practical and Scalable Hamiltonian Monte Carlo Without the Metropolis Test

문제 정의
해밀토니안 몬테카를로(HMC)와 언더댐프드 랑제뱅 몬테카를로(LMC)는 미분 가능한 밀도를 가진 고차원 분포로부터 샘플링하기 위한 최첨단 방법들이다. 그러나 이러한 방법들은 수치 적분에 의존하며, 이는 표적 분포($p$)와 샘플러의 정상 분포($\tilde{p}$) 사이의 괴리를 야기하여 기대치 추정치에 점근적 편향(asymptotic bias)을 도입한다. 전통적으로, 이러한 편향은 메트로폴리스-헤이스팅스(MH) 거절 단계를 추가함으로써 제거된다. 이 단계는 체인이 상세 균형(detailed balance)을 만족하도록 보장하고 점근적 편향을 제거하지만, 고차원에서는 MH 단계가 상당한 계산 비용을 초래한다. 수용 확률이 모든 파라미터에 걸친 에너지 오차의 합에 의존하기 때문에, 단계 크기(step size)를 차원 $d$가 증가함에 따라 감소시켜야 한다($d^{1/4}$로 스케일링됨). 이는 유한한 길이의 체인에서 더 느린 혼합(mixing)과 높은 분산을 초ระ래한다.

대안적으로, "조정되지 않은(unadjusted)" 방식은 이러한 스케일링 페널티를 피하기 위해 MH 단계를 생략한다. 이러한 방법들은 더 큰 단계 크기로 작동할 수 있으며 차원에 관계없이 일정한 효율성을 유지할 수 있다. 그러나 이들은 점근적 편향을 겪는다. 이들의 실질적인 채택을 가로막는 주요 장벽은 편향과 유한 샘플 집합의 분산 사이의 균형을 맞추는 단계 크기를 선택하기 위한 자동화되고 원칙적인 방법의 부재였다. 이러한 체계 없이는, 실무자들이 unadjusted 방식을 "블랙박스" 방식으로 사용할 수 없다.

방법론
저자들은 사용자가 지정한 점근적 편향 허용 오차에 기반하여 단계 크기를 선택하는 unadjusted HMC, LCI, 그리고 마이크로캐노니컬 랑제뱅 몬테카를로(MCLMC)를 위한 자동 튜닝 체계를 제안한다. 이 방법론의 핵심은 **차원당 에너지 오차 분산(EEVPD)**과 점근적 편향 사이의 관계에 달려 있다.

1. 지표 정의: 저자들은 EEVPD를 수치 적분에 의해 유도된 일보(one-step) 에너지 오차($\Delta H$)의 분산을 차원 $d$로 정규화한 값으로 정의한다. 이 양은 샘플링 과정 중 실행 평균(running average)으로서 온라인으로 계산하기에 매우 저렴하다.
2. 이론적 경계:
   • 가우시안 표적 분포에 대해, 저자들은 EEVPD가 공분산 행렬($b^2_{cov}$) 및 와서스테인 거리($W_2$)의 점근적 편향에 대한 상한(upper bound)을 제공한다는 정확한 해석적 관계를 도출한다. 구체적으로, 특정 EEVPD 임계값 아래에서 $b^2_{cov} \leq \phi^{-1}(\text{EEVPD})$임을 증명한다.
   • 이들은 등방성 가우시안(isotropic Gaussians)에 대해 이 경계가 타이트(sharp)함을 입증한다.
3. 경험적 검증: 비가우시안 벤치마크(Rosenbrock, Funnel, Brownian motion 포함)에 대한 수치 실험은 가우시안에서 유도된 상한이 비가우시안 표적에 대해서도 일반적으로 성립함을 확인시켜 준다(Brownian motion의 경우 편향이 예측보다 약간 더 높음).
4. 튜닝 알고리즘: 제안된 알고리즘은 특정 EEVPD 값을 목표로 하여 warm-up 단계 동안 단계 크기 $\epsilon$을 적응적으로 변화시킨다. 이 목표 EEVPD는 사용자가 지정한 상대적 평균 제곱근 오차(RMSE) 허용 오차로부터 도출된다. 가우시안 표적에 대한 편향-분산 트레이드오프 분석을 바탕으로, 저자들은 제곱 편향을 전체 평균 제곱 오차 허용치의 약 5분의 1로 설정할 것을 권장한다.

주요 기여

• 자동 튜닝 체계: 수동적인 하이퍼파라미터 튜닝 없이 unadjusted HMC, LMC, MCLMC를 위한 단계 크기를 자동으로 선택하는 블랙박스 알고리즘.
• 이론적 정당화: EEVPD가 가우시안 분포에 대한 공분산 편향의 상한임을 입증하는 엄격한 증명을 통해, 에너지 오차를 편향 제어의 대리 지표로 사용하는 것에 대한 이론적 토대를 제공한다.
• 확장성: 이 체계를 통해 튜닝된 unadjusted 방법들이 조정된(adjusted) 방법들의 $d^{1/4}$ 스케일링 페널티를 피하고, 차원이 증가함에 따라 일정한 계산 비용을 유지함을 입상한다.

결과
본 논문은 여러 벤치마크에 대해 제안된 방법을 Metropolis-조정된 대응 방식(NUTS 및 MALT 포함) 및 그리드 탐색으로 최적화된 조정된 방법들과 비교 평가한다:

• 베이지안 추론 벤치마크: 표준 문제(Standard Gaussian, Rosenbrock, German Credit, Item Response, Stochastic Volatility)에서, unadjusted 방법들은 목표 오차($b^2_{avg} < 0.01$)에 도달하기 위해 필요한 그래디언트 호출 횟수 측면에서 조정된 방법 및 NUTS보다 일관되게 우수한 성능을 보였다. 대부분의 경우, unadjusted 방법들은 훨씬 적은 그래디언트 계산을 필요로 했다.
• 고차원 물리학 모델:
  • $\phi^4$ 장론 ($>10^6$ 차원): Unadjusted MCLMC는 NUTS(133,266회)와 조정된 MCLMC(39,240회)보다 훨씬 적은 1,344회의 그래디언트 호출만으로 수렴했다.
  • U(1) 격자 게이지 이론 ($\approx 2 \times 10^6$ 차원): Unadjusted MCLMC는 198회의 그래디ਆਂ트 호출만으로 수렴한 반면, 조정된 NUTS, HMC, MCLMC는 각각 127,875회, 17,699회, 15,578회가 필요했다.
• 편향 제어: "Funnel" 문제에서 unadjusted MCLMC는 매우 긴 NUTS 체인과 구별할 수 없는 한계 사후 분포(marginal posteriors)를 생성하여, 이산화 편향이 성공적으로 무시할 만한 수준으로 억제되었음을 보여주었다.

의의 및 주장
저자들은 자신들의 연구가 unadjusted 그래디언트 기반 샘플러를 수동 튜닝이 필요 없는 완전히 자동화되고 확장 가능한 도구로 변모시킨다고 주장한다. 이 튜닝 체계를 통해 unadjusted 방법들이, 특히 Metropolis 테스트의 비용이 과도해지는 고차원 환경에서 조정된 대응 방식들을 일관되고 유의미하게 능가한다고 주장한다. 본 논문은 이 방법론을 확률적 프로그래밍에서부터 계산 과학(특히 통계 및 양자 장론)에 이르기까지 광범위한 응용 분야를 위한 확장 가능한 대안으로 포지셔닝한다.

저자들은 다음과 같이 자신의 주장의 범위를 겸허하게 제한한다:

• 이들은 이론적 경계가 가우시안에 대해 엄격히 증명되었으며 비가우시안으로 경험적으로 확장되었음을 인정하며, 편향이 예상보다 큰 하나의 예외(Brownian motion)를 언급한다.
• 이들은 표준 네트워크보다 이점이 있는지에 대한 논란이 있는 순수 머신 러닝 응용 분야(예: 베이지안 신경망)에서의 우월성을 주장하지 않는다.
• 이들은 이 방법이 "블랙박스"이지만, 초기화 편향을 확인하는 표준 관행과 유사하게 이산화 편향이 무시할 만한지 확인하기 위해 (예: 단계 크기의 절반으로 체인을 실행하는 등의) 진단 도구를 여전히 사용해야 함을 강조한다.