Training Energy-Based Models with Non-MCMC Samplers and Efficient Temperature Estimation

기술 요약: 비-MCMC 샘플러와 효율적인 온도 추정을 이용한 에너지 기반 모델 학습

1. 문제 정의

이산 변수에 대한 볼츠만 분포(Boltzmann distributions)로부터 효율적으로 샘플링하는 것은 볼츠만 머신과 같은 에너지 기반 모델(EBM)을 학습시키고, 통계 물리학 및 양자 다체계(quantum many-body systems)에 적용하기 위한 근본적인 요구사항이다. 깁스 샘플링(Gibbs sampling)과 메트로폴리스-헤이스팅스(Metropolis–Hastings)를 포함한 전통적인 마르코프 연쇄 몬테카를로(MCMC) 방법은 본질적으로 순차적이며, 고차원 또는 험난한 에너지 지형(rugged energy landscapes)에서 혼합 속도(mixing)가 느려지는 문제가 발생하여 확장성을 제한한다.

시뮬레이티드 바이퍼케이션(simulated bifurcation), 양자 어닐러(quantum annealers), 코히어런트 이징 머신(coherent Ising machines)과 같은 빠른 비-마르코프 연쇄 몬테카를로(non-MCMC) 샘플러가 유망한 대안으로 등장했으나, 이들의 실제 확률론적 학습 적용은 결정적인 한계에 부딪혀 있다. 즉, 생성된 샘플의 **유효 역온도($\beta_{\text{eff}}$)**를 일반적으로 알 수 없으며, 이는 문제의 인스턴스와 샘플러 파라미터 모두에 의존한다는 점이다. 정확한 $\beta_{\text{eff}}$ 추정 없이는 샘플링이 원하는 분포에 부합하지 않게 되어, 편향된 그래디언트 추정과 학습 성능 저하를 초래한다. 또한, KL 발산(Kullback–Leibler divergence) 최소화를 이용한 표준적인 $\beta_{\text{eff}}$ 추정 방식은 대규모 문제에 적용하기에는 계산 비용이 너무 많이 든다.

2. 방법론

저자들은 이러한 과제를 해결하기 위해 세 가지 구성 요소인 새로운 샘플러, 효율적인 온도 추정법, 그리고 적응형 학습 프레임워크를 제안한다.

A. 랭지방 시뮬레이티드 바이퍼케이션 (Langevin Simulated Bifurcation, LSB)
저자들은 시뮬레이티드 바이퍼케이션 알고리즘에서 영감을 얻은 새로운 볼츠만 샘플러인 LSB를 도입한다. LSB는 순차적인 MCMC 방법과 유사한 정확도를 유지하면서도 빠른 병렬 샘플링을 가능하게 하도록 설계되었다.

• 메커니즘: LSB는 전역 에너지 함수 $E(s|u)$로부터 유도된 위치($x_i$)와 운동량($y_i$)에 대한 운동 방정식을 심플렉틱 오일러 방법(symplectic Euler method)을 사용하여 해결한다.
• 이산화 및 확률성: 이산 볼츠만 분포를 근사하기 위해, LSB는 각 반복(iteration)의 마지막 단계에서 두 가지 핵심 단계를 적용한다:
  1. 이산화(Discretization): $x_i \to \text{sgn}(x_i)$.
  2. 확률적 초기화(Stochastic Initialization): $y_i \to \xi_i \sim \mathcal{N}(0, \sigma)$, 여기서 $\xi_i$는 가우시안 분포에서 추출된다.
• 병렬성: 깁스 샘플링과 달리, LSB의 업데이트 규칙은 행렬-벡터 연산에 기반하므로 자연스러운 병렬 실행이 가능하다.

B. 조건부 기댓값 매칭 (Conditional Expectation Matching, CEM)
알 수 없는 $\beta_{\text{eff}}$ 문제를 해결하기 위해, 저자들은 CEM을 제안한다. 이 방법은 활용 가능한 조건부 독립 구조를 가진 EBM(예: 세미-제한된 볼츠만 머신)에 적용 가능하다.

• 원리: 세미-제한된 볼츠만 머신(SRBM)과 같은 모델에서, 은닉 변수들은 가시 변수(visible variables)가 주어졌을 때 조건부 독립이다. 이를 통해 조건부 기댓값 $\langle h_j \rangle_r$을 $\beta_{\text{eff}}$의 함수(구체적으로 $\tanh$ 함수를 포함하는 형태)로 나타내는 분석적 표현이 가능하다.
• 절차: CEM은 분석적으로 유도된 조건부 기댓값과 조건부 LSB 샘플링을 통해 얻은 값 사이의 제곱 차이를 최소화함으로써 $\beta_{\text{eff}}$를 추정한다.
• 장점: KL 발산 최소화와 달리, CEM은 계산 효율적이며 샘플링 과정과 병렬로 수행될 수 있고, 시스템 크기에 따라 지수적으로 확장되지 않는다.

C. 샘플러 적응형 학습 (Sampler Adaptive Learning, SAL)
저자들은 LSB와 CEM을 SAL이라는 학습 프레임워크에 통합한다.

• 적응성: 전통적인 학습에서는 모델 온도가 고정되지만(통상 $\beta=1$), SAL에서는 모델 온도를 샘플러 출력 분포의 추정된 $\beta_{\text{eff}}$로 설정한다. 모델 파라미터 $u$가 업데이트됨에 따라 $\beta_{\text{eff}}$가 변화하며, 모델 함수 $Q_{\beta_{\text{eff}}}$는 샘플러의 분포에 맞추기 위해 적응적으로 조정된다.
• 최적화: 학습은 데이터 분포(positive phase)와 샘플러에 의한 기대치(negative phase)를 이용하여 KL 발산 $D_{\text{KL}}(P_D || Q_{\beta_{\text{eff}}})$에 대한 경사 하강법을 통해 진행된다.

3. 주요 기여 및 결과

제안된 방법론은 주로 **세미-제한된 볼츠만 머신(SRBM)**에 대해 검증되었다. SRBM은 가시 단위들 사이에 쌍별 연결(pairwise connections)을 추가하여 제한된 볼츠만 머신(RBM)을 확장한 클래스의 EBM이다. SRBM은 더 높은 표현력을 갖지만, 가시 단위에서의 조건부 독립성이 상실되어 전통적인 방법으로는 학습하기 어렵다.

• 샘플링 성능 (LSB vs. Gibbs):

  • 무작위 SRBM($N_v=10, N_h=5$)에서 LSB는 깁스 샘플링과 대등하거나 더 나은 샘플링 정확도(KL 발산으로 측정)를 달성했다.
  • LSB는 깁스 샘플링 대비 수십 배 이상의 가속을 제공하면서도 유사한 메모리 사용량을 유지했는데, 이는 깁스 업데이트의 순차적 특성과 대비되는 LSB의 병렬적 특성 덕분이다.
  • LSB는 셰링턴-커키케이트(Sherrington–Kirkler) 모델과 더 큰 시스템 크기에서도 견고한 성능을 입증했다.

• 온도 추정 (CEM):

  • CEM은 무시할 만한 계산 오버헤드로 LSB 출력에 대한 $\beta_{\text{eff}}$를 정확하게 추정해냈다.
  • CEM 추정치와 KL 최소화를 통해 얻은 추정치 사이의 평균 부호 있는 상대 오차(mean signed relative error)는 약 **3.6%**였다.
  • CEM은 비-MCMC 샘플러의 고질적 문제인 인스턴스 의존적 $\beta_{\text{eff}}$ 변동성을 성공적으로 처리했다.

• 학습 성능 (SAL):

  • 3-Spin 모델: 합성 스핀 글래스 데이터셋에 대해, SAL로 학습된 SRBM은 FBM, RBM, 그리고 CD-100으로 학습된 RBM보다 훈련 비용 함수($D_{\text{KL}}$)를 훨씬 더 잘 최소화했다. 이는 험난한 에너지 지형을 모델링하는 데 있어 SAL의 이점을 강조한다.
  • Bars-and-Stripes (BAS) 데이터셋: SAL로 학습된 SRBM은 고충실도의 이미지 생성 및 재구성을 보여주었다. 모델은 샘플을 단순히 암기하는 것이 아니라 기저의 분포를 학습했으며, 47.6%의 픽셀이 마스킹된 상태에서도 완벽에 가까운 재구성(오차 0.5%)을 달성했다.
  • OptDigits 데이터셋: 손글씨 숫자 이미지($N_v=74$)에 대해, SAL로 학습된 SRBM은 고품질의 무조건적 및 조건부 생성을 달 수 있었다. 또한, 모델은 테스트 세트에서 약 90%의 분류 정확도를 달성하며 무작위 베이스라인으로부터 빠르게 수렴했다.

4. 의의 및 주장

본 논문은 이러한 결과들을 빠른 비-MCMC 샘플링과 CEM을 통한 정확한 온도 추정의 결략이 효과적임을 보여주는 **개념 증명(proof of principle)**으로 제시한다. 저자들은 이 연구가 최첨단 생성 AI와 즉각적인 경쟁을 목표로 하는 것이 아니라, 빠른 비-MCMC 샘플러와 그 실제 응용 사이의 간극을 메우는 것을 목표로 한다고 명시하고 있다.

주요 주장은 다음과 같다:

• LSB는 MCMC의 순차적 병목 현상을 극복하는 빠르고 정확한 볼츠만 샘플러로 확립되었다.
• CEM은 유효 온도 추정 문제를 해결하는 확장 가능한 솔루션을 제공하여, 비-MCMC 샘플러를 확률론적 학습에 사용할 수 있게 한다.
• SAL은 전통적으로 학습이 어려운 더 표현력이 높은 모델(예: SRBM)을 효율적으로 학습할 수 있게 하며, 합성 스핀 글래스 데이터셋과 실제 이미지 작업에서 성능 우위를 제공한다.
• 이 프레임워크는 SRBM에 국한되지 않으며, 고차 상호작용을 포함하여 조건부 독립 구조를 활용할 수 있는 모든 EBM(뉴럴 양자 상태 및 에너지 효율적 하드웨어 구현 응용 포함)에 적용 가능하다.

저자들은 LSB의 이산 볼츠만 분포 근사에 대한 이론적 기초와 체계적인 하이퍼파라미터 선택 전략의 필요성에 대한 열린 질문을 인정하며, 이를 향후 연구 방향으로 제시하였다.