Diffusion Models for Sampling Near Criticality in Lattice Field Theories

기술 요약: 격자 장론의 임계 영역 근처 샘플링을 위한 확산 모델

문제 정의
격자 장론(Lattice Field Theory, LFT)은 비섭동적 기댓값을 계산하기 위해 볼츠만 분포 $p(\phi) \propto e^{-S[\phi]}$로부터 장 설정(field configurations)을 샘플링해야 한다. 하이브리드 몬테카를로(HMC) 및 메트로폴리스 업데이트와 같은 표준 마르코프 연쇄 몬테카를로(MCMC) 방법은 연속 상전이 근처에서 "임계 속도 저하(critical slowing down)" 문제를 겪는다. 상관 길이 $\xi$가 발산함에 따라 적분된 자기상관 시간은 $\tau_{\text{int}} \sim \xi^z$ (여기서 $z > 1$)로 스케일링되며, 이는 거대한 부피의 시뮬레이션을 계산적으로 불가능하게 만든다. 클러스터 알고리즘과 푸리에 가속화가 특정 시스템(예: $Z_2$ 모델)에 대해 이를 완화할 수는 있지만, 다양한 상과 격자 크기를 아우르는 일반적인 상호작용 격자 장론을 위한 범용 솔루션은 여전히 찾아보기 어렵다. 저자들은 생성적 확산 모델(generative diffusion models)이 마르코프 연쇄의 자기상관을 우회하여 효율적이고 독립적인 샘플러 역할을 할 수 있는지 조사한다. 특히 도전적인 과제인 임계 영역 근처의 상황을 중점적으로 다룬다.

방법론
본 연구는 2차원 및 3차원의 초입방 격자(hypercubic lattices) 상의 실수 스칼라 $\phi^4$ 이론에 초점을 맞춘다. 이 시스템은 이징(Ising) 보편성 클래스를 따르는 2차 상전이를 나타낸다.

1. 모델 아키텍처: 저자들은 분산 팽창형(variance-exploding, VE) 스코어 기반 확산 모델을 사용한다. 신경망 $s_\theta(\phi, t)$는 확률 밀도 함수 $p_t(\phi)$의 스코어 함수 $\nabla_\phi \log p_t(\phi)$를 근사하도록 훈련되며, 이는 노이즈를 추가하는 순방향 노이징 과정(stochastic differential equation, SDE)을 따라 정의된다. 순방향 과정은 데이터 분포에 가우시안 노이즈를 추가하여 넓고 거의 가우시안 분포에 가까운 분포가 될 때까지 진행된다.
2. 훈련 목표: 네트워크는 조건부 노이즈 분포의 해석적 스코어와 학습된 스코어 사이의 차이를 최소화하는 디노이징 스코어 매칭(Denoising Score Matching, DSM)을 통해 훈련된다. 아키텍처는 원형 패딩(circular padding)을 사용하여 주기적 경계 조건을 강제하는 완전 합성곱 U-Net이며, 이를 통해 서로 다른 격자 부피($V = L^d$)에 대해 가중치를 공유할 수 있다.
3. 샘플링: 훈련 후, 가우시안 노이즈로부터 역방향 SDE(또는 확률 흐름 ODE)를 적분하여 샘플을 생성한다. 저자들은 역방향 SDE의 구현을 위해 오일러-마루야마(Euler–Maruyama) 이산화를 활용한다.
4. 검증 및 진단:
   • 참조 모델: 생성된 앙상블은 푸리에 가속화된 HMC와 울프 클러스터 업데이트(FA-HMC–Wolff)가 결합된 참조 앙상블과 비교 검증된다.
   • 관측량: 스칼라 관측량(자화도, 감수율, 바인더 콤플라이언트)과 자화도 및 작용 밀도(action density)의 결합 분포, 그리고 운동량 공간 프로파게이터(momentum-space propagator) $G(|k|)$를 비교한다.
   • 국소 진단: 두 가지 새로운 진단법이 도입된다: (i) 깨끗한 설정(clean configurations)에 대해 학습된 스코어를 음의 작용 기울기 $-\nabla_\phi S$와 직접 비교하는 것, (ii) 학습된 스코어를 제안 드리프트(proposal drift)로 사용하는 메트로폴리스-조정 랑주뱅 알고리즘(MALA) 수락률이다.
   • 효율성 지표: 관측량의 평균 제곱 오차(MSE)를 기반으로 하여, 편향(bias)과 분산(variance)을 결합해 독립적인 타겟 샘플 대비 생성된 앙상블의 품질을 정량화하는 HMC 참조 유효 샘플 크기(effective sample size, ESS)를 정의한다.

주요 결과

• 분포 내 성능(In-Distribution Performance):

  • 2D ($L=128$): 확산 모델은 대칭, 근임계, 및 깨진 상(broken phase) 전반에서 스칼라 관측량과 운동량 공간 프로파게이터를 높은 충실도로 재현한다. 잔여 편향은 미미하며, 주로 깨진 상에서의 제로 모드 감수율(zero-mode susceptibility)에 집중되어 있다(여기서 모델은 섹터 내부 폭을 약간 과대평가한다).
  • 3D ($L=64$): 모델은 프로파게이터와 대부분의 스칼라 관측량을 재현한다. 그러나 작용 밀도(약 6-19% 과대평가)와 깨진 상 및 근임계 상에서의 제로 모드 감수율에서 체계적인 편향이 관찰된다. 이 편향은 단일 사이트 모멘트의 몇 퍼센트 오차가 $\lambda=0.9$에서의 작용(action) 상쇄 과정에서 증폭된 데서 기인한다.
  • 수렴: 학습된 스코어는 훈련 초기 단계에서 작용 기울기의 방향을 정확하게 포착하는 반면, 크기는 더 느리게 수렴한다. 수렴된 모델에 대한 MALA 수락률은 2D에서 85%를 초와 3D에서 약 90%를 초과하며, 이는 학습된 드리프트가 고품질의 제안(proposal)임을 나타낸다.

• 교차 부피 일반화(Cross-Volume Generalization):

  • 2D: $L \in \{8, 16, 32, 64\}$에서 훈련된 모델은 본 적 없는 $L=128$ 격자를 성공적으로 샘플링한다. 대칭 및 깨진 상에서는 $L=128$에서 직접 훈련된 모델과 일치하거나 성능이 약간 개선된다. 주요 성능 저하는 제로 모드 감수율과 관련하여 근임계 지점에서 발생한다.
  • 3D: $L \in \{4, 8, 16, 32\}$에서 훈련된 모델을 보지 못한 $L=64$ 격자에 적용한다. 이 모델은 위(UV)에서 아래(IR) 운동량 영역 전체에 걸쳐 프로파게이터를 재현한다. 결정적으로, 근임계 지점에서 교차 부피 모델은 여러 제로 모드 및 단일 사이트 관측량에 대해 인-디스트리뷰션(in-distribution) $L=64$ 모델보다 우수한 성능을 보인다.
  • 메커니즘: 저자들은 이러한 성공을 다양한 스케일에서 유한 부피의 적외선 변동(제로 모드 분포 포함)에 네트워크를 노출시킨 결과로 해석한다. 이는 단일 격자 크기에서 훈련하는 것보다 장파장 부분의 스코어를 더 효과적으로 제약한다. 단일 크기 외삽 베이스라인은 이러한 이점이 단순히 가장 큰 훈련 크기 때문이 아니라 여러 스케일의 조합 덕분임을 확인시켜 준다.

의의 및 주장
본 논문은 생성적 확산 모델이 임계 근처의 격자 장론을 위한 유효한 샘플러로 기능할 수 있음을 입증하며, 이는 임계 속도 저하를 극복할 수 있는 잠재적 경로를 제공한다. 주요 기여는 다음과 같다:

1. 확산 모델의 검증: 본 연구는 역방향 SDE 샘플러가 복잡한 장론적 관측량(프로파게이터 및 결합 분포 포함)을 재현할 수 있음을 보여주며, 잔여 오차는 주로 3D의 제로 모드 및 특정 작용 밀도 성분에 국한됨을 입증한다.
2. 교차 부피 일반화: 완전 합성곱 스코어 네트워크가 작은 격자에서 훈련되었을 때 훨씬 더 큰 미지의 부피로 일반화될 수 있다는 정량적 증거를 제시한다. 이는 거대한 참조 격자에서 수행하는 비용이 많이 드는 훈련이 반드시 필요하지 않을 수 있음을 시사하며, 대신 "저렴한" 작은 격자 구성으로부터 학습된 스코어가 타겟 부피로 전이될 수 있음을 의미한다.
3. 진단 프레임워크: 스코어 기울기 정렬, MALA 수락률, 그리고 HMC 참조 ESS와 같은 국소 진단법을 도입하여, 모든 지표에 대해 항상 참조 앙상블을 요구하지 않고도 학습된 샘플러의 품질을 평가할 수 있는 엄밀한 도구를 제공한다.

저자들은 이 방법이 아직 모든 관측량(특히 3D 작용 밀도 및 특정 영역의 제로 모드 감수율)에 대한 완전한 해결책은 아니지만, 교차 부피 일반화 능력은 향-QCD(full QCD)를 포함한 대규모 격자 이론의 확장 가능한 샘플링을 향한 중요한 진전이라고 결론짓는다.