Weight-Space Physics: Interpretable Hypernetworks for Lattice Quantum Field Theories

기술 요약: 가중치 공간 물리학: 격자 양자장론을 위한 해석 가능한 하이퍼네트워크

문제 정의
격자 장론(Lattice Field Theory, LFT)은 고에너지 및 응집 물질 물리학의 비섭동적 현상을 시뮬레이션하기 위한 주요 도구이다. 비록 기저의 물리 법칙은 바레 결합 상수($g$)에 의해 해석적으로 매개되지만, 물리적 관측량을 추출하기 위해서는 광범ening한 수치 시뮬레이션이 필수적인데, 이는 바레 파라미터가 결과적인 볼츠만 분포를 예측하는 데 있어 약한 예측 인자이기 때문이다. 최근에는 흐름 기반 생성 모델(정규화 흐름, normalizing flows)이 이러한 분포를 샘플링하는 효과적인 방법으로 등장하였으며, 이는 기저 분포로부터 타겟 볼츠만 측도(Boltzmann measure)로 가는 가역적인 사상(map)을 학습한다. 그러나 결정적인 간극이 존재한다. 즉, 네트워크는 샘플링을 학습하지만, 그 가중치($\theta_g$) 내에 어떤 물리적 구조가 인코딩되었는지 해석하기가 어렵다는 점이다. 구체적으로, 가중치의 기하학적 구조가 바레 결합에 의해 가려진 물리적 구조를 복원하는지, 그리고 재학습 없이도 보지 못한 이론에 대한 가중치를 생성할 수 있는지 여부가 불분명하다.

방법론: JEPAWG
저자들은 학습된 잠재 공간을 통해 결합 상수를 플로우 네트워크 가중치로 직접 매핑하도록 설계된 프레임워크인 JEPAWG(Joint-Embedding Predictive Architecture-based Weight Generator)를 소개한다. 단순한 재구성 손실(reconstruction loss)을 사용하여 결합을 가중치로 회귀하는 표준 하이퍼네트워크와 달리, JEPAWG는 재구성보다는 예측을 통해 표현을 학습하는 JEPA 아키텍처(LeCun, 2022; Assran et al., 2023)를 활용한다.

이 아키텍처는 네 가지 구성 요소로 이루어져 있다:

1. 가중치 인코더 ($E_\theta$): 정준화된 플로우 파라미터 $\theta$를 잠재 임베딩 $z_\theta$로 매핑한다.
2. 결합 인코더 ($E_g$): 바레 결합 $g = (m^2, \lambda)$를 잠재 임베딩 $z_g$로 매핑한다.
3. 예측기 ($P$): 결합 임베딩 $z_g$를 예측된 가중치 임베딩 $\hat{z}_\theta$로 매핑한다.
4. 디코더 ($D_\theta$): 예측된 임베딩을 다시 플로 파라미터 $\hat{\theta}$로 매핑한다.

모델은 VICReg 목적 함수(Bardes et al., 2022)를 변형하여 학습된다. 이 함수는 불변성(예측된 임베딩과 타겟 임베딩 사이의 정렬), 분산(표현 붕괴 방지)을 강제하며, 잠재 공간이 문제의 저차원 구조에 집중할 수 있도록 공분산 항을 명시적으로 제거한다. 핵심적인 전처리 단계로는 **가중치 정준화(weight canonicalization)**가 포함되는데, 이는 대칭성(기저 변화, 치환, 부호 반전)을 해결하여 각 대칭 궤도에 대해 유일한 대표자를 보장함으로써 모호하지 않은 특징 추출을 용이하게 한다.

본 시스템은 주기적 사각 격자($L \in \{6, \dots, 11\}$) 상의 2차원 실수 스칼라 $\phi^4$ 이론에 적용된다. 학습 데이터는 결합 공간의 서로 다른 영역을 커버하는 두 개의 독립적으로 훈련된 조건부 플로우(멀티 시드 설정)로부터 구축되어, 학습된 표현이 가중치 매니폴드의 구조적 불연속성에 대해 강건하도록 보장한다.

주요 기여 및 결과
본 논문은 네트워크 가중치의 기하학적 구조가 새로운 유형의 물리적 관측량으로서 기능할 수 있음을 입증하며 네 가지 주요 기여를 제시한다:

1. 물리적 차원의 복원:
   JEPAWG 잠재 공간은 기저의 2D 결합 매니폴드의 고유 차원을 성공적으로 복원한다. 최대 우도 추정(MLE)을 사용했을 때, 잠재 차원은 $2.01 \pm 0.06$으로 추정되었으며, 98.5%의 분산이 두 개의 주축에 의해 포착되었다. 반면, 베이스라인 방법들(Autoencoders, VAEs, PCA)은 이 차원을 크게 부풀려(예: VAE MLE $\approx 4.88$), 저차원 물리 구조를 포착하는 데 실패했다.

2. 가중치를 통한 상전이 탐지:
   파라미터 맵 $\theta(g)$에 대한 풀백 메트릭(pullback metric)을 계산함으로써, 저자들은 가중치 공간에서 $\phi^4$ 이론의 임계선을 추적하는 "릿지(ridge)"를 식별하였다. 결정적으로, 이 신호는 네트워크의 비국소적(non-local) 성분(제로 모드 스케일링 및 푸리에 스케일링 파라미터)에서만 기인하며, 국소적인 "벌크(bulk)" 그룹은 임계성과 아무런 상관관계를 보이지 않았다. 이를 통해 물리적 샘플을 직접 추출하지 않고도 상 경계를 위치시킬 수 있다.

3. 재규격화 그룹(RG) 구조 및 유한 크기 스케일링:
   잠재 기하학은 유한 크기 스케일링(FSS) 변수에 따라 이론들을 조직한다. 서로 다른 격자 크기($L$) 간의 가중치를 비교할 때, 잠재 거리는 스케일링 지수 $\nu$가 이론적인 2D Ising 값($\nu = 1$)과 일치할 때 최소화된다. 학습된 지수 $\nu^*$는 정확한 값을 둘러싸고 있으며(예: $6 \to 11$ 쌍 결합 시 $1.00^{+0.08}_{-0.06}$), 이는 네트워크가 단순히 바레 결합을 학습한 것이 아니라 암묵적으로 RG-불변 조합을 학습했음을 나타낸다.

4. 강건한 생성 능력:
   생성기로서 JEPAWG는 보지 못한 결합에 대해 효과적으로 보간(interpolation) 및 외삽(extrapolation)을 수행한다. 까다로운 멀티 시드 설정에서, JEPAWG는 보간 시 0.88의 유효 샘플 크기(ESS)를 달이어하며, 가장자리(0.56)와 코너(0.39)에서도 강건한 성능을 유지한다. 베이스라인(PCA, AE, VAE)은 멀티 시드 훈련 데이터와 가중치 정준화에 의해 도입된 불연속성을 처리하지 못해 ESS가 약 $0.30\text{--}0.40$으로 크게 무너진다.

의의 및 주장
본 논문은 물리학이 자연스러운 합성 데이터의 공급원 역할을 한다고 주장한다. 물리학은 비사소하면서도 해석 가능한 구조를 갖추고 있어, 일반적인 머신러닝 해석 가능성 연구에서 흔히 결여되는 '그라운드 트루스(ground truth)'를 제공한다.

핵심적인 발견은 훈련된 가중치의 기하학이 물리 이론의 기하학을 반영하며, 특히 물리학이 "존재하는" 비국소적 변환을 담당하는 네트워크 성분에 집중된다는 것이다. 저자들은 네트워크 가중치를 물리적 관측량으로 취급함으로써, 물리적 레이블에 대한 감독 없이도 물리적 구조(차원, 상전이, 스케일링 지수)를 직접 읽어낼 수 있다고 주장한다. 이는 JEPAWG 프레임워크를 검증하며, 물리 기반 합성 데이터가 해석 가능한 AI를 개발하는 데 효과적이라는 광범위한 주장을 뒷받침한다.

한계점
저자들은 계산 비용 문제로 인해 실험이 작은 격자($L \le 11$) 상의 단일 2D 이론에 국한되었음을 언급한다. 따라서 해석 가능성에 대한 주장은 단일 보편성 클래스(2D Ising)와의 일치성에 근거한다. 이들은 이 방법이 모든 양자 장론에 작동한다거나 고정밀의 임계 지수 측정을 제공한다고 주장하는 것이 아니라, 잠재 공간에서의 RG-인식(RG-awareness)에 대한 질적 테스트를 수행한 것이다. 향후 연구에서는 이를 더 큰 격자와 다양한 물리 시스템으로 확장하는 것을 목표로 한다.