Physics-inspired transformer quantum states via latent imaginary-time evolution

기술 요약: 잠재적 허상 시간 진화를 통한 물리 기반 트랜스포머 양자 상태

문제 정의
강하게 상관된 양자 다체 시스템(strongly correlated quantum many-body systems)의 바닥 상태 파동 함수를 정확하게 결정하는 것은 여전히 중요한 과제로 남아 있다. 신경 양자 상태(Neural Quantum States, NQS), 특히 트랜스포머 구조(Transformer-based NQS, TQS)에 기반한 모델은 좌절된 $J_1$-$J_2$ 하이젠베르크 모델과 같은 벤치마크에서 최첨단 수준의 정확도를 달est했다. 그러나 기존의 NQS 아키텍처는 대부분 일반적인 머신러닝 설계를 전용하여 사용하는 "블랙박스"로 취급된다. 이러한 접근 방식은 높은 정확도를 달성하기 위해 상당한 과잉 매개변수화(overparameterization)에 의존하며, 이는 성능을 주도하는 메커니즘에 대한 물리적 통찰력을 제한한다. 또한, 아키텍처의 변화와 정확도 향상 사이를 연결하는 통일된 원칙의 부재는 체계적인 개선을 어렵게 만든다. 허상 시간 진화(Imaginary-Time Evolution, ITE)는 바닥 상태를 향한 물리적으로 투명한 경로를 제공하지만, 특히 좌절된 시스템(frustrated systems)에서 확률적 샘플링 방법의 부호 문제(sign problem)로 인해 NQS와의 통합이 저해되어 왔다.

방법론: 잠재적 허상 시간 진화 (Latent Imaginary-Time Evolution, LITE)
저자들은 딥 뉴럴 네트워크를 물리적 냉각 과정으로 재해석하는 잠재적 허상 시간 진화(LITE) 프레임워크를 제안한다. 이 스킴에서 NQS 안사츠(ansatz)는 세 가지 논리적 블록을 통해 구성된다:

1. 잠재 인코더 ($\hat{E}_\theta$): 이산적인 물리적 구성 $n$을 잠재 토큰들로 구성된 초기 잠재 상태 $z^{(0)}$로 매핑한다. 이는 보조 필드 양자 몬테카를로(AF-QMC)의 보조 장(auxiliary fields)과 유사한 보조 자유도를 도입하며, 변분 몬테카를로(VMC) 프레임워크 내에서 엔드투엔드(end-to-end)로 최적화되므로 부호 문제를 피할 수 있다.
2. LITE 연산자 ($\hat{U}_\theta(\beta)$): 학습 가능한 유효 해밀토니언 $\hat{H}_\theta$를 통해 잠재 공간에서 총 허상 시간 $\beta$ 동안 잠재 상태를 진화시킨다. 진화는 $z(\beta) = e^{-\beta \hat{H}_\theta} z^{(0)}$로 정의된다.
3. 파동 함수 디코더 ($\hat{D}_\theta$): 진화된 잠재 상태 $z(\beta)$를 파동 함수의 로그 진폭 $\log \Psi_\theta(n)$으로 매핑한다.

표준 TQS의 재해석
본 논문은 기존의 트랜스포머 기반 NQS(TQS)를 LITE의 관점에서 분석한다. 연구진은 멀티 헤드 어텐션(MHA) 및 피드 포워드 네트워크(FFN) 서브레이어로 구성된 표준 TQS 레이어가 단차(first-order) 리-트로터(Lie–Trotter) 분해를 통한 짧은 허상 시간 전파기(propagator)에 대응함을 식별하였다.

• MHA 서브레이어는 비국소적 상호작용 항($\hat{K}_\theta$) 역할을 한다.
• FFN 서브레이어는 국소적(on-site) 항($\hat{V}_\theta$) 역할을 한다.
• 결정적으로, 표준 TQS는 각 레이어마다 별도의 가중치를 사용하며, 이는 허상 시간 $\beta$에 따라 변하는 유효 해밀토니언($\hat{H}^{(\ell)}_\theta \neq \hat{H}^{(\ell')}_\theta$)을 의미한다. 저자들은 이러한 변동성이 물리적으로 중복된 자유도이며, 바닥 상태 냉각 과정은 단일하고 시간 불변적인 해밀토니언에 의해 지배되어야 함에도 불구하고 상당한 과잉 매개변수화를 초래한다고 주장한다.

제안된 솔루션: 물리 기반 트랜스포머 양자 상태 (Physics-Inspired Transformer Quantum States, PITQS)
이러한 한계를 해결하기 위해, 저자들은 정적인 유효 해밀토니언을 강제하고 변리 매개변수 수를 늘리지 않으면서도 전파 정확도를 높이는 **물리 기반 트랜스포머 양자 상태(PITQS)**를 도입한다.

• 가중치 공유 (Weight Sharing): PITQS는 가중치 공유를 통해 모든 레이어에 걸쳐 단일 유효 해밀토니언 $\hat{H}_\theta = -(\hat{V}_\theta + \hat{K}_\theta)$를 강제한다. 이는 물리적으로 중복된 레이어별 변동성을 제거하며, 매개변수 수를 네트워크 깊이 $L$에 비례하는 비율만큼 감소시킨다.
• Trotter–Suzuki 분해: 표준 TQS에서 사용되는 1차 Lie–Trotter 스킴 대신, PITQS는 전파기 $e^{-\Delta\tau \hat{H}_\theta}$를 근사하기 위해 고차 분해(예: 2차 Strang, 4차 Suzuki, 4차 Blanes–Moan)를 체계적으로 구현한다. 이는 가용 변리 매개변수 예산을 일정하게 유지하면서 잠재 허상 시간 전파의 정확도를 개선한다.

주요 결과
프레임워크는 $10 \times 10$ 정사각형 격자($J_2/J_1 = 0.5$) 상의 좌절된 $J_1$-$J_2$ 하이젠베르크 모델에 대해 검증되었다.

• 매개변수 효율성: PITQS는 훨씬 적은 변리 매개변수를 사용하여 최첨단 TQS와 대등하거나 이를 능가하는 에너지를 달성했다. 예를 들어, 총 허상 시간 $\beta=2.0$에서 44,890개의 매개변수를 가진 PITQS는 155,620개의 매개변수를 가진 표준 TQS보다 우수한 성능을 보였다.
• 정확도 vs 깊이: 표준 TQS에서는 허상 시간 $\beta$(및 그에 따른 깊이 $L$)를 증가시키면 매개변수 수가 선형적으로 증가했지만 정확도의 체계적인 개선은 나타나지 않았다. 반면, 고정된 매개변수 수를 가진 PITQS는 $\beta$가 증가함에 따라 더 낮은 에너지를 달성하였으며, 이는 유효 해밀토니언 구조가 표현력의 주요 원천임을 시사한다.
• 분해 차수: 고정된 매개변수 수에서 고차 Trotter–Suzuki 분해(Strang, Suzuki, Blanes–Moam)는 일반적으로 1차 Lie–Toler 스킴보다 정확도를 개선했다. 그러나 저자들은 트레이드오프를 언급했는데, 고차 스킴은 Trotter 오차를 줄였지만 큰 $\beta$ 값에서 최적화 불안정성과 계산 비용이 증가했다.
• 확장성: 더 큰 PITQS 모델(Strang 스킴, $N_p = 143,010$)은 동등한 크기의 표준 TQS($N_p = 155,620$)를 능가하여 $E \approx -0.49741$의 에너지를 달성했으며, 이는 문헌에 보고된 훨씬 큰 TQS 모델($N_p \approx 995,000$)과 경쟁할 만한 수준이다.
• 페르미온 시스템: 이 접근 방식은 허바드 모델(Hubbard model)과 같은 페르미온 시스템으로 확장되었으며, 여기서 PITQS는 다시 한번 훨씬 적은 매개변수로 TQS의 정확도에 부합함을 보여주어 스핀 시스템 이외의 적용 가능성을 입증했다.

의의 및 주장
본 논문은 딥 네트워크 구조를 잠재적 냉각 과정으로 재해석하는 것이 NQS를 위한 더 물리적으로 근거 있고 체계적이며 압축적인 설계를 가능하게 한다고 주장한다. 머신러닝의 "블랙박스"적 표현력과 물리적으로 투명한 구성 사이의 간극을 메움으로써, 저자들은 다음을 입증하였다:

1. TQS의 "블랙박스" 특성은 레이어를 잠재적 허상 시간 전파기의 근사치로 봄으로써 해명될 수 있다.
2. 표준 TQS의 레이어별 변동성은 가중치 공유를 통해 제거할 수 있는 물리적으로 중복된 과잉 매개변수화이다.
3. NQS 아키텍처의 체계적인 개선은 단순히 매개변수 규모를 키우거나 경험적 휴리스틱에 의존하는 것이 아니라, 물리적 원리(정적 해밀토니언, 고차 분해)를 적용함으로써 달성될 수 있다.

본 연구는 결론적으로, 순수한 매개변수 규모보다는 물리 기반의 귀납적 편향(inductive bias)이 양자 다체 시뮬레이션에서 높은 정확도를 달성하는 데 핵심적인 역할을 한다는 점을 밝히고 있다.