Symmetry Constraints Regularize Neural Quantum State Learning

기술 요약: 대칭성 제약이 신경 양자 상태 학습을 정규화한다

문제 정의
신경 양자 상태(Neural Quantum States, NQS)는 기존의 텐서 네트워크가 포착하지 못하는 다체 상관관계를 포착할 수 있는 매우 표현력이 높은 변분 파동함수를 제공한다. 그러나 이러한 표현력은 심각한 최적화 문제를 야기한다. 크고 표현력이 높은 NQS 구조는 종종 "바렌 플래토(barren plateaus)"와 불량한 조건의 최적화 지형(optimization landscapes)으로 인해 어려움을 겪는다. 이러한 문제는 약하게 식별 가능한 매개변수로 인한 중복된 그래디언트 방향에서 발생한다. 모델을 표현력 있게 만드는 바로 그 매개변수들이 역설적으로 빠른 수렴 능력을 저해하는 것이다. 수치적 방법론들이 힐베르트 공간 투영이나 패널티 구성을 통해 대칭성을 강제할 수는 있지만, 단순한 매개변수 감소를 넘어 대칭성을 변분 매개변수화에 직접 내재화하는 것이 갖는 구체적인 기하학적 영향, 특히 좌표 변환에 불변하면서 타겟 상태에 민감한 메트릭을 사용하여 이를 어떻게 정량화할 수 있는지는 여전히 미해결 과제로 남아 있다. 구체적으로, 대칭성이 최적화 지형의 구조를 어떻게 변화시키며, 이를 어떻게 정량화할 수 있는가?

방법론
저자들은 최적화 과정 중에 비대칭성에 패널티를 부여하는 대신, 볼츠만족 계열(Boltzmann-family) NQS 안사츠(ansatz)에 해밀토니안 대칭성을 구조적으로 내재화하는 프레임워크를 제안한다.

1. 계수 타이잉(Coefficient Tying)을 통한 대칭성 컴파일:
   모델은 $k$-국소 서포트 기저(basis) 상의 대각 연산자 확장(Pauli-Z 스트링)을 사용하여 실수 진폭과 위상 필드를 매개변수화한다. 모든 계수를 독립적으로 최적화하는 대신, 저자들은 물리적 기하학적 궤도(예: 병진, 공간군 연산, 또는 전역 비트 플립 패리티)를 따라 국소 계수를 "타이잉(tying)"하여 불변성을 강제한다. 이는 대칭적으로 동등한 계수들을 식별하고, 훈련 전에 기하급수적으로 큰 구성 공간을 대칭 호환적인 고유값 클래스로 축소함으로써 달성된다. 수학적으로, 이는 최적화 궤적을 전역 제약 행렬 $V$의 영공간(null space)으로 제한하며, 이는 최적화가 시작되기 전에 중복되고 조건이 불량한 매개변수 방향을 효과적으로 제거한다.

2. 기하학적 진단:
   최적화 지형의 기하학적 구조를 정량화하기 위해, 저자들은 자코비안(Jacobian)과 헤시안(Hessian)을 기반으로 한 타겟 인지적 기하학적 메트릭을 도입한다.

• 푸비니-스터디 메트릭(Fubini–Study Metric): 물리적으로 접근 가능한 상태 공간의 부피를 측정하는 데 사용되며, 게이지 중복성과 물리적으로 구별 가능한 상태를 구분하는 좌표 불변 측도를 제공한다.
• 양의 곡률 랭크($r_+$): 정지점 주변에서 에너지가 2차 함수적으로 상승하는 물리적으로 구별 가능한 방향의 수를 나타내는 척도이다.
• 타겟 인지적 유효 표현력($f_\epsilon$): 전체 도달 가능한 푸비니-스터디 부피 중 타겟 바닥 상태와 연결된 $\epsilon$-정확도 이웃이 차지하는 비율로 정의된다. 이 메트릭은 안사츠가 타겟 문제에 자신의 용량을 얼마나 효율적으로 할당하는지를 평가한다.
• 특성 베이슨 스케일($R_\epsilon$): 선형 척도 기반의 랭크 정규화된 선형 스케일로, 국소적인 '좋은 영역'의 부피로부터 유도되며, 서로 다른 차원의 매니폴드 간에 베이슨 너비를 비교할 수 있게 한다.

주요 기여

• 구조적 정규화: 대칭성을 매개변수화에 직접 내재화하는 것이 기하학적 정규화제로 작용함을 입증한다. 계수 공간을 분석적으로 축소함으로써, 이 방법은 중복된 매개변수 방향을 제거하고 최적화 문제의 조건을 개선한다.
• 새로운 기하학적 메트릭: 원시 매개변수 개수, 물리적으로 접근 가능한 변분 용량, 그리고 타겟 솔루션 근처에 집중된 용량 사이를 구분하는 프레임워크를 도입한다. 이를 통해 단순한 정확도 벤치마크를 넘어 제약된 안사츠와 제약되지 않은 안사츠를 엄격하게 비교할 수 있다.
• 분석적 매개변수 압축: 번사이드의 보조정리(Burnside's lemma)와 군론(group theory)을 사용하여 독립적인 매개변수의 수를 결정하는 체계적이고 재현 가능한 절차를 제공하며, 차원 축소를 타겟 상태의 고유한 퇴화(degeneracy)와 직접 연결한다.

결과
이 접근법은 주기적 경계 조건을 가진 횡장 이징 모델(TFIM)과 XXZ 스핀 체인에 대해 평가되었다.

• 정확도 대 압축(Accuracy vs. Compression): 대칭성 컴파일은 훈련 가능한 매개변수의 수를 극적으로 줄였으나(예: 병진 제약이 있는 $N=20$ TFIM의 경우 210개에서 10~11개로), 보고된 벤치마크의 해상도 내에서 바닥 상태 정확도를 유지했다. 압축된 모델은 임계점 근처에서도 제약되지 않은 베이스라인에 비해 체계적인 실패를 보이지 않았다.
• 런타임 가속: 대규모 시스템($N=64, 128$)에서 강력한 공간 제약은 수천 개의 매개변수를 수십 개로 압축하여, 정확도를 희생하지 않으면서도 상당한 벽시계 시간(wall-time) 단축(예: $N=128$에서 최대 30배)을 실현했다.
• 기하학적 정규화:
  • 집중도($f_\epsilon$): 대칭성 제약이 적용된 매니폴드는 제약되지 않은 매니폴드에 비해 타겟 정확도를 가진 상태가 차지하는 도달 가능한 부피의 비율이 현저히 높았다. 이러한 집중도는 시스템 크기가 커짐에 따라 증가했는데, 이는 제약되지 않은 학습자가 타겟 이웃에 할당하는 용량의 비율이 점점 작아짐을 시사한다.
  • 베이슨 너비($R_\epsilon$): 병진 기반 제약은 제약되지 않은 모델보다 실질적으로 더 큰 특성 베이슨 스케일을 유지했다. 이는 대칭성 제약이 도달 가능한 매니폴드를 집중시킬 뿐만 아니라, 남은 구속 방향의 유효 강성(stiffness)을 줄여 더 넓고 견고한 최솟값을 생성함을 나타낸다.
  • 계층 구조: 병진 및 공간군 대칭이 반사 및 비트 플립 대칭보다 글로벌 집중도와 로컬 베이슨 기하학 모두에서 가장 강력한 개선을 제공했다.

의의
본 논문은 대칭성 컴립레이션이 단순히 모델 크기를 줄이는 것 이상의 역할을 한다고 주장한다. 즉, 도달 가능한 물리적 상태 공간을 재구성하여 남은 변분 용량이 타겟 문제와 더 잘 일치하도록 만든다. 타겟의 물리적 대칭성을 최적화 전 단계에서 변분 모델에 구축하는 것은 사후적 가지치기(pruning)나 패널티 기반 방법보다 우수한 전략임을 보여준다.

저자들은 변분 표현력이 단순히 안사츠가 얼마나 많은 상태를 표현할 수 있느냐가 아니라, 도달 가능한 상태가 타겟에 대해 어디에 위치하느냐에 의해 판단되어야 한다고 주장한다. 제안된 기하학적 진단 도구($f_\epsilon$ 및 $R_\epsilon$)는 이러한 정렬을 정량화하는 원칙적인 방법을 제공한다. 이 연구는 물리적 대칭성을 변분 모델에 내재화하는 것이 정확도를 희생하지 않으면서 모델 크기와 훈련 비용을 줄이는 확장 가능하고 매우 정확한 접근법임을 시사한다.