Connectivity determines the capability of sparse neural network quantum states

기술 요약: 연결성이 희소 신경망 양자 상태의 능력을 결정한다

문제 제기
본 연구는 양자 다체 해밀토니안의 바닥 상태를 신경망을 사용하여 근사하는 비지도 학습 작업에 로터리 티켓 가설(Lottery Ticket Hypothesis, LTH)이 적용 가능한지 조사한다. 데이터가 희소한 일반적인 머신러로닝 작업(예: 이미지 인식)과 달리, 양자 다체 파동함수는 일반적으로 여러 차수의 크기에 걸쳐 진폭이 존재하는 완전한 밀집 표현(fully dense representations)을 갖는다. 저자들은 과매개변수화된(overparameterized) 신경망 내에서 원래의 밀집 모델과 동일한 성능을 낼 수 있는 희소 서브네트워크를 찾는 문제를 다룬다. 구체적으로, 이들은 "당첨 티켓(winning ticket)"이 원래의 LTH에서와 같이 특정 초기 가중치 값에 의존하는지, 아니면 오직 희소 서브네트워크의 연결 구조에 의존하는지를 검토한다.

방법론
본 연구는 희소 마스크를 생성하기 위해 **가중치 되감기를 포함한 반복적 크기 가지치기(Iterative Magnitude Pruning with Weight Rewinding, IMP-WR)**를 사용한다. 과정은 다음과 같다:

1. 사전 훈련(Pre-training): 무작위로 초기화된 밀집 신경망을 훈련시킨다.
2. 가지치기(Pruning): 가장 작은 크기의 가중치를 반복적으로 제거하고, 남은 가중치를 가지치기 시작 시점의 값으로 되감는다.
3. 고립 훈련(Isolated Training): 결과로 얻어진 희소 서브네트워크("티켓")에 대해 세 가지 뚜렷한 초기화 전략을 테스트한다:
   • $T(\theta_{init}, m_{imp})$: 원래의 LTH 테스트 (원래 가중치 + 학습된 마스크).
   • $T(\theta_{rand}, m_{imp})$: 무작위 가중치 + 학습된 마스크.
   • $T(\theta_{init}, m_{rand})$: 원래 가중치 + 무작위 마스크.

실험에는 두 가지 물리 모델이 사용된다:

• 횡장 이징 모델(Transverse Field Ising Model, TFIM): 강자성 상과 상자성 상 사이의 양자 상전이를 보이는 2D 시스템.
• 토릭 코드(Toric Code, TC): 정확한 바닥 상태 해를 가진 위상적 질서 모델.

테스트된 신경망 아키텍처에는 얕은 피드포워드 신경망(FFNN), 얕은 합성곱 신경망(CNN), 그리고 잔차 합성곱 신경망(ResCNN)이 포함된다. 훈련은 변분 에너지 비용 함수를 최소화하기 위해 **자연 경사 하강법(Natural Gradient Descent, Stochastic Reconfiguration)**을 사용하여 수행된다.

주요 기여

1. 양자 상태를 위한 LTH의 재정립: 저자들은 신경망 양자 상태의 경우, "당첨 티켓"이 희소 연결 구조 자체에 의해 정의됨을 입증한다. 특정 가중치 초기화는 미미하며, 무작위 초기화로부터 훈련된 희소 서브네트워크($T(\theta_{rand}, m_{imp})$)는 원래의 초기화로부터 훈련된 것($T(\theta_{init}, m_{imp})$)과 대등한 성능을 보인다. 이는 특정 초기 매개변수 값이 매우 중요하다는 원래의 LTH와 대조적이다.
2. 보편적 스케일링 행동: 본 논문은 서로 다른 네트워크 크기와 물리 모델 전반에 걸쳐 지속되는 오차 대비 희소성 곡선에서의 보편적 스케일링 영역을 식별한다. 이 영역에는 다음이 포함된다:
   • 높은 매개변수 밀도에서의 저오차 플래토(Low-Error Plateau, LEP).
   • 근사 멱법칙(Approximate Power-Law, APL) 영역.
   • 낮은 매개변수 밀도에서의 고오차 플래토(High-Error Plateau, HEP).
     이 영역들의 경계는 해밀토니안의 기저 물리에 의해 결정된다.
3. 희소성 유도 상전이: 매개변수 당 스핀의 수($\rho$)를 물리적 장(field)과 유사한 제어 매개변수로 취급함으로써, 저자들은 얕은 네트워크에서 1차 양자 상전이를 식으로 식별한다. 이 전이는 APL과 HEP 사이의 경계에서 발생하며, 에너지의 미분 불연속성과 인접한 가지치기 상태 간의 급격한 충실도(fidelity) 저하로 특징지어진다.
4. 가지치기를 통한 해석 가능성: 가지치기 과정은 희소 서브네트워크의 구조가 해밀토니안의 물리를 직접 인코딩함을 보여준다. 토릭 코드의 경우, 가지치기는 바닥 상태의 플라켓 조건을 강제하는 "홀수 패리티 필터(odd parity filters)"로 구성된 점근적으로 정확한 해를 찾아낸다.

결과

• TFIM 성능: 희소 네트워크(원래 매개변수의 5~20% 보유)는 밀집 모델과 대등한 정확도를 달램다. 고오차 플래토로의 전이는 각 상(강자성 vs 상자성)의 고유한 기저 고유벡터의 희소성을 반영하여, 상에 따라 서로 다른 희소성 수준에서 발생한다.
• 상전이 시그니처: TFIM의 임계점에서 APL에서 HEP로의 전이는 총 자화량($M_z$ 및 $M_x$)의 갑작스러운 변화와 충실도의 급격한 하락으로 나타나며, 이는 희소성에 의해 유도된 1차 상전이를 확인시켜 준다.
• 토릭 코드 솔루션: 토릭 코드에 대해 단일 레이어 FFNN을 가지치기하면, 오차가 가중치 크기에 따라 지수적으로 감소하는 해를 얻는다. 결과적인 희소 구조는 정확한 바닥 상태 제약 조건($\lambda_{Bp}(\sigma) = 1$을 만족하는 구성의 중첩)을 효과적으로 구현하는 필터들로 구성된다.
• 아키텍처 독립성: 연결성에 의해 결정되는 성능 현상은 FFNN, CNN, ResCNN 전반에 걸쳐 유효하지만, ResCNN은 국소적 커널 구조가 강력한 초기 사전 확률(prior)을 제공하기 때문에 무작위 마스크를 사용하더라도 높은 성능을 보인다.

의의
본 논문은 가지치기가 모델 압축을 위한 강력한 도구일 뿐만 아니라, 양자 다체 계의 물리를 해석하기 위한 도구임을 주장한다. 신경망의 구조를 기저 해밀토니안과 연결함으로써 저자들은 다음을 보여준다:

• 신경망은 사전 아키텍처 설계 없이도 복잡한 양자 문제(토릭 코드와 같은)에 대한 효율적이고 점근적으로 정확한 해를 발견할 수 있다.
• 가지치기 역학은 표현 용량(희소성)에 의해 유도되는 양자 상과 같은 근본적인 특성을 드러낸다.
• 성능이 가중치 초기화로부터 독립적이라는 사실은 네트워크의 위상과 그것이 나타내는 물리 사이의 강력하고 내재적인 연결을 시사하며, 이는 정밀한 초기화의 필요성을 제거함으로써 양자 신경 상태의 훈련을 단순화할 수 있음을 의미한다.

저자들은 이러한 발견이 매개변수 효율성이 중요한 시간 진화, 양자 회로 시뮬레이션, 미세 조정(fine-tuning) 등의 응용 분야에서 압축된 모델을 사용하는 데 기여할 수 있다고 결론짓는다.