On a Central Limit Theorem and Sanov's principle for quantum neural networks

기술 요약: 양자 신경망에 대한 중심 극한 정리 및 사노프 원리(Sanov's Principle)

문제 정의
본 연구는 지도 학습 프레임워크 내에서 양자 신경망(QNN)의 훈련 역학 및 변동 동작을 조사한다. 구체적으로, $N$개의 동일한 양자 전문가(expert)들의 균등 평균으로 정의되는 "전문가 혼합(Mixture of Experts, MoE)" 모델을 분석한다. 각 전문가의 파라미터는 이차 손실 함수를 최소화하기 위해 경사 하강법(gradient flow)을 통해 최적화된다. 기존 연구들은 넓은(wide) QNN이 무한 너비 극한(종종 "레이지(lazy)" 훈련 체제 하에서)에서 가우시안 프로세스로 수렴한다는 것을 입증하였고, 파라미터의 경험적 측도(empirical measure)가 결정론적 극한 측도(평균장 극한)로 수렴한다는 것을 보여주었으나, $N \to \infty$일 때 이러한 파라미터들의 *변동(fluctuations)*을 엄밀하게 규명하는 데에는 한계가 있었다. 본 논문은 이러한 변동을 정량화하고, QNN의 맥락에서 경험적 측도의 대형 편차(large deviation) 특성을 이해할 필요성을 다룬다.

방법론
저자들은 $N$개 전문가의 파라로미터를 고차원 파라미터 공간(구체적으로 $d$차원 토러스 $\mathbb{T}^d$)에서 진화하는 입자로 취급하는 평균장 분석(mean-field analysis) 접근 방식을 채택한다.

1. 모델 정의: QNN 모델 함수 $f(\theta, x)$는 유니터리 회로 $U(\theta, x)$에 의해 생성된 양자 상태에서 측정된 관측량의 기댓값으로 정의된다. MoE 출력은 $F_N(\Theta, x) = \frac{1}{N}\sum_{i=1}^N f(\theta_i, x)$이다.
2. 경사 하강 역학: 파라미터는 경험적 손실 $L(\Theta)$의 경사 하강법에 따라 진화한다. 저자들은 개별 파라미터 $\theta_i$의 미시적 역학과 경험적 측도 $\mu_{\Theta^N_t}$의 거시적 진화를 도출한다.
3. 변동 분석: 변동을 연구하기 위해, 저자들은 척도 조정된 변동 과정(scaled fluctuation process) $\delta^N_t := \sqrt{N}(\mu_{\Theta^N_t} - \mu_t)$를 정의한다. 여기서 $\mu_t$는 비선형 연속 방정식(nonlinear continuity equation)을 푸는 결정론적 극한 측도이다.
4. 함수적 프레임워크: 분석은 토러스 상의 소볼레프 공간(Sobolev spaces)을 포함하는 특정 함수적 설정 내에서 수행된다. 저자들은 측도의 약수렴(weak convergence)과 수송 방정식(transport equations)의 선형화를 처리하기 위해 몫 공간(quotient space) $W(\mathbb{T}^d) = H^1(\mathbb{T}^d)/\mathbb{R}$와 그 쌍대 공간을 활용한다.
5. 대형 편차: 본 연구는 추상적인 Dawson 및 Gärtner의 결과와 사노프 정리(Sanov's theorem)를 연속적인 확률 측도의 곡선 공간에 적용함으로써 대형 편차 원리(LDP)를 확장한다.

주요 기여 및 결과

1. QNN에 대한 중심 극한 정리 (CLT):
   주요 결과는 변동 과정의 수열 $\delta^N_t$에 대한 CLT를 확립한다.

   • 초기 조건: $t=0$에서, 독립 항등 분포(i.i.d.) 초기 파라미터를 가정할 때, $\delta^N_0$는 평균이 0이고 특정 공분산 구조를 가진 가우시안 프로세스로 법(law)의 의미에서 수렴한다.
   • 시간 진화: $N \to \infty$로 감에 따라, 과정 $\delta^N_t$는 모든 $t \geq 0$에 대해 극한 과정 $\delta_t$로 법의 의미에서 수렴한다.
   • 극한 방정식: 극한 과정 $\delta_t$는 다음과 같은 선형 수송 방정식의 유일한 해이다:
     $$\frac{d\delta_t(\theta)}{dt} = -\nabla_\theta \cdot \left( \nabla V(\theta, \mu_t)\delta_t + \mu_t \nabla G(\theta, \delta_t) \right)$$
     여기서 $V$와 $G$는 손실 지형(loss landscape)과 QNN의 상호작용 커널로부터 유도된 범함수(functionals)이다. 이는 평균장 극한을 지배하는 비선형 연속 방정식과 대조를 이룬다.

2. 수렴 속도 및 비교:
   본 논문은 경험적 측도가 극한 주변에서 갖는 변동이 $O(N^{-1/2})$ 차수임을 입증한다. 이는 Wasserstein-2 거리($W_2$)를 통해 근접성을 측정하여 $O(N^{-2/d})$의 속도를 냈던 이전 연구 결과보다 더 타이트한 근사율을 제공한다. 고차원 설정($d > 4$)에서, CLT에 의해 확립된 $N^{-1/2}$ 속도는 $N^{-2/d}$ 속도보다 우수하며, 실제적인 QNN에서 전형적인 파라미터가 풍부한 체제에서의 수렴에 대해 더 정밀한 특성을 제공한다.

3. 모델 출력의 수렴:
   CLT의 부산물로서, 저자들은 MoE 출력 함수 $F_N(\Theta_t, x)$가 그 평균장 극한 $f_t(x)$ 주변에서 갖는 변동 또한 법의 의미에서 수렴함을 증명한다. 구체적으로, 척도 조정된 출력 변동 $\psi^N(t, x) = \sqrt{N}(F_N - f_t)$는 극한 변동 측도 $\delta_t$의 선형 범함수로 수렴한다.

4. 대형 편차 원리 (사노프 원리):
   본 논문은 경험적 과정 $\mu_{\Theta^N_\cdot}$의 법칙에 대한 대형 편차 원리를 확립한다.

   • 속도(rate functional)는 상대 엔트로피(relative entropy)로 주어진다.
   • 독립적인 과정의 수열은 $d > 4$인 경우, 경사 하강법에 의해 도입된 상관관계에도 불구하고 $(\log N)^\beta$ (단, $0 < \beta < 1$)의 속도로 실제 상관된 과정과 지수적으로 동등(exponentially equivalent)함이 입증되었다. 이 동등성은 상관관계를 고려한 추상적 LDP 이론의 적용을 가능하게 한다.

의의 및 주장
본 논문은 경사 하강법을 통해 훈련된 양자 신경망의 유한 크기 확률적 효과를 이해하기 위한 엄밀한 수학적 토대를 제공한다고 주장한다. 결정론적 평균장 극한을 넘어, 본 연구는 훈련 역학의 통계적 성질을 규명한다.

• 레이지 훈련을 넘어서: 뉴럴 탄젠트 커널(NTK)이 고정된 상태로 분석하는 "레이지" 체제를 다루는 기존 연구들([13, 23])과 달리, 본 연구는 표현 학습(representation learning)이 일어나는 설정(파라미터가 크게 변화함)을 고려하면서도 평균장 극한이 여전히 유효함을 보여준다.
• 정량적 정밀도: 변동에 대한 $O(N^{-1/2})$ 수렴 속도의 도출은, 특히 고차원 파라미터 공간에서 $W_2$ 기반 경계보다 더 정교한 QNN의 점근적 행동에 대한 이해를 제공한다.
• 이론적 프레임워크: 변동을 위한 선형 수송 방정식과 경험적 측도에 대한 대형 편차 원리의 확립은, 통계 물리학(카오스 전파, 수송 방정식)의 개념을 양자 컴퓨팅과 결합하여 양자 머신러닝 모델을 분석할 수 있는 이론적 도구 상자를 확장한다.

저자들은 현재의 기술로는 무한한 깊이와 너비의 결합 극한을 연구할 수 없으며, 파라미터 차원 $d \to \infty$인 무한 차원 극한을 다루지 않는다는 점을 명시하며, 이를 향후 연구 방향으로 제시하였다.