Quantitative Gaussian-Process limits of Tensor Programs

기술 요약: 텐서 프로그램의 정량적 가우시안 프로세스 극한

문제 정의
본 논문은 무한 너비 극한에서 무작위 신경망이 가우시안 프로세스(GP)로 수렴하는 문제를 다룬다. 완전 연결 네트워크(fully connected networks)와 뉴럴 탠전트 커널(NTK) 체계에 대한 정성적 중심한계정리(CLT) 결과는 잘 확립되어 있으나, 더 넓은 범위의 아키텍처에 대한 엄밀하고 정량적인 수렴 속도에 대한 필요성이 존재한다. 구체적으로, 저자들은 단순한 피드포워드 구조를 넘어 가중치 공유 스킴(예: 순환 신경망, 트랜스포머) 및 복잡한 계산 그래프를 포함하는 네트워크에 대해 명시적인 유한 너비 오차 경계(finite-width error bounds)를 제공하고자 한다. 목표는 유한 너비 네트워크의 실행과 무한 너비 가우시안 프로세스 대응물 사이의 거리를 와서스테인 거리(Wasserstein metric)로 정량화하는 것이다.

방법론
저자들은 신경망 아키텍처를 추상화하기 위해 텐서 프로그램(Tensor Programs) 형식론, 구체적으로는 Netsor 언어를 활용한다. 이 프레임워크는 네트워크를 특정 유형(H-변수: 은닉 상태, A-변수: 가중치, G-변수: 프리-액티베이션)의 변수들에 작용하는 일련의 기초 연산(MatMul 및 NonLin)으로 취급한다.

핵심 방법론은 다음과 같다:

1. 이중 실행 규칙(Dual Execution Rules): Netsor 프로그램의 두 가지 실행 모드를 정의한다.
   • 유한 너비(Finite-width): 가우시안 초기화된 가중치($W_{ij} \sim N(0, 1/m)$)를 사용하는 표준 행렬-벡터 곱셈.
   • 무한 너비(Infinite-width): 행렬 곱셈이 가우시안 중심한계 근사로 대체되는 극한으로, G-변수를 재귀적 커널에 의해 정의된 결합 가우시안 랜덤 변수로 취급한다.
2. 정량적 결합(Quantitative Coupling): 증명은 프로그램 구조에 따른 라인별 귀납법을 사용한다. 저자들은 유한 너비 실행과 무한 너비 실행 사이의 명시적인 결합을 구축한다.
   • NonLin 연산의 경우, 오차는 활성화 함수의 리프시츠 연속성(Lipschitz continuity)을 통해 제어된다.
   • MatMul 연산의 경우, 두 실행 모두 이전 은닉 상태가 주어졌을 때 조건부 가우시안이다. 저자들은 동일한 표준 가우시안 노이즈를 사용하여 이들의 조건부 법칙을 결합한다. 결과적으로 오차는 조건부 평균과 조건부 공분산의 제곱근 사이의 차이를 추정하는 문제로 축소된다.
3. 구조적 보조정리(Structural Lemmas): 증명은 조건부 평균과 공분산이 부모 변수의 그램 행렬(Gram matrices)의 유한 차원 함수임을 보여주는 구조적 보조정리에 의존한다. 저자들은 (퇴화 사례를 제외한 후) 이 함수들이 무한 너비 지점에서 미분 가능하다는 점을 활용하고, 정량적 커널 대수의 법칙(Kernel LLN)을 적용하여 편차를 제한한다.
4. NetsorK로의 확장: 어텐션 메커니즘과 정규화 레이어를 다루기 위해, 스칼라 커널 변수와 스칼라 파라미터 비선형성을 도입한 NetsorK로 프레임워크를 확장한다. 이는 로컬 리프시츠 조건(local Lipschitz conditions)을 처리하고 가우시안 극한의 비퇴화성(non-degeneracy)을 보장하는 것을 요구한다.

주요 기여

• 텐서 프로그램에 대한 정량적 CLT: 주요 결과(정리 1.2)는 $L$개의 라인을 가진 Netsor 프로그램에 대해, 스케일링된 유한 너비 실행과 무한 너비 가우시안 프로세스 사이의 와서스테인 거리($W_p$)가 $O(\sum_{m \in n_{hidd}} m^{-1/2})$로 유계됨을 입증한다. 여기서 $n_{hidd}$는 은닉 너비들을 나타낸다. 이는 명시적인 역제곱근 수렴 속도를 제공한다.
• 아키텍처 불가지론적 프레임워크: 결과는 피드포워드 네트워크, 가중치 공유가 있는 순환 신경망(RNN), 그리고 여러 입력을 동시에 평가하는 네트워크를 포함하여 Netsor 프로그램으로 표현 가능한 모든 아키텍처에 적용된다.
• 커널 LLN: 저자들은 경험적 커널(empirical kernels)에 대한 정량적 대수의 법칙(Corollary 1.3)을 도출하여, 은닉 상태의 경험적 내적이 무한 너비 기대값으로 동일한 $O(n^{-1/2})$ 속도로 수렴함을 보여준다.
• 어텐션으로의 확장: NetsorK 언어의 도입과 정리 2.4는 특정 비퇴화성 및 리프시츠 조건이 충족될 때, 스칼라 커널 변수(예: 어텐션 점수) 및 스칼라 파라미터 비선형성(예: LayerNorm, Softmax)을 포함하는 아키텍처로 이러한 정량적 보증을 확장한다.

결과

• 수렴 속도: 이론적 경계는 유한 너비 네트워크와 그 GP 극한 사이의 오차가 은닉층 너비의 역제곱근에 따라 스케일링됨을 확인한다.
• 수치적 검증: 섹션 5는 다층 퍼셉트론(MLP), 시간적 전개(Time-unrolled) RNN, 그리고 잔차 네트워크(Residual Networks)에 대한 수치 실험을 제시한다. 슬라이스 와서스테인-1(Sliced Wasserstein-1) 거리를 사용하여, 저자들은 아키텍처 수렴 신호가 관찰 가능함을 확인하는, 샘플링 노이즈 플로어($-0.5$)보다 엄격하게 가파른 로그-로그 기울기를 관찰했다. 예를 들어, Deep MLP는 $-0.916$, Residual Network는 $-0.797$의 기울기를 보였다.
• 퇴화 처리: 저자들은 퇴화된 MatMul 라인(조건부 분산이 0이 되는 경우)을 NonLin 라인으로 환원함으로써, 비퇴화성 가정 하에서 정량적 경계의 유효성을 보장하는 방법을 보여준다.

의의 및 주장
저자들은 본 연구를 양(Yang)의 마스터 정리(Master Theorem)가 제공하는 텐서 프로그램의 정성적 극한 이론에 대한 정량적 대응물로 위치시킨다. 양의 정리가 무한 너비 극한에 대한 광범한 정성적 설명을 제공한다면, 본 논문은 풍부한 클래스의 아키텍처에 대해 명시적이고 검증 가능한 오차 경계를 제공한다.

본 연구의 의의는 다음과 같다:

1. 엄밀한 유한 너비 분석: 점근적 진술을 넘어 실제 유한 너비 네트워크을 위한 구체적인 오차 추정치를 제공한다.
2. 가중치 공유 처리: 순환 및 가중치 공유 아키텍처에 필수적인 조건부 가우시안 구조를 포착함으로써, 레이어별 독립적인 CLT의 한계를 해결한다.
3. 향후 연구를 위한 토대: Netsor 및 NetsorK에 대한 정량적 프레임워크를 구축함으로써, 현대적인 복잡한 아키텍처(예: 트랜스포머)를 분석할 수 있는 기반을 마련한다. 현재의 작업은 엄격하게 초기화(순방향 패스) 영역에 집중되어 있으나, 향후 훈련 역학(training dynamics)으로 확장될 가능성을 열어둔다.

저자들은 Netsor 언어가 확장 없이는 현대 아키텍처의 모든 연산을 아직 다루지 못한다는 점과, 정량적 경계가 특정 정규성 가정(리프시츠 연속성) 및 비퇴화 조건에 의존한다는 점을 언급하며 주장이 겸손함을 유지하고 있다.