Correlation flow governs learning at criticality

기술 요약: 임계점에서의 상관관계 흐름이 학습을 지배한다

문제 정의
심층 신경망의 초기화는 정보와 그래디언트가 깊이(depth)를 따라 전파될 수 있는지 여부를 결정하는 데 매우 중요하다. 경험적인 성공은 네트워크 크기의 확장을 이끌어 왔으나, 초기화 특성과 학습 역학을 연결하는 통일된 이론은 여전히 부재한 상태이다. 구체적으로, 무한히 넓고 무한히 깊은 네트워크의 극한에서 상관관계 전파, 종단 간(end-to-end) 자코비안(Jacobian)의 스펙트럼, 그리고 뉴럴 탄젠트 커널(NTK) 사이의 상호작용가 초기화 선택(가우시안 vs 직교)에 의해 어떻게 조건화되는지에 대한 이해가 부족하다. 기존 연구들은 "임계성"(특정한 가중치-편향 분산 평면상의 지점)이 상관관계의 지수적 붕괴가 아닌 대수적 붕괴를 허용한다는 점을 확립했지만, 이러한 상관관계 흐름과 결과적인 학습 역학(NTK에 의해 제어됨) 사이의 정확한 관계는 아직 완전히 규명되지 않았다. 또한, 이 극한에서 유한 크기 보정(finite-size corrections)을 제어하기 위한 직교 초기화의 역할에 대해서도 엄밀한 이론적 근거가 필요하다.

방법론
저자들은 순차적 극한(sequential limit, 즉 $N \to \infty$를 먼저 수행한 후 $L \to \infty$를 수행하는 방식)에서 완전 연결 신경망을 분석하기 위해 **평균장 이론(mean-field theory)**과 **무작위 행렬 이론(random matrix theory)**의 조합을 사용한다.

1. 이론적 프레임워크:

   • 평균장 영역(Mean-Field Regime): 저자들은 깊이가 증가함에 따라 전-활성화(pre-activation)의 공분산과 상관관계에 대한 결정론적 재귀 관계를 분석한다. 이들은 세 가지 영역을 식별한다: 질서 영역(상관관계 $\to 1$), 혼돈 영역(상관관계 $\to 1$보다 작은 상수), 그리고 새롭게 식별된 분산 소멸 단계(분산 $\to 0$인 단계).
   • 임계점(Critical Point): 저자들은 분산 소멸 단계의 경계와 "혼돈의 가장자리(edge of chaos)" 선($\sigma_w = 1/\phi_1$ 및 $\sigma_b = 0$, 여기서 $\phi_1$은 활성화 함수의 첫 번째 테일러 계수)의 교차점에서 임계점을 찾는다.
   • 자코비안 분석: 자유 확률 이론(free probability theory)을 사용하여 층별 및 종단 간 자코비안의 특이값 스펙트럼을 분석한다. 이들은 가우시안 및 직교 초기화 하에서 자코비안 스펙트럼의 평균과 분산에 대한 스케일링 법칙을 도출한다.
   • NTK 도출: NTK를 부분 자코비안에 의해 역투영된 공분산 커널의 합으로 표현한다. 임계점에서의 점근적 거동을 분석함으로써, NTK와 고정점 상관관계 사이의 관계를 도출한다.

2. 유한 크기 분석:

   • 저자들은 경험적 커널에 대한 주요 차수의 유한 크기 보정($O(L/N)$)을 도출한다. 이들은 이러한 변동을 "윅 결함(Wick defects)"(전-활성화의 비가우시안성에서 기인함)과 "가중치 비직교성(weight non-orthogonality)" 효과로 분해한다.
   • 가우시안 초기화와 직교 초기화 하에서 이러한 오류가 어떻게 축적되는지 비교한다.

3. 수치적 검증:

   • 사인(sine) 함수(및 일부 tanh) 활성화 함수를 가진 완전 연결 신경망을 사용하여 이론적 예측을 검증한다. 실험을 통해 매니폴드 전파, 상관관계 흐름, 자코비안 스펙트럼, 그리고 NTK 컨디셔닝을 다양한 깊이와 너비에 걸쳐 추적한다.

주요 기여 및 결과

1. 임계성은 상관관계 전파를 위한 필수 조건이다:
   저자들은 무한한 깊이까지 비자명한 상관관계 전파가 오직 임계점에서만 가능하다는 것을 증명한다. 다른 모든 영역에서는 상관관계가 1로 붕괴하거나(질서 영역), 입력과 독립적인 상수값으로 수렴하거나(혼돈 영역), 또는 분산이 지수적으로 소멸하여 수치적 붕괴를 일으킨다. 임계점에서는 상관관계가 대수적으로 수렴하여 입력 의존성을 보존한다.

2. 종단 간 자코비안의 대수적 소멸:
   임계성이 "역학적 등거리성(dynamical isometry)"(자코비안 스펙트럼이 1 근처에 집중되는 현상)을 가능하게 할 것이라는 기대와 달리, 저자들은 임계점에서 종단 간 자코비안이 깊이에 따라 대수적으로 소멸함($\Xi \propto 1/L$)을 증명한다. 이는 직교 초기화를 사용하더라도 마찬가지이다. 결과적으로, 순차적 극한의 임계점에서는 역학적 등거리성이 존재하지 않는다.

3. NTK와 출력 상관관계의 등가성:
   이 논문의 핵심적인 이론적 결과는, 무한 깊이 극한의 임계점에서 NTK가 정확히 고정점 상관관계 행렬에 비례하게 된다는 것($\Theta_L \to \frac{1}{A\sigma_w^2} \rho_\infty$)을 증명한 것이다. 이는 정보 전파(상관관계)와 학습 역학(NTK 스펙트럼) 사이의 직접적인 연결 고리를 확립한다. 이 등가성은 자코비안이 소멸함에도 불구하고 성립하는데, 이는 NTK 정의에 사용되는 재스케일링된 중첩 자코비안(rescaled overlap Jacobians)에서 소멸이 상쇄되기 때문이다.

4. 직교 초기화의 역할:
   직교 초기화가 역학적 등거리성을 복구할 수는 없지만, 유한 크기 효과를 제어하는 데 중요한 역할을 한다.

   • 가우시안 초기화 하에서, 상관관계와 NTK의 유한 크기 변동은 $O(\sqrt{L/N})$로 스케일링되며, 깊이에 따라 축적되어 일-컨디션(ill-conditioned) 스펙트럼을 초래한다.
   • 직교 초기화 하에서, 가중치 비직교성에서 발생하는 주요 차수의 변동이 억제된다. 남은 변동(윅 결함)은 $O(1/\sqrt{N})$로 스케일링되며 깊이와 독립적이다. 이를 통해 순차적 극한의 예측이 훨씬 더 깊은 네트워크에서도 유효하게 유지된다.

5. 활성화 함수의 제약 조건:
   정보가 자명한 고정점으로 붕괴하지 않고 전파되기 위해서는 활성화 함수가 $\phi_2 = 0$을 만족해야 함(즉, 최저 차수에서 홀함수여야 함)을 보여준다. 만약 $\phi_2 \neq 0$이면, 초기화 방식과 상관없이 상관관계는 붕괴한다.

의의 및 주장
본 논문은 심층 네트워크에서의 정보 전파, 그래디언트 제어, 그리고 학습 역학을 연결하는 통합된 프레임워크를 제공한다고 주장한다. 주요 의의는 다음과 같다:

• 상관관계와 학습의 통합: NTK 스펙트럼(학습 속도와 방향을 결정함)이 임계점에서 입력의 상관 구조에 의해 점근적으로 결정됨을 보여준다. 이는 네트워크를 통해 입력의 유사성을 보존하는 것이 왜 학습에 필수적인지를 설명한다.
• 임계 초기화의 정당화: 임계점에서 초기화하는 것이 (비록 소멸하더라도) 잘 정의된 자코비안 구조를 유지하면서 입력 의존적 상관관계를 보존할 수 있는 유일한 선택임을 보여줌으로써, 임계 초기화에 대한 엄밀한 이론적 근거를 제공한다.
• 직교 초기화의 명확화: 직교 초기화가 깊은 네트워크에서 NTK의 예측 가능성을 파괴할 수 있는 통제되지 않는 유한 크기 변동의 성장을 억제하는 필수 조건임을 보여줌으로써, "동결된(linear)" 영역과 "특징 학습(feature-learning)" 영역 사이의 긴장을 해소한다.
• 실질적 시사점: 본 결과는 매우 깊은 네트워크(예: SIRENs, 암시적 신경 표현)의 경우, 임계 초기화와 직교 가중치를 결합하는 것이 안정적인 학습 역학과 제어된 스펙트럼 편향(spectral bias)을 보장하기 위한 원칙적인 접근법임을 시사한다. 이를 통해 네트워크는 입력 데이터 상관 구조의 주 모드(principal modes)를 따라 학습하게 된다.

저자들은 이러한 결과가 순차적 극한과 특정 활성화 함수 가정(유계, 미분 가능, $\phi_2=0$)에 의존하며, 공동 극한($L/N \to c$)이나 유계가 아닌 활성화 함수(예: ReLU)로 확장하는 것은 향후 연구 과제로 남아 있음을 밝히고 있다.