Kernel Renormalization in Bayesian Deep Neural Networks: the Equivalent Wishart Ansatz in the Proportional Regime

제목: 베이지안 심층 신경망의 커널 재규격화: 비례 영역에서의 동등 위샤르트 안사츠

문제 제기
심층 신경망 (DNN) 은 현대 기계학습의 핵심이지만, 특히 다층 비선형 아키텍처의 경우 이론적 이해는 여전히 어렵습니다. '게으른 (lazy)' 무한 폭 한계 (신경망 가우시안 프로세스 또는 NNGP) 는 넓은 네트워크에 대한 정확한 설명을 제공하지만, DNN 이 커널 방법보다 우수한 성능을 내는 데 기여하는 유한 폭 효과를 포착하지는 못합니다. 반면, 특징이 크게 적응하는 '풍부한 (rich)' 학습 영역은 종종 계산적으로 처리 불가능한 고차원 순서 변수 (예: $P \times P$ 커널 행렬) 를 필요로 합니다.

본 연구가 다루는 구체적인 간극은 **비례 영역 (proportional regime)**에서의 베이지안 DNN 을 위한 저차원 유효 이론의 부재입니다. 여기서 훈련 샘플 수 $P$와 네트워크 폭 $N$은 무한대로 스케일링되지만 비율 $\alpha = P/N$은 고정됩니다 ($P, N \to \infty$ with $\alpha = P/N$ fixed). 이 영역에서 유한 폭 요동은 무시할 수 없으며, 기존 이론들은 심층 네트워크에서는 실패하는 섭동적 보정에 의존하거나 차원 축소를 제공하지 않는 결합된 고차원 방정식을 풀어야 하는 문제에 직면해 있습니다.

방법론: 동등 위샤르트 안사츠 (EWA)
저자들은 **동등 위샤르트 안사츠 (Equivalent Wishart Ansatz, EWA)**를 기반으로 한 근사적이지만 효과적인 이론을 제안합니다. 핵심 아이디어는 심층 비선형 네트워크의 계층적 경험 커널의 확률적 요동을, 심층 선형 네트워크에서 발견되는 정확한 행동과 유사하게 위샤르트 분포를 따르는 것으로 모델링하는 것입니다.

1. 커널 계층 구조: 네트워크 출력 사전분포는 각 층 $\ell$에서의 경험 커널 $K^{(\ell)}_E$의 계층으로 기술됩니다. 비례 한계에서 저자들은 층 $\ell-1$의 커널이 주어졌을 때 층 $\ell$의 커널의 조건부 분포가 위샤르트 분포를 따른다고 가정합니다:
   $$K^{(\ell)}_E | K^{(\ell-1)}_E \sim \mathcal{W}_P\left( \frac{\Theta^{L-\ell+1}(K^{(\ell-1)}_E)}{N_\ell}, N_\ell \right)$$
   여기서 $\Theta$는 NNGP 커널 함수이고 $N_\ell$는 폭입니다.

2. 차원 축소: 위샤르트 행렬의 성질 (특히 2 차 형식이 $\chi^2$ 분포를 따르는 축소 성질) 을 활용하여, 저자들은 매개변수 공간에 대한 복잡한 적분을 $L$개의 스칼라 순서 변수 $q_\ell$(CNN 의 경우 행렬 $q_\ell$) 에 대한 저차원 적분으로 축소합니다.

   • 완전 연결 (FC) 네트워크의 경우, 유효 작용은 스칼라 곱 $Q = \prod q_\ell$에 의존합니다.
   • 합성곱 신경망 (CNN) 의 경우, **적층된 동등 위샤르트 안사츠 (Stacked Equivalent Wishart Ansatz)**가 도입되어 패치 - 패치 상관관계를 포착하는 저차원 행렬 순서 변수 $Q$를 도출합니다.

3. 유효 작용: 분배 함수는 대편차 원리를 통해 표현되어 데이터셋과 이러한 순서 변수에만 의존하는 유효 작용 $S(q)$를 도출합니다. 재규격화된 커널은 $K^{(R)}_Q = Q \Theta^L(C)$로 주어지며, 여기서 $C$는 입력 그람 행렬입니다.

4. 비영평균 처리: 저자들은 비례 영역에서 영이 아닌 평균을 갖는 활성화 함수 (ReLU 등) 로 인해 발생하는 중심 및 비중심 위샤르트 분포 간의 차이가 점근적으로 무시할 수 있음을 보여줍니다. 영평균 EWA 는 여전히 유효한 유효 설명으로 남습니다.

주요 기여

• 비선형 DNN 을 위한 저차원 이론: 이 논문은 $P \times P$ 자기일관성 방정식에 의존하지 않고 비섭동적 유한 폭 효과를 포착하는 비례 영역에서의 베이지안 다층 퍼셉트론 (MLP) 및 CNN 에 대한 최초의 저차원 근사 설명을 제공합니다.
• 동등 위샤르트 안사츠: 계층적 경험 커널의 지배적인 확률적 요동을 포착하는 메커니즘으로서 EWA 를 도입하여 문제를 $L$개 (또는 소규모 행렬) 의 순서 변수를 찾는 문제로 축소합니다.
• CNN 으로 확장: 프레임워크를 합성곱 아키텍처로 확장하여, 공간적으로 상관된 데이터에서 유한 폭 효과를 설명하는 계층적 로컬 커널 재규격화 메커니즘을 규명했습니다.
• 비례 영역에서의 검증: 이 이론은 다양한 활성화 함수 (Erf, ReLU) 와 $L \sim 10$까지의 깊이를 다루는 실제 데이터셋 (MNIST, CIFAR-10) 및 합성 데이터에 대한 광범위한 수치 실험 (MCMC 샘플링) 을 통해 검증되었습니다.

결과

• 정량적 일치: 훈련 손실 및 일반화 오장에 대한 EWA 예측은 $L \sim O(10)$까지의 깊이와 다양한 데이터셋 크기를 가진 네트워크에 대해 수치 샘플링 실험과 "전반적으로 매우 좋은 일치"를 보입니다. 이 이론은 무한 폭 NNGP 한계가 실패하는 유한 폭 네트워크의 행동을 성공적으로 추적합니다.
• 체계적 편차: 깊이 $L$과 부하 $\alpha$가 모두 클 때 두 가지 유형의 편차가 관찰됩니다:
  1. 점진적 드리프트: 고 $\alpha$에서의 가우시안 데이터 실험에서 EWA 오차는 깊이에 따라 매끄럽게 증가하는데, 이는 속도 함수 폭의 누적 오차나 무시된 방향적 불균일성 때문일 가능성이 있습니다.
  2. 준안정성: $L > 5$ 및 $\alpha \approx 2.5$인 CIFAR-10 의 ReLU 네트워크의 경우, MCMC 시뮬레이션에서 훈련 및 테스트 오차가 급격하고 갑작스럽게 감소하는 현상이 관찰됩니다. 사후분포에서의 준안정적 전이로 해석되는 이 현상은 매끄러운 EWA 예측으로 포착되지 않아 극단적 영역에서 안사츠의 붕괴를 시사합니다.
• 평균장 vs 표준 파라미터화: 이 이론은 표준 (SP) 및 평균장 ($\mu$P) 파라미터화 모두에서 일반화 성능을 성공적으로 예측합니다. 풍부한 학습 영역 ($\mu$P) 에서 일반화의 개선은 예측자 편향의 강한 적응보다는 예측자 분산의 억제로 주로 주도되는 것으로 발견되었으며, 이는 EWA 의 재규격화된 커널 그림과 일치합니다.

의의 및 주장
저자들은 EWA 가 게으른 무한 폭 한계와 복잡하고 고차원인 특징 학습 영역 사이의 간극을 연결하는 처리 가능한 유효 이론을 제공한다고 주장합니다. 유한 폭 학습의 설명을 몇 개의 스칼라 (또는 저랭크 행렬) 순서 변수로 축소함으로써, 이 논문은 데이터 크기와 폭의 상대적 스케일링 ($\alpha = P/N$) 이 전통적인 '게으름 vs 풍부함'의 이분법보다 유한 폭 학습을 조직하는 더 근본적인 원리임을 논증합니다.

이 연구는 중간 정도의 깊이와 부하에서 비선형 DNN 의 복잡한 특징 적응이 커널의 간단한 전역적 (또는 CNN 의 경우 로컬) 재규격화로 효과적으로 포착될 수 있음을 시사합니다. 이는 특징 학습을 이해하기 위한 기준선을 제공하며, 무한 폭 예측과 유한 폭 현상론 사이의 큰 간격이 대부분 이 방향적 동질성 재규격화에 의해 포착됨을 나타냅니다. 논문은 EWA 가 근사치이지만 다양한 아키텍처와 데이터셋에 걸친 경험적 학습 곡선을 예측하는 데 성공함으로써 비례 영역에서 베이지안 심층 학습을 분석하는 강력한 도구로 자리 잡았다고 결론짓습니다.