기술 요약: 형상화된 심층 비선형 MLP에서의 베이지안 추론

문제 정의

딥러닝 이론은 모델 파라미터(너비 $N$, 깊이 $L$)와 데이터셋 크기($P$)가 동시에 매우 클 때 신경망이 어떻게 예측을 수행하는지 규명하는 것을 목표로 한다. 근본적인 과제는 $N, L, P \to \infty$의 극한이 반드시 교환 법칙을 따르지는 않는다는 점이다. 기존 프레임워크는 대개 고정된 깊이에서의 무한 너비 극한(뉴럴 텐서 커널 또는 뉴럴 네트워크 가우시안 프로세스 유도)이나 특정 선형 네트워크 레지에 의존한다. 그러나 이러한 접근 방식은 비선형 네트워크에서 깊이의 역할을 포착하거나, $L \propto N$ 및 $P \propto N$인 비례 스케일링 레지에서 특징 학습(feature learning)과 커널 방법론 사이의 상호작용을 포착하는 데 실패하는 경우가 많다.

본 연구에서 다루는 구체적인 문제는 훈련 샘플 수($P$), 입력 차원($N_0$), 은닉층 너비($N$), 은닉층 수($L$)가 모두 발산하는 결합 스케일링 극한 하에서의 심층 비선형 다층 퍼셉트론(MLP)에 대한 베이지안 추론을 엄밀하게 규명하는 것이다. 저자들은 다음을 규명하고자 한다:

1. 이 레지에서 예측 사후 확률(predictive posterior)이 어떻게 행동하는가?
2. 어떤 조건에서 깊이가 이득(베이지안 모델 증거 증가)을 제공하는가?
3. 비선형 네트워크가 데이터 의존적 커널 방법으로 근사될 수 있는가, 그렇다면 어떻게 그러한가?

방법론

1. 형상화된 활성화 함수 (Shaped Activation Functions)

$L, N \to \infty$일 때 퇴화되지 않는 거동을 보장하기 위해, 저자들은 형상화된 활성화 함수 $\phi_s$를 사용한다. 기본 비선형 함수 $\phi_{base}$에 대하여, 활성화 함수는 $\phi_s(x) = s \phi_{base}(x/s)$로 스케일링된다. 이 메커니즘은 많은 층을 거치는 비선형성의 누적 효과가 선형 효과와 비교 가능하며 제어 가능한 수준으로 유지되도록 보장한다. 형상화 인자 $s$는 비율 $t = L/N$이 초기화 분포를 고유하게 제어하도록 선택된다.

2. 뉴럴 공분산 SDE (Neural Covariance SDE, NSDE)

핵심 기술 도구는 **뉴럴 공분산 확률 미분 방정식(NSDE)**이다. 저자들은 층을 가로지르는 공액 커널(conjugate kernel, 은닉 특징의 그람 행렬) $\Phi^{(\ell)}$의 진화를 분석한다.

• $N, L \to \infty$이고 $L/N \to t$일 때, 커널의 이산적 진화는 확산 과정(diffusion process) $\Phi_t$로 수렴한다.
• 이 과정은 다음과 같이 지배된다:
  $$d\Phi_t = \alpha_{act} \cdot b(\Phi_t) dt + \Phi_t^{1/2} dB_t \Phi_t^{1/2}$$
  여기서 $b(\Phi_t)$는 기본 비선형성에 의존하는 드리프트(drift) 항이며, $B_t$는 브라운 운동 행렬이다.
• 큰 $P$를 처리하기 위해 시간 변환 $\tau = P t$가 도입되어, "깊이-시간(depth-time)" $\tau^* = LP/N$을 정의한다. 역학은 확산과 드리프트 항의 균형을 맞추기 위해 재스케일링된다.

3. SDE를 통한 베이지안 분배 함수

저자들은 (예측 사후 확률을 인코딩하는) 베이지안 분배 함수 $Z_\beta(x_0, \kappa)$를 공액 커널의 사전 분포에 대한 기댓값으로 재구성한다.

• 가우시안 적분 항등식을 사용하여, 분배 함수는 다음과 같이 표현된다:
  $$Z_\beta(x_0, \kappa) \propto \int_{\mathbb{R}^P} \exp\left(-\frac{1}{2\beta}\|p\|^2 + ip^\top Y\right) \mathbb{E}_{prior}\left[\exp\left(-\frac{1}{2}v^\top \Phi v\right)\right] dp$$
  여기서 $v = [p^\top, \kappa]^\top$이고 $\Phi$는 마지막 전 층에서의 공액 커널이다.
• 정리 1에 의해, 결합 극한에서 MLP 사전 확률에 대한 기댓값은 NSDE의 해에 대한 기댓값으로 수렴한다. 이는 심층 MLP에서의 베이지안 추론 문제를 $\Phi_\tau$에 대한 SDE를 풀고 결과적인 기댓값을 계산하는 문제로 축소시킨다.

4. 섭동 분석 (Perturbative Analysis)

임의의 $\tau^*$에 대해 SDE를 푸는 것은 다루기 어렵기 때문에, 저자들은 유효 깊이 $\tau = LP/N$이 작은 경우에 대한 **섭동 전개(perturbative expansion)**를 수행한다. 이들은 $\tau=0$에서의 로그 분배 함수의 1차 미분을 계산한다. 이를 통해 선형 네트워크 성분(확산 전용)과 비선형 커널 성분(드리프트 전용)의 기여를 분리할 수 있다.

주요 기여 및 결과

1. 엄밀한 통합 프레임워크

본 논문은 $LP/N \in \Theta(1)$인 비례 극한 하에서 비선형 심층 MLP의 베이지안 추론을 분석하기 위한 최초의 수학적으로 엄밀한 프레임워크를 제공한다. 이는 무한 너비 커널 방법과 심층 선형 네트워크 사이의 간극을 메우며, 임의의 온도($\beta$)에서 매끄러운 활성화 함수와 ReLU 활성화 함수를 모두 포괄한다.

2. 기존 결과의 회복 및 일반화

• 심층 선형 네트워크: 드리프트 항이 사라지는 특수 사례로서, 분배 함수가 Meijer-G 적분을 포함하는 심층 선형 네트워크의 정확한 결과를 회복한다.
• 무한 너비 극한: $N \gg LP$인 극한에서 베이지안 추론이 Neural ODE로부터 유도된 결정론적 특징 맵을 가진 데이터 불가지론적 커널 방법으로 귀결된다는 결과를 회복한다.
• 약한 비선형 네트워크: 본 연구는 물리 문헌(예: [HZ24])의 약한 비선형 네트워크에 대한 섭동적 발견을 검증되지 않은 단순화에 의존하지 않고 완전한 수학적 엄밀성을 갖추어 일반화한다.

3. 베이지안 증거의 섭동 전개

저자들은 깊이를 증가시키는 것(즉, $\tau = LP/N$을 증가시키는 것)이 베이지안 모델 증거(주변 가능도)를 개선하는 기준을 도출한다.

• 결론 2.1: 로그 증거의 1차 변화량은 선형 네트워크 항과 비선형 커널 항의 합이다.
• 결론 3.1 & 3.2: 특정 데이터 분포(정규화되고 대략적으로 직교하는 입력)에 대해, 저자들은 깊이가 유익한지를 결정하는 명시적인 부등식을 도출한다.
  • 매끄러운 활성화 함수의 경우, 신호 대 잡음비(SNR)와 활성화 함수의 곡률을 포함하는 특정 부등식을 만족할 때 깊이가 유익하다.
  • ReLU 활성화 함수의 경우, 레이블의 분산이 ReLU의 비대칭성($c_+ - c_-$)과 관련된 임계값을 초과할 때만 깊이가 유익하다.
• 상전이(Phase Transition): 결과는 비선형성이 데이터 구조에 비해 "너무 강하지" 않을 때만 깊이가 유익하다는 상전이를 시사한다.

4. 데이터 의존적 커널 방법과의 동등성

• 결론 2.2: $\tau$에 대한 1차 항에서, 테스트 데이터에 대한 베이지안 예측 사후 확률은 커널 방법과 동일하지만, 데이터 의존적 특징 맵을 가진다.
• 특징 맵이 고정된 무한 너비 극한과 달리, 여기서의 유효 특징 맵은 훈련 데이터 레이블과 테스트 입력의 직교 성분에 비례하는 교정 항을 포함한다. 이는 베이지안 관점에서의 "특징 학습"에 대한 이론적 정당성을 제공한다: 네트워크는 사전 특징 맵과는 구별되는, 훈련 세트에 약간 적응된 특징 맵을 학습한다.

의의 및 주장

저자들은 자신들의 작업이 휴리스틱한 가정에 의존하는 물리 기반 유도 방식에 대한 수학적으로 엄밀한 대안을 제공한다고 주장한다. NSDE와 섭동 전개를 활용함으로써 그들은 다음을 달러한다:

1. 깊이의 역할 명확화: 깊이가 보편적으로 유익한 것이 아님을 입증한다. 즉, 깊이의 효용은 데이터 생성 과정, 활성화 함수, 그리고 온도 사이의 상호작용에 달려 있다.
2. 커널과 특징 학습의 통합: 심층 비선형 레지에서도 예측 사후 확률을 커널 방법으로 볼 수 있음을 보여주되, 이 특징 맵이 훈련 데이터에 의해 동적으로 조정됨을 보여준다.
3. 분석적 도구 제공: 이전에는 다루기 어려웠던 영역, 특히 유한하지만 큰 너비와 깊이를 가진 비선형 네트워크에 대해 베이지안 통계(증거, 사후 평균, 분산)를 계산할 수 있는 프레임워크를 제공한다.

본 논문은 임의의 $\tau$에 대한 일반적인 케이스를 해결하거나 실제 데이터셋에 대한 실험적 검증을 제공하려는 것이 아님을 명시한다. 대신, 확률 미분 방정식과 비례 스케일링 극한의 관점을 통해 심층 네트워크에서의 베이지안 추론 메커니즘을 이해하기 위한 이론적 토대를 구축하는 데 집중한다.