Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks

1. 연구 배경 및 문제 정의 (Problem Statement)

최근 딥러닝 이론 연구는 신경망의 너비가 무한해질 때의 극한 상태를 다루는 **NTK(Neural Tangent Kernel)**와 NNGP(Neural Network Gaussian Process) 커널 이론에 집중해 왔습니다. 하지만 기존 연구들은 주로 ReLU 함수나 무한히 매끄러운(infinitely smooth) 활성화 함수에 국한되어 있었습니다.

핵심 문제:

• ReLU와 같이 특정 지점(0)에서만 비매끄러운(non-smooth) 대중적인 활성화 함수(SELU, ELU, LeakyReLU 등)가 커널의 구조, 즉 **RKHS(Reproducing Kernel Hilbert Space, 재생 커널 힐베르트 공간)**에 어떤 영향을 미치는지에 대한 체계적인 이론이 부족했습니다.
• 활성화 함수의 매끄러움(smoothness) 정도가 네트워크의 깊이(depth) 및 일반화 성능과 어떻게 연결되는지 명확히 규명되지 않았습니다.

2. 연구 방법론 (Methodology)

저자들은 활성화 함수의 비매끄러움이 오직 $0$에서만 발생한다는 가정하에, 커널의 수학적 구조를 분석하기 위해 다음과 같은 방법론을 사용합니다.

• Dual Activation Analysis: 활성화 함수의 무한 너비 극한 거동을 분석하기 위해 'Dual Activation' 함수($\hat{\phi}$) 개념을 도입하고, 이를 통해 커널의 경계 거동(boundary behavior)을 연구했습니다.
• Spherical Harmonics & Eigenvalue Decay: 입력 데이터를 단위 구(sphere, $S^d$) 위로 제한하여, 커널을 도트 프로덕트 커널(dot-product kernel)로 취급했습니다. 이후 구면 조화 함수(spherical harmonics)의 고윳값(eigenvalue) 감쇄 속도를 분석하여 RKHS의 성질을 규명했습니다.
• Sobolev Space Characterization: 커널의 RKHS가 특정 차수의 **소볼레프 공간(Sobolev space, $H^s$)**과 동등(equivalent)함을 증명하여, 커널이 표현할 수 있는 함수의 매끄러움을 수학적으로 정의했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

① 활성화 함수에 따른 RKHS의 일반적 규명 (Theorem 9)

활성화 함수의 매끄러움 정도 $s$에 따라 NTK와 NNGP의 RKHS가 어떻게 결정되는지 일반화된 공식을 제시했습니다.

• 유한한 매끄러움 ($1 \le s < \infty$): ReLU, LeakyReLU, ELU, SELU 등은 특정 차수의 소볼레프 공간과 동등한 RKHS를 생성합니다.
  • NNGP RKHS: $H^{d/2 + s + 1/2}(S^d)$
  • NTK RKHS: $H^{d/2 + s - 1/2}(S^d)$
• 무한한 매끄러움 ($s = \infty$): GELU, Sigmoid, Tanh 등은 모든 소볼레프 공간에 포함되지만, 다항식이 아닌 경우 커널은 유니버설(universal)한 특성을 가집니다.
• 다항식 활성화 함수: 네트워크 깊이가 깊어질수록 RKHS에 포함되는 다항식의 차수가 기하급수적으로 증가합니다.

② 네트워크 깊이와 매끄러움의 관계

• 깊이의 이점(Benefit of Depth): ReLU와 같이 유한한 매끄러움을 가진 활성화 함수의 경우, 일정 깊이 이상의 네트워크는 서로 동등한 RKHS를 가집니다. 즉, 커널 관점에서는 깊이가 깊어진다고 해서 표현 가능한 함수의 매끄러움 급이 비약적으로 상승하지는 않습니다. (단, 다항식 활성화 함수는 예외)

③ NNGP 샘플 경로의 매끄러움 (Theorem 14)

무한 너비 신경망의 초기화 상태(NNGP 샘플)가 실제로 얼마나 매끄러운 함수를 생성하는지 증명했습니다. 결과적으로 샘플 경로는 RKHS의 매끄러움보다 절반 차수($1/2$)만큼 더 매끄러운 경향을 보입니다 (Random walk가 Brownian motion으로 수렴하며 매끄러워지는 것과 유사한 현상).

4. 연구의 의의 (Significance)

1. 이론적 통합: 파편화되어 있던 ReLU 기반 연구와 매끄러운 함수 기반 연구를 하나의 통합된 프레임워크(소볼레프 공간 기반)로 묶었습니다.
2. 활성화 함수 설계 가이드: 활성화 함수의 미분 가능성(smoothness)이 신경망의 학습 역학(training dynamics)과 일반화(generalization)에 미치는 영향을 수학적으로 이해할 수 있는 토대를 마련했습니다.
3. 실무적 통찰: 왜 특정 활성화 함수(예: GELU, SiLU)가 ReLU보다 성능이 좋은지, 그리고 네트워크의 깊이가 커널의 표현력에 어떤 영향을 주는지에 대한 이론적 근거를 제공합니다.

요약 키워드: NTK, NNGP, RKHS, Sobolev Space, Activation Smoothness, Eigenvalue Decay, Deep Learning Theory