How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs

기술 요약: 희소 활성화 DNN 및 CNN의 훈련 안정성 향상을 위한 분산 제어

문제 정의
활성화 함수가 높은 수준의 희소성(예: 85%에서 90%)을 유도하는 심층 신경망(DNN) 및 합성곱 신경망(CNN)을 훈련하는 것은 중요한 초기화 문제를 제기한다. 정보 전파를 안정화하기 위해 중간 레이어를 가우시안 프로세스로 특징짓는 전통적인 에지 오브 카오스(Edge-of-Chaos, EoC) 이론은 일반적으로 활성화가 원점 근처에서 근사적으로 선형이라고 가정한다. 이 체제에서 EoC 이론은 대개 동적 등거리성(dynamic isometry)을 달-성하기 위해 전-활성화 분포의 고정점 분산 $q^*$가 0 또는 작은 비제로(non-zero) 값으로 수렴할 것을 권장한다.

하지만 $\phi(z) = 0$인 영역($|z| \leq \tau$, 원점 근처의 영역)이 존재하는 희소성을 유도하는 활성화 함수의 경우, 이러한 선형성 가정이 실패한다. 이전 연구 [1]는 이러한 설정에서 표준 EoC 초기화 전략이 훈련 불안정성을 초래한다는 것을 보여주었다. 불안정성은 은닉층의 경험적 분산 $\tilde{q}^{(\ell)}$이 이론적 고정점 $q^*$ 주변에서 확률적으로 요동치기 때문에 발생한다. 원점 근처에 선형성이 없는 경우, 이러한 요동은 오차의 곱셈적 섭동(multiplicative perturbation of errors, $\chi_1$에 의해 제어됨)을 깊이에 따라 기하급수적으로 축적시켜 그래디언트 폭주(exploding gradients) 또는 네트워크 표현력의 붕괴를 야기할 수 있다.

방법론
저자들은 희소성을 유도하는 활성화 함수, 특히 예시 함수인 $CReLU_{\tau,m}$(및 $CST_{\tau,m}$, $HardShrink$, Sawtooth}와 같은 관련 함수들)에 대해 EoC 이론을 확장한다. 핵심 방법론은 고정점 분산 $q^*$를 단순히 유도된 파라미터가 아니라 튜닝 가능한 하이퍼파라미터로 취급하는 것이다.

이론적 분석은 대폭(large-width) 극한에서 훈련 안정성을 결정하는 세 가지 제어 지표에 집중한다:

1. 분산 맵의 대칭성(Symmetry of the Variance Map): 저자들은 분산 매핑 함수의 2차 도함수인 $V''(q^*)$를 분석한다. $V''(q^*)$가 크다는 것은 고정점 주변의 대칭성이 상실되었음을 의미하며, 이는 경험적 분산 $\tilde{q}^{(\ell)}$이 비대칭적으로 표류하게 만든다.
2. 유한 차원 보정(Finite Dimensional Correction): 유한 폭 신경망에 대한 무한 급수 전개를 사용하여, 저자들은 차세대 주요 차수 보정 항인 $\tilde{q}^{(1)}$에 대한 경계값을 도출한다. 이 항은 무한 폭 가우시안 극한으로부터의 편차를 나타낸다.
3. $\chi_1$의 민감도(Sensitivity of $\chi_1$): 저자들은 곱셈적 섭동 인자 $\chi_{1,\phi}(q^*)$의 미분값인 $\chi'_{1,\phi}(q^*)$를 분산 $q$에 대해 조사한다. 높은 민감도는 레이어 분산의 작은 확률적 요동이 오차 전파에 큰 변화를 일으름을 의미한다.

제안된 초기화 전략은 $q^*$를 명시적으로 증가시키고(예: 1에서 2 또는 3으로), 활성화 파라미터($\tau, m$) 및 가중치/편향 분산($\sigma_w^2, \sigma_b^2$)을 조정하여 새로운 더 높은 고정점에서 EoC 조건($\chi_1(q^*) = 1$ 및 $q^* = V(q^*)$)을 충족하도록 하는 것을 포함한다.

주요 기여

1. 새로운 현상 식별: 본 논문은 원점 근처에서 0이 되는 활성화 함수의 경우, 고정점 분산 $q^*$를 증가시키는 것이 훈련 안정성을 개선한다는 직관에 반하는 현상을 식별하였다. 이는 $q^* \to 0$을 추구하는 전통적인 EoC 접근 방식과 대조된다.
2. 이론적 특성화: 저자들은 $q^*$를 높이는 것이 다음을 동시에 개선함을 증명한다:
   • 고정점 주변의 분산 맵 $V(q)$의 대칭성 개선 (즉, $V''(q^*)$ 감소).
   • 유한 차원 보정 항 $\tilde{q}^{(1)}$에 대한 경계값을 조여서, 유한 폭 동작을 무한 폭 가우시안 극한에 더 가깝게 만듦.
   • 오차 전파 인자 $\chi_1$의 레이어 분산에 대한 민감도 감소 (즉, $\chi'_{1,\phi}(q^*)$ 감소).
3. 실용적 초기화 체계: 희소성을 유도하는 활성화를 위한 구체적인 초기화 절차가 제공된다. 이 체계는 이전에 안정화하기 어려웠던 영역인, 은닉층에서 최대 90%의 희소성을 가진 네트워크를 훈련할 수 있게 한다.

실험 결과
저자들은 $CReLU_{\tau,m}$ 활성화를 사용하여 MNIST, CIFAR10, Tiny ImageNet 데이터셋에 대해 DNN(100 레이어, 폭 300) 및 CNN(50 레이어, 300 채널)을 훈련하는 실험을 통해 이론을 검증한다.

• 안정성 및 정확도: 높은 희소성 수준($s=0.85$ 및 $s=0.9$)에서 $q^*=1$로 초기화된 네트워크는 종종 훈련에 실패하거나 기울기 파라미터 $V'(q^*)$의 선택에 높은 민감도를 보였다. $q^*$를 2 또는 3으로 높이면 이러한 민감도가 크게 감소하고 훈련 안정성이 회복되었다.
• 성능: $q^*=1$이 낮은 정확도를 초래한 경우(예: $s=0.9$인 DNN에서 11%), $q^*$를 3으로 높임으로써 정확도를 거의 완전한 수준(예: 89%)으로 회복시켰다.
• 수렴: 훈련 손실 및 검증 정확도 곡선은 특히 고희소성 영역에서 더 높은 $q^*$ 값에 대해 더 빠른 수렴을 보여주었다.
• 효율성: 본 논문은 유도된 희소성이 계산 속도 향상(최대 약 2.9배) 및 에너지 감소를 가져온다는 것을 보여주는 커스텀 CUDA 커널 구현을 포함하여, 희소성의 실질적인 유용성을 입증한다.

의의 및 주장
본 논문은 고정점 분산 $q^*$가 희소 활성화 네트워크의 훈련 역학을 제어하는 데 있어 중요하지만 이전에 충분히 탐구되지 않은 파라미터라고 주장한다. 원점 근처에서 0이 되는 비선형 활성화를 위해 EoC 프레임워크를 재검토함으로써, 저자들은 $q^*$를 높이는 단순한 조정만으로도 고희소성 영역의 불안정성을 극복할 수 있음을 보여준다.

저자들은 자신들의 결과가 무한 폭 극한 가정을 기반으로 하며, 최적화된 프로덕션 모델보다는 심층 프록시 아키텍처(DNN 및 CNN)에서 주로 입증되었다는 점을 겸허히 언급한다. 또한, 스킵 연결(skip connections)이 활성화 희소성을 상쇄하기 때문에 트랜스포머(Transformers) 및 상태 공간 모델(State-Space models)로의 확장은 아키텍처 차이 및 별도의 분석 라인으로 인해 다루지 않았음을 명시한다. 그러나 이 연구는 모델 성능을 희생하지 않으면서도 극단적인 활성화 희소성(최대 90%)을 가진 네트워크의 안정적인 훈련을 가능하게 하는 이론적 토대와 경험적 개념 증명을 제공하며, 이는 상당한 계산 효율성을 확보할 수 있는 길을 열어준다.