Competing nonlinearities, criticality, and order-to-chaos transition in deep networks

기술적 요약: 심층 네트워크에서의 경쟁적 비선형성, 임계성 및 질서-혼돈 전이

문제 제기
심층 신경망은 표현력을 달성하기 위해 비선형 활성화 함수에 의존하지만, 깊은 아키텍처를 통한 신호와 기울기의 전파는 이러한 활성화 함수의 선택에 의해 지배됩니다. 무한 폭 극한에서 사전 활성화 (preactivations) 의 분산은 결정론적인 재귀를 따릅니다. 이 재귀는 고정점 ($K_\star$) 의 안정성에 기반하여 활성화 함수를 서로 다른 "보편성 클래스"로 분류합니다:

1. 스케일 불변 (예: ReLU): $K_\star = 0$은 고정점이며, 정확한 선형 커널 재귀를 보장하여 어떤 초기화에서도 임계성 (깊도 무관 분산) 을 유지합니다. 그러나 ReLU 는 매끄럽지 않아 ($z=0$에서 미분 불가능), 곡률 기반 최적화, 물리 정보 네트워크, 그리고 잘 정의된 헤시안 (Hessian) 이 필요한 신경망 양자 상태에는 적합하지 않습니다.
2. 반안정 (예: Swish, GELU): $K_\star = 0$은 불안정하며, 분산은 유한한 안정 고정점 $K_\star > 0$으로 흐릅니다. 이들은 매끄럽지만, 특징적인 길이 척도를 도입하고 초기화에 민감합니다.
3. 안정 (예: Tanh, Sin): $K_\star = 0$은 안정 고정점이어서 분산이 깊이에 따라 대수적으로 감소 ($K^{(l)} \sim 1/l$) 하여 신호 감쇠를 초래합니다.

해결된 핵심 미해결 문제는 이러한 이산적 보편성 클래스들을 연속적으로 연결할 수 있는지 여부입니다. 구체적으로, 분산 붕괴 상수와 분산 팽창 상수 사이의 전이를 위해 단일 매개변수를 조정하여 스케일 불변이면서 동시에 매끄러운 임계점에 도달할 수 있을까요?

방법론
저자들은 활성화 함수의 통계적 혼합에 기반한 프레임워크를 제안합니다. 모든 뉴런이 가중합 $\sigma(z) = p\sigma_1(z) + (1-p)\sigma_2(z)$를 적용하는 결정론적 혼합과 달리, 이 접근법은 각 뉴런을 확률 $p$와 $1-p$로 두 가지 활성화 함수 $\sigma_1$ 또는 $\sigma_2$ 중 하나에 독립적이고 무작위로 할당합니다. 이 할당은 "냉각 (quenched)"되어 초기화 시 고정됩니다.

무한 폭 극한에서 자기 평균화 (self-averaging) 는 유효 커널 함수 $g(K)$가 순수 성분 커널들의 엄격한 선형 보간이 되도록 보장합니다:
$$g^{(mix)}(K) = p g^{(\sigma_1)}(K) + (1-p) g^{(\sigma_2)}(K)$$
이 선형성은 혼합 비율 $p$를 분석적으로 투명한 제어 매개변수로 작용하게 합니다. 저자들은 혼합물에 대한 고정점 접근을 지배하는 안정성 계수 $a_1$을 유도하고, $a_1^{(mix)}(p_c) = 0$이 되는 임계 혼합 비율 $p_c$를 식별합니다. 이 조건은 네트워크가 통계적으로 스케일 불변이 되는 위상 전이에 해당합니다.

이 연구는 Tanh(안정 클래스, $a_1 < 0$)와 Swish(반안정 클래스, $a_1 > 0$) 의 특정 쌍에 초점을 맞춥니다. 저자들은 작은 분산 극한에서 $p_c$를 분석적으로 예측하고, 유한 입력 분산에 대해 섭동론적으로 유도합니다. 이러한 예측을 다음 세 가지 수치적 진단을 통해 검증합니다:

1. 분산 전파: 깊이에 따른 사전 활성화 분산 $K^{(l)}$의 진화를 추적합니다.
2. 감수성: 신호 척도의 보존과 입력 교란에 대한 민감도를 감지하기 위해 평행 ($\chi_\parallel$) 및 수직 ($\chi_\perp$) 감수성을 측정합니다.
3. 리야푸노프 지수: 질서 - 혼돈 전이를 진단하기 위해 최대 리야푸노프 지수 $\lambda$를 계산합니다 (질서: $\lambda < 0$, 혼돈: $\lambda > 0$, 임계: $\lambda = 0$).

주요 결과

1. 분석적 예측: Tanh/Swish 혼합물의 경우, 임계 혼합 비율은 $p_c = \frac{g_2^{(Tanh)}}{g_2^{(Tanh)} - g_2^{(Swish)}}$로 유도됩니다. 작은 분산 극한에서 이는 $p_c \approx 0.91$을 제공합니다. 섭동론적 분석은 유한 입력 분산이 이 값을 하향 조정함을 보여줍니다.
2. 위상 전이: 수치 시뮬레이션은 단위 입력 분산에서 $p_c \approx 0.83$에서 날카로운 위상 전이를 확인합니다.
   • $p < p_c$인 경우, 네트워크는 분산 붕괴 상수(Tanh 우세) 에 있으며, $K^{(l)}$이 대수적으로 감소합니다.
   • $p > p_c$인 경우, 네트워크는 분산 팽창 상수(Swish 우세) 에 있으며, $K^{(l)}$이 증가합니다.
   • $p \approx p_c$에서, 네트워크는 창발적 통계적 스케일 불변성을 나타냅니다: 분산이 깊이에 무관하게 유지되어 ReLU 의 행동을 모방하지만, 완전히 매끄럽고 미분 가능한 뉴런으로 구성됩니다.
3. 유한 크기 스케일링: 전이는 네트워크 깊이 $L$에 따라 날카로워지며, 평균장 연속 위상 전이와 일치하는 임계 지수 $\nu = 1$을 가진 유한 크기 스케일링을 보입니다.
4. 학습 성능: MNIST 및 Fashion-MNIST 에서 다층 퍼셉트론 (MLP) 을 훈련한 결과, $p$에 따른 비단조적 테스트 성능이 드러났습니다. 최적의 테스트 정확도는 이론적으로 예측된 $p_c$ 근처에서 발생하며, 이는 초기화 수준의 전이가 학습된 표현에 직접적인 영향을 미침을 보여줍니다. 순수 Tanh 및 순수 Swish 네트워크는 임계 혼합물보다 성능이 떨어집니다.
5. 암시적 정규화: 라벨이 손상된 과매개변수화 네트워크에서 냉각된 무질서 (quenched disorder) 는 암시적 정규화제로 작용합니다. 이 혼합물은 Tanh 의 포화 현상이 선호하는 노이즈 기억을 억제하면서 Swish 의 기울기 흐름이 선호하는 진정한 구조 학습 능력을 유지합니다. 이는 동질적 네트워크가 허위 연관성을 기억하는 데 이용하는 치환 대칭성을 깨뜨립니다.

의의 및 주장
이 논문은 통계적 활성화 혼합을 심층 네트워크 보편성 클래스의 위상도를 탐색하는 통제 가능하고 분석적으로 다루기 쉬운 도구로 확립합니다. 주요 의의는 스케일 불변 전파(임계성) 를 달성하면서도 매끄러움을 희생하지 않는다는 오랜 긴장 관계를 해소하는 데 있습니다.

• 이론적 기여: 이 연구는 이전에 이산적 레이블로 간주되었던 보편성 클래스들이 통계적 혼합의 연속적 가족에 의해 연결됨을 보여줍니다. 이 전이는 대립적인 경향을 가진 경쟁적 로컬 연동에 의해 주도되는 양자 회로의 측정 유도 위상 전이 (MIPTs) 와 유사합니다.
• 실용적 유용성: 이 프레임워크는 활성화 아키텍처를 선택하기 위한 라벨이 없고 순전파 (forward-pass) 만 필요한 프로토콜을 제공합니다. 가장 평탄한 분산 프로파일이나 분석적 공식을 통해 $p_c$를 추정함으로써, 실무자들은 비용이 많이 드는 하이퍼파라미터 탐색을 피할 수 있습니다.
• 영역 적용성: 임계적이고 $C^\infty$-매끄러운 네트워크를 구성할 수 있는 능력은 자연 기울기 최적화, 편미분 방정식 (PDE) 해결을 위한 물리 정보 신경망, ReLU 가 부적합한 신경망 양자 상태 등 고차 미분이 필요한 분야에서 즉시 실행 가능합니다.

저자들은 이 접근법이 활성화 할당의 "냉각된 무질서"가 구조적 정규화제이자 임계성 공학 수단으로 작용하는 심층 학습에서의 새로운 질서 - 혼돈 전이 메커니즘을 제공한다고 결론지었습니다.