기술 요약: 드롭아웃의 보편성: 엣지 오브 카오스에서의 스케일링 법칙 및 최적 스케줄링

문제 제기

"엣지 오브 카오스"(임계성) 에서 초기화된 심층 신경망은 최적의 신호 전파와 기울기 침투를 보이며, 이는 심층 아키텍처를 가로지르는 정보 전달을 가능하게 하는 발산하는 상관 길이를 특징으로 합니다. 그러나 표준 정규화 기법인 드롭아웃 (활성화를 무작위로 마스킹) 의 도입은 이러한 임계 상태를 교란시킵니다. 이전의 평균장 이론 (MFT) 은 드롭아웃이 완벽한 정렬 고정점 ($c^*=1$) 을 파괴하여, 임계 초기화 시에도 상관 길이가 유한해지게 만든다고 제안했습니다.

본 연구에서 다루는 핵심 문제는 다음과 같이 두 가지입니다:

1. 이론적: 드롭아웃이 엣지 오브 카오스 위상 다이어그램을 어떻게 정량적으로 변형시키며, 이 변형 하에서 서로 다른 활성화 함수 (부드러운 함수 vs 꺾인 함수) 가 서로 다른 보편성 클래스에 속하는가?
2. 실용적: 고정된 드롭아웃 예산이 주어졌을 때, 유효 상관 길이를 최대화하고 테스트 손실을 최소화하기 위해 네트워크 깊이에 걸쳐 드롭아웃을 어떻게 배분해야 하는가? 표준적인 균일 드롭아웃이 최적일 수 없으나, 최적의 공간적 스케줄에 대한 이론적 근거는 부재했습니다.

방법론

저자들은 사전 활성화가 가우시안 통계를 따르는 넓은 폭 (large-width) 한계에서 심층 네트워크를 다루는 평균장 이론 (MFT) 프레임워크를 활용합니다. 분석은 다음과 같은 주요 단계를 거쳐 진행됩니다:

1. 임계 전파의 섭동: 드롭아웃은 활성화 후 적용되는 곱셈 베르누이 노이즈로 모델링됩니다. 저자들은 드롭아웃 하에서 사전 활성화의 분산과 공분산에 대한 재귀 관계를 유도합니다. 그들은 네트워크가 임계점 ($\chi_\perp = 1$) 에서 초기화되더라도 드롭아웃이 상관 맵의 고정점을 $c^*=1$ 에서 이동시키는 대칭 깨짐 "장"($h$) 으로 작용함을 보여줍니다.
2. 보편성 분류: 분석은 완벽한 정렬 근처에서의 분석적 구조에 기반하여 활성화 함수를 두 가지 클래스로 구분합니다:
   • 부드러운 활성화 (예: tanh, GELU): $c=1$ 근처에서 테일러 급수 전개를 허용합니다.
   • 꺾인 활성화 (예: ReLU): 비분석적인 "꺾임"(불연속 도함수) 을 가지며, 이는 상관 맵에서 분기점을 초래합니다.
     저자들은 헤르미트 스펙트럼 분석을 활용하여 부드러운 활성화는 지수적으로 감소하는 헤르미트 계수를 갖는 반면, 꺾인 활성화는 서로 다른 스케일링 행동을 주도하는 멱함수 꼬리 (power-law tails) 를 보임을 입증했습니다.
3. 랜다우 이론 및 스케일링 법칙: 이동된 고정점 주변에서 상관 맵을 전개함으로써, 저자들은 비정렬 질서 매개변수 $m \equiv 1 - c^*$에 대한 랜다우 상태 방정식을 유도합니다. 이는 임계 지수 ($\beta, \gamma, \delta, \nu, \alpha$) 를 산출하고, 임계점으로부터의 거리 ($t$) 와 드롭아웃 장 ($h$) 을 포함하는 2 매개변수 스케일링 붕괴를 확립합니다.
4. 변분 최적화: 드롭아웃률을 깊이 의존적 장으로 간주하여, 고정된 총 드롭아웃 예산 하에서 유효 상관 길이 ($\xi_{eff}$) 를 최대화하는 제약 변분 문제를 공식화합니다. 평균장 목적 함수는 "포화" (단계형) 배분을 시사합니다. 이 해의 치환 불변성 (즉, 드롭아웃을 어디에 배치할 것인가) 을 해결하기 위해 저자들은 **랭크 흐름 결정 기준 (rank-flow tie-breaker)**을 도입하여, 랭크 붕괴와 공적응이 가장 임박한 초기 층에서 드롭아웃이 가장 효과적임을 주장합니다.

주요 기여

1. 드롭아웃을 위한 서로 다른 보편성 클래스

본 논문은 부드러운 활성화와 꺾인 활성화가 서로 다른 임계 지수로 특징지어지는 드롭아웃 변형 하에서 서로 다른 보편성 클래스에 속함을 확립합니다:

• 부드러운 클래스: 2 차 항 ($m^2$) 을 갖는 표준 랜다우 스케일링을 따릅니다. 상관 길이는 $\xi \sim h^{-1/2}$로 스케일링됩니다 (여기서 $h$는 드롭아웃 장의 세기).
• 꺾인 클래스: 활성화 함수의 꺾임에서 비롯된 비분석적인 $m^{3/2}$ 항에 의해 지배됩니다. 상관 길이는 $\xi \sim h^{-1/3}$로 스케일링됩니다.
  이러한 구분은 ReLU 네트워크가 부드러운 네트워크보다 불완전한 튜닝에 더 관대한 이유를 설명합니다. 꺾인 클래스는 더 넓은 교차 윈도우를 가지기 때문입니다.

2. 보편적 스케일링 붕괴

저자들은 서로 다른 드롭아웃 세기와 튜닝 오차에 걸친 질서 매개변수 $m$의 행동을 붕괴시키는 보편적 2 매개변수 스케일링 함수를 유도합니다.

• 부드러운 활성화의 경우: $\tilde{m} = \sqrt{1 + \tilde{t}^2} - \tilde{t}$.
• 꺾인 활성화의 경우: $m \sim h^{2/3} F(t/h^{1/3})$를 포함하는 스케일링 형태.
  이러한 예측은 평균장 재귀 관계에 대해 검증되었으며, 이론적 스케일링 법칙이 점근적 임계 근접 영역에서 유효함을 보여줍니다.

3. 최적 드롭아웃 스케줄링

본 논문은 드롭아웃의 최적 공간 분포에 대한 이론적 유도를 제공합니다:

• 크기: 평균장 범함수는 균일 분포보다는 포화된 단계형 배분(일부 층에는 최대 드롭아웃을 적용하고 나머지는 0 으로 설정) 을 선호합니다.
• 위치: 평균장 상관 역학은 치환 불변적이지만, 저자들은 랭크 흐름 결정 기준을 도입합니다. 랭크 다양성은 깊이와 함께 지수적으로 감소하므로 (특히 어텐션 메커니즘에서), 드롭아웃이 방지할 수 있는 "미래의 붕괴"는 깊이에 따라 단조 감소합니다. 따라서 최적 전략은 **선두 집중 (front-loading)**입니다: 드롭아웃 예산을 초기 층에 집중시키는 것입니다.

결과

이론적 예측은 MFT 가정이 유효한 제어된 과파라미터화 영역 (폭 $\gg$ 깊이) 에서 CIFAR-10 및 CIFAR-100 데이터셋을 사용하여 MLP와 **비전 트랜스포머 (ViT)**에서 테스트되었습니다.

• 손실 감소: 선두 집중 스케줄 (단계형 또는 선형 감소형) 은 일정한 드롭아웃 기준선에 비해 홀드아웃 교차 엔트로피 손실을 일관되게 감소시켰습니다.
  • MLP 의 경우, 활성화 함수와 예산에 따라 손실 감소폭이 **18% 에서 35%**까지 다양했습니다.
  • ViT 의 경우, 선형 감소 스케줄은 4.2% 의 손실 감소와 통계적으로 유의미한 정확도 향상을 달성했습니다 (예: CIFAR-100 에서 49.38% 대 48.69%).
• 정확도 향상: 과적합 감소와 일치하는 2 차 효과로서 정확도 향상이 관찰되었습니다.
• 강건성: 드롭아웃률이 섭동 영역 내에 유지되는 한, 다양한 활성화 함수 (ReLU, GELU), 네트워크 폭, 드롭아웃 예산에 걸쳐 이점이 지속되었습니다.
• 구성 요소 제거 실험: 트랜스포머에서 어텐션 블록과 MLP 블록 모두에 선두 집중 드롭아웃을 적용했을 때 가장 좋은 결과가 나왔으며, 이 메커니즘이 현대 아키텍처에 적용됨을 확인했습니다.

의의 및 주장

본 논문은 임계 신호 전파의 통계 역학과 드롭아웃 스케줄링의 실용적 유용성을 연결하는 통합 이론적 프레임워크를 제공한다고 주장합니다.

• 이론적 통찰: 드롭아웃을 단순한 정규화기가 아닌, 활성화 부드러움에 기반한 서로 다른 보편성 클래스를 가진 새로운 임계 표면을 정의하는 관련 섭동으로 재해석합니다. 이는 서로 다른 아키텍처가 정규화 하에서 왜 다르게 행동하는지에 대한 더 깊은 이해를 제공합니다.
• 실용적 규칙: 복잡한 평균장 이론을 단순하고 실행 가능한 설계 규칙으로 전환합니다: 드롭아웃을 선두에 집중하라. 초기 층에 드롭아웃을 집중함으로써 실무자는 네트워크의 유효 상관 길이를 보존하여 계산 비용 증가 없이 더 나은 일반화를 달성할 수 있습니다.
• 범위: 저자들은 명시적으로 그들의 분석이 신호 전파에 초점을 맞춘 초기화 이론임을 밝힙니다. 전체 훈련 역동성 (예: 특징 학습 또는 캐터펄트 역학) 을 모델링하거나 모든 아키텍처 (예: 전체 ResNet 또는 CNN 공간 모드) 에 대한 완전한 이론을 제공한다고 주장하지는 않습니다 (이는 향후 연구로 남겨둠). 결과는 유한 폭 보정이 작은 넓은 네트워크에서 가장 신뢰할 수 있습니다.

요약하자면, 본 논문은 드롭아웃을 깊이 의존적 장으로 취급함으로써 최적 스케줄링을 규정하는 보편적 스케일링 구조를 드러내며, 균일 드롭아웃의 휴리스틱에 대한 원칙적인 대안을 제시한다고 주장합니다.