Dropout and Random Gradient Masking Are Asymptotically Equivalent in Large ResNets

기술 요약: 대규모 ResNet에서 드롭아웃(Dropout)과 무작위 그래디언트 마스킹(Random Gradient Masking)은 점근적으로 동일하다

문제 제기
드롭아웃은 순전파(forward pass) 과정에서 유닛을 무작위로 비활성화하는 보편적인 정규화 기법이다. 경험적으로는 매우 성공적이지만, 그 이론적 메커니즘에 대해서는 공동 적응(co-adaptation) 방지부터 노이즈 분산을 통한 암묵적 정규화 유도에 이르기까지 다양한 설명이 존재하며 논쟁이 이어지고 있다. 두 층 네트워크에 관한 최근의 연구들은 대규모 너비 극한(large-width limit)에서 드롭아웃의 주요 효과가 "무작위 그래디언트 마스킹(Random Gradient Masking, RaM)"으로 축소된다고 제안했다. 즉, 순전파는 결정론적(deterministic)으로 유지되되 그래디언트만 마스킹되는 방식이다. 그러나 이러한 등가성이 복잡한 특징 학습 역학(feature learning dynamics)과 깊이에 따른 상호작용을 포함하는 실질적인 심층 구조인 잔차 네트워크(ResNet)에서도 성립하는지는 불분명했다. 구체적으로 다음과 같은 의문이 제기된다: 대규모 레짐(large-scale regime)의 ResNet에서, 표준 드롭아웃의 전파 노이즈(propagation noise)와 페널티 효과(penalization effects)는 사라지고 오직 무작위 그래디언트 마스킹 효과만 남게 되는가?

방법론
저자들은 두 가지 레짐 하에서의 ResNet 학습 역학을 분석한다: 드롭아웃을 적용한 경사 하강법(GD-Dropout)과 무작위 그래디언트 마스킹을 적용한 경사 하강법(GD-RaM).

• 아키텍처: 본 연구는 깊이 $L$, 은닉 너비 $M$, 임베딩 차원 $D$를 갖는 일반적인 ResNet을 고려한다. 모델은 다양한 블록 유형(MLP, CNN, Attention)과 마스킹 전략(독립형, 너비 공유형, 깊이 공유형)을 포함한다.
• 스케일링 레짐: 분석은 네트워크의 깊이와 너비가 모두 발산하는($L, M \to \infty$) "완전 특징 학습(Complete Feature Learning)" 레짐(Complete Parameterization)에 초점을 맞춘다. 저자들은 이산적인 ResNet 학습 역학을 연속적인 "평균 ODE(Ordinary Differential Equation)" 극한 모델의 오일러-몬테카를로(Euler-Monte-Carlo) 이산화로 해석하는 확률 근사(stochastic-approximation) 관점을 활용한다.
• 결합(Coupling): 등가성을 증명하기 위해, 저자들은 유한 너비 ResNet 역학과 무한 너비 극한 역학 사이에 결합(coupling)을 구축한다. 이들은 동일한 무작위 초기화와 매 단계에서의 마스크 시퀀스를 공유한다고 가정할 때, 드롭아웃 시스템과 RaM 시스템 간의 파라미터, 순전파 활성화, 역전파 그래디언트 사이의 거리를 추적한다.
• 기술적 접근: 두 층 네트워크에 국한된 평균장(mean-field) 분석과 달리, 본 연구는 심층 ResNet 분석의 최신 발전(특히 확률 근사 프레임워크)에 의존한다. 증명 과정은 네트워크 계층과 학습 반복을 통해 오류의 전파를 제어하는 것을 포함하며, 서브가우시안(subgaussian) 변수에 대한 집중 부등식(concentration inequalities)과 파라미터 및 마스크 사이의 상관관계를 다루기 위한 혼돈 전파(propagation of chaos) 논증을 활용한다.

주요 기여

1. 점근적 등가성 정리: 주요 결과(정리 3.1)는 깊이와 너비가 동시에 커지는 극한에서 GD-Dropout과 GD-RaM의 학습 역학이 점근적으로 동일함을 입증한다. 두 시스템 간의 파라로미터, 순전파 활성화, 역전파 그래디언트의 거리는 (독립형 마스크의 경우) $O(1/\sqrt{LM})$ (또는 마스크 공유 구조에 따라 더 느린 속도)로 소멸한다.
2. 변형 모델의 붕괴: 본 논문은 다양한 드롭아웃 변형들(독립형 마스크, 너비 공유 마스크/Stochastic Depth, 깊이 공유 마스크)이 점근적으로 동일한 극한 역학으로 수렴함을 보여준다(정리 3.2).
3. 레이지(Lazy) 레짐으로의 확장: 스케일링 인자 $\alpha$가 발산하는 "레이지 ODE(lazy ODE)" 레짐에서도, $\alpha$의 스케일링이 $L$ 및 $M$에 대해 특정 조건을 만족한다면 등가성이 성립함을 보여준다(정리 3.3).
4. 임베딩 차원의 형식적 분석: 저자들은 임베딩 차원 $D$에 대한 의존성을 추적하는 형식적 분석(섹션 3.4)을 제공하며, 특정 정규화 가정을 하에서는 등가성이 성립하지만 고차원 설정에서 마스크 공유 전략에 따라 수렴 속도가 영향을 받을 수 있음을 보여준다.

결과

• 이론적 경계: 저자들은 Dropout과 RaM 사이의 불일치가 유효 모델 너비($\sqrt{LM}$)의 역제곱근에 반비례하여 스케일링된다는 명시적인 오차 경계를 도출한다. 독립형 마스크의 경우, 이 수렴 속도는 바닐라 ResNet이 자신의 평균장 극한으로 수렴하는 속도와 일치한다.
• 경험적 검증: MNIST(숫자 4와 7의 이진 분류)에 대한 수치 실험은 이론적 예측을 확인한다.
  • Dropout과 RaM의 순전파 사이의 RMS 거리는 $M$과 $L$이 증가함에 따라 감소하며, 서로 다른 마스킹 전략에 대해 예측된 $O(1/\sqrt{M})$, $O(1/\sqrt{L})$, $O(1/\sqrt{ML})$ 비율을 따른다.
  • Dropout과 RaM 변형의 테스트 손실 곡선은 거의 동일하며, 바닐라 SGD와는 뚜렷하게 구분된다. 이러한 수렴 현상은 네트워크 크기가 커질수록 더욱 명확해진다.
  • 파라미터 궤적은 Dropout과 RaM이 서로 가깝게 유지되는 반면, 바닐라 SGD는 별개의 경로를 따른다.

의의 및 주장
본 논문은 이 등가성이 심층 아키텍처에서 드롭아웃의 메커니즘에 대한 기존의 이해에 근본적으로 도전한다고 주장한다. 구체적으로:

• 메커니즘 단순화: 대규모 극한에서 "전파 노이즈"(순전파/역전파의 무작위성)와 "페널티 효과"(순전파와 역전파에서 동일한 마스크를 사용함에 따른 편향)는 사라진다. 살아남는 유일한 효과는 그래디언트 업데이트의 무작위 마스킹뿐이다.
• RaM의 대리 모델(Proxy): 이 결과는 충분히 큰 잔차 아키텍처에서 RaM이 드롭아웃의 유용한 이론적 및 실무적 대리 모델 역할을 할 수 있음을 시사한다.
• 드롭아웃의 재평가: 저자들은 대규모 모델에서 드롭아웃의 효과가 RaM의 관점에서 재설명될 필요가 있다고 주장한다. 저자들은 RaM이 편향되지 않은(unbiased) 업데이트를 사용함에도 불구하고 성능을 향상시킨다는 점에 주목하며, 이는 기존에 표준 드롭아웃의 특징이었던 공동 적응 방지나 페널티 효과가 아닌, 왜 RaM이 학습을 돕는지에 대한 질문을 던진다.
• 한계점: 저자들은 엄밀한 증명이 ReLU와 유사한 활성화 함수를 가진 표준 2-층 퍼셉트론 블록을 엄격하게 포괄하지 않는 Lipschitz 연속성 가정에 의존한다는 점을 겸허히 인정하면서도, 핵심 메커니즘은 여전히 유효하다고 주장한다. 또한, 드롭아웃이 초기화 시점에 사라지지 않는 무작위성을 도입하는 SDE 스케일링이나 NTK(Neural Tangent Kernel) 레짐과 같은 다른 스케일링 레짐에서는 이 등가성이 실패할 수 있음을 인정한다.

요약하자면, 본 연구는 대규모 ResNet의 경우 드롭아웃의 복잡한 확률성이 더 단순한 메커니즘인 무작위 그래디언트 마스킹으로 단순화된다는 엄밀한 수학적 토대를 제공하며, 점근적 극한에서 이 두 기법의 이론적 이해를 통합한다.