Exploding and vanishing gradients in deep neural networks: the effect of residual connections

기술 요약: 심층 신경망에서의 그래디언트 폭주 및 소실 (Exploding and Vanishing Gradients)

문제 정의
본 논문은 심층 신경망(DNN)에서 잘 알려진 현상인 그래디언트 폭주(exploding) 및 소실(vanishing) 문제를 다룹로다. 확률적 경사 하강법(SGD)을 통한 학습 과정에서, 특정 방향의 그래디언트는 점근적으로 소실되거나(0으로 감소) 폭주(노름이 무한히 증가)할 수 있습니다. 기존 문헌들이 다양한 설명과 완화 방안을 제시해 왔으나, 본 연구는 곱셈 에르고딕 이론(multiplicative ergodic theory)과 리아푸노프 지수(Lyapunov exponents)를 사용하여 이 현상을 정밀하게 수학적으로 규명하고, 잔차 연결(residual connections, ResNets)의 안정화 효과를 입증하는 것을 목표로 합니다.

방법론
저자 Vivek S. Borkar는 비선형 동역학의 도구를 적용하기 위해 DNN을 이산 시간 동역학계(discrete-time dynamical system)로 재구성합니다.

1. 동역학계 정식화: $N$개의 피드포워드 블록으로 구성된 DNN을 함수들의 합성 $f^N_{\beta^N} = f_{\beta_N} \circ \dots \circ f_{\beta_1}$로 모델링합니다. 입력-출력 맵은 동역학계의 반복 $x_{n+1} = f_{\beta_n}(x_n)$으로 취급됩니다.
2. 선형화: 그래디언트의 거동은 이러한 맵들의 자코비안 행렬(Jacobian matrices)을 통해 분석됩니다. 네트워크 깊이에 따른 자코비안의 곱은 무작위 행렬에 의해 구동되는 선형 동역학계의 진화에 대응합니다.
3. 곱셈 에르고딕 이론: 핵심적인 분석 도구는 Furstenberg-Kifer 정리[8]입니다. 곱셈 에르고딕 이론을 더 광범위하게 적용하는 기존 연구들과 달리, 본 논문은 Furstenberg와 Kifer가 제공하는 리아푸노프 지수의 구체적인 정밀 특성을 활용합니다. 여기에는 다음이 포함됩니다:
   • 사영 공간(projective space) $P^{d-1}$ 상에서의 문제 정의.
   • 사영 공간 상의 무작위 행렬에 의해 유도된 마르코프 체인을 위한 정지 측도($\mu$-stationary measures) 분석.
   • 이러한 정지 측도들에 대한 적분 $\alpha(\mu, \nu) = \int \int \log(\|Au\|) \mu(dA)\nu(du)$를 통해 리아푸노프 스펙트럼($\gamma_i(\mu)$)을 규명.

주요 기여 및 결과
본 논문의 주요 기여는 Furstenberg-Kifer 특성을 적용하여 DNN의 리아푸노프 스펙트럼과 잔차 연결의 구체적인 영향에 관한 정밀한 진술을 도출한 것입니다.

• 이론적 프레임워크: 본 논문은 DNN의 리아푸노프 스펙트럼이 상태 공간의 직합 분해(direct sum decomposition)와 사영 공간 상의 연관된 마르코프 체인의 정지 측도에 의해 결정되는 일련의 불변 부분 공간(invariant subspaces)을 통해 기술될 수 있음을 확립합니다.
• 잔차 연결의 분석: 본 논문은 잔차 연결을 $x \mapsto f_{\beta}(x)$가 $x \mapsto x + f_{\beta}(x)$로 대체되는 변환으로 모델링합니다.
• 주요 정리 (정리 4.1): 본 논문은 잔차 연결 하에서의 리아푸노프 스펙트럼이 (모두 1인 스펙트럼에 해당하는) 항등 행렬의 스펙트럼에 비해 "더 작은 섭동(smaller perturbation)"임을 증명합니다.
  • 메커니즘: 증명은 사영 공간에서의 기하학적 논증을 활용합니다. 벡터 $\hat{u}$에 대하여, 매핑 $(I+A)\hat{u}$는 $A\hat{u}$ 단독으로 발생하는 방향보다 원래의 방향 $\hat{u}$에 기하학적으로 더 가까운 방향을 결과로 낸다는 것을 보여줍니다.
  • 함의: 이러한 기하학적 근접성은 잔차 연결이 존재할 때 로그 성장률의 적분(리아푸노프 지수)의 크기가 감소함을 의미합니다. 구체적으로, 항등 항(identity term)이 있을 때와 없을 때의 기대 로그 노름 성장률의 차이는 음수이며, 이는 안정화 효과를 나타냅니다.
• 결과: 본 논문은 사영 기하학과 Furstenberg-Kifer 정리를 사용하여 그래디언트의 효과를 더 상세하게 "고정(pin down)"함으로써, 기존 연구들([13], [6], [3])과 차별화되는 "다른 관점"을 제공한다고 주장합니다.

의의 및 주장
본 논문은 그래디면서의 질적인 설명을 넘어, 사영 기하학과 Furstenberg-Kifer 정리를 사용하여 "정밀한 수학적 방식"으로 그래디언트 폭주/소실 문제에 접근했다고 주장합니다.

• 정밀성: 본 연구는 리아푸노프 스펙트럼의 정확한 특성을 사용하여 잔차 연결의 효과를 더 세밀하게 규명함으로써 기존 연구들과 차별화됩니다.
• 정량적 안정화: 이 결과는 왜 ResNet이 학습하기 더 용이한지에 대한 정량적인 설명을 제공합니다. 즉, 잔차 연결은 리아푸노프 지수가 0(또는 항등 스펙트럼)에 가깝게 유지되도록 수학적으로 제약함으로써, 그래디언트의 극단적인 성장이나 붕괴를 방지합니다.
• 범위 및 한계: 저자는 본 분석이 극한 상태 $x_\infty$(가정 2)의 존재와 행렬 노름의 적분 가능성 조건(가정 1)을 포함한 특정 가정들에 의존하고 있음을 언급합니다. 본 논문은 모델이 정형화되어 있음(예: ReLU 대신 매끄러운 활성화 함수 사용, 일정한 차원)을 인정하며, 입증된 메커니즘은 타당하다고 밝힙니다. 저자들은 이러한 결과를 완전한 일반성(예: 비매끄러운 활성화 함수, 가변적 차원)으로 확장하는 것은 더 정교한 수학을 필요로 하는 향후 과제라고 명시했습니다.

요약하자면, 본 논문은 잔차 연결이 사영 공간 내에서 그래디언트 방향의 진화를 기하학적으로 제약함으로써, 네트워크의 자코비안 곱의 리아푸노프 스펙트럼을 항등 행렬의 스펙트럼에 더 가깝게 유지하며, 이것이 그래디언트 폭주 및 소실을 완화하는 수학적 원리라고 주장합니다.