기술적 요약: 평탄한 최솟값 매니폴드 근처에서 큰 스텝 사이즈를 갖는 경사 하강법의 역학

문제 정의

경사 하강법(Gradient Descent, GD)의 고전적인 수렴 이론은 $\eta < 2/\lambda_1(x)$라는 안정성 조건에 의존한다. 여기서 $\eta$는 스텝 사이즈이고, $\lambda_1(x)$는 목적 함수 헤시안(Hessian)의 최대 고유값(sharpness)이다. 딥러닝에서 이 조건은 빈번하게 위반되지만, 큰 스텝 사이즈를 가진 GD는 종종 수렴하며, "안정성의 가장자리(edge of stability)" 역학 및 "평탄한 최솟값(flat minima, 낮은 sharpness를 가진 최솟값)"으로의 암묵적 편향(implicit bias) 현상을 보인다.

MacDonald 등[39]의 선행 연구는 코디멘션 1(codimension 1) 최소제곱 문제(단일 스칼라 출력) 및 고립된(isolated) 평탄한 최솟값 근처에서의 큰 스텝 GD에 대한 엄밀한 동역학계 분석을 제공했다. 그러나 이러한 설정은 실질적으로 제한적이며, 다음을 다루지 못한다:

1. 높은 코디멘션 문제: 벡터 값 출력을 갖는 과매개변수화된 회귀 및 임의의 관측치 개수.
2. 최솟값의 매니폴드: 행렬 분해(matrix factorisation)와 같은 많은 딥러닝 문제들은 고립된 점이 아니라 연속적인 매니폴드 형태의 평탄한 최솟값을 갖는다.

본 논문은 이러한 더 넓은 환경으로 [39]의 이론을 확장하며, 고차원 분기(bifurcation) 및 매니폴드를 따라 발생하는 특이 편미분 방정식(singular PDE)의 기술적 과제를 해결한다.

방법론

1. 기하학적 프레임워크 및 가정

저자들은 $f: \mathbb{R}^p \to \mathbb{R}^q$ ($p > q$)인 과매개변수화된 최소제곱 목적 함수 $\ell(w) = \frac{1}{2}\|\tau - f(w)\|^2$를 고려한다. 이들은 노멀 폼(normal form)의 존재를 보장하기 위해 다음과 같은 기하학적 가정의 계층 구조를 수립한다:

• 가정 3.1: 타겟 $\tau$는 정칙 값(regular value)이며, 이는 해 집합 $M = f^{-1}(\tau)$가 매끄러운 부분 다양체(submanifold)임을 보장한다.
• 가정 3.3: 헤시안의 최상위 고유값 $\lambda_1$은 비어 있지 않은 열린 부분 집합에서 단순(simple, $\lambda_2$와 구별됨)하며, 이를 통해 잘 정의된 최상위 고유벡터 필드 $\nu_1$을 허용한다.
• 가정 3.4: $\lambda_1$의 국소 최솟값들이 존재하는 부분 다양체 $F \subset M$이 존재하며, 여기서 $\lambda_1$은 모스-보틀(Morse-Bott) 성질을 갖는다($M$ 내에서 $F$에 수직인 방향으로 강한 볼록성을 가짐).
• 가정 3.5: $\ell$의 고차 미분에서 유도된 계수 $\alpha_\eta$에 대한 정칙성 조건으로, 노멀 폼에 필요한 특이 PDE의 가해성(solvability)을 보장한다.

2. 노멀 폼 유도

핵심적인 기술적 기여는 $F$ 근처에서의 GD에 대한 노멀 폼을 유도하는 것이다. 저자들은 일련의 좌표 변환을 수행한다:

1. 튜브 좌표(Tubular Coordinates): $M$의 근방을 $M \times \mathbb{R}^q$로 매핑한다.
2. 중심 다양체 축소(Center Manifold Reduction): 중심 다양체 정리를 사용하여 $q$차원의 직교 역학을 최상위 고유 방향 $\nu_1$에 대응하는 1차원 시스템으로 축소한다.
3. 특이 PDE 풀이: 핵심 단계는 벡터 필드 $X$가 매니폴드 $F$를 따라 소멸하는 형태의 $Xu = \alpha u + \beta$ 꼴의 PDE를 푸는 것이다. 고립된 점을 다룬 [39]와 달리, 여기서의 특이점은 매니폴드를 따라 존재한다. 저자들은 로그 전개(logarithmic expansions)와 불변 엽층(invariant foliations)을 포함하는 새로운 기법을 개발하여, 매니폴드 좌표와 직교 역학 사이의 결합(coupling)에 관한 [39]의 결함이 있는 증명을 교정하고 $C^1$ 해의 존재성을 증명한다.
4. 강-안정 엽층(Strong-Stable Foliation): 중심 다양체 상의 역학과 수축하는 방향들을 분리한다.

결과적인 노멀 폼은 GD 역학을 다음과 같이 분해한다:

• $M$에 접하는 방향 ($x$): $M$을 따라 $\lambda_1$에 대한 리만 경사 하강법(Riemannian Gradient Descent, RGD)을 수행하며, 이때 스텝 사이즈는 직교 거리 $y_1^2$에 의해 제어된다.
• 최상위 직교 방향 ($y_1$): $(1 - \eta\lambda_1)y_1 + y_1^3$에 의해 지배되는 플립 분기(flip bifurcation) 역학(주기 배가 분기와 유사함)을 따른다.
• 기타 직교 방향 ($y_{2:q}$): 지수적으로 수축하는 안정적인 방향들이다.

3. 사례 연구: 딥 행렬 분해

저자들은 딥 행렬 분해가 이 프레임워크에 부합함을 검증한다. 그들은 평탄한 최솟값 $F$가 구(sphere)의 곱 공간 위에 놓인 **매끄러운 파이버 번들(smooth fibre bundle)**임을 증명한다. 또한, $\lambda_1$이 이 매니폴드를 따라 Morse-Bott임을 입증하여 필요한 기하학적 가설을 충족함을 보여준다.

주요 기여 및 결과

1. 일반화된 노멀 폼

본 논문은 임의의 코디멘션을 가진 평탄한 최솟값 매니폴드 근처에서 큰 스텝 사이즈를 갖는 GD에 대한 노멀 폼을 확립한다. 이는 [39]의 결과를 고립된 최솟값을 가진 코디멘션 1에서 연속적인 매니폴드를 가진 고차원 환경으로 일반화한다.

2. 수렴 정리

저자들은 스텝 사이즈 $\eta$와 안정성 임계값 $2/\lambda_1|_F$의 관계에 따라 세 가지 수렴 영역을 증명한다:

• 아임계 영역 (Subcritical Regime, $\eta < 2/\lambda_1|_F$):
  초기 과도기 이후, 반복값(iterates)은 차순위로 평탄한 전역 최솟값으로 지수적으로 수렴한다. 반복값이 매니폴드에 접근함에 따라 스텝 사이즈는 지수적으로 감소한다.
• 임계 영역 (Critical Regime, $\eta = 2/\lambda_1|_F$):
  반복값은 평탄한 최솟값 매니폴드 $F$의 한 점으로 **비단조적(non-monotonically)**으로 $\Theta(t^{-1/2})$의 비율로 수렴한다.
  • 참고: 일반적인 경우에 대한 증명은 노멀리 파라볼릭(normally parabolic) 역학계의 안정 엽층 존재성에 관한 추측(Conjecture D.7)에 의존한다. 이는 노멀리 하이퍼볼릭(normally hyperbolic) 매니폴드의 강-안정 엽층 정리와 유사하다. 만약 $\lambda_1$의 헤시안이 $F$를 따라 항등 행렬의 스칼라 배이거나 해당 추측이 성립한다면, 이 결과는 엄밀하게 증명된다.
• 초임계 영역 (Supercritical Regime, $\eta > 2/\lambda_1|_F$):
  반복값은 최상위 고유벡터 필드 $\nu_1|_F$의 스팬(span)을 따라 안정적인 **주기-2 궤도(period-2 orbit)**로 지수적으로 수렴한다. 이 진동의 진폭은 $\Theta(\sqrt{\eta\lambda_1|_F - 2})$에 비례한다.

3. 행렬 분해에 대한 구조적 결과

딥 행렬 분해에 대해 본 논문은 다음과 같은 새로운 구조적 통찰을 제공한다:

• 평탄한 최솟값 매니폴드 $F$는 구들의 곱 공간 위의 파이버 번들이다.
• $\lambda_1$은 $F$를 따라 Morse-Bott 성질을 갖는다.
• $F$의 법다발(normal bundle)에 제한된 $\lambda_1$의 헤시안 고유값들은 엄격히 양수이며, 유도된 특정 하한값(예: $L=2$일 때 하한값은 $4\sigma_1/(\sigma_1 - \sigma_{d_L})$)을 갖는다.

4. 수치적 검증

이론적 예측은 3-레이어, $2 \times 2$ 행렬 분해 문제를 통한 수치 실험을 통해 검증되었다. 실험은 다음을 확인한다:

• 아임계 영역에서의 지수적 수렴.
• 임계 영역에서의 $t^{-1/2}$ 수렴.
• 초임계 영역에서의 주기-2 사이클로의 지수적 수렴.

의의 및 주장

본 논문은 딥러닝 최적화 이해의 중요한 간극을 메운다고 주장한다:

1. 코디멘션 1을 넘어: "단일 데이터"라는 비현실적인 설정을 넘어, 벡터 출력을 갖는 일반적인 과매개변수화된 회귀로서의 큰 스텝 GD 이론을 확장했다.
2. 최솟값의 매니폴드: 딥러닝 손실 지형이 흔히 매니폴드 형태의 최솟값을 포함한다는 현실을 다루며, "안정성의 가장자리" 역학이 이러한 고차원 연속 환경에서도 지속됨을 보여준다.
3. 기술적 참신함: 매니폴드를 따르는 특이 PDE의 해법과 좌표 간의 결합에 관한 [39]의 증명을 교정한 점은 동역학계 이론에 대한 독립적인 기술적 기여로 제시된다.
4. 암묵적 편향: 큰 스텝 GD가 매니폴드를 따라 샤프니스(sharpness)에 대한 리만 경사 하강법을 수행함을 엄밀하게 공식화함으로써, 평탄한 최솟값으로의 편향에 대한 기계론적 설명을 제공한다.

저자들은 임계 영역에 대해 겸허한 태도를 유지하며, 일반적인 수렴 증명이 현재 연구 범위를 벗어난 파볼릭 엽층에 관한 추측에 의존하고 있음을 명시한다. 다만, 이는 하이퍼볼릭 시스템과의 유사성을 바탕로 충분히 타당하다고 주장한다. 또한, 본 결과는 국소적(평탄한 최솟값 매니폴드 근처)이며, 훈련 과정에서 관찰되는 글로벌 "점진적 샤프닝(progressive sharpening)" 단계를 아직 설명하지는 않는다고 언급한다.