Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

기술 요약: 원점 너머의 동차 신경망의 그래디언트 흐름 역학 이해를 향하여

문제 정의
그래디언트 기반 방법으로 훈련되는 현대의 딥 뉴럴 네트워크는 과잉 매개변수화에도 불구하고 강력한 일반화 성능을 보이며, 이는 훈련 알고리즘에 의해 유도된 암시적 정규화(implicit regularization)의 결과로 여겨진다. NTK(Neural Tangent Kernel) 레지임(큰 초기화) 및 훈련의 후기 단계에 대한 상당한 진전이 있었음에도 불구하고, "작은 초기화(small initialization)" 레지임은 여전히 충분히 이해되지 않은 상태로 남아 있다. 이 레지임에서 네트워크는 특징 학습(feature-learning) 모드로 동작하지만, 가중치의 매우 비선형적인 진화는 분석적인 어려움을 야기한다.

이전 연구들(예: Maennel et al., 2018; Kumar and Haupt, 2024, 2025)은 작은 초기화를 가진 동차 신경망의 경우, 가중치가 장기간 원점 근처에 머물러 있음을 입증했다. 이 단계 동안 가중치는 신경 상관 함수(Neural Correlation Function, NCF)의 카루슈-쿤-터커(KKT) 점을 향해 방향적으로 수렴하는데, 이를 "초기 방향 수렴(early directional convergence)"이라 한다. 또한, 이러한 초기 단계의 KKT 점들은 흔히 희소성(sparsity)을 띈다. 그러나 가중치가 원점을 탈출한 이후의 그래디언트 흐름의 거동과, 이 전이 과정 동안 나타나는 희소 구조의 보존 여부는 완전히 규명되지 않았다. 본 논문은 원점을 탈출한 직후부터 첫 번째 안장점(saddle point)에 도달할 때까지의 동차 신경망의 그래디언트 흐름 역학을 분석함으로써 이 간극을 메우고자 한다.

방법론 및 설정
본 논문은 $L$-양의 동차(L-positively homogeneous, $L \ge 2$) 성질을 갖는, 즉 $H(x; cw) = c^L H(x; w)$ ($c \ge 0$)를 만족하는 동차 신경망 $H(x; w)$를 연구한다. 분석은 네트워크의 그래디언트가 국소 리프시츠 연속(locally Lipschitz continuous)임을 가정하며, 여기에는 심층 선형 네트워크와 다항식 ReLU 활성화 함수($p \ge 2$)가 포함되지만, 원점에서의 미분 불가능성으로 인해 표준 ReLU 네트워크($p=1$)는 명시적으로 제외된다. 다만 경험적 결과는 잠재적인 확장을 시사한다.

훈련 목적 함수는 다음과 같이 그래디언트 흐름을 통한 손실 함수 $\mathcal{L}(w)$의 최소화이다:
$$\dot{w} = -\nabla \mathcal{L}(w)$$
저자들은 NCF로 정의되는 $N(u) = \bar{e}_y^\top H(X; u)$ (여기서 $\bar{e}_y = -\ell'(0, y)$)의 개념을 구축하고, 단위 구(unit sphere) 상에서의 제약 최적화 문제를 분석한다.

핵심 방법론은 다음과 같다:

1. 한계 궤적 구축(Limiting Trajectory Construction): 원점을 탈출한 후의 그래디언트 흐름 경로를 나타내는 한계 해 $p(t)$를 정의한다. 이는 초기화 스케일 $\delta$에 의존하는 항 $\ln(1/\delta)$만큼 솔루션 $\psi(t, \delta w_0)$를 시간 이동(time-shifting)함으로써 달성된다.
2. 안정성 분석(Stability Analysis): 제약된 NCF의 $\Delta$-이계 양의 KKT 점의 특성을 활용한다. 저자들은 초기 가중치의 방향이 NCF의 안정 집합(stable set) 내에 있다고 가정한다.
3. 제로 보존 부분집합(Zero-Preserving Subsets): 원점에서 0으로 초기화되어 그래디언트 흐름 하에서 계속 0으로 유지되는 가중치인 "제로 보존 부분집합"의 개념을 도입한다. 이는 희소성 보존을 분석하는 데 사용된다.

주요 기여 및 결과

1. 탈출 후의 그래디언트 흐름 역학 (정리 4 및 10)
본 논문은 충분히 작은 초기화에 대해, 그래디언트 흐름의 궤적이 초기 방향이 NCF의 안정 집합과 일치하기만 하면 특정 초기화 스케일 $\delta$와 무관하게 특정 한계 경로 $p(t)$를 밀접하게 따른다는 것을 입증한다.

• 이중 동차 네트워크 ($L=2$): 정리 4는 시간 스케일링 $O(\ln(1/\delta))$ 이후, 궤적 $\psi(t, \delta w_0)$가 오차 범위 $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$ 내에서 $p(t)$로 수렴함을 보여준다.
• 심층 동차 네트워크 ($L > 2$): 정리 10은 이를 $L$-동차 네트워크로 확장한다. 탈출 시간은 $O(\delta^{-(L-2)})$로 스케일링되며, 궤적은 마찬가지로 특정 오차 범위를 가지며 한계 경로 $p(t)$로 수렴한다.
• 시사점: 원점 탈출 직후의 그래디언트 흐름 거동은 가중치가 원점 근처에서 접근했던 NCF의 KKT 점에 의해 주로 결정된다.

2. 첫 번째 안장점의 특성 규명 (추론 5, 6, 11, 12)
저자들은 한계 궤적 $p(t)$가 훈련 손실의 정지점(안장점)으로 수렴함을 보여준다. 결과적으로, 충분히 작은 초기화의 경우 실제 그래디언트 흐름 궤적 $\psi(t, \delta w_0)$는 원점을 탈출한 후 동일한 안장점에 접근하게 된다.

• 논문은 안장점이 유한한 경우(유계 궤적)와 무한한 경우(로지스틱 손실에서 흔히 나타나는 무계 궤적)를 구분한다.
• 이러한 결과는 그래디언트 흐름이 "안장점에서 안장점으로(saddle-to-saddle)" 이어지는 궤적을 따르며, 특히 원점 이후 마주치는 첫 번째 안장점을 특징짓는다는 것을 의미한다.

3. 피드포워드 네트워크에서의 희소성 보존 (섹션 4 및 정리 18)
본 논문의 핵심적인 기여는 "원점 근처" 단계에서 나타난 희소 구조가 원점을 탈출한 후 첫 번째 안장점에 도달할 때까지 보존된다는 증명이다.

• 제로 보존 부분집합: 저자들은 피드포워드 동차 네트워크에 대해, NCF의 KKT 점에서 0의 크기를 갖는 가중치 행과 열이 "제로 보존 부분집합"을 형성함을 증명한다. 이 가중치들이 0으로 초기화되면 훈련 내내 0으로 유지된다.
• 희소성 보존: 작은 초기화의 그래디언트 흐름이 특정 희소성을 가진 KKT 점으로 방향적으로 수렴하므로, 이 0인 가중치들이 제로 보존 부분집합을 형성한다는 사실은 원점을 탈출하여 첫 번째 안장점에 접근하는 동안에도 희소 구조가 유지됨을 의미한다.
• 정리 18: $L=2$ 및 $L>2$ 네트워크 모두에 대해, 탈출 시간 이후에도 제로 보존 부분집합 내 가중치의 크기가 무시할 만한 수준($O(\delta^{\text{exponent}})$)으로 유지되어 희소 패턴을 효과적으로 보존함을 공식화한다.

실험적 검증
논문은 제곱 활성화 함수($L=2$)와 다항식 ReLU 활성 함수를 사용한 수치 실험(그림 1, 4, 5, 6)을 제공한다.

• 제곱 활성화: 실험은 가중치가 원점을 탈출하기 전에 희소해지며, 이 희소성이 다음 안장점에서도 보존됨을 확인시켜 준다.
• ReLU 활성화: 비록 이론적 프레임워크가 표준 ReLU($L=1$)를 제외하고 있으나, ReLU 네트워크에 대한 실험은 가중치가 완벽하게 희소해지지는 않더라도(다항식의 경우보다 더 많은 비제로 항목 존재), 상대적 희소 구조(작은 가중치가 작게 유지되는 현상)는 보존됨을 보여준다. 이는 원점에서의 국소 리프시츠 연속성 결여에도 불구하고, 본 연구의 결과가 경험적으로 ReLU 네트워크로 확장될 수 있음을 시사한다.

의의 및 주장
본 논문은 훈련 역학의 특정 구간, 즉 "원점 근처" 단계에서 "첫 번째 안장점"으로의 전이를 엄밀하게 규명했다고 주장한다.

• 암시적 정규화의 메커니즘: 이를 통해 작은 초기화 레지임에서 관찰되는 암시적 정규화를 NCF의 기하학적 구조 및 네트워크가 접근하는 특정 KKT 점과 연결한다.
• 희소성의 안정성: 초기 훈련 단계에서 관Observed되는 희소 패턴이 지속되는 이유를 피드포워드 아키텍처의 "제로 보존" 특성에 기인하여 이론적으로 설명한다.
• 한계점: 저자들은 연구 범위의 겸손함을 명시적으로 밝힌다. 결과는 다음 사항으로 제한된다:
  1. 국소 리프시츠 연속 그래디언트를 갖는 동차 네트워크(표준 ReLU 제외).
  2. 원점을 탈출한 후 마주치는 첫 번째 안장점까지의 역학만 다룸. 그 이후의 행동(예: 안장점을 벗어나 전역 최솟값으로 가는 과정)은 다루지 않으며 향후 연구 과제로 남겨두었다.
  3. 초기 방향이 NCF의 이계 양의 KKT 점의 안정 집합 내에 있다는 가정.

요약하자면, 본 논문은 초기 방향 수렴 단계와 그 이후의 훈련 단계 사이의 간극을 메움으로써, 가중치가 특징을 학습하기 시작하고 첫 번째 안장점에 접근함에 따라 구조적 특성(특히 희소성)이 어떻게 결정되고 안정화되는지를 입증한다.