기술적 요약: 광범위한 특징 학습 신경망의 정준 정규화

문제 제기

특징 학습 영역(feature-learning regime)에서 작동하는 광범위한 신경망은 네트워크가 고정된 커널 기계처럼 행동하는 것이 아니라 능동적으로 표현을 학습하는 영역으로, 현대 딥러닝의 엔진입니다. 그러나 이러한 네트워크에 대한 이론적 이해는 커널 영역(Neural Tangent Kernel, NTK로 공식화됨)에 비해 현저히 뒤처져 있습니다. 경사 하강법 (gradient flow) 훈련으로 인해 발생하는 **암시적 정규화 (implicit regularisation)**와 **함수 공간 사전 분포 (function-space prior)**에 관한 중요한 격차가 존재합니다.

커널 영역에서는 경사 하강법이 초기화로부터의 제곱 파라미터 공간 거리 ($\|\theta - \theta_0\|^2$, 고정된 능선) 를 최소화하는 유일한 해를 선택한다는 것이 잘 확립되어 있습니다. 이 특성은 신경망 - 가우시안 프로세스 (NN-GP) 대응을 뒷받침하여 원리 있는 노이즈 모델링과 불확실성 정량화를 가능하게 합니다. 그러나 실무자들은 종종 특징 학습 네트워크에 대해 기본적으로 표준 가중치 감쇠 ($\|\theta\|^2$) 나 고정된 능선을 적용합니다. 본 논문은 이러한 정규화 기법들이 특징 학습 영역에서 기하학적으로 정렬되지 않아, 네트워크의 귀납적 편향을 왜곡시키는 "침묵하는" 편향을 초래한다고 주장합니다. 이는 특히 사전 학습된 특징이 유용한 전이 학습 (transfer learning) 시나리오에서 두드러집니다.

방법론 및 이론적 프레임워크

저자들은 **균일 야코비안 조건부 **(Uniform Jacobian Conditioning) 가정 (가정 2.1) 을 만족하는 과매개변수화 네트워크의 파라미터 공간 역학을 특징짓는 기하학적 프레임워크를 개발합니다. 이 가정은 보간 해 (interpolating solutions) 의 근방에서 야코비안 $J(\theta)$의 특이값이 0 과 무한대에서 벗어나 유계 (bounded) 라고 가정합니다.

1. 기하학적 분해

저자들은 보간자 (interpolator) 주변의 파라미터 공간 $\Theta$를 세 가지 주요 객체로 분해합니다:

• 흐름 궤도 (Flow Orbit, $O_{flow}$): 초기화 $\theta_0$로부터 경사 하강법으로 도달 가능한 모든 파라미터의 집합입니다. 특징 학습 영역에서 이는 고차원 부분 리만 (sub-Riemannian) 집합이 될 수 있습니다.
• 게이지 고정 흐름 다양체 (Gauge-Fixed Flow Manifold, $M_{flow}(\theta_0)$): 흐름 궤도 내에 존재하며 실현된 경사 하강법 궤적을 포함하는 특정 $n$차원 부분 다양체입니다. 이는 보간자 근처의 함수 공간에 대한 파라미터 공간 차트 (chart) 역할을 합니다.
• 출력 섬유 (Output Fibres, $\Theta(c)$): 훈련 예측 $g(\theta)$가 일정하게 유지되지만 보지 못한 입력에 대한 예측은 극적으로 변할 수 있는 흐름 다양체에 수직인 방향들입니다.

2. 능선 정규화의 병리

본 논문은 특징 학습 영역에서 흐름 다양체 $M_{flow}(\theta_0)$가 커널 영역의 아핀 부분 공간과 달리 **곡선 **(curved)임을 증명합니다.

• 고정된 능선의 실패: 고정된 능선의 기울기인 $-2(\theta - \theta_0)$는 유클리드 현 (chord) 입니다. 곡선 다양체 위에서 이 기울기는 출력 섬유 (흐름 방향에 수직) 를 따라 성분을 획득합니다.
• 결과: 정규화 강도 $\lambda \to 0$로 갈 때, 해는 정규화되지 않은 경사 하강법 한계 $\theta^*$로 수렴하지 않습니다. 대신, 정규화 기울기가 섬유를 따라 파라미터를 당겨 암시적 사전 분포를 왜곡하고, 사전 학습 중에 학습된 유용한 귀납적 편향을 파괴할 수 있습니다. 이는 정리 3.1에서 공식화됩니다.

3. 정준 정규화기의 공리적 유도

이를 해결하기 위해 저자들은 경사 하강법 역학을 통해 초기화에서 목표까지 네트워크 출력을 운반하는 데 필요한 최소 제어 이론적 에너지를 정준 함수 공간 에너지로 공리화합니다.

• 유일성: **등거리 불변성 **(isometry invariance)과 **직교 가법성 **(orthogonal additivity)의 공리를 부과함으로써, 저자들은 커널 영역에서 이 에너지가 제곱 RKHS 노름에 유일하게 대응됨 (고정된 능선 회복) 을 증명합니다.
• 일반화: 정의 4.3을 통해 이 에너지를 파라미터 공간으로 확장하면 **측지선 능선 **(Geodesic Ridge) 정규화기가 도출됩니다:
  $$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$$
  이는 흐름 다양체를 따라 측지선 거리의 제곱과 출력 섬유를 따라 측지선 거리의 제곱을 측정합니다.
• 암시적 사전 분포: 이에 대응하는 함수 공간 사전 분포는 곡선 기하학으로 일반화된 NTK 가우시안 프로세스인 **리만 깁스 프로세스 **(Riemannian Gibbs Process)로 식별됩니다.

4. 아크 능선 (Arc Ridge): 실용적 대안

측지선 거리를 대규모로 계산하는 것은 불가능하므로, 저자들은 미니맥스-강건한 대안으로 **아크 능선 **(Arc Ridge)을 제안합니다.

• 정의: 아크 능선은 훈련 궤적의 총 경로 길이의 제곱입니다: $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$.
• 특성: 이는 측지선 능선을 상한으로 하며, 실현된 경사 하강법 방향을 따라 "편향 없음" 속성을 유지하며, 정확한 경사 하강법 하에서 **조기 종료 **(early stopping)와 형식적으로 동일합니다. 이는 2 차 정보를 필요로 하지 않으며, 훈련 중 경로 길이라는 단일 스칼라만 누적합니다.

주요 결과

1. 표준 정규화기의 편향: 본 논문은 특징 학습 영역에서 표준 능선과 고정된 능선 모두 경사 하강법 한계에 편향을 초래함을 증명합니다 (정리 3.1). 이 편향은 정규화 강도가 사라짐에도 지속되어, 훈련 손실에 보이지 않는 출력 섬유를 따라 해가 이동하게 만듭니다.
2. 정준 해로서의 측지선 능선: 저자들은 특징 학습 네트워크의 기하학과 정렬되는 유일한 정규화기로서 측지선 능선을 유도하며, 정규화 강도가 사라지는 한계가 정규화되지 않은 경사 하강법 해를 회복함을 보장합니다 (정리 4.2).
3. 아크 능선 동등성: 아크 능선은 측지선 능선에 대한 긴밀하고 계산 가능한 상한임이 입증되었습니다. 특히, 정확한 경사 하강법의 한계에서 조기 종료와 동등함이 증명되어 (명제 F.4), 조기 종료를 기하학적 인식을 갖춘 정규화 기법으로 이론적으로 정당화합니다.
4. 실증적 검증: 전이 학습 작업 (ResNet18 을 사용한 UTKFace 의 나이 회귀; DistilBERT 를 사용한 Yelp 리뷰 점수 회귀) 에 대한 실험은 다음을 보여줍니다:
   • 높은 정규화 강도에서 표준 및 고정된 능선은 사전 학습된 사전 분포의 파괴로 인해 테스트 성능이 크게 저하됩니다.
   • 아크 능선은 온화하게 저하되며, 이는 유해하지 않은 과소 훈련 (benign undertraining) 과 일치합니다.
   • 낮은 정규화 강도에서 모든 방법이 수렴하며, 이는 조기 종료 편향이 지배적이기 때문입니다.

중요성 및 주장

본 논문은 광범위한 특징 학습 네트워크에서 경사 하강법의 암시적 편향을 이해하고 수정하기 위한 최초의 원리 있는 프레임워크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

• 기하학적 통찰: 유클리드 기반 정규화기 (예: 고정된 능선) 가 특징 학습 영역에서 실패하는 근본 원인으로 흐름 다양체의 곡률을 식별합니다.
• 이론적 통합: 리만 깁스 프로세스를 정준 사전 분포로, 측지선 능선을 정준 정규화기로 식별함으로써 NN-GP 대응을 특징 학습 영역으로 일반화합니다.
• 실용적 해결책: 훈련의 기하학과 정렬되는 확장 가능하고 미니맥스-강건한 대안으로 아크 능선(경로 길이의 제곱)을 제안합니다. 이는 조기 종료와 정준 정규화 사이의 깊고 이전에 공식화되지 않았던 관계를 드러내며, 조기 종료가 단순한 휴리스틱이 아니라 기하학을 보존하는 정규화 전략임을 시사합니다.

저자들은 그들의 이론이 균일 야코비안 조건부 (부록 H 에서 실증적으로 검증됨) 를 가정하지만, 이러한 기하학적 직관이 미세 조정 중 사전 학습된 표현의 저하 현상과 "그로킹 (grokking)" 현상과 같은 현상을 설명하며 딥러닝에서 더 강건한 정규화 전략을 향한 길을 제시한다고 강조합니다.