Generalization in Nonlinear Least Squares via Learned Feature Geometry

기술 요약: 학습된 특징 기하학을 통한 비선형 최소제곱법의 일반화

문제 정의
현대 머신러닝 모델, 특히 심층 신경망은 훈련 데이터를 완벽하게 보간할 수 있으면서도 일반화 성능이 뛰어난 과매개변수화(overparameterized) 영역에서 작동하는 경우가 많다. 유니폼 수렴 경계(예: VC 차원, Rademacher 복잡도)나 고정된 커널 분석(예: Neural Tangent Kernel, NTK)에 의존하는 고전적 일반화 이론은 종종 이러한 현상을 설명하는 데 실패한다. 이러한 전통적 척도들은 과매개변수화된 모델에 대해 무의미한(vacuous) 경계를 산출하거나, 최악의 경우의 복잡성 또는 무작위 초기화 시점의 기하학에 집중함으로써 학습된 표현의 특정 기하학을 반영하지 못한다.

본 논문은 다음의 문제를 다룬다: 피팅된 비선형 모델의 어떤 측면이 일반화 능력을 결정하는가? 구체적으로, 본 연구는 전역적인 클래스 복잡성이 아니라 데이터에 의해 유도된 기하학을 반영하며, 학습된 표현에 의존하는 양을 식별하고자 한다.

방법론
저자들은 입력값이 결정론적이고 무작위성은 오직 응답 노이즈(강한 로그-오목성을 가정함, 예: 가우시안 노이즈)에서 발생하는 고정 설계(fixed design) 하의 릿지 정규화된 비선형 최소제곱 회귀를 연구한다. 목적은 정규화된 경험적 위험의 비퇴화 국소 최소해(nondegenerate local minimizer) $\hat{\theta}$의 일반화를 분석하는 것이다.

핵심 방법론은 알고리즘 안정성(algorithmic stability), 구체적으로는 "평균적" 예측 안정성에 기반한다. 저자들은 단일 훈련 응답 $Y_i$가 독립적인 복사본 $Y'_i$로 교체될 때 피팅된 예측 함수가 어떻게 민감하게 반응하는지를 분석한다.

주요 기술적 구성 요소는 다음과 같다:

1. 음함수 민감도(Implicit Function Sensitivity): 음함수 정리를 사용하여, 저자들은 응답 벡터 $Y$에 대한 국소 최소해 $\hat{\theta}$의 미분값을 도출한다. 이는 민감도가 정규화된 목적 함수의 역 헤시안(inverse Hessian)과 예측 함수의 자코비안(Jacobian)에 의해 지배됨을 보여준다.
2. Brascamp–Lieb 부등식: 강한 로그-오목성을 가진 노이즈 하에서 예측의 분산을 제한하기 위해, 저자들은 다변량 Brascamp–Lieb 부등식을 사용한다. 이는 선형 설정에서 사용되는 표준 가우시안 Poincaré 부등식을 일반화한 것이다.
3. 학습된 유효 차원(Learned Effective Dimension): 안정성 경계는 훈련된 파라미터에서의 데이터 의존적 유효 차원 $d_{\text{eff}}(\hat{\theta}; \lambda)$로 표현된다:
   $$d_{\text{eff}}(\hat{\theta}; \lambda) := \text{tr}\left( (\hat{H}_\lambda^{-1} \hat{G})^2 \right)$$
   여기서 $\hat{G}$는 훈련된 자코비안 특징($\nabla_\theta f(x_i; \hat{\theta})$)의 경험적 공분산이며, $\hat{H}_\lambda$는 $\hat{\theta}$에서의 정규화된 경험적 목적 함수의 헤시안이다. NTK와 달리, 이 메트릭은 초기화 시점의 자코비안이 아닌 특징 학습 이후의 기하학을 포착한다. 헤시안에는 선형 모델에서는 사라지지만 비선형 모델에서는 존재하는 잔차-곡률 항($\hat{\Delta}$)이 포함된다.
4. 커버링 복잡도(Covering Complexity): $d_{\text{eff}}$를 제한하기 위해, 저자들은 훈련된 자코비안 특징의 커버링 수(covering number)와 관계를 맺는다. 만약 훈련된 특징들이 적은 수의 볼(ball)로 덮일 수 있다면(즉, 압축 가능하다면), 유효 차원이 작다는 것을 보여준다. 이는 데이터가 저차원 매니폴드 상에 놓여 있는 경우와, 자코비안이 데이터가 점유하는 **활성화-안정 영역(activation-stable regions)**의 수와 연결되는 ReLU 네트워크의 경우로 특수화된다.

주요 기여

1. 훈련된 유효 차원을 통한 안정성 경계: 본 논문은 평균 예측 안정성(그리고 결과적으로 일반화 간극)이 훈련된 모델에서 평가된 기대 유효 차원에 의해 제한됨을 증명한다. 정리 3은 다음과 같이 설정한다:
   $$\frac{1}{n} \sum_{i=1}^n \mathbb{E}[(f(x_i; \hat{\theta}) - f(x_i; \hat{\theta}^{(i)}))^2] \leq \frac{4 \mathbb{E}[d_{\text{eff}}(\hat{\theta}; \lambda)]}{\alpha n}$$
   여기서 $\alpha$는 노이즈의 강한 로그-오목성 파라미터이다. 추론 4는 이를 $\sqrt{\mathbb{E}[d_{\text{eff}}]/n}$ 차수의 일반화 간극 경계로 변환한다.
2. 선형 경계의 일반화: 선형 사례(또는 잔차가 0인 경우)에서는 잔차-곡률 항이 사라지며, $d_{\text{eff}}$는 자코비안 공분산의 고전적 릿지 유효 차원으로 축소된다. 따라서 이 결과는 선형 이론을 비선형 영역으로 엄격하게 일반화한 것이다.
3. 기하학적 해석 및 커버링 경계: 저자들은 데이터와 모델의 기하학에 기반한 $d_{\text{eff}}$의 명시적 경계를 제공한다:
   • 매니폴드 지지(Manifold Support): 데이터가 $m$차원 매니폴드에 있고 자코비안이 조각별 립시츠(piecewise Lipschitz)인 경우, 경계는 주변 차원(ambient dimension)이 아닌 고유 차원 $m$에 따라 스케일링된다.
   • ReLU 네트워크: 1-은닉층 ReLU 네트워크의 경우, 경계는 데이터가 점유하는 활성화-안정 영역의 수와 해당 영역 내의 국소 특징 수축(local feature contraction)에 의해 제어된다. 이는 일반화 간극을 입력 공간의 학습된 분할 복잡도와 연결한다.
4. 실험적 검증: 저자들은 합성 매니폴드, 클러스터 분포, 그리고 벤치마크 데이터셋(California Housing, Wine Quality, Superconductivity)에 대한 실험을 제시한다. 이 실험들은 다음을 입증한다:
   • 자코비안 압축: 훈련된 자코비안의 유효 차원은 과매개변수화된 설정에서도 초기화 시점(NTK 영역)의 유효 차원보다 현저히 낮다.
   • 타이트함(Tightness): 이론에서 사용된 잔차-곡리 선형화는 직접 추정된 비선형 유효 차원과 밀접하게 일치한다.
   • 일치성: 이론적 안정성 경계는 관찰된 일반화 간극을 긴밀하게 추적한다.

의의 및 주장
본 논문은 파라미터 수나 초기화가 아니라 학습된 기하학에 의존하는 비선형 최소제곱법의 일반화 경계를 제공하는 단순하고 원리적인 유도를 제공한다고 주장한다.

• 고정된 기하학에서 학습된 기하학으로의 전환: 초기 무작위 초기화 근처에서 선형화하는 NTK 분석과 달리, 본 연구는 피팅된 지점에서의 기하학을 분석한다. 이는 특징 학습이 관련 방향을 "압축"하여 더 낮은 유효 차원과 더 나은 일반화를 이끌어낼 수 있음을 보여준다.
• 활성화 영역의 역할: 본 연구는 ReLU 네트워크의 활성화-안정 영역 수와 일반화 경계 사이의 명시적인 이론적 연결을 제공하며, 이는 딥 네트워크가 최악의 경우의 조합론적 경계가 시사하는 것보다 훨씬 적은 수의 활성 영역을 실제로 활용한다는 경험적 발견을 뒷받침한다.
• 한계: 저자들은 분석 범위에 대해 겸허하게 언급하며, 현재의 분석이 고정 설계의 제곱 손실 회귀와 강한 로그-오목성 노이즈로 제한되어 있음을 밝힌다. 이러한 결과를 무작위 설계로 확장하거나, 다른 손실 함수를 다루거나, 전체 최적화 궤적(국소 최소해뿐만 아니라)의 암묵적 정규화를 포착하는 것은 여전히 해결해야 할 과제로 남아 있다.

요약하자면, 본 논문은 비선형 최소제곱 모델의 일반화 능력은 모델의 파라미터 수나 샘플 크기보다 훨씬 작을 수 있는, 모델이 데이터에 적응하며 변화시킨 훈련된 자코비안 특징의 유효 차원에 의해 결정된다고 주장한다.