Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

기술 요약: 다변량 ReLU 네트워크에서 SGD의 암묵적 편향: 유효 너비 붕괴(Effective Width Collapse)

문제 제기
과매개변수화된 신경망은 훈련 데이터를 보간하는 무수히 많은 해를 가지고 있지만, 확률적 경사 하강법(SGD)은 일관되게 강력한 일반화 특성을 가진 해를 선택한다. 이러한 현상은 최적화 알고리즘의 "암묵적 편향(implicit bias)" 덕분이다. 암묵적 편향은 선형 모델과 넓은 네트워크의 "레이지(lazy)"(커널) 영역에서는 잘 이해되어 있으나, 비선형 네트워크의 특징 학습(feature-learning) 영역에서의 편향은 아직 완전히 이해되지 않았다. 특히, 노이즈가 섞인 SGD가 다변량 회귀 설정에서 학습된 특징의 희소성(sparsity) 및 결과적인 예측기의 기하학적 구조와 관련하여 어떻게 특정 해를 선택하는지에 대한 엄밀한 규명이 부족한 상태이다.

방법론
저자들은 **평균장 영역(mean-field regime)**을 사용하여 넓은 2층 ReLU 네트워크의 훈련 역학을 분석한다. 이 프레임워크에서 네트워크 파라미터는 뉴런들에 대한 확률 측도(probability measure)로 모델링된다. 노이즈(온도 $\beta^{-1}$)와 가중치 감쇠($\lambda$)의 포함은 $t \to \infty$일 때 고유한 정지 측도(stationary measure) $\rho^*$의 존재를 보장한다.

주요 방법론적 단계는 다음과 같다:

1. 평균장 근사(Mean-Field Approximation): $N$개의 은닉 유닛을 가진 네트워크의 훈련은 파라미터 분포 $\rho_t$의 진화를 지배하는 편미분 방정식(PDE)으로 기술된다. 가우시안 노이즈(온도 $\beta^{-1}$)와 가중치 감쇠($\lambda$)의 포함은 $t \to \infty$일 때 고유한 정지 측도 $\rho^*$의 존재를 보장한다.
2. ReLU의 근사: 표준 ReLU 뉴로은 유계가 아니고 매끄럽지 않아 평균장 수렴 정리에 필요한 가정을 위반하므로, 저자들은 ReLU 함수($\sigma_{m,\tau}$)의 유계이고 매끄러운 근사치를 사용한다. 저자들은 평활화 파라미터 $\tau \to \infty$와 절단 파라미터 $m \to \infty$의 극한을 분석하여 효과적으로 ReLU 동작을 복구한다.
3. 온도 소멸 극한(Vanishing Temperature Limit): 연구는 노이즈 수준 $\beta^{-1} \to 0$ (소멸하는 온도)의 극한, 즉 가중치 감쇠가 있는 표준 SGD에 초점을 맞춘다. 저자들은 사전에 유일한 극한의 존재를 가정하지 않고, 이 극한에서 정지 측도의 구조적 특성과 그에 대응하는 해 함수를 조사한다.
4. 기하학적 분석: 증명은 해 함수의 헤시안(Hessian)과 파라미터 공간의 기하학을 분석하는 데 의존한다. 구체적으로, 헤시안을 바운드하고 정지 측도의 서포트(support)가 파라미터 공간의 특정 광선(rays)에 집중됨을 입증하기 위해 "이차 양성 조건(Quadratic Positivity Condition)"을 활용한다.

주요 기여 및 결과

1. 조각별 아핀 해 (정리 4):
   저자들은 네트워크 너비 $N \to \infty$이고 노이즈가 사라짐에 따라, 노이즈가 섞인 SGD에 의해 선택된 해가 **연속 조각별 아핀 함수(continuous piecewise affine function)**로 수렴함을 증명한다. 이 함수는 유한한 킨크(kink) 초평면들의 여집합의 연결 성분 위에서 아핀 함수이다.

• 복잡도 바운드: 킨크 초평면의 개수 $K$는 $K \le 2P - 1$로 제한되며, 여기서 $P$는 훈련 입력에 대해 실현 가능한 선형 이분법(linear dichotomies)의 수이다. 이 바운드는 네트워크 너비나 주변 차원에 의존하지 않고 오직 훈련 데이터의 조합 기하학에만 의존한다.

2. 유효 너비 붕괴 (정리 5):
   본 논문은 네트워크가 무한히 과매개변수화되어 있음에도 불구하고, 학습된 예측기가 **유효하게 유한한 표현(effectively finite representation)**을 가짐을 확립한다.

• 특징 정렬: 훈련된 네트워크의 입력 가중치와 편향은 파라미터 공간 내에서 최대 $2P - 1$개의 구별되는 방향(광선)을 따라 정렬된다.
• 붕괴: 결과적으로, 무한 너비의 네트워크는 최대 $2P - 1$의 유효 너비로 붕괴한다. 이 해는 이 유한한 수의 은닉 뉴런을 가진 얕은 ReLU 네트워크로 정확하게 표현될 수 있다.

3. 특징의 비중복성 (정리 6):
   저자들은 학습된 방향들에 대한 강력한 비중복성 속성을 확립한다.

• 구별되는 패턴: 각 학습된 방향은 훈련 데이터에 대해 고유한 삼진 활성화 패턴(ternary activation pattern)(입력을 $\{-1, 0, 1\}$로 매핑)을 유도한다.
• 비비교성: 이 패턴들은 특정 부분 순서(하나의 패턴이 $\pm 1$ 레이블을 $0$으로 바꿈으로써 다른 패턴의 "퇴화"가 되는 순서) 하에서 서로 비교 불가능하다. 구체적으로, 임의의 이진 부호 패턴에 대해, 최대 두 개의 학습된 삼진 패턴만이 그로부터 퇴화할 수 있다.

4. 대칭 데이터에 대한 구체적 특성화 (명제 7):
   대칭적인 2점 데이터셋에 대해, 저자들은 킨크 초평면의 위치를 명시적으로 규명하며, 이것이 입력 데이터의 노름(norm)과 레이블 구성(짝수/홀수 레이블)에 의존함을 보여준다.

의의 및 주장
본 논문은 일반적인 훈련 데이터를 가진 다변량 회귀에 대해 노이즈가 섞인 SGD의 암묵적 편향으로서 **유효 너비 붕패(effective width collapse)**를 최초로 도출했다고 주장한다. 제한적인 가정(예: 직교 또는 대칭 데이터)에 의존하거나 정적인 변분 문제(예: 최소 $L_1$ 노름 보간)를 분석했던 이전 연구들과 달리, 본 연구는 노이즈가 섞인 SGD의 훈련 역학으로부터 이 유한한 너비 구조를 직접 도출한다.

결과적으로 이 연구는 정적인 최적화 특성화와 동적인 훈련 과정 사이의 간극을 메우며, 훈련 데이터의 조합 기하학(특히 선형 이분법의 수)이 학습된 예측기의 복잡도를 결정함을 보여준다. 저자들은 본 분석이 평균장 프레임워크를 활용하기 위해 네트워크가 충분히 넓어야 하며, 정지 측도 분석의 타당성을 보장하기 위해 양의 가중치 감쇠 파라머터 $\lambda > 0$가 필요함을 언급한다. 또한, 차원 $d > 1$인 경우 헤시안이 사라지는 "실패 집합(failure set)"에 대한 비점근적 바운드를 얻는 것은 단변량 사례와 비교하여 여전히 미해결 과제로 남아 있음을 인정한다.

이 작업은 Shevchenko 등(2022)의 연구를 단변량에서 다변량 설정으로 확장하며, 함수 공간뿐만 아니라 파라미터 공간에서의 정지 측도의 구조를 독특하게 규명한다.