기술 요약: 피셔-기하학적 날카로움(Fisher-Geometric Sharpness)과 SGD의 평평한 최소점(Flat Minima)에 대한 암묵적 편향

1. 문제 정의

딥러닝의 지배적인 직관은 확률적 경사 하강법(SGD)이 손실 함수 지형(loss landscape)에서 "평평한 최소점(flat minima)"을 암묵적으로 선호하며, 이러한 평평한 최소점이 "날카로운(sharp)" 최소점보다 일반화 성능이 더 좋다는 것이다. 그러나 이러한 서사의 이론적 토대는 **Dinh et al. [2017]**에 의해 비판적으로 무너졌다. 그들은 유클리드 거리 기반의 표준적인 날카로움 측정 방식(예: 손실 헤시안의 트레이스 또는 최대 고유값)이 재매개변수화(reparametrization)에 대해 불변하지 않음을 입증했다.

구체적으로, 신경망의 경우 가중치를 재조정(예: $W_1 \to \alpha W_1, W_2 \to \alpha^{-1} W_2$)함으로써 네트워크의 입력-출력 함수를 정확히 보존하면서도 유클리드 기반의 날카로움을 임의로 변경할 수 있다. 일반화는 특정 매개변수화가 아닌 함수의 속성이므로, 불변하지 않는 날카로움 측정치는 일반화를 설명하는 데 의미를 가질 수 없다. 불변 측정치를 향한 부분적인 진전(예: Jang et al. [2022]; Kristiadi et al. [2023])이 있었으나, 불변한 날카로움(invariant sharpness), SGD의 암묵적 편향, 그리고 **일반화 경계(generalization bounds)**를 연결하는 통합된 프레임워크는 부재해 왔다.

2. 방법론

2.1 리만 날카로움 ($S_R$)

저자들은 매개변수 공간의 유클리드 메트릭을 모델의 예측 분포에 내재된 리만 구조를 유도하는 피셔 정보 행렬(Fisher Information Matrix, FIM) $G(\theta)$로 대체한다. 저자들은 최소점 $\theta^*$에서의 리만 날카로움을 다음과 같이 정의한다:
$$S_R(\theta^*) = \text{tr}\left( G(\theta^*)^{-1} \nabla^2 L(\theta^*) \right)$$
여기서 $\nabla^2 L$은 훈련 손실의 헤시안이다. 유클리드 날카로움과 달리, $S_R$은 통계적 매니폴드의 자연스러운 기하학적 구조에 상대적인 곡률을 측정한다.

2.2 이론적 프레임워크: SDE로서의 SGD

저자들은 미니 배치 SGD를 연속 시간 확률 미분 방정식(SDE)으로 정식화한다. 이들은 **가정 3(Assumption 3)**을 도입하여, 그래디언트 노이즈의 공분산이 FIM에 비례한다고 가정한다:
$$\text{Cov}[\nabla \tilde{L}(\theta^*)] = \frac{\eta}{B} G(\theta^*)$$
여기서 $\eta$는 학습률이고 $B$는 배치 크기이다. 이 가정하에, 저자들은 SGD 과정의 정상 분포(stationary distribution) $\pi^*$를 도출한다.

2.3 일반화 경계

저자들은 기하학적 편향을 테스트 성능과 연결하기 위해 PAC-Bayes 프레임워크를 사용한다. 훈련된 최소점을 중심으로 하는 사후 분포를 구축하고, $S_R$에 의해 명시적으로 제어되는 일반화 경계를 도출한다.

2.4 경험적 추정

전체 FIM을 계산하는 것은 다루기 힘든 작업이므로, 저자들은 대각 경험적 FIM 추정기(모델 자신의 분포로부터 예측값을 샘플링함)와 헤시안을 위한 Hutchinson의 확률적 트레이스 추정기를 활용한다. 저자들은 실제 FIM이 불변성을 보장하지만, 실험에 사용된 대각 경험적 추정기는 이 불변성을 대략적으로만 상속받는다는 점을 인정한다.

3. 주요 기여

1. 재매개변수 불변 날카로움의 정의: 논문은 $S_R$을 정의하고, 이것이 매끄럽고 함수를 보존하는 재매매변수화에 대해 불변함을 증명함으로써(Lemma 1), Dinh et al. [2017]의 비판을 직접적으로 해결한다.
2. 정상 분포 분석: 저자들은 미니 배치 SGD의 정상 분포를 도출하고(Theorem 1), 확률 질량이 리만 날카로움이 낮은 최소점에 지수적으로 집중됨을 증명한다(Corollary 1). 이는 리만 평평한 최소점으로 향하는 엄격한 암묵적 편향을 확립한다.
3. PAC-Bayes 일반화 경계: 일반화 격차(gap)가 $S_R$에 의해 명시적으로 제어되는 일반화 경계(Corollary 2)를 설정하여, 리만 평평함과 테스트 성능 사이의 이론적 연결 고리를 제공한다.
4. 경험적 검증: MNIST와 CIFAR-10에 대한 실험을 통해, $S_R$이 유클리드 날카로움($S_E$)과는 달리 다양한 옵티마이저(SGD, Adam), 배치 크기, 학습률에 걸쳐 일반화 성능을 추적함을 확인한다. $S_R$이 $\eta/B$에 따라 스케일링되는 양상은 이론적 예측과 일치한다.

4. 결과

4.1 불변성 및 정렬

• 불변성: 실제 FIM은 엄격하게 불변하지만, 경험적 대각 추정기는 임의의 재조정 하에서 완벽하게 불변하지는 않는다. 그러나 이는 가중치 재조정 하에서 유클리드 날카로움보다 실질적으로 더 안정적이다.
• 노이즈 구조: 경험적 테스트(Section 5) 결과, 그래디언트 노이즈 공분산과 FIM은 여러 구성에서 방향적으로 정렬되어 있음(코사인 유사도 $\approx 1.0$)을 보여준다. 다만, 스칼라 비례 상수 $\eta/B$는 모든 영역에서 정확히 일치하지는 않으며, 특히 소규모 배치 및 고노이즈 환경에서 그러하다. 저자들은 이 가정을 확장하여 스칼라 인자 $\alpha(\theta)$를 허용하도록 정교화하였으며, 이를 통해 스칼라 주장이 완벽하지 않더라도 (평평한 최소점으로 향하는) 주요 이론적 결론은 견고하게 유지됨을 증了하였다.

4.2 스케일링 법칙 및 일반화

• 배치 크기 ($B$): MNIST에서 배치 크기를 키우면 $S_R$이 크게 증가하고 테스트 정확도가 감소하는데, 이는 $S_R \propto B/\eta$라는 예측과 일치한다. CIFAR-10에서는 소규모 배치 영역의 최적화 어려움으로 인해 관계가 더 복잡하지만, 높은 $B$가 높은 $S_R$로 이어진다는 경향성은 유지된다.
• 학습률 ($\eta$): 학습률을 높이면 일반적으로 $S_R$이 감소하고 일반화 성능이 향상된다(최적화가 불안정해지는 지점 전까지).
• 옵티마이저:
  • SGD: 소규모 배치 설정에서 낮은 $S_R$과 높은 정확도를 가진 최소점을 일관되게 찾아낸다.
  • Adam: MNIST에서 낮은 $S_R$과 높은 정확도를 달성한다. CIFAR-10에서는 SGD보다 낮은 $S_R$을 가진 최소점을 찾지만, 정확도는 약간 낮다. 저자들은 이것이 Adam의 적응형 프리컨디셔닝(preconditioning)이 유효 메트릭을 변화시키기 때문이라고 제안한다. 즉, 프리컨디셔닝된 옵티마이저의 암묵적 편향은 자신들의 메트릭에 상대적인 평평함을 향한다.

4.3 훈련 역학

훈련 궤적을 보면, 소규모 배치 SGD는 훈련이 진행됨에 따라 점진적으로 날카로운 분지(basin)를 탈출하여 더 평평한 영역(감소하는 $S_R$)으로 안착한다. 대규모 배치 SGD는 높은 $S_R$ 값에서 안정화되는데, 이는 날카로운 최소점을 탈출하기에 노이즈가 불충분하다는 예측과 일치한다.

5. 의의 및 주장

본 논문은 왜 평평한 최소점이 일반화가 잘 되는지에 대한 최초의 엄격하고 재매개변수 불변한 설명을 제공한다고 주장한다. 피셔 정보 행렬(FIM)을 통해 통계적 매니폴드의 리만 기하학에 근거함으로써, 저자들은 평평함이 단순히 매개변수화의 산물이라는 근본적인 비판을 해결한다.

이 연구의 의의는 다음과 같다:

• 이론적 해결: "평평함-일반화"라는 직관과 "재매개변수 비판" 사이의 간극을 모델의 함수에 내재된 날카로움 척도를 정의함으로써 메꾼다.
• 암묵적 편향의 메커니즘: SGD의 노이즈 구조(FIM에 비례)가 옵티마이저를 자연스럽게 낮은 리만 날카로움을 가진 최소점으로 유도한다는 수학적 유도를 제공한다.
• 실용적 지표: $S_R$이 특히 서로 다른 하이퍼파라미터나 옵티마이저로 훈련된 모델을 비교할 때 유클리드 날카로움보다 더 신뢰할 수 있는 일반화 예측 지표임을 입증한다.

저자들이 인정한 한계점:

• 경험적 대각 FIM 추정기는 완벽하게 재매개변수 불변하지 않다. 완전한 불변성을 위해서는 K-FAC와 같은 구조화된 추정기가 필요하다.
• 노이즈 공분산에 대한 스칼라 주장($\alpha = \eta/B$)은 방향성은 맞지만, 데이터셋과 아키텍처에 따라 크기가 변하는 근사치이다.
• $S_R$과 일반화 사이의 관계는 옵티마이저가 수렴했을 때 가장 유용하다. 매우 높은 학습률과 같은 불안정한 영역에서는 낮은 $S_R$이 좋은 일반화를 보장하지 않는다.