Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

기술 요약: 국소 곡률 및 Sharpness-Aware Minimization을 통한 f-Divergence 기반 정규화의 설명

문제 정의
평생 학습(lifelong learning) 에이전트 및 일반적인 딥러닝의 맥락에서, 견고한 일반화(robust generalization)를 달ato하기 위해서는 과적합과 국소적 민감도를 제어해야 한다. 이를 위한 두 가지 주요 접근 방식은 divergence 기반 정규화(원래 입력과 섭동된 입력 사이의 예측 분포 간의 차이를 벌칙으로 부과함)와 Sharpness-Aware Minimization (SAM, 평탄한 손실 지형을 갖는 파라미터를 탐색함)이다. 두 방법 모두 섭동에 대한 견고성(robustness)을 동기로 삼고 있지만, 이들의 이론적 관계는 여전히 미개척 영역으로 남아 있다. 구체적으로, divergence 정규화가 유도하는 국소 기하학이 SAM이 암시적으로 제어하는 헤시안(Hessian) 구조와 어떻게 형식적으로 연결될 수 있는지는 불분명하다. 특히, divergence 기반 정규화가 유도하는 국소 기하학이 SAM이 암시적으로 제로하는 헤시안 구조와 어떻게 형식적으로 연결될 수 있는지는 불분명하다. 즉, divergence 정규화에 의해 유도된 국소 기하학이 SAM이 암시적으로 제어하는 헤시안 구조와 어떻게 형식적으로 연결될 수 있는지는 불분명하다.

방법론
본 논문은 $f$-divergence 정규화의 국소 2차 기하학을 분석함으로써 통합된 이론적 프레임워크를 구축한다. 저자들은 다음과 같은 단계로 진행한다:

1. 국소 이차 전개(Local Quadratic Expansion): 모델의 예측 분포 $P$와 섭동된 분포 $Q$가 가까울 때 $f$-divergence에 대한 2차 테일러 전개를 유도한다. 이들은 이 국소 영역에서 모든 $f$-divergence가 $\phi''(1)/2$로 스케일링된 이차 벌칙(quadratic penalty)으로 환원됨을 보여준다.
2. 기하학적 해석:
   • 파라미터 공간: 섭동이 파라미터 공간($\theta \to \theta + \delta$)에서 발생할 때, 정규화 항은 $\delta^\top F_x(\theta) \delta$에 비례하는 벌칙을 유도하며, 여기서 $F_x(\theta)$는 피셔 정보 행렬(Fisher information matrix)이다.
   • 입력 공간: 섭동이 입력 공간($x \to T(x)$)에서 발생할 때, 정규화 항은 입력에 대한 밀도의 그래디언트를 포함하는 "풀백(pullback)" 이차 형식을 유도한다.
3. SAM과의 연결: 저자들은 divergence 유도 벌칙을 SAM과 비교한다. SAM은 지배적인 헤시안 고유값($\lambda_{\max}(H)$)에 비례하는 스펙트럼 곡률 벌칙(spectral curvature penalty)을 국소적으로 근사하는 것으로 나타난다. 본 논문은 음의 로그 가능도(negative log-likelihood) 목적 함수와 지수 가족(exponential-family) 출력 분포(예: 소프트맥스를 사용하는 교차 엔트로피)를 사용하는 경우, 피셔 행렬이 GGN(Generalized Gauss-Newton) 행렬과 일치하며, 이는 헤시안의 양의 준정부호(positive-semidefinite) 성분을 포착한다는 것을 입증한다. 따라서, divergence 기반 정규화와 SAM은 공유된 곡률 기하학을 통해 국소적으로 비교 가능해진다.
4. 제어된 경험적 테스트베드: 이러한 이론적 주장을 검증하기 위해, 저자들은 비대칭 $\alpha$-skew Jensen-Shannon Divergence (JSD) 제품군을 활용한다. 이 제품군의 국소 곡률 계수는 $\alpha(1-\alpha)$에 따라 스케일링되며, 대칭점인 $\alpha = 1/2$에서 최대가 된다. 이를 통해 정규화의 근본적인 구조를 변경하지 않고도 곡률 벌칙의 강도를 조절할 수 있다.

주요 기여

• 통합된 국소 전개: $f$-divergence 정규화의 국소 2차 전개를 유도하여, 이것이 파라미터 공간에서는 피셔 기하학을, 입력 공간에서는 풀백 메트릭을 결정하는 곡률 민감형 벌칙을 유도함을 입증한다.
• SAM과의 형식적 연결: 표준 확률적 손실 가정(특히 지수 가족에 대한 NLL) 하에서, divergence 정규화에 의해 유도된 기하학이 피셔/GGN/헤시안 관계를 통해 SAM의 2차 해석과 국소적으로 비교 가능함을 확립한다.
• 일반적 섭동 프레임워크: 분석은 입력 공간 섭동으로 확장되어, divergence 기반 정규화가 (일반적으로 파라미터 섭동을 통해 정의되는) 표준 SAM보다 더 일반적인 섭동 프레임워크를 제공하면서도 동일한 국소 민감도 해석을 유지함을 보여준다.
• 곡률 계수 유도: $\alpha$-skew JSD 제품군에 대해, 저자들은 국소 곡률 계수가 $\alpha(1-\alpha)$에 비례함을 명시적으로 유도하여, 대칭적인 설정($\alpha=1/2$)이 최대 곡률 벌칙을 제공하는 지점임을 식별한다.

결과
경험적 검증은 EfficientNet-B2 모델과 입력 공간 섭동(무작위 마스킹)을 사용하여 네 가지 벤치마크 데이터셋(CIFAR-10, Fashion-MNIST, EMNIST, Oxford-IIIT Pet)에서 수행되었다.

• 성능 추세: 모든 데이터셋에서 모델 성능(정확도 및 Negative Log-Likelihood로 측정)은 대칭 영역 $\alpha = 1/2$ 근처에서 일관되게 가장 좋았다. 이는 가장 강력한 국소 곡률 벌칙( $\alpha=1/2$에서 최대화됨)이 우수한 일반화를 가져온다는 이론적 예측과 일치한다.
• 손실 지형 시각화: CIFAR-10에 대한 ResNet-18의 손실 지형 시각화 결과, divergence 정규화로 학습된 모델은 베이스라인에 비해 더 평탄한 국소 최솟값(flat local minima)으로 수렴함을 보여주었다. 또한, 대칭 설정($\alpha=0.5$)에서 학습된 모델이 가장 평탄한 분지(basin)를 보였으며, 이는 가장 높은 곡률 벌칙에 해당한다. 반면, 비대칭 설정($\alpha=0.9$)은 중간 정도의 평탄함을 보였다.
• 통계적 지표: 손실 지형 통계(평균 손실, 헤시안 제곱의 트레이스, 최대 고유값)에 대한 정량적 분석은 대칭 설정인 $\alpha=0.5$가 베이스라인 및 고도로 비대칭적인 설정에 비해 가장 낮은 평균 손실과 감소된 곡률 지표를 나타냄을 확인했다.

의의 및 주장
본 논문은 국소 기하학적 관점에서 divergence 기반 정규화와 Sharpness-Aware Minimization 사이의 관계를 명확히 한다고 주장한다. 저자들은 두 방법이 동일한 목적 함수는 아니지만, 특정 확률적 가정이 충족될 때 공통된 곡률 기하학을 통해 국소적으로 정렬된다고 상정한다.

저자들은 자신들의 기여를 주로 분석적인 측면으로 겸허하게 규정한다. 그들은 divergence 기반 정규화, 피셔 기하학, 그리고 sharpness-aware 목적 함수가 언제 국소적으로 비교 가능해지는지를 명확히 한다. 경험적 연구는 모든 설정에서 SAM과 직접적인 실험적 동등성을 주장하기보다는, 입력 섭동 및 $\alpha$-skew JSD의 맥락 내에서 더 넓은 국소 곡률 관점을 검증하는 데 초점을 맞춘다. 이 연구는 유도된 국소 곡률의 강도가 divergence 기반 정규화의 효과를 결정하는 유의미한 요소이며, 테스트된 시나리오에서 대칭적인 영역이 최적의 성능을 제공한다는 점을 시사한다.