기술 요약: 안정성의 가장자리(Edge of Stability)에서의 상충하는 편향: 노름(Norm) 대 샤프니스(Sharpness) 정규화

문제 정의

과잉 매개변수화된 신경망의 놀라운 일반화 능력은 흔히 경사 하강법(Gradient Descent, GD)과 같은 최적화 알고리즘의 암묵적 편향(implicit biases) 덕분이라고 여겨집니다. 이를 설명하기 위해 두 가지 지배적인 이론이 등장했습니다:

1. 노름 최소화(Norm Minimization): 학습률이 소멸하는 극한(또는 경사 흐름, Gradient Flow)에서, GD는 매개변수의 노름(예: $\ell_1$ 또는 $\ell_2$ 노름)을 최소화하는 해를 향한 암묵적 편향을 보입니다. 이는 선형 및 대각 신경망 설정에서 특히 두드러집니다.
2. 샤프니스 최소화(Sharpness Minimization): 유한하고 충분히 커서 손실 함수의 비단조적 거동을 유발하는 학습률을 사용하는 "안정성의 가장자리(Edge of Stability, EoS)" 영역에서, GD는 낮은 샤프니스(구체적으로 헤시안(Hessian)의 스펙트럼 노름이 $2/\eta$에 의해 제한되는 해)를 향해 수렴하는 것으로 관찰됩니다.

본 연구가 다루는 핵심 문제는 이러한 두 가지 형태의 암묵적 정규화가 종종 개별적으로 분석된다는 점입니다. 실제 사용되는 유한하고 무시할 수 없는 학습률로 GD를 훈련할 때, 이들이 어떻게 상호작용하는지는 여전히 불분명합니다. 구체적으로, 단일한 편향(노름 또는 샤프니스 중 하나)만으로 일반화를 설명하기에 충분한가, 아니면 이들 사이에 역동적인 트레이드오프(trade-off)가 존재하는가?

방법론

저자들은 광범위한 설정에 걸친 심층적인 경험적 분석과 단순화된 모델에 대한 엄밀한 이론적 분석을 결합한 이중 접근 방식을 채택했습니다.

경험적 분석

저자들은 학습률 $\eta$의 효과를 격리하기 위해 다양한 구성에 걸쳐 체계적인 실험을 수행했습니다:

• 데이터셋: MNIST 및 CIFAR-10 (5k 및 전체 세트 모두 포함).
• 아키텍처: 다양한 너비와 깊이를 가진 완전 연결 신경망(FCN), 합성곱 신경망(CNN), ResNet, 그리고 비전 트랜스포머(ViT).
• 하이퍼파라미터: 임계 전이 지점 주변의 미세한 그리드와 더 큰 학습률을 위한 조밀하지 않은 그리드를 포함한 체계적인 학습률 탐색.
• 지표: 최종 매개변수 노름($\ell_1, \ell_2$, 핵 노름(nuclear norm)), 훈련 손실의 샤프니스(헤시안의 연산자 노름), 그리고 테스트 오차를 추적합니다.
• 제어 변수: 무작위성을 제거하기 위해 풀 배치(full-batch) GD를 사용하고, 비교 가능성을 보장하기 위해 고정된 초기화를 사용하며, 다양한 손실 함수(MSE, Cross-Entropy) 및 활성화 함수(ReLU, tanh)를 사용합니다.

이론적 분석

기계적 통찰력을 제공하기 위해, 저자들은 공유 가중치를 가진 단일 데이터 포인트에 대한 제곱 손실(square loss)을 사용하는 얕은 대각 선형 네트워크(shallow diagonal linear network) 회귀 작업을 분석합니다.

• 그들은 훈련 손실이 0인 해 공간(solution manifold)을 명시적으로 규명합니다.
• 저자들은 매개변수 노름을 최소화하는 해와 샤프니스를 최소화하는 해를 각각 도출합니다.
• 이 두 가지 구별된 해의 일반화 오차(risk)를 분석하고, 다양한 학습률 하에서의 실제 GD 수렴 동작과 비교합니다.

주요 기여

1. 학습률 의존적 트레이드오프의 발견

본 논문은 학습률이 두 가지 뚜렷한 암묵적 편향 사이를 보간하는 제어 노브(control knob) 역할을 한다는 것을 경험적으로 입증합니다:

• 흐름 정렬 영역 (Flow-Aligned Regime, $\eta < \eta_c$): 학습률이 임계값 $\eta_c \approx 2/s_{GF}$ (여기서 $s_{GF}$는 경사 흐름 궤적의 최대 샤프니스)보다 낮을 때, GD는 경사 흐름(Gradient Flow)과 유사하게 동작합니다. 이때 매개변수 노름과 샤프니스는 모두 상대적으로 일정하게 유지됩니다.
• 안정성의 가장자리 영역 (Edge-of-Stability Regime, $\eta > \eta_c$): 학습률이 $\eta_c$를 초과하면 시스템은 EoS 영역에 진입합니다. 여기서 급격한 위상 전이가 발생합니다: 모델의 최종 샤프니스는 $2/\eta$를 따라 쌍곡선 형태로 감소하는 반면, 매개변수 노름은 대략 선형적으로 증가합니다.
• 결론: 내재적인 트레이드오프가 존재합니다. 단순히 학습률을 조정하는 것만으로는 노름과 샤프니스를 동시에 최소화할 수 없습니다.

2. 일반화는 단일 편향에 대해 단조적이지 않음

저자들은 "최적의" 일반화 성능이 학습률 스펙트럼의 어느 한 극단과 반드시 일치하지는 않는다는 것을 보여줍니다:

• 낮은 학습률: 최소 노름(흐름 정렬)을 가진 해가 반드시 가장 낮은 테스트 오차를 산출하는 것은 아닙니다.
• 높은 학습률: 최소 샤프니스(EoS)를 가진 해 또한 노름이 너무 커질 경우 최적이 아닌 일반화 결과를 초래할 수 있습니다.
• U자형 곡선: 많은 설정에서 테스트 오차는 학습률에 대해 U자형 곡선을 따릅니다. 최적의 일반화는 낮은 노름과 낮은 샤프니스에 대한 편향이 균형을 이루는 중간 학습률에서 달성됩니다.

3. 이론적 반례

대각 선형 네트워크 모델을 사용하여 저자들은 다음을 증명합니다:

• 노름을 최소화하는 매개변수 집합과 샤프니스를 최소화하는 매개변수 집합은 기하학적으로 구별되며 종종 서로 겹치지 않습니다.
• 노름 최소화자나 샤프니스 최소화자 모두 반드시 기대 일반화 오차를 가장 낮게 달성하는 것은 아닙니다.
• 학습률은 GD가 어떤 해 공간에 수렴할지를 제어하며, 결과적으로 상충하는 목적을 균형 있게 조절하는 정규화 하이퍼파라미터 역할을 합니다.

결과

• 위상 전이: 흐름 정렬 동작에서 EoS 동작으로의 전이는 날카로우며, 다양한 아키텍처, 데이터셋, 손실 함수에 걸쳐 $\eta_c \approx 2/ \text{s}_{GF}$에서 일관되게 발생합니다.
• 강건성: 증가하는 노름과 감소하는 샤프니스 사이의 관찰된 트레이드오프는 다양한 노름($\ell_1, \ell_2$, 핵 노름) 및 샤프니스 측정 방식(최악의 경우, 평균적인 경우, 적응형)에 대해 유효합니다.
• 최적화 역학: EoS 영역에서 훈련 궤적은 샤프니스 경계인 $2/\eta$ 주변에서 진동하지만, 매개변수 노름은 시간에 따라 단조 증가하며, 이는 궤적이 더 높은 복잡성을 가진 영역을 방문함을 나타냅니다.
• 분류 vs 회귀: 많은 회귀 및 분류 설정에서 U자형 일반화 곡선이 두드러지지만, 저자들은 특정 분류 시나리오(예: Cross-Entropy 손실을 사용하는 경우)에서는 관계가 더 복잡할 수 있으나, 노름과 샤프니스 사이의 트레이드오프는 여전히 존재한다고 언급합니다.

의의 및 주장

본 논문은 암묵적 정규화를 단일하고 정적인 편향으로 보는 기존의 견해가 딥러닝의 일반화 성능을 설명하기에는 불충분하다고 주장합니다.

• 단일 편향을 넘어: GD 기반 훈련의 성공은 (작은 학습률 이론이 시사하는 바와 같이) 노름 최소화만으로도, 혹은 (EoS 이론이 시사하는 바와 같이) 샤프니스 최소화만으로도 설명될 수 없습니다.
• 역동적 상호작용: 좋은 일반화는 최적화 역학에 의해 매개된다 이 두 가지 상충하는 편향 사이의 역동적인 트레이드오프로부터 발생합니다.
• 실무적 함의: 학습률은 단순히 수렴 속도를 결정하는 파라미터가 아니라, 최종 모델의 구조적 특성(복잡성 대 평탄도)을 결정하는 핵심적인 정규화 하이퍼파라미터로 간주되어야 합니다.
• 한계: 저자들은 일반적인 비선형 네트워크에서 암묵적 편향을 규명하는 것의 어려움으로 인해 이론적 결과가 단순화된 모델(대각 선형 네트워크)에 국한됨을 인정합니다. 그러나 다양한 아키텍처에서 관찰된 결과의 일관성은 이 현상이 일반적임을 시사합니다.

요약하자면, 본 연구는 개별적인 요소로 분리하여 분석하기보다 최적화 역학에 의해 형성되는 여러 편향 간의 상호작용을 고려하는 더 넓은 관점의 암묵적 정규화를 제안합니다.