📊 statistics

Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise

이 논문은 중력 꼬리 분포를 가진 노이즈 하에서 스토캐스틱 프리컨디셔닝 SGD 의 최악의 경우 복잡도 이론을 정립하여, 클리핑이 수렴 실패를 초래할 수 있는 반면 정규화 (Normalization) 는 최적의 수렴 속도를 보장함을 증명함으로써 대규모 모델 학습에서 정규화가 선호되는 이론적 근거를 제시합니다.

원저자: Yuchen Fang, James Demmel, Javad Lavaei

게시일 2026-02-17

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuchen Fang, James Demmel, Javad Lavaei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🌊 비유: 폭풍우 속의 배와 항해사

머신러닝 모델을 훈련시키는 과정은 **거친 바다에서 배를 목적지 **(최적의 성능)와 같습니다.

**배 **(모델) 우리가 훈련시키고 싶은 AI 입니다.
**바다 **(데이터) 예측 불가능한 파도 (노이즈) 가 치는 곳입니다.
**항해사 **(알고리즘) 배를 조종하는 사람입니다.

이 논문은 두 가지 다른 항해 전략을 비교합니다.

1. 클리핑 (Clipping): "너무 크면 잘라버려!"

이 방법은 파도가 너무 거세면 (기울기가 너무 크면), 파도의 높이를 강제로 잘라버리는 것입니다.

상황: 파도가 100m 로 치솟으면, "너무 위험하니까 10m 로 줄여버려!"라고 말합니다.
문제점: 파도의 방향은 알 수 있지만, 파도가 얼마나 세게 치는지 그 '힘의 크기' 정보를 일부 잃어버리게 됩니다. 특히 배가 흔들리는 방향 (확률적 프리컨디셔너) 과 파도 (기울기) 가 서로 연결되어 있을 때, 이 '잘라내기'는 배를 오히려 더 불안정하게 만들 수 있습니다. 마치 파도 방향을 무시하고 무작위로 잘라내다 보니 배가 뒤집힐 수도 있는 상황입니다.

2. 정규화 (Normalization): "항상 일정하게 힘껏!"

이 방법은 파도의 크기가 어떻든 항상 일정하게 힘을 주어 방향만 따라가게 만드는 것입니다.

상황: 파도가 100m 이든 1m 이든, 항해사는 "파도 크기는 상관없어. 우리 배는 항상 **정해진 힘 **(1 단위)으로만 앞으로 나아가자"라고 결정합니다.
장점: 파도의 크기가 변해도 항해 방향의 '크기'는 일정하게 유지됩니다. 그래서 파도가 아무리 거세게 치더라도 배가 뒤집히지 않고, 안정적으로 목적지로 향할 수 있습니다.

🧐 이 논문이 발견한 핵심 사실

이 논문은 수학적으로 증명했습니다.

**단순한 바다 **(기존 SGD)에서는 두 방법 모두 어느 정도 잘 작동합니다.
**하지만, 복잡한 바다 **(SPSGD - 적응형/2 차 방법)에서는 상황이 완전히 바뀝니다.
- 현대의 AI(Adam, Shampoo 등) 는 바다의 흐름을 예측해서 배를 더 빠르게 움직이게 하려고 합니다 (프리컨디셔닝).
- 이때 클리핑을 쓰면, "파도 방향 예측"과 "파도 크기" 사이의 미묘한 연결 관계가 깨지면서 배가 목적지에 도달하지 못하고 헤매거나 가라앉을 수 있음을 증명했습니다. (최악의 경우 수렴 실패)
- 반면 정규화는 이 연결 관계를 끊어버리고 크기를 일정하게 유지하므로, 어떤 상황에서도 배가 안전하게 목적지에 도달함을 증명했습니다.

💡 왜 이게 중요한가요?

실제 구글, 메타 같은 곳에서 거대한 AI(대형 언어 모델 등) 를 훈련시킬 때, **정규화 **(LARS, LAMB 같은 방법)를 주로 사용합니다.
이전에는 "왜 클리핑보다 정규화가 더 잘 될까?"에 대한 명확한 이론적 이유가 부족했습니다. 하지만 이 논문은 **"정규화가 불규칙한 파도 **(Heavy-tailed noise)라고 설명해 주었습니다.

📝 한 줄 요약

"거친 바다에서 배를 조종할 때, 파도 크기를 무작위로 잘라내는 것 (클리핑) 보다, **항상 일정한 힘으로 방향만 유지하는 것 **(정규화)이 배를 안전하게 목적지에 도달시키는 가장 확실한 방법입니다."

이 논문은 현대 AI 가 왜 그렇게 많은 데이터를 처리하면서도 안정적으로 학습할 수 있는지, 그 비결 중 하나가 바로 **'정규화'**에 있다는 것을 수학적으로 증명해 준 것입니다.

이 논문은 Heavy-Tailed Noise(heavy-tailed noise, 즉 유한한 p-모멘트만 존재하는 중꼬리 잡음) 환경에서 확률적 전처리 확률적 경사 하강법 (Stochastically Preconditioned SGD, SPSGD) 및 그 가속화 변형들의 최악의 경우 복잡도 이론을 제시합니다. 특히, Adam, RMSProp, Shampoo 와 같은 널리 사용되는 적응형 최적화 방법들이 포함되는 SPSGD 설정에서 **정규화 (Normalization)**와 **클리핑 (Clipping)**의 성능 차이를 이론적으로 규명합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

배경: 현대 머신러닝 (이미지 분류, 대규모 언어 모델, 강화학습 등) 에서 경사도 추정의 잡음은 종종 유한한 분산을 가지지 않는 Heavy-Tailed 분포를 따릅니다. 이러한 환경에서는 기존 SGD 나 모멘텀 SGD 가 불안정하거나 발산할 수 있습니다.
목표: Heavy-Tailed 잡음 하에서 SPSGD 를 안정화시키는 두 가지 주요 기법인 Gradient Clipping과 Gradient Normalization의 이론적 성능을 비교 분석합니다.
핵심 질문: Vanilla SGD 에서는 두 기법이 유사한 수렴률을 보이지만, 전처리 행렬 (Preconditioner, $D_k$ ) 이 포함된 SPSGD 설정에서는 왜 정규화가 클리핑보다 선호되는가?

2. 방법론 (Methodology)

통합 업데이트 규칙: 저자들은 SPSGD 를 다음과 같은 일반적인 업데이트 규칙으로 모델링합니다.
$x_{k+1} = x_k - \eta D_k m_k$
여기서 $D_k$ 는 과거 경사도나 곡률 정보에 의존하는 대칭 양정치 (Symmetric Positive Definite) 확률적 전처리 행렬이며, $m_k$ 는 모멘텀 항입니다. 이 규칙은 AdaGrad, Adam, RMSProp, K-FAC, Shampoo, 확률적 뉴턴 방법 등을 포괄합니다.
가정:
- 목적 함수는 $L$ -스무스 (L-smooth) 합니다.
- 경사도 잡음은 $p$ -모멘트 ( $1 < p \le 2$ ) 가 유한합니다 (Heavy-Tailed Noise).
- 전처리 행렬 $D_k$ 의 조건수 (Condition Number) 는 확률적으로 유계입니다.
분석 도구:
- 벡터 값 버클러 부등식 (Vector-valued Burkholder-type inequality): Heavy-Tailed 잡음 하에서 모멘텀 항의 오차 항을 바인딩하기 위해 개발된 새로운 부등식입니다. 이는 기존 스칼라 결과의 일반화이며 더 날카로운 상수를 제공합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 정규화 (Normalization) 의 강건성

수렴 보장: SPSGD 에 단계별 정규화 (Step Normalization) 를 적용할 경우, Heavy-Tailed 잡음 하에서도 1 차 정류점 (First-order stationary point) 으로 수렴함이 증명되었습니다.
최적 수렴률:
- 문제 파라미터 (예: $L, \sigma$ ) 를 알고 있는 경우: $O(T^{-\frac{p-1}{3p-2}})$
- 문제 파라미터를 모르는 경우: $O(T^{-\frac{p-1}{2p}})$
- 이 수렴률은 Vanilla Normalized SGD (NSGD) 의 최적 하한선과 일치하며, 전처리 행렬 $D_k$ 의 구조에 대한 추가적인 가정이 없어도 성립하는 통일된 상한선입니다.
기작: 정규화는 업데이트 크기를 고정된 구 (sphere) 표면으로 투영하여, 전처리 행렬 $D_k$ 의 크기 변동 (magnitude noise) 이 업데이트 단계에 전파되는 것을 차단합니다.

B. 클리핑 (Clipping) 의 실패 가능성

최악의 경우 발산: SPSGD 에 단계별 클리핑을 적용할 경우, 최악의 경우 (Worst-case) 에 수렴하지 않을 수 있음이 증명되었습니다.
실패 원인: 전처리 행렬 $D_k$ $D_{k}$ 와 경사도 추정치 $\bar{g}_k$ $\overset{g}{ˉ}_{k}$ 사이의 통계적 의존성 (Statistical Dependence) 때문입니다.
- 클리핑은 $D_k$ 와 $\bar{g}_k$ 가 독립적인 Vanilla SGD 에서는 잘 작동하지만, $D_k$ 가 $\bar{g}_k$ 에 의존하는 SPSGD 에서는 클리핑된 잡음과 $D_k$ 사이에 **지속적인 공분산 (Persistent Covariance)**이 발생합니다.
- 이 공분산 항은 기대값이 0 이 되지 않아 (Bias 발생), 최적 수렴률을 달성하기 위해 필요한 조건을 위반하고 알고리즘이 발산하거나 수렴하지 않게 만듭니다.
기하학적 관점: 클리핑은 반경이 확장되는 구 (ball) 내부에 업데이트를 허용하는데, 이 내부에서 $D_k$ 와 $\bar{g}_k$ 의 의존성으로 인한 편향이 제거되지 않습니다. 반면 정규화는 단위 구 표면으로 강제 투영하여 이러한 의존성을 효과적으로 제거합니다.

4. 의의 및 시사점 (Significance)

이론 - 실무 간극 해소: 대규모 모델 학습 (LARS, LAMB 등) 에서 정규화가 클리핑보다 선호되는 현상에 대한 강력한 이론적 근거를 제공합니다. 기존에는 두 기법이 이론적으로 동등하다고 여겨졌으나, 전처리 (Preconditioning) 가 개입된 현대적 최적화 설정에서는 근본적인 차이가 있음을 보였습니다.
알고리즘 설계 가이드: Heavy-Tailed 잡음이 존재하는 환경에서 Adam, Shampoo, K-FAC 등의 적응형 최적화 알고리즘을 설계하거나 변형할 때, 클리핑 대신 정규화를 사용해야 안정성을 보장할 수 있음을 시사합니다.
새로운 수학적 도구: 벡터 값 버클러 부등식은 Heavy-Tailed 잡음 하의 확률적 최적화 알고리즘 분석에 독립적으로 유용한 도구가 될 수 있습니다.

요약

이 논문은 Heavy-Tailed 잡음 환경에서 **확률적 전처리 SGD (SPSGD)**를 분석하여, **정규화 (Normalization)**는 전처리 행렬과 경사도 간의 의존성으로 인한 편향을 제거하여 최적 수렴률을 보장하지만, **클리핑 (Clipping)**은 이러한 의존성으로 인해 최악의 경우 수렴이 실패할 수 있음을 증명했습니다. 이는 현대 대규모 머신러닝에서 정규화 기반 최적화 기법이 널리 사용되는 이유를 이론적으로 설명하는 중요한 성과입니다.