🤖 machine learning

Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization

이 논문은 그래디언트 제어 메커니즘이 없는 헤비 테일드 노이즈(heavy-tailed noise) 환경에서 모멘텀을 적용한 바닐라 SGD에 대한 최초의 포괄적인 수렴 분석을 제공하며, 해당 알고리즘이 수렴하기는 하지만 그 수렴 속도가 특화된 클리핑(clipped) 또는 정규화(normalized) 변형 모델들에 비해 본질적으로 열등하다는 점을 밝히고 있다.

원저자: Ryusei Yamada, Naoki Sato, Hideaki Iiduka

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ryusei Yamada, Naoki Sato, Hideaki Iiduka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

안개가 자욱한 거대한 계곡에서 가장 낮은 지점을 찾으려고 노력하고 있다고 상상해 보십시오. 이것이 바로 컴퓨터 알고리즘이 데이터로부터 "학습"하는 방식입니다. 그들은 오차를 최소화하기 위해 아래쪽으로 발걸음을 옮깁니다. 이 계곡에서 가장 유명한 등산가는 **확률적 경사 하강법(Stochastic Gradient Descent, SGD)**이라 불립니다. 보통 이 등산가는 매우 신뢰할 만하지만, 때때로 지형이 이상하게 울퉁불퉁해질 때가 있습니다. 딥러닝의 세계에서 이러한 울퉁불퉁함은 "헤비 테일 노이즈(heavy-tailed noise)"라고 불립니다. 이것은 일반적인 작은 돌멩이들보다 훨씬 더 크고, 갑자기 나타나는 거대하고 예측 불가능한 구덩이와 같습니다.

오랫동안 전문가들은 이 거대한 구덩이들로부터 살아남는 유일한 방법은 특수 부츠를 신는 것이라고 생각했습니다. 이 부츠는 그래디언트 클리핑(gradient clipping) 또는 **정규화(normalization)**라고 불립니다. 이것들은 안전 장치처럼 작용하여, 지형이 아무리 거칠더라도 등산가가 내딛는 발걸음의 크기를 강제로 제한합니다. 일반적인 믿음은 이랬습니다: "만약 당신이 발걸음을 클리핑하거나 정규화하지 않는다면, 절벽 아래로 떨어질 것이다."

하지만 이 논문에서 메이지 대학교의 야마다 류세이, 사토 나오키, 이이두카 히데아키 연구진은 대담한 질문을 던졌습니다: "그냥 안전 장치 없이 등산가가 걷게 두면 어떻게 될까?" 구체적으로, 그들은 "모멘텀을 가진 바닐라 SGD(Vanilla SGD with Momentum)"를 살펴보았습니다. "모멘텀"은 등산가에게 약간의 달리기 시작을 주는 것과 같습니다. 즉, 이전 단계의 속도를 유지하여 작은 굴곡들을 타고 넘어갈 수 있게 도와줍니다.

주요 발견: 등산가는 살아남는다 (하지만 조금 비틀거린다)

이 논문의 주요 결과는 일종의 반전입니다. 모멘텀을 가진 바닐라 SGD는 클리핑이나 정규화 없이도 헤비 테일 노이즈에서 실제로 살아남습니다.

저자들은 이 "벌거벗은" 등산가가 절벽 아래로 떨어지지 않는다는 것을 수학적으로 증명했습니다. 그들은 노이즈가 매우 거칠고 예측 불가능함에도 불구하고, 이 알고리즘이 다음 세 가지 유형의 지형에서 여전히 수렴(바닥을 찾음)한다는 것을 보여주었습니다:

강볼록(Strongly Convex): 매끄럽고 예쁜 그릇 모양.
볼록(Convex): 더 평평하고 넓은 계곡.
비볼록(Nonconvex): 작은 굴곡과 언덕이 많은 복잡한 지형.

하지만 한 가지 조건이 있습니다. 등산가는 살아남기는 하지만, 안전 장치를 착용한 버전만큼 빠르게 달리지 못합니다. 논문은 명시적으로 클리핑이나 정규화된 버전보다 수렴 속도(바닥에 도달하는 속도)가 열등하다고 밝히고 있습니다. 안전 장치는 여전히 속도를 위한 "골드 스탠다드(표준)"입니다. 바닐라 방식은 결국 목적지에 도달하기는 하지만 시간이 좀 더 걸리는, 튼튼하고 신뢰할 만한 보행자에 가깝습니다.

비밀 재료: "매끄러움"의 규칙

연구진은 단순히 추측한 것이 아니라, 이를 증명하기 위해 새로운 수학적 지도를 만들었습니다. 기존의 지도들은 지형이 완벽하게 매끄럽다(이를 L-smoothness라고 함)고 가정했지만, 이는 노이즈가 너무 거칠어지면 무너집니다.

대신, 그들은 **횔더 연속성(Hölder continuity)**이라는 더 유연한 개념을 사용했습니다. 이것은 지형을 완벽하게 매끄러운 상태가 아니라 "대략적으로 매끄러운" 상태로 묘사하는 것입니다. 논문은 생존을 위한 결정적인 규칙인 $\nu + 1 \le p$ 를 도입합니다.

** $\nu$ (뉴)**는 지형이 얼마나 "거친지"(함수의 매끄러움)를 나타냅니다.
$p$ 는 노이즈가 얼마나 거친지(헤비 테일 분포의 "꼬리 지수")를 나타냅니다.

논문은 만약 지형이 노이즈의 거칠기에 비해 너무 거칠지 않다면(구체적으로, 매끄러움 파라미터에 1을 더한 값이 노이즈의 꼬리 지수보다 작거나 같다면), 등산가가 해낼 수 있음을 증명합니다. 만약 이 조건이 깨지면, 등산가는 정말로 길을 잃거나 밖으로 밀려날 수 있습니다.

이 논문이 배제하는 것들

이 논문은 자신이 무엇을 말하는 것이 아닌지를 매우 명확히 하고 있습니다:

클리핑이나 정규화가 쓸모없다고 말하는 것이 아닙니다. 사실, 그 방법들이 여전히 더 빠르고 효율적이라고 주장합니다.
바닐라 SGD가 모든 것에 최선이라고 주장하는 것도 아닙니다. 그것은 단지, 이전에는 불가능하다고 생각되었던 "추가적인 안전 장치 없는 상태"에서도 그것이 작동한다는 것을 증명할 뿐입니다.
표준적인 "L-smoothness"(완벽한 매끄러움)가 여기서 작동한다고 제안하는 것도 아닙니다. 논문은 헤비 테일 노이즈 하에서는 완벽한 매끄러움이라는 표준 가정이 수학적으로 양립할 수 없으며, 더 유연한 횔더 매끄러움(Hölder smoothness)이 올바른 관점이라고 주장합니다.

얼마나 확신하는가?

저자들은 자신들의 이론적 결과에 대해 매우 자신감이 있습니다. 그들은 단순히 이렇게 일어날 수도 있다고 제안한 것이 아니라, 세 가지 유형의 지형(강볼록, 볼록, 비볼록) 모두에 대해 엄밀한 수학으로 이를 증명했습니다.

또한 그들은 수학적 모델을 시뮬레이션으로 뒷받침했습니다. 그들은 가상의 지형을 만들고, 노이즈가 멱법칙(power law)을 따르며 꼬리 지수 $\alpha$ 가 1.1에서 2.0 사이인 특정 분포를 사용하는 합성 헤비 테일 노이즈를 주입했습니다.

이 시뮬레이션에서, 그들은 지형의 거칠기( $\nu$ )와 노이즈의 거칠기( $\alpha$ )의 100가지 조합을 테스트했습니다.
결과는 명확한 패턴을 보여주었습니다: 등산가는 $\nu + 1 \le \alpha$ 라는 조건이 충족될 때만 성공했습니다.
심지어 이들은 실제 작업인 WikiText-2 데이터셋을 이용한 Transformer-XL 모델 학습에도 이 모델을 테스트했습니다. 그 결과, 모멘텀을 가진 바닐라 SGD가 클리핑 없이도 수렴한다는 것을 발견했습니다. 다만 정규화된 버전이 여전히 더 빨랐습니다.

요약

폭풍 속에서 하이킹을 하고 있다고 상상해 보십시오. 모두가 당신에게 "안전 장치를 착용하지 않으면 죽을 것이다"라고 말합니다. 이 논문은 "사실, 지형이 얼마나 거친지, 그리고 바람이 얼마나 거친지를 정확히 안다면 안전 장치 없이도 살아남을 수 있다"라고 말합니다.

모멘텀을 가진 바닐라 등산가는 우리가 생각했던 것보다 더 강합니다. 그들은 특별한 기술 없이도 헤비 테일 노이즈를 견뎌낼 수 있습니다. 하지만, 경주에서 이기고 싶다면 안전 장치(클리핑/정규화)가 여전히 더 나은 선택입니다. 이 논문은 우리가 왜 살아남을 수 있는지 이해하기 위해 더 유연한 지도(��elder smoothness)를 제공하며, 도움 없이 건너기에 지형이 너무 위험해지는 정확한 경계선을 보여줍니다.

기술 요약: 헤비 테일 노이즈 환경에서 생존하는 모멘텀을 적용한 바닐라 SGD

문제 정의

현대 최적화는 확률적 경사 하강법(SGD)과 그 모멘텀 기반 변형들에 크게 의존하고 있다. 그러나 표준적인 수렴 분석은 일반적으로 확률적 노이즈가 유계된 분산(즉, 유한한 2차 모멘트)을 가진다고 가정한다. 최근 딥러닝 및 강화 학습에서의 경험적 증거들은 확률적 노이즈가 종종 헤비 테일(heavy-tailed) 분포를 보이며, 이 경우 분산이 무한할 수 있고 오직 낮은 차수의 모멘트( $p \in (1, 2]$ )만이 유한하다는 것을 시사한다.

이러한 헤비 테일 조건 하에서, 바닐라 SGD는 수렴에 실패하는 것으로 알려져 있다. 결과적으로, 안정성을 확보하기 위해 그래디언트 클리핑(gradient clipping)이나 정규화(normalization)와 같은 특수한 수정 기법을 사용하는 것이 일반적인 접근 방식이 되었다. 본 논문은 근본적인 질문을 조사한다: 그래디언트 제어 메커니즘(클리핑 또는 정규화)을 사용하지 않고도, 모멘텀을 적용한 바닐라 SGD가 헤비 테일 노이즈 환경에서 수렴할 수 있는가?

방법론

저자들은 $L$ -매끄러움(L-smoothness, 리프시츠 연속적인 그래디언트를 함의) 가정과 유계된 분산 가정을 탈피하는 이론적 프레임워크를 제안한다. 대신, 분석은 다음 두 가지 핵심 가정에 의존한다:

그래디언트의 횔더 연속성 (가정 2.1): 그래디언트 $\nabla f$ 는 파라미터 $\nu \in (0, 1]$ 를 갖는 횔더 연속(Hölder continuous)이라고 가정된다. 이는 $L$ -매끄러움( $\nu=1$ 인 경우)을 일반화하며, $\|y-x\|^2$ 대신 $\|y-x\|^{\nu+1}$ 항을 포함하는 일반화된 하강 르마(descent lemma)를 사용할 수 있게 한다.
노이즈의 유한한 $p$ 차 모멘트 (가정 2.2): 확률적 노이즈는 $p \in (1, 2]$ 인 $p$ 차 모멘트가 유한하다고 가정되며, 이는 $p < 2$ 일 때 무한한 분산을 허용한다.

주요 기술적 도구:

일반화된 하강 르마 (Generalized Descent Lemma): 횔더 연속성을 활용하여, 저자들은 함수 감소량이 제곱 노름(squared norm) 대신 스텝 사이즈의 $(\nu+1)$ 제곱과 그래디언트 노름에 의존하는 상한을 도출한다.
모멘트 경계 (Moment Bounds): 분석은 확률적 그래디언트의 $(\nu+1)$ 제곱의 기댓값을 제한하기 위해 부등식(특히 Lemma 2.2 및 Lemma 2.4)을 활용한다. 여기서 도출된 결정적인 제약 조건은 $\nu + 1 \le p$ 이다. 이 조건은 수렴에 필요한 모멘트 경계가 유효함을 보장한다.
리야푸노프 함수 및 보조 수열 (Lyapunov Functions and Auxiliary Sequences): 모멘텀의 경우, 저자들은 모멘텀 항을 그래디언트 노이즈로부터 분리하기 위해 보조 수열( $z_t$ )과 리야푸노프 함수를 사용하여, 강볼록(strongly convex), 볼록(convex), 비볼록(nonconvex) 목적 함수에 대한 수렴 증식을 용이하게 한다.

주요 기여

본 논문은 그래디언트 클리핑이나 정규화 없이 헤비 테일 노이즈 하에서 모멘텀을 적용한 바닐라 SGD에 대한 최초의 종합적인 수렴 분석을 제공한다. 기여도는 목적 함수의 유형별로 분류된다:

강볼록 함수 (Strongly Convex Functions):
- 바닐라 SGD와 모멘텀 적용 바닐라 SGD 모두에 대해 기대값에서의 수렴을 증명한다.
- $\nu + 1 = p$ 일 때 바닐라 SGD의 수렴 속도가 $O(T^{-(p-1)})$ 임을 확립한다.
- 모멘텀의 경우, $O((1-\eta)^T + \eta^p)$ 의 속도를 도출하여 $p=2$ 일 때의 고전적 결과를 회복한다.
볼록 함수 (Convex Functions):
- 두 변형 모두에 대해 기대값에서의 수렴을 확립한다.
- 바닐라 SGD는 $O(\frac{\log T}{T^{(p-1)/p}})$ 의 속도를 달성한다.
- 모멘텀 기반 SGD는 $O(\frac{1}{\eta T} + \eta^{p-1})$ 의 속도를 달성한다.
비볼록 함수 (Nonconvex Functions):
- 그래디언트 노름 $\mathbb{E}[\|\nabla f(x_t)\|]$ 에 대한 기대값 수렴을 증명한다.
- 바닐라 SGD는 $O(\frac{\log T}{T^{(p-1)/p}})$ 를 달성한다.
- 모멘텀 기반 SGD는 $p$ 를 알 때 $O(T^{-\frac{p-1}{2p}})$ , $p$ 를 모를 때 $O(T^{-\frac{p-1}{4}})$ 를 달성한다.
- 비교: 저자들은 이러한 속도가 정규화된(normalized) SGD with momentum(이는 $O(T^{-\frac{p-1}{3p-2}})$ 를 달성함)보다 약간 열등하다고 언급하며, 이는 바닐라 방식이 명시적인 그래디언트 제어 없이도 수렴한다는 점을 보여주는 동시에, 더 느린 속도로 수행됨을 입증한다.

실험 결과

이론적 결과는 합성 함수와 실제 작업(real-world task)을 통해 검증되었다:

합성 함수 (Synthetic Functions): 저자들은 다양한 $\nu$ $ν$ 값(횔더 파라미터)과 $\alpha$ $α$ 값(테일 지수, $p < \alpha$ $p < α$ 관계)의 조합을 테스트했다.
- 결정적 조건: 실험은 $\nu + 1 \le \alpha$ 조건이 안정적인 수렴을 위해 필요함을 경험적으로 확인시켜 준다. 이 조건이 위반될 때(즉, 파라미터 공간의 좌상단 영역), 알고리즘은 수렴에 실패한다.
- 안정성: 더 작은 $\nu$ 값(더 넓은 횄더 매끄러움)은 더 헤비한 테일(작은 $\alpha$ ) 환경에서도 수렴을 가능하게 하는 반면, 표준 $L$ -매끄러움( $\nu=1$ )은 $\alpha < 2$ 일 때 실패한다.
Transformer-XL을 이용한 WikiText-2: 언어 모델링 작업 실험을 통해, 모멘텀을 적용한 바닐라 SGD가 클리핑이나 정규화 없이도 수렴함을 확인했다. 그러나 정규화된 SGD with momentum이 더 낮은 손실(loss)에 더 빠르게 도달했는데, 이는 특수한 기법들이 우수한 속도를 제공한다는 이론적 결과와 일치한다.

의의 및 주장

본 논문은 다음과 같은 의의를 주장한다:

근본적인 기준점 (Fundamental Baseline): 모멘텀을 적용한 바닐라 SGD가 클리핑이나 정규화와 같은 임의적인 그래디언트 제어 메커니즘 없이도 기대값 측면에서 수렴함으로써, 헤비 테일 노이즈에 대한 내재적 강건성을 가지고 있음을 확립한다. 이는 표준 옵티마이저의 한계를 이해하기 위한 필수적인 이론적 기준을 제공한다.
이론적 프레임워크: $L$ -매끄러움에서 횔더 매끄러움으로 전환함으로써, 본 논문은 헤비 테일 노이즈 하에서의 확률적 최적화 분석을 위한 더 일반적이고 현실적인 프레임워크를 제시한다. 이는 표준 $L$ -매끄러움과 엄격한 헤비 테일 노이즈( $p < 2$ ) 사이의 부조화를 강조한다.
내재적 한계: 수렴을 증명하는 동시에, 결과는 내재적 한계 또한 드러낸다. 바닐라 방식의 수렴 속도는 클리핑되거나 정규화된 변형들에 비해 최적은 아니며, 이는 바닐라 SGD가 헤비 테일 노이즈에서 생존할 수는 있지만, 최적의 효율성을 위해서는 여전히 특수한 수정이 필요함을 시사한다.
조건 $\nu + 1 \le p$ : 본 연구는 함수의 매끄러움과 노이즈의 테일 지수 사이의 결정적인 정렬 조건으로서 이 조건을 식별하였으며, 이는 이론 및 경험적 관찰 모두에 의해 뒷받받된다.

요약하자면, 본 논문은 함수의 매끄러움과 노이즈의 테일 지수가 특정 제약 조건을 만족하는 한, 모멘텀을 적용한 바닐라 SGD가 이론적으로 타당함을 입증하며, 이는 그래디언트 제어가 수렴을 위해 반드시 필요하다는 통념에 도전하는 동시에, 그러한 제어를 생략했을 때 발생하는 성능 비용을 정량화한다.