🤖 machine learning

Flatland: The Adventures of Gradient Descent with Large Step Sizes

이 논문은 안정성의 경계에서 작동하는 적응형 방법을 제안함으로써 비-L-매끄러운 함수에 대한 큰 스텝 사이즈를 가진 경사 하강법의 수렴이라는 미해결 문제를 다루며, 훈련이 자기 안정화를 통해 약간 더 가파른 골짜기로 진입하도록 허용하는 것이 평탄한 영역에 조기에 도달하는 것보다 수렴과 일반화 성능을 향상시킬 수 있음을 입증한다.

원저자: Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 광활하고 안개가 자욱한 산맥에서 가장 낮은 지점을 찾으려고 노력하고 있다고 상상해 보십시오. 이 산맥은 신경망의 "손실 함수 지형(loss landscape)"을 나타냅니다. 당신의 목표는 가장 낮은 곳(최적의 해답)에 최대한 빨리 도달하는 것입니다.

딥러닝의 세계에서, 이 산을 내려가는 데 사용하는 도구는 **경사 하강법(Gradient Descent)**이라고 불립니다. 이것은 마치 항상 가장 가파르게 내려가는 방향으로 발걸음을 옮기는 등산객과 같습니다. 그 발걸음의 크기는 학습률(learning rate) 또는 **보폭(step size)**입니다.

오랫동안 연구자들은 작고 신중한 발걸음을 내딛는 것이 낭떠러지에서 발을 헛디뎌 떨어지지 않는 가장 안전한 방법이라고 믿었습니다. 하지만 최근의 한 관찰에 따르면, 때로는 거대하고 무모한 발걸음을 내딛는 것이 실제로 더 나은, 더 평탄한 골짜기를 찾는 데 도움이 되어 더 똑똑한 AI를 만들어낸다는 사실이 밝혀졌습니다. 하지만 여기에는 함정이 있습니다. 만약 발걸음이 너무 크다면, 당신은 격렬하게 요동치며 멈추지 못하거나, 바닥처럼 보이지만 실제로는 아닌 이상한 평평한 지점에 갇혀버릴 수도 있습니다.

**"Flatland: Large Step Sizes와 함께하는 경사 하강법의 모험(Flatland: The Adventures of Gradient Descent with Large Step Sizes)"**이라는 제목의 이 논문은, 세상의 끝에서 떨어지지 않으면서도 그 거대한 발걸음을 내디딜 수 있는 등산객들을 위한 가이드북과 같습니다.

문제점: "안정성의 가장자리(The Edge of Stability)"

저자들은 보폭이 딱 적당히 "클" 때, 등산객이 진동하기 시작한다는 점을 발견했습니다. 등산객은 골짜기를 따라 곧게 내려가는 대신, 골짜기의 양옆을 왔다 갔다 하며 튀어 오릅니다. 이것을 **안정성의 가장자리(Edge of Stability, EoS)**라고 부릅니다.

이것은 마치 하프파이프 위의 스케이트보더와 같습니다. 너무 느리면 중간에 멈춰버립니다. 하지만 딱 적당한 속도로 가면, 앞뒤로 움직이며 운동량을 얻고 결국 바닥의 가장 매끄럽고 평탄한 부분을 찾아내게 됩니다. 논문은 이 "가장자리"에 머무는 것이 AI 학습에 실제로 도움이 된다고 주장합니다.

해결책: 스마트한 나침반 (알고리즘)

여기서 큰 질문은 이것입니다: 추락하지 않으면서도 얼마나 큰 발걸음이 "너무 큰" 것인지 어떻게 알 수 있을까?

저자들은 자동으로 보폭을 조절하는 새로운 "나침반"(알리고리즘)을 만들었습니다. 단순히 추측하는 대신, 이 나침반은 등산객 바로 앞의 지형을 확인합니다.

지면이 매끄러우면, "아주 큰 걸음을 내디뎌라!"라고 말합니다.
지면이 울퉁불퉁하면, "속도를 줄이되, 멈추지는 마라"라고 말합니다.

이 나침반 덕분에 등산객은 첫 걸음부터 안정성의 가장자리에 머물 수 있으며, 이를 통해 산에서 튕겨 나가지 않으면서도 빠르게 이동할 수 있습니다.

놀라운 사실: "플랫랜드(Flatland)"의 함정

이 이야기에서 가장 흥고한 부분입니다. 저자들은 만약 당신이 발걸음을 너무 크게 가져간다면, **플랫랜드(Flatland)**라고 불리는 곳에 실수로 빠질 수 있다는 것을 발견했습니다.

당신이 등산을 하다가 완벽하게 평평해 보이는 지점에 도달했다고 상상해 보십시오. 당신은 생각할 것입니다. "좋아, 바닥을 찾았어!" 하지만 실제로는 당신은 안장점(saddle point)(말의 안장 중간 부분 같은 곳)에 착륙한 것입니다. 그곳은 한 방향으로는 평평하지만 다른 방향으로는 경사가 져 있습니다.

함정: 이 "플랫랜드" 지역에서 AI는 학습을 멈춥니다. 지면이 평평하기 때문에 학습이 끝났다고 생각하지만, 실제로는 문제를 해결하는 방법을 알아낼 수 없는 막다른 길에 갇힌 것입니다. 논문은 이를 "성공하지 못한 평탄한(unsuccessfully-flat)" 실행이라고 부릅니다. AI는 본질적으로 무작위로 추측하며 그곳에 갇혀 있는 상태입니다.

해결책: 너무 평평해지지 마라

이 논문의 주요 조언은 직관에 반합니다: 절대적인 가장 평평한 지점을 목표로 하지 마십시오.

저자들은 "성공적으로 평탄한(successfully-flat)" 실행에서 최고의 결과가 나온다는 것을 발견했습니다. 이는 AI가 대체로 평탄하지만 여전히 아주 약간의 경사가 있는 골짜기에 머무는 경우를 말합니다.

비유: 당신이 텐트를 치기에 가장 좋은 장소를 찾는다고 상상해 보십시오.
- 함정: 당신은 완벽하게 평평하고 특징 없는 평원을 발견합니다. 완벽해 보이지만, 옷을 말릴 바람도 없고 어느 쪽이 북쪽인지 알 수 없습니다. 당신은 갇히게 됩니다.
- 해결책: 당신은 거의 평평하지만, 완만한 경사가 살짝 있는 곳을 찾습니다. 이 미세한 경사는 당신이 방향을 잡도록 도와주고, 가장 좋은 전망을 향해 계속 움직일 수 있게 해줍니다.

저자들은 이 함정을 피하기 위한 간단한 규칙을 제안합니다: 보폭이 당신이 배우고자 하는 카테고리의 개수보다 커지지 않도록 제한하십시오. (예를 들어, AI에게 100가지 종류의 동물을 인식하도록 가르치고 있다면, 보폭이 100을 넘지 않게 하십시오.) 이렇게 하면 AI가 완벽하게 평평한 함정에 빠지는 대신, 실제로 학습할 수 있는 "약간의 경사가 있는" 골짜기에 머물 수 있습니다.

요약

큰 발걸음은 좋다: 큰 발걸음을 내딛는 것은 AI가 "안정성의 가장자리"에 머무는 한, 더 빠르게 학습하고 더 나은 솔루션을 찾는 데 도움이 됩니다.
함정: 발걸음이 너무 크면, AI가 학습을 멈추고 무작위로 추측만 하게 되는 "플랫랜드"(안장점)에 갇힐 수 있습니다.
해결책: 보폭을 조절하는 스마트한 방법을 사용하되, 그 보폭에 "속도 제한"을 두십시오. 빠르게 움직일 수 있을 만큼 큰 보폭을 유지하되, 완벽하게 평평한 함정에 빠지지 않을 만큼 작은 보폭을 유지하십시오. 이것이 더 똑똑하고 정확한 AI를 만듭니다.

요컨대, 이 논문은 AI를 훈련시키는 경주에서, 때로는 빠르게 달려야 하지만, 너무 빨리 달리다가 완벽하게 평평한 돌에 걸려 움직임을 완전히 멈춰버리지 않도록 주의해야 한다는 것을 가르쳐 줍니다.

기술 요약: 평탄한 지형(Flatland): 큰 스텝 사이즈를 가진 경사 하강법의 모험

문제 정의

신경망 학습은 종종 전역적으로 $L$ -매끄럽지(globally $L$ -smooth) 않은 목적 함수를 포함합니다. 이러한 함수들에 대해, 딥러닝 분야의 오래된 미해결 과제는 경사 하강법(Gradient Descent, GD)의 수렴을 보장하는 가장 큰 가능한 스텝 사이즈가 무엇인가 하는 점입니다. 이전 연구(예: Cohen et al., 2021)는 고정된 스텝 사이즈를 사용하는 GD가 종종 "안정성의 가장자리(Edge of Stability, EoS)" 단계—손실이 비단조적으로 감소하고 스텝 사이즈와 샤프니스(sharpness)의 곱이 2 근처에서 안정화되는 단계—에 진입한다는 것을 관찰했지만, 2차 정보에 의존하지 않고 "큰" 스텝 사이즈를 보장할 수 있는 통일된 정의는 존재하지 않습니다. 또한, GD가 훈련 시작부터 일관되게 EoS에서 작동할 수 있는지, 아니면 통제되지 않은 진동으로 인해 발산할 위험이 있는지도 불분명합니다.

방법론

저자들은 전역적 리프시츠 연속성(global Lipschitz continuity) 대신 **국소 세그먼트 매끄러움(local segment smoothness)**에 기반하여 "큰" 스텝 사이즈를 정의하고 찾는 통일된 프레임워크를 제안합니다.

세그먼트 매끄러움(Segment Smoothness): 본 논문은 목적 함수 $f$ 가 연속 미분 가능하며, 그래디언트가 반복자(iterates) $w$ 와 $w - \eta \nabla f(w)$ 사이의 안티-그래디언트(anti-gradient) 방향을 따라 리프시츠(또는 횔더) 연속인 경우를 가정하는 '국소 세그먼트 매끄러움' 개념을 도입합니다.
등가 라인 서치(Equality Line Search): "큰" 스텝 사이즈(구체적으로 $\eta_k \geq 1/l(w_k, \eta_k)$ 를 만족하고 때때로 $2/l(w_k, \eta_k)$ 를 초과하는 스텝 사이즈)를 찾기 위해, 저자들은 새로운 등가 라인 서치(Equality Line Search) 알고리즘을 설계했습니다. 이 방법은 백트래킹(backtracking)과 외삽(extrapolation) 단계를 결합합니다. 만약 표준적인 비단조 라인 서치 조건이 처음에 만족되면 스텝 사이즈를 두 배로 늘리고, 그렇지 않으면 절반으로 줄입니다. 이 과정은 조건이 등식(equality)으로서 만족될 때까지 계속되며, 이는 국소 기하학에 의해 허용되는 최대 스텝 사이즈를 근사합니다.
이론적 보장: 저자들은 이 접근 방식이 "리프시츠 인지적(Lipschitz-aware)" 및 "횔더 인지적(Hölder-aware)" 스텝 사이즈를 생성함을 증명합니다. 결정적으로, 그래디언트가 정지점(stationary point) 근처에서 소멸함에 따라, 스텝 사이즈가 샤프니스(Hessian의 최대 고유값)의 역수로 하한선이 됨을 보여줌으로써, 명시적인 헤시안 계산 없이도 이 방법이 "샤프니스 인지적(sharpness-aware)"임을 입여줍니다.
평탄한 함정 피하기(Avoiding Flat Traps): 저자들은 큰 스텝 사이즈를 사용하는 GD가 샤프니스가 클래스 수 $K$ 에 대해 $2/K$ 로 전역 최솟값에 도달하는 전역적으로 평탄한 영역(안장점)에서 "갇힐 수 있는" 현상을 식별했습니다. 이를 완화하기 위해, 스텝 사이즈를 $K$ 미만으로 제한하여 최적화 도구가 약간 더 날카로운 골짜기를 통과하도록 강제하는 변형 모델인 NLS-ub를 제안합니다.

주요 기여

통일된 정의: 전역적으로 매끄럽지 않은 함수에 대해서도 GD 수렴을 보장하는 "큰" 스텝 사이즈에 대한 공식적인 정의를 제공하며, 이는 오직 국소 세그먼트 매끄러움에 의존합니다.
1차 샤프니스 인지(First-Order Sharpness Awareness): 2차 정보를 요구하지 않고도 첫 번째 반복부터 EoS에서 작동하는 스텝 사이즈를 산출하는 알고리즘(Equality Line Search)을 제시합니다.
전역적으로 평탄한 영역의 특성화: 샤프니스가 $2/K$ 라는 전역 최솟값에 도달하는 특정 안장점을 식별했습니다. 저자들은 이러한 지점에 너무 일찍 도달하는 것이 네트워크가 의미 있는 특징을 학습하는 데 실패하게 만들어, 낮은 수렴도와 좋지 않은 일반화 성능을 초결과하는 "성공하지 못한 평탄한(unsuccessfully-flat)" 실행으로 이어진다는 것을 입증했습니다.
자기 안정화 메커니즘: 스텝 사이즈를 클래스 수 $K$ 아래로 제한하는 전략(NLS-ub)을 통해, "성공하지 못한 평탄한" 실행을 더 낮은 훈련 손실과 높은 테스트 정확도를 달지는 "성공적인 평탄한(successfully-flat)" 실행으로 전환시키는 데 성공했습니다.

실험 결과

저자들은 다양한 아키텍처(MLP, CNN, ResNet, VGG, DenseNet, Vision Transformers)와 데이터셋(CIFAR10/100, SVHN, EMNIST)에 대해 MSE 및 크로스 엔트로피(Cross-Entropy) 손실을 사용하여 방법론을 평가했습니다.

안정성의 가장자리(Edge of Stability): 제안된 Equality Line Search(NLS)와 그 결정론적 변형인 PoNLS는 일관되게 EoS에서 작동하며, 스텝 사이즈와 샤프니스의 곱이 훈련 내내 임계값 2 이상을 유지합니다.
전역적으로 평탄한 현상: 여러 실험(예: SVHN에서의 ResNet)에서 NLS는 훈련 초기 단계에 샤프니스를 정확히 $2/K$ 로 몰아넣었습니다. 이 경우 훈련 손실은 무작위 추측 수준에서 정체되었고, 은닉층의 그래디언트 노름(gradient norm)이 거의 0으로 붕괴되었는데, 이는 최적화 도구가 안장점에 도달했음을 나타냅니다.
성공 vs 실패: 정확한 $2/K$ 최솟값을 피한(그보다 약간 높게 유지한) 실행들은 "성공적으로 평탄한(successfully-flat)" 것으로 분류되었습니다. 이러한 실행은 훨씬 더 나은 훈련 손실과 테스트 정확도를 달성했습니다.
NLS-ub의 효능: 스텝 사이즈를 $K$ 미만으로 제한함으로써, NLS-ub는 최적화 도구가 전역적으로 평탄한 안장 영역에 진입하는 것을 방지했습니다. 이 수정 사항은 표준 NLS 및 SAM(Sharpness Aware Minimization), CDAT와 같은 다른 베이스라인들에 비해 일관되게 수렴 속도와 테스트 정확도를 개선했습니다.
손실 함수 민감도: 전역 샤프니스 최솟값에 도달하는 현상은 MSE 손실(최솟값이 $2/K$ )에서 관찰되었습니다. 크로스 엔트로피 손실의 경우 샤프니스 최솟값은 0이며, 샤프니스가 0에 접근할 때 유사한 "정체" 동작이 관찰되었으나 역학 관계는 약간 달랐습니다.

의의 및 주장

본 논문은 경사 하강법의 수렴을 보장하면서 가장 큰 가능한 학습률을 선택하는 방법에 대한 열린 질문에 구체적인 답을 제공한다고 주장합니다. 이는 "더 평탄한(flatter)" 최솟값이 항상 바람직하다는 기존의 직관에 도전합니다. 저자들은 전역적으로 평탄한 영역(샤프니스의 전역 최솟값)을 찾는 것이 수렴 속도나 일반화에 유익하지 않다는 것을 보여주며, 오히려 네트워크가 안장점에서 멈추게 하여 해가 될 수 있음을 입증했습니다.

이 연구의 의의는 다음과 같습니다:

큰 스텝의 운용화: 수동 튜닝 없이 EoS에서 작동하는 스텝 사이즈를 자동으로 선택하는 실용적인 1차 방법을 제공하여 훈련을 가속화합니다.
평탄함의 재정의: 절대적인 최빈(flattest) 최솟값을 추구하는 것이 함정이 될 수 있음을 보여줍니다. 즉, 약간 더 날카로운 골짜기(샤프니스 바닥인 $2/K$ 또는 0을 피하는 곳)가 더 우수한 성능을 냅니다.
이론적 토대: 딥러닝에서 자주 위반되는 전역 $L$ -매끄러움보다 더 약한 가정인 국소 세그먼트 매끄러움 하에서의 GD 수렴 보장을 확립했습니다.

저자들은 본 방법론이 풀 배치(full-batch) GD에서는 잘 작동하지만, 확률적 경사 하강법(SGD)에 대한 이론적 수렴은 추가 조사가 필요하다는 점을 언급하며 연구 범위를 겸허히 제한했습니다. 또한, GD가 이러한 전역적으로 평탄한 영역에 진입하게 만드는 메커니즘이 아직 완전히 이해되지 않았으며, 이는 신경 붕괴(neural collapse) 현상과 관련이 있을 수 있다고 인정했습니다.