📊 statistics

The Origin of Edge of Stability

이 논문은 '에지耦合 (edge coupling)'이라는 새로운 함수를 도입하여 신경망의 에지 오브 스테빌리티 (Edge of Stability) 현상이 초기값과 무관하게 왜 최대 Hessian 고유값이 학습률의 역수인 $2/\eta$ 로 강제되는지에 대한 통일된 수학적 설명을 제시합니다.

원저자: Elon Litman

게시일 2026-04-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Elon Litman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 딥러닝을 공부할 때 가장 흔하게 겪는 "신비로운 현상" 중 하나를 수학적으로 완벽하게 설명한 연구입니다. 바로 **'안정성의 가장자리 (Edge of Stability)'**라는 현상입니다.

이걸 이해하기 위해 먼저 비유를 하나 들어보죠.

🎢 롤러코스터와 '안정성의 가장자리'

딥러닝 모델을 훈련시킨다는 것은, 험한 산을 내려가 가장 낮은 골짜기 (최소 손실) 를 찾는 과정과 같습니다. 보통 우리는 **학습률 (Learning Rate)**이라는 '발걸음 크기'를 정해두고 한 걸음씩 내려갑니다.

전통적인 생각: 발걸음이 너무 크면 (학습률이 너무 높으면) 골짜기를 지나쳐서 반대편 언덕으로 날아가 버리거나, 진동하며 제자리에서 맴돌게 됩니다. 그래서 발걸음을 작게 해야 안전하다고 믿었습니다.
실제 현상 (Edge of Stability): 그런데 이상하게도, 발걸음을 아주 크게 (학습률을 높게) 떼어놓고 훈련하면, 모델은 완전히 망가지지 않습니다. 오히려 가장 높은 산등성이 (최대 곡률) 가 '2/학습률'이라는 특정 높이에 딱 맞춰져서 그 위에서 요동치며 (진동하며) 서서히 내려가는 것을 발견했습니다. 마치 롤러코스터가 궤도의 가장자리를 따라 미끄러지듯 움직이는 것처럼요.

이전 연구들은 "왜 그 근처에서 진동이 멈추는지 (자기 조절)"는 설명은 했지만, **"왜 처음부터 그 특정 높이를 향해 쏠리는가?"**에 대한 답은 못 했습니다.

이 논문은 그 **'끌리는 힘 (Forcing)'**의 정체를 밝혀냈습니다.

🧩 이 논문의 핵심 아이디어: "에지 커플링 (Edge Coupling)"

저자는 이 현상을 설명하기 위해 **'에지 커플링 (Edge Coupling)'**이라는 새로운 수학적 도구를 만들었습니다.

비유: 두 사람 사이의 줄다리기
모델의 현재 위치 ( $x$ ) 와 다음 위치 ( $y$ ) 를 두 사람이라고 imagine 해보세요. 이 두 사람 사이에는 보이지 않는 **줄 (커플링)**이 연결되어 있습니다.

이 줄의 장력은 학습률 ( $\eta$ ) 에 의해 결정됩니다.
이 줄이 팽팽해지거나 이완되는 방식이 바로 **경사하강법 (Gradient Descent)**의 업데이트 규칙과 정확히 일치합니다.

저자는 이 '줄'의 상태를 분석하면서 두 가지 놀라운 사실을 발견했습니다.

1. 발걸음의 법칙 (Step Recurrence)

이 줄의 장력을 분석하면, 모델이 다음 단계로 이동할 때 이전 발걸음과 다음 발걸음 사이의 관계가 명확해집니다.

만약 발걸음이 너무 크면 (곡률이 $2/\eta$ 보다 크면), 다음 발걸음은 반대 방향으로 튕겨 나갑니다.
만약 발걸음이 너무 작으면, 다음 발걸음은 같은 방향으로 계속 나아갑니다.
결국 시스템은 이 '튕기는 힘'과 '나아가는 힘'이 균형을 이루는 지점, 즉 $2/\eta$ 라는 선을 향해 강제로 끌려갑니다. 마치 공이 언덕을 굴러가다가 특정 높이에서 멈추려는 것처럼요.

2. 손실의 법칙 (Loss Change Formula)

또 다른 관점에서, 모델이 한 걸음 이동할 때 손실 (오차) 이 얼마나 변하는지를 계산했습니다.

이 공식은 "손실의 감소량 = (발걸음의 크기) × ( $2/\eta$ - 현재 곡률)"이라는 형태를 가집니다.
이걸 훈련 전체 과정에 걸쳐 더해보면 (합산하면), 총 손실 감소량은 유한합니다.
그런데 발걸음의 크기는 계속 변할 수 있습니다. 만약 곡률이 $2/\eta$ 에서 너무 멀리 떨어지면, 손실 감소 공식이 성립하지 않거나 발걸음이 너무 커져서 시스템이 붕괴됩니다.
따라서 시스템은 어쩔 수 없이 곡률이 $2/\eta$ 에 아주 가깝게 유지되도록 '강제'됩니다. 마치 물이 높은 곳에서 낮은 곳으로 흐르듯, 수학적으로 피할 수 없는 운명처럼요.

🎯 왜 이것이 중요한가요? (일상적인 비유)

이 논문의 결론은 매우 강력합니다.

"딥러닝 모델은 학습률이 아무리 커도, 스스로가 '안정성의 한계'라는 선을 넘지 못하도록 수학적으로 강제됩니다."

과거의 오해: "큰 학습률을 쓰면 모델이 망가져서 훈련이 안 된다."
이 논문의 발견: "큰 학습률을 쓰면 모델은 자발적으로 그 한계선 ( $2/\eta$ ) 에 도달해서, 그 선 위를 요동치며 (oscillate) 오히려 더 빠르게, 더 효율적으로 내려갑니다."

이는 마치 자전거를 타는 것과 같습니다.

천천히 타면 (작은 학습률) 넘어지지 않고 안정적이지만 느립니다.
너무 빨리 타면 (큰 학습률) 넘어질 것 같지만, 실제로는 속도가 빨라질수록 자전거가 스스로 균형을 잡는 방식이 바뀝니다. 바퀴가 앞뒤로 흔들리지만 (진동), 그 흔들림이 오히려 균형을 유지하게 만들어 더 멀리, 더 빠르게 갈 수 있게 해줍니다.

📝 요약

현상: 큰 학습률을 쓰면 모델의 '날카로움 (Sharpness)'이 $2/\eta$ 라는 값에 딱 맞춰져서 진동하며 학습합니다.
원인: 저자는 **'에지 커플링'**이라는 새로운 수학적 도구를 만들어, 이 현상이 우연이 아니라 수학적으로 필연적인 결과임을 증명했습니다.
메커니즘:
- 모델이 $2/\eta$ 보다 너무 날카로워지면, 다음 단계에서 발걸음이 반대로 튕겨 나갑니다 (진동).
- 이 진동이 반복되면서, 시스템은 어쩔 수 없이 $2/\eta$ 라는 선에 머물 수밖에 없게 됩니다.
의의: 이 발견은 딥러닝이 왜 큰 학습률로 잘 작동하는지, 그리고 왜 그 한계선에서 멈추는지에 대한 완벽한 통일된 설명을 제공합니다.

결국 이 논문은 **"딥러닝 모델은 혼란스러운 진동 속에서도 스스로 균형을 찾아내는 마법 같은 존재가 아니라, 수학 법칙에 따라 필연적으로 그 '안정성의 가장자리'를 걷고 있는 것"**임을 보여주었습니다.

엘론 리트먼 (Elon Litman) 의 논문 **"The Origin of Edge of Stability (Edge of Stability 의 기원)"**은 딥러닝에서 전 배치 (full-batch) 경사 하강법 (Gradient Descent, GD) 이 학습 중 왜 손실 곡면의 날카로움 (sharpness, Hessian 의 최대 고유값) 이 학습률 ( $\eta$ ) 에 의해 결정된 임계값 $2/\eta$ 로 수렴하여 안정화되는지, 즉 'Edge of Stability (EoS)' 현상의 근본적인 기작을 수학적으로 규명한 연구입니다.

기존 연구들은 EoS 부근에서의 국소적 자기 조절 (self-regulation) 메커니즘은 설명했으나, 임의의 초기화에서 왜 궤적이 반드시 $2/\eta$ 로 강제되는지 (forced toward) 에 대한 전역적 설명은 부족했습니다. 이 논문은 **'Edge Coupling (엣지 커플링)'**이라는 새로운 함수를 도입하여 이를 해결했습니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

Edge of Stability (EoS) 현상: Cohen et al. (2021) 등이 발견한 바와 같이, 고정된 학습률 $\eta$ 를 사용하는 전 배치 GD 는 학습 초기에 날카로움 (sharpness, $\lambda_{\max}$ ) 을 감소시키다가 (Catapult phase), 이후 날카로움이 $2/\eta$ 에 도달하면 그 값에 포화 (saturate) 됩니다.
현상의 특징: 이 지점에 도달하면 손실 함수는 단조 감소하지 않고 짧은 시간 척도에서 진동 (oscillate) 하지만, 장기적으로는 계속 감소합니다.
기존 연구의 한계: 기존 연구 (Damian et al., Agarwala et al. 등) 는 EoS 부근에서의 국소적 안정성 (예: 3 차 테일러 항에 의한 피드백) 을 증명했으나, 왜 궤적이 임의의 초기점에서 시작하여 반드시 $2/\eta$ 로 향하는지에 대한 전역적 (global) 인 설명을 제공하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 역동적인 과정을 단계별로 분석하는 대신, **연속된 두 반복점 (iterate pairs) $(x, y)$ 에 정의된 스칼라 함수인 'Edge Coupling'**을 도입하여 문제를 재구성했습니다.

Edge Coupling ( $A_\eta$ ) 정의:
$A_\eta(x, y) \triangleq L(x) + L(y) - \frac{1}{2\eta}\|x - y\|^2$
여기서 $L$ 은 손실 함수, $\eta$ 는 학습률입니다.
- 이 함수의 $x$ 에 대한 편미분 ( $\nabla_x A_\eta = 0$ ) 을 0 으로 두면, 이는 경사 하강법 업데이트 식 ( $y = x - \eta \nabla L(x)$ ) 과 정확히 일치합니다.
- 즉, 경사 하강법의 궤적은 이 Edge Coupling 함수의 '부분 임계점 (partial critical points)' 집합 위에 존재합니다.
분석 도구:
1. 미분 및 차분 (Differencing): 연속된 단계 간의 임계점 조건을 차분하여 단계 간격의 점화식 (recurrence) 을 유도합니다.
2. 2 차 전개 (Second-order expansion): 손실 변화량을 정확히 표현하는 공식을 유도합니다.
3. 평균값 정리 (Mean Value Theorem): Hessian 의 평균값을 실제 경로 내의 한 점에서의 고유값으로 국소화하여 오차 없이 정확한 주입 (forcing) 을 증명합니다.
4. 중심 축소 (Center Reduction): 2 주기 궤도 (period-two orbits) 를 분석하기 위해 진동의 중심 ( $m$ ) 과 반진폭 ( $a$ ) 으로 변수를 변환하고, 이를 비선형 고유값 문제로 환원합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. EoS 의 전역적 강제성 (Global Forcing)

손실 변화 공식: Edge Coupling 의 2 차 전개를 통해 한 단계의 손실 변화를 다음과 같이 표현할 수 있음을 보였습니다.
$L(w_{k+1}) - L(w_k) = -\frac{\|d_k\|^2}{2\eta} \left( 2 - \eta \tilde{r}_k \right)$
여기서 $\tilde{r}_k$ 는 단계 구간에서의 가중 평균 Hessian 곡률입니다.
보존 법칙 (Conservation Law): 위 공식을 전체 학습 과정 ( $K$ 단계) 에 대해 합산 (telescoping sum) 하면, 총 손실 감소량은 유한하므로 곡률 편차 ( $2/\eta - \tilde{r}_k$ ) 가 0 으로 수렴해야 함을 증명했습니다.
$\sum_{k=0}^{K-1} \|d_k\|^2 \left( \frac{2}{\eta} - \tilde{r}_k \right) = 2(L(w_0) - L(w_K))$
이 식은 궤적이 **반드시 $2/\eta$ 근처를 방문하도록 강제 (force)**함을 의미합니다.

B. 정확한 날카로움 주입 (Exact Sharpness Forcing)

평균값 정리를 적용하여, Hessian 의 평균 곡률 $\tilde{r}_k$ 와 $\bar{r}_k$ 가 실제로는 단계 구간 내의 특정 내부 점에서의 Hessian 고유값과 정확히 일치함을 보였습니다.
이는 기존 연구들이 가진 '간격 (gap)'이나 근사 오차를 없애고, 실제 Hessian 고유값이 정확히 $2/\eta$ 로 강제됨을 수학적으로 엄밀하게 증명했습니다.

C. 2 주기 궤도 및 분기 이론 (Period-Two Orbits & Bifurcation)

Edge Coupling 의 두 편미분을 모두 0 으로 설정하면, 고정점 (fixed point) 과 2 주기 궤도 (period-two orbit) 를 분류할 수 있습니다.
비선형 고유값 문제: 2 주기 궤도의 존재 여부와 진폭은 함수 $\Phi_\eta(a) = P(a) - \frac{1}{\eta}\|a\|^2$ 의 임계점으로 환원되며, 여기서 $P(a)$ 는 손실 함수의 대칭화된 형태입니다.
분기 (Bifurcation): 학습률 $\eta$ $η$ 가 임계값 $\eta_c = 2/\lambda_{\max}$ $η_{c} = 2/ λ_{m a x}$ 를 넘을 때, 2 주기 궤도가 분기 (bifurcation) 하여 발생합니다.
- 2 층 선형 네트워크 (Two-layer linear networks): 과매개변수화 (overparameterization) 가 있더라도, 제한된 공간에서의 분기 이론은 너비 (width) 에 불변 (width-invariant) 하며, 2 배 주기 분기 (period-doubling) 는 임계 학습률의 큰 쪽 ( $\eta > \eta_c$ ) 에서 연속적으로 발생합니다.

D. 안정성 메커니즘 (Stability Mechanisms)

임계값 위에서의 성장: 곡률이 $2/\eta$ 를 초과하면 단계 크기 (step norm) 가 기하급수적으로 증가하여 궤적이 불안정해지므로, 시스템은 자연스럽게 낮은 곡률 영역으로 되돌아갑니다.
진동적 상쇄 (Oscillatory Cancellation): $2/\eta$ 근처에서는 단계 방향이 매번 반전되지만 (multiplier $\approx -1$ ), 이 진동이 누적되지 않고 상쇄되어 시스템이 발산하지 않고 안정적으로 진동합니다.

4. 의의 및 결론 (Significance)

통일된 설명: 이 논문은 Edge of Stability 현상을 국소적 현상이 아닌, Edge Coupling 함수의 임계점 조건에서 비롯된 전역적 보존 법칙으로 설명하여, 기존 연구들의 국소적 한계를 극복했습니다.
수학적 엄밀성: 평균값 정리를 통해 Hessian 평균을 실제 고유값으로 정확히 매핑함으로써, 이론적 설명과 실험적 관찰 사이의 간극을 완전히 메웠습니다.
실용적 통찰: 학습률이 $2/\lambda_{\max}$ 를 초과할 때 발생하는 진동과 손실 감소의 관계, 그리고 2 주기 궤도의 발생 조건을 정량적으로 예측할 수 있는 이론적 틀을 제공했습니다. 이는 대규모 신경망 학습의 안정성 분석과 학습률 스케줄링 전략 수립에 중요한 기초를 제공합니다.

요약하자면, 이 논문은 Edge Coupling이라는 새로운 수학적 도구를 통해, 경사 하강법이 왜 학습 중 Hessian 의 최대 고유값을 $2/\eta$ 로 강제하는지, 그리고 그 지점에서 시스템이 어떻게 안정적으로 진동하는지에 대한 완결된 수학적 증명을 제시했습니다.