📊 statistics

What is the long-run distribution of stochastic gradient descent? A large deviations analysis

본 논문은 대편차 이론을 활용하여 비볼록 문제에서 확률적 경사 하강법의 장기 분포가 볼츠만-기브스 분포와 유사하며, 이로 인해 알고리즘이 에너지 준위가 낮은 임계 영역을 비임계 영역, 국소 최대점 및 안장점에 비해 지수적으로 선호하게 됨을 보여준다.

원저자: Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 안개 낀 거대한 산맥에서 가장 낮은 지점을 찾으려 한다고 상상해 보십시오. 이 산맥은 기계 학습 문제의 '손실 지형 (loss landscape)'을 나타냅니다. 계곡은 좋은 해법 (낮은 오차) 이고, 봉우리는 나쁜 해법 (높은 오차) 이며, 그 사이의 평평하고 까다로운 지점들은 '안장점 (saddle points)'입니다 (한 방향에서는 계곡처럼 보이지만 다른 방향에서는 언덕처럼 보이는 곳들).

당신의 목표는 가장 깊은 계곡 (전역 최소값) 을 찾는 것입니다. 당신은 **확률적 경사 하강법 (SGD)**이라는 도구를 가지고 있습니다. SGD 를 언덕을 내려가려 노력하는 등산객으로 생각하십시오. 그러나 이 등산객은 약간 술에 취했거나 흔들리는 울퉁불퉁한 길을 걷고 있습니다. 그들이 한 걸음을 뗄 때마다, 어느 방향이 아래로 내려가는지에 대한 소음이 섞인 약간 틀린 정보를 얻게 됩니다.

수십 년 동안 우리는 이 등산객이 결국 많이 움직이지 않고 멈추게 될 것 (수렴) 을 알고 있었지만, 그들이 최종적으로 어디에 정착할지는 알지 못했습니다. 그들은 얕은 계곡에 갇히게 될까요? 안장점 근처를 방황하게 될까요? 아니면 가장 깊은 계곡을 찾아낼까요?

이 논문은 등산객의 여정을 물리학의 게임처럼 취급함으로써 그 질문에 답합니다.

핵심 아이디어: 등산객은 기체 분자입니다

저자들은 이 '술에 취한 등산객 (SGD)'의 장기적 행동이 방 안의 기체 분자들의 행동과 정확히 같다는 것을 깨달았습니다.

방: 전체 산맥 (문제의 상태 공간).
분자: 임의의 시점에서의 등산객의 위치.
온도: 학습률 (step-size) (등산객의 걸음 크기가 얼마나 큰지).
- 학습률이 크면 등산객은 '뜨겁고' 에너지가 넘칩니다. 그들은 격렬하게 튀어 오르고 작은 언덕을 뛰어넘으며 방 전체를 탐험합니다.
- 학습률이 매우 작으면 등산객은 '차갑습니다'. 그들은 천천히 움직이며 가장 가까운 오목한 곳에 갇히게 됩니다.
에너지: 그 지점에서의 산의 높이 (목적 함수 값).

이 논문은 오랜 시간이 지난 후 등산객이 단순히 무작위 지점을 선택하는 것이 아니라 **볼츠만 - 깁스 분포 (Boltzmann-Gibbs distribution)**라는 특정 패턴에 정착함을 증명합니다. 쉬운 말로 설명하면 다음과 같습니다:

낮은 지점은 붐빕니다: 등산객은 가장 깊은 계곡에서 가장 많은 시간을 보냅니다.
높은 지점은 비어 있습니다: 등산객은 봉우리를 거의 방문하지 않습니다.
"온도"가 중요합니다: 학습률 (시스템의 온도) 이 클수록 등산객이 얕은 계곡에서跳出하여 더 높은 지대를 탐험할 가능성이 높아집니다.

네 가지 주요 발견

이 논문은 등산객이 최종적으로 어디에 도달하는지를 네 가지 주요 규칙을 통해 정확히 설명합니다:

1. 등산객은 '임계 (Critical)' 지점을 좋아합니다
등산객은 거의 모든 시간을 '임계 영역'에서 보냅니다. 이곳은 지면이 완벽하게 수평인 평평한 지점들 (수학적으로 기울기가 0 인 곳) 입니다. 여기에는 계곡의 바닥, 봉우리의 정상, 그리고 까다로운 안장점들이 포함됩니다. 등산객은 거의 결코 가파른 경사면에 멈추지 않습니다. 중력 (수학) 이 그들을 즉시 밀어내기 때문입니다.

2. '바닥 상태 (Ground State)'가 가장 선호됩니다
모든 평평한 지점들 사이에서, 등산객은 다른 어떤 지점보다 지수적으로 더 자주 방문하는 특정 계곡 세트가 있습니다. 저자들은 이를 '바닥 상태'라고 부릅니다.

중요한 반전: 이 '바닥 상태'가 반드시 산맥 전체에서 절대적으로 가장 깊은 계곡은 아닙니다. 이는 소음 (길의 흔들림) 에 따라 달라집니다. 때로는 약간 더 높은 계곡이 소음에 대해 '더 평평'하거나 '더 안전'하여 선호되는 휴식지가 됩니다. 등산객은 계곡의 깊이와 소음이 그에게 미치는 영향을 결합한 특정 '에너지'를 최소화하는 지점을 선택합니다.

3. 방문의 위계
등산객이 절대적으로 선호하는 지점에 있지 않더라도, 그들은 엄격한 위계를 따릅니다:

그들은 **국소 최소값 (작은 계곡)**을 **안장점 (까다로운 평평한 지점)**보다 훨씬 더 자주 방문합니다.
그들은 안장점을 **국소 최대값 (봉우리)**보다 훨씬 더 자주 방문합니다.
기본적으로 등산객은 봉우리와 안장점을 피하고 계곡에서 쉬기를 선호합니다. 만약 그들이 안장점을 방문한다면, 소음이 그들을 계곡 쪽으로 밀어내기 전까지 일시적으로 그곳에 갇혀 있기 때문입니다.

4. '에너지' 계산
이 논문은 등산객이 특정 계곡에 있을 확률을 정확히 계산하는 공식을 제공합니다. 이는 점수판과 같습니다:

점수 = (계곡의 깊이) + (소음이 계곡과 상호작용하는 방식).
점수가 낮을수록 등산객은 그곳에서 더 많은 시간을 보냅니다.
'학습률'은 온도 조절 다이얼 역할을 합니다. 다이얼을 아래로 돌리면 (작은 걸음), 등산객은 매우 까다로워져 절대적으로 점수가 가장 낮은 지점들만 방문합니다. 다이얼을 위로 돌리면, 그들은 더 모험적이 되어 점수가 높은 지점들도 방문합니다.

'술에 취한 등산객' vs '완벽한 등산객'

완벽한 세상 (소음 없음) 에서 등산객은 가장 가파른 길을 따라 굴러가서 마주치는 첫 번째 계곡에 갇히게 됩니다. 하지만 우리 등산객은 '술에 취해' (소음이 있어) 있기 때문에, 실수로 얕은 계곡에서 튀어나와 더 깊은 계곡을 찾을 수 있습니다.

이 논문은 이 '취함'이 결함이 아니라 예측 가능한 분포를 만들어내는 특징임을 보여줍니다. 등산객은 단순히 무작위로 방황하는 것이 아니라 통계적으로 방황합니다. 오랜 시간이 지나면, '온도 (학습률)'와 '에너지 (계곡의 모양과 소음)'를 기반으로 등산객이 특정 계곡에서 보낼 시간의 정확한 비율을 예측할 수 있습니다.

요약

이 논문은 가장 인기 있는 기계 학습 알고리즘 (SGD) 의 장기적 행동이 혼란스럽지 않다고 말합니다. 이는 열적 평형 상태의 물리 시스템처럼 행동합니다.

알고리즘: 산의 바닥을 찾으려 노력하는 등산객.
소음: 등산객을 비틀거리게 만드는 흔들리는 바닥.
학습률: 방의 온도.
결과: 등산객은 계곡이 얼마나 깊은지와 흔들림이 그에게 어떻게 영향을 미치는지를 결합하여 정의된 '최고의' 계곡에서 가장 많은 시간을 보내는 예측 가능한 패턴에 정착합니다.

저자들은 이를 단순히 추측한 것이 아니라, 대편차 이론 (Large Deviations Theory) 과 같은 고급 수학을 사용하여 이 물리적 비유가 알고리즘이 장기적으로 작동하는 방식과 정확히 일치함을 증명했습니다.

기술적 요약: 확률적 경사 하강법의 장기 분포

1. 문제 제기

본 논문은 확률적 경사 하강법 (SGD) 이론의 근본적인 미해결 문제를 다룹니다: SGD 가 장기적으로 상태 공간의 어떤 영역을 가장 빈번하게 방문하며, 그 빈도는 어느 정도인가?

기존 문헌은 SGD 에 대한 수렴 보장을 제공하지만 (예: 기울기의 기대 제곱 노름에 대한 상한), 이러한 결과들은 정상 분포나 반복점이 정착하는 특정 임계점을 특징짓지 못합니다. 현대 기계학습에서 널리 존재하는 비볼록 설정에서는 손실 지형이 복잡하여 수많은 국소 최소점, 안장점, 국소 최대점을 포함합니다. 이전 연구들은 SGD 가 엄격한 안장점을 회피한다는 것을 입증했지만, 서로 다른 임계 구성 요소들을 방문할 상대적 확률을 정량화하거나 전역 최소점에서 멀리 떨어진 반복점의 분포를 특징짓지는 못했습니다.

저자들은 일반적인 비볼록 문제에서 SGD 의 장기 분포를 정량화하고, 특히 알고리즘이 방문하는 임계 영역의 위계를 이해하는 것을 목표로 합니다.

2. 방법론

본 논문은 **대편차 이론 (Large Deviations Theory)**과 무작위 섭동 동역학계 이론에 기반한 엄밀한 수학적 프레임워크를 활용하며, 특히 무제한 영역에 대한 이산 시간 시스템을 위해 프리드린 - 벤첼 (Freidlin–Wentzell) 이론을 확장합니다.

주요 기술적 단계:

SGD 를 위한 대편차 원리 (LDP):
- 저자들은 이산 반복점을 연속 시간 궤적으로 보간함으로써 SGD 과정에 대한 LDP 를 수립합니다.
- 노이즈의 라그랑지안과 목적 함수의 기울기에 기반한 작용 함수 (action functional) $S_T[\gamma]$ 를 정의합니다. 이 함수는 결정론적 경사 흐름에서 궤적 $\gamma$ 가 이탈할 때의 '비용' 또는 '가능성'을 측정합니다.
- 단계 크기 $\eta \to 0$ 에 따른 느린 수렴 속도 때문에 장기 행동을 포착하지 못하는 확률 미분방정식 (SDE) 에 의존하던 이전 접근법과 달리, 이 접근법은 이산 동역학을 직접 분석합니다.
전이 비용과 준퍼텐셜 (Quasi-Potential):
- 목적 함수 $f$ 의 임계 집합은 유한 개의 연결 성분 $K_i$ 로 분해됩니다.
- 저자들은 SGD 반복점이 성분 $K_i$ 에서 $K_j$ 로 전이하는 데 필요한 최소 작용 비용을 나타내는 준퍼텐셜 (quasi-potential) $B(K_i, K_j)$ 를 정의합니다.
- 이러한 비용들은 정점이 임계 성분이고 간선 가중치가 전이 비용인 가중 방향 그래프 (전이 그래프) 를 형성합니다.
에너지 준위와 불변 측도:
- 임계 성분 $K_i$ 의 '에너지' $E_i$ 는 $i$ 를 루트로 하는 전이 그래프에서 최소 총 가중치를 갖는 스패닝 트리의 가중치로 정의됩니다.
- 이산 시간에 맞게 적응된 프리드린 - 벤첼 이론을 사용하여, 저자들은 SGD 과정의 불변 측도 (또는 평균 점유 측도) 의 점근적 행동을 유도합니다.

3. 주요 기여 및 결과

본 논문은 SGD 의 장기 분포를 기술하는 결과의 위계 (정리 1–4) 를 수립합니다:

임계 영역에 대한 집중 (정리 3): 장기적으로 SGD 반복점은 비임계 영역보다 $f$ 의 임계 집합 근처에서 지수적으로 더 발견될 가능성이 높습니다. 구체적으로, 임계 집합의 $\delta$ -근방 바깥에 있을 확률은 $1 - e^{-c/\eta}$ 로 감소합니다.
볼츠만 - 깁스 분포 (정리 1): 특정 임계 성분 $K_i$ 에 할당된 확률 질량은 근사적인 볼츠만 - 깁스 분포를 따릅니다:
$\mu_\infty(U_i) \propto \exp\left( -\frac{E_i}{\eta} \right)$
여기서 $E_i$ 는 성분의 에너지 준위이며, $\eta$ 는 시스템의 '온도' 역할을 합니다.
최소화자의 우세 (정리 2): 비최소화 임계 성분 (국소 최대점 또는 안장점) 은 최소화 성분보다 지수적으로 방문될 가능성이 낮습니다. 구체적으로, 임의의 비최소화 성분 $K$ 에 대해, 그들의 방문 확률 비율이 $1/\eta$ 에 따라 지수적으로 감소하는 최소화 성분 $K'$ 이 존재합니다.
바닥 상태에 대한 집중 (정리 4): 반복점은 시스템의 '바닥 상태' (최소 에너지 $E_i$ $E_{i}$ 를 갖는 임계 성분들의 집합) 주위에 지수적으로 집중됩니다.
- 중요한 구별: SGD 시스템의 바닥 상태 ( $E_i$ 를 최소화) 는 목적 함수 $f$ 의 전역 최소점과 반드시 일치하지는 않습니다. 에너지 지형은 목적 함수와 노이즈 통계의 양쪽에 의해 형성됩니다.

특정 사례: 가우시안 노이즈

분산이 $\sigma^2$ 인 가우시안 노이즈의 경우, 저자들은 에너지 준위에 대한 폐쇄형 식을 유도합니다:
$E_i \approx \frac{2 f(K_i)}{\sigma^2}$
이 특정 시나리오에서 장기 분포는 유효 온도가 단계 크기와 노이즈 분산에 비례하는 표준 깁스 측도 $\exp(-f(x)/\eta_{eff})$ 와 유사합니다. 그러나 일반적인 노이즈 모델 (예: 기울기나 위치에 의존하는 모델) 의 경우, 에너지 지형은 목적 함수 지형과 현저히 다를 수 있습니다.

4. 중요성 및 주장

저자들은 이 작업이 국소 수렴 분석이나 안장점 회피를 넘어, 일반적인 비볼록 설정에서 SGD 의 불변 측도에 대한 첫 번째 기술을 제공한다고 주장합니다.

열역학적 유추: 본 논문은 SGD 와 평형 열역학 사이의 직접적인 유추를 제시합니다. 단계 크기 $\eta$ 는 온도의 역할을 하여 임계 성분 간의 전이 용이성을 결정합니다. 구성 요소의 '에너지'는 방문될 가능성을 결정합니다.
전역 최소점을 넘어선 통찰: SGD 가 항상 전역 최소점으로 수렴한다는 직관에 도전합니다. 대신 SGD 는 목적 함수와 노이즈 통계의 상호작용에 의해 정의된 '바닥 상태'로 수렴합니다. 특정 기하학적 구조 (예: 평탄함) 와 유리한 노이즈 상호작용을 가진 국소 최소점은 더 깊은 전역 최소점보다 더 빈번하게 방문될 수 있습니다.
일반성: 이 프레임워크는 노이즈가 서 - 가우시안 꼬리 조건을 만족하고 신호 - 대 - 노이즈 비율이 무한대에서 적절하게 행동한다면, 일반적인 비볼록 목적 함수와 다양한 노이즈 모델 (미니배치 SGD 및 주입된 노이즈 포함) 에 적용됩니다.

본 논문은 장기 분포를 이해하려면 단순히 손실 함수의 값이 아니라, 손실 지형과 노이즈 구조 모두의 함수인 임계 구성 요소의 '에너지'를 분석해야 한다고 결론지으며, 이는 경험적 위험의 전역 최소점이 아니더라도 SGD 가 왜 딥러닝에서 특정 해를 다른 해보다 선호하는지에 대한 이론적 기초를 제공합니다.