📊 statistics

The Tamed Subgradient Unadjusted Langevin Algorithm beyond Convexity

이 논문은 매끄럽지 않고 비볼록한 포텐셜(non-smooth, non-convex potentials)과 초선형 기울기 성장(superlinear gradient growth)을 갖는 경우에도 평활화(smoothing) 없이 이를 처리하며, 개선된 비점근적 수렴 경계(non-asymptotic convergence bounds)를 달성하고 AdamW 및 Muon과 같은 표준 옵티마이저와 비교하여 LLM 사전 학습에서 경쟁력 있는 성능을 입증하는 새로운 샘플링 방법인 Subgradient Tamed Unadjusted Langevin Algorithm (SG-TULA)을 소개한다.

원저자: Iosif Lytras, Nikolaos Makras, Sotirios Sabanis

게시일 2026-08-07

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Iosif Lytras, Nikolaos Makras, Sotirios Sabanis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 광활하고 안개가 자욱한 산맥에서 가장 깊은 골짜기를 찾으려 한다고 상상해 보십시오. 이 문제는 인공지능의 두뇌를 훈련시키는 것부터 결정 구조를 파악하는 것에 이르기까지, 과학과 기술의 모든 곳에서 나타나는 문제입니다. 목표는 에너지가 가장 낮고 시스템이 가장 안정적인 지점인 '전역 최솟값(global minimum)'을 찾는 것입니다.

이를 위해 과학자들은 종종 물리학에서 영감을 얻은 '랑주뱅 알고리즘(Langevin algorithm)'이라는 방법을 사용합니다. 이것은 마치 안개 속으로 등산객을 보내는 것과 같습니다. 등산객에게는 어느 방향이 내리막인지 알려주는 지도(기울기, gradient)가 있지만, 이 지도는 다소 노이즈가 섞여 있습니다. 그래서 등산객은 내리막으로 발걸음을 옮기면서도, 동시에 무작위로 불어오는 돌풍(노이즈)에 의해 밀려나기도 합니다. 이는 등산객이 작고 얕은 구덩이(지역 최솟값, local minima)에서 튀어나와 계속해서 가장 깊은 골짜기를 탐색할 수 있도록 도와줍니다. 보통 산이 매끄럽고 경사가 예측 가능하다면 이 방법은 매우 잘 작동합니다.

하지만 지형이 악몽 같다면 어떻게 될까요? 만약 지면이 울퉁불퉁하고 날카롭고(비매끄러움, non-smooth), 멀리 갈수록 경사가 점점 더 가팔라지며(초선형 성장, superlinear growth), 기묘하고 혼란스러운 둔덕들이 가득한(비볼록, non-convex) 지형이라면 어떨까요? 이러한 혼돈스러운 조건에서는 표준적인 등산객의 지도가 무용지물이 됩니다. 발걸음이 너무 커져서 지도를 완전히 벗어나 날아가 버리거나, 지도가 방향을 제시하지 못하는 날카로운 모서리에 갇혀버릴 수 있습니다. 이것이 바로 현대 AI 훈련이 직면한 정확한 문제입니다. 신경망의 '산'은 거칠고, 가파르며, 함정으로 가득 차 있습니다.

이 논문은 더 강력한 등산객인 SG-TULA(Subgradient Tamed Unadjusted Langevin Algorithm)를 소개합니다. 지면을 매끄럽게 만들려고 노력하거나 가파른 절벽이 존재하지 않는 척하는 대신, SG-TULA는 특별한 한 쌍의 '길들이는 부츠(taming boots)'를 착용합니다. 이 부츠는 등산객의 보폭을 자동으로 조절합니다. 경사가 너무 가팔라지면 부츠가 발걸음을 줄여 추락을 방지합니다. 지면이 날카로우면 부츠는 안전한 경로를 따라 길을 찾아냅니다. 저자들은 이 새로운 등산객이 이 혼란스럽고, 울퉁불퉁하며, 무한히 가파른 지형을 성공적으로 항해하여 가장 깊은 골짜기를 찾아낼 수 있음을 수학적으로 증명했습니다. 또한 그 여정에 얼마나 걸릴지에 대한 정밀한 지도도 함께 제공합니다.

문제: 지도가 무너질 때

AI를 훈련하는 데 사용되는 최적화 알고리즘, 즉 대부분의 최적화 도구들은 몇 가지 안심할 만한 가정에 의존합니다. 그들은 지형이 매끄럽고(날카로운 모서리가 없고), 경사가 너무 미친 듯하지 않으며(선형 성장), 지형이 전반적으로 그릇 모양(볼록함)이라고 가정합니다. 하지만 챗봇을 구동하는 것과 같은 실제 세계의 AI 모델들은 이 모든 규칙을 깨뜨립니다. 그들의 '지형'은 날카로운 모서리(ReLU와 같은 활성화 함수로 인한), 무한대로 폭발하는 경사(초선형 성장), 그리고 언덕과 골짜기가 뒤섞인 엉망진창인 상태(비볼록)로 가득 차 있습니다.

이런 종류의 지형에 표준 알고리즘을 사용하려고 하면, 마치 선인장과 절벽이 가득한 들판에 크고 딱딱한 부츠를 신은 등산객을 보내는 것과 같습니다. 등산객은 너무 큰 발걸음을 내디뎌 낭떠러지로 날아가 버리거나, 지면이 너무 거칠어 움켜쥘 곳이 없어 갇혀버릴 수 있습니다. 이를 해결하기 위해 사람들은 지면을 '매끄럽게 만들거나'(선인장을 부드럽게 만들기), 발걸음을 '클리핑(clipping)'하는(등산객이 천천히 걷도록 강제하기) 방법을 시도해 왔습니다. 하지만 매끄럽게 만드는 작업은 계산 비용이 많이 들고, 클리핑은 경로를 왜곡할 수 있는 투박한 도구입니다.

해결책: SG-TULA

저자들은 이러한 복잡한 현실에 특화되어 설계된 새로운 알고리즘인 SG-TULA를 제안합니다. 지면을 매끄럽게 만들거나 무작정 발걸음을 깎아내는 대신, SG-TULA는 '길들이기(taming)'라는 기술을 사용합니다.

등산객의 보폭이 스마트한 목줄에 의해 제어된다고 상상해 보십시오. 등산객이 경사가 위험할 정도로 가팔라지는 절벽에 접근하면, 목줄이 부드럽지만 단호하게 뒤로 당겨져 등산객이 안전을 유지할 수 있을 만큼만 발걸음을 짧게 만듭니다. 지면이 울퉁불퉁하다면, 등산객은 지도가 고장 난 상황에서도 안전한 방향을 찾기 위해 지팡이를 짚는 것과 같은 '서브그레이디언트(subgradient)'를 사용합니다.

핵심 혁신은 이 '길들이기'가 자동적이고 연속적으로 일어난다는 점입니다. 이는 안전할 때 등산객의 움직임을 방해할 수 있는 미리 설정된 제한치(예: 과속 방지턱)를 요구하지 않습니다. 대신, 발걸음 크기는 그 순간 지면이 얼마나 가파른지에 따라 스스로 재조정됩니다. 이를 통해 알고리즘은 다음을 처리할 수 있습니다:

비매끄러움(Non-smoothness): 경사가 즉각적으로 변하는 날카로운 모로.
초선형 성장(Superlinear growth): 무한히 가팔라지는 경사.
비볼록성(Non-convexity): 혼란스러운 둔덕과 가짜 골짜기가 가득한 지형.

연구 결과

저자들은 단순히 이 알고리즘을 발명한 것이 아니라, 그것이 작동함을 증명했습니다. 그들은 SG-TULA가 결국 목표 분포(가장 깊은 골짜기)를 찾아내고 그곳에 머물 것이라는 수학적 보증을 도출했습니다.

속도: 그들은 알고리즘이 얼마나 빨리 수렴하는지 계산했습니다. 이 복잡한 지형의 최악의 시나리오에서 오차는 대략 발걸음 크기의 1/4 승수 속도로 줄어듭니다. 이것이 느리게 들릴 수 있지만, 이 특정 유형의 문제에 대해 기존 방법들보다 훨씬 개선된 수치입니다. 기존 방법들은 훨씬 더 느리거나 아예 작동하지 않는 경우가 많았습니다.
상수: 그들은 공식에 포함된 모든 숫자를 추적하여, 문제의 차원(문제의 크기)과 '온도'(추가되는 노이즈의 양)가 속도에 어떤 영향을 미치는지 정확히 보여주었습니다.
실제 테스트: 이론에만 그치지 않음을 증명하기 위해, 그들은 유명한 GPT-2의 단순화된 버전인 'nanochat'이라는 소규모 언어 모델을 사용하여 SG-TULA를 테스트했습니다. 그들은 이를 AdamW 및 Muon과 같은 두 가지 최고의 표준 최적화 도구와 비교했습니다.
- 12개 레이어 깊이에서, SG-TULA는 '바이트당 비트(bits per byte, 모델의 텍스트 예측 능력을 측정하는 척도)'와 CORE라고 불리는 점수 측면에서 최고의 결과를 달 achieved 했습니다.
- 24개 레이어의 더 깊은 단계에서도, SG-TULA는 최상위 경쟁자들과 대등한 성능을 보이며 경쟁력을 유지했습니다.
- 결정적으로, 그들은 이러한 모델을 튜닝할 때 흔히 사용하는 '스케일링 법칙(scaling laws, 경험적 규칙)'의 도움 없이도 이를 수행했으며, 이는 알고리즘이 수동 튜닝 시에도 견고하다는 것을 보여줍니다.

왜 중요한가

이 논문은 이론과 실제 사이의 간극을 메우기 때문에 매우 중요합니다. 수년 동안 우리는 AI 훈련이 복잡하고 매끄럽지 않은 초선형 환경에서 일어난다는 것을 알고 있었지만, 우리의 수학적 보증은 모든 것이 매끄럽고 볼록한 '완벽한 세상'에 머물러 있었습니다. SG-TULA는 우리가 이 혼돈을 안전하고 효율적으로 항해할 수 있다는 최초의 엄격한 증명을 제공합니다.

이는 우리가 문제를 해결하기 위해 세상을 매끄럽다고 가정할 필요가 없음을 보여줍니다. 우리는 데이터의 날카롭고 가파르며 복잡한 본질을 존중하는 도구를 만들 수 있습니다. 이 '길들여진' 접근 방식이 작동함을 증명함으로써, 저자들은 우리가 다음 세대의 AI 모델을 훈련할 수 있는 새롭고 신뢰할 수 있는 방법을 제시하며, 경로에 날카로운 회전과 가파른 낙차가 가득하더라도 최선의 솔루션을 찾을 수 있도록 보장합니다.

기술 요약: 볼록성을 넘어선 테이밍된 서브그레이디언트 언조정 랑주뱅 알고리즘 (The Tamed Subgradient Unadjusted Langevin Algorithm beyond Convexity)

1. 문제 정의

본 논문은 타겟 분포 $\pi_\beta(dx) \propto e^{-\beta u(x)} dx$ 로부터 샘플링하고, 이와 관련된 최적화 문제 $\theta^\star \in \arg\min u(\theta)$ 를 해결하는 데 있어, 포텐셜 $u: \mathbb{R}^d \to \mathbb{R}$ 가 다음 세 가지 까다로운 특성을 동시에 나타내는 상황을 다룹니다:

비매끄러움 (Non-smoothness): 포텐셜이 모든 곳에서 미분 가능하지 않으며 (예: ReLU 활성화 함수 또는 $\ell_1$ 페널티), 이로 인해 서브그레이디언트 $h \in \partial u$ 의 사용이 필요합니다.
초선형 그래디언트 성장 (Superlinear Gradient Growth): 서브그레이디언트의 크기가 다항식적으로 증가하며 ( $|h(x)| \leq m + K|x|^p, p \geq 1$ ), 이는 표준 오일러-마루야마(Euler–Maruyama) 이산화 방식의 랑주뱅 확산을 수치적으로 불안정하게 만들어 모멘트가 유한한 시간 내에 발산하게 만듭니다.
비볼록성 (Non-convexity): 포텐셜이 전역적으로 볼록하지 않지만, 특정 구조적 조건(준볼록성 및 무한대에서의 강볼록성)을 만족합니다.

기존 문헌들은 이러한 문제들을 개별적으로 다루는 경우가 많았습니다 (예: 비매끄러움을 위한 스무딩, 초선형 성장을 위한 테이밍, 또는 비볼록성을 위한 함수 부등식). 본 논문은 이 세 가지가 동시에 존재하는 상황에 대한 비점근적 보증(non-asymptotic guarantee)이 그동안 부재했음을 주장합니다.

2. 방법론

저자들은 **서브그레이디언트 테이밍 언조정 랑주뱅 알고리즘 (SG-TULA)**을 제안합니다. 이는 계산 비용이 많이 드는 스무딩 절차(예: 모로-요시다 정규화)에 의존하지 않고, 측정 가능한 서브그레이디언트 선택 $h \in \partial u$ 위에서 직접 작동하는 과감금(overdamped) 랑주뱅 확산의 명시적 오일러-마루야마 이산화입니다.

알고리즘:
반복 식은 다음과 같이 정의됩니다:
$\theta^\lambda_{n+1} = \theta^\lambda_n - \lambda h^\lambda(\theta^\lambda_n) + \sqrt{2\lambda \beta^{-1}} \xi_{n+1}$
여기서 $\xi_{n+1}$ 은 i.i.d. 표준 가우시안 벡터입니다. 핵심 혁신은 드리프트를 안정화하는 테이밍 함수 (taming function) $h^\lambda$ 입니다:
$h^\lambda(x) = \frac{h(x) - \mu x}{1 + \lambda^{1/2}|h(x) - \mu x|} + \mu x$
이 메커니즘은 고정된 임계값을 사용하는 대신(그래디언트 클리핑과 달리), 크기에 따라 서브그레이디언트를 연속적으로 재조정하여 폭발을 방지합니다. 논문은 유니폼 방식 변형(SG-TULA $_u$ )과 좌표별 방식 변형(SG-TULA $_c$ )을 모두 분석합니다.

이론적 프레임워크:
분석은 $u$ 에 대한 세 가지 주요 가정에 기반합니다:

A1 (준볼록성, Semi-convexity): $u + \frac{L}{2}|\cdot|^2$ 는 볼록합니다. 이를 통해 그래디언트 불연속성이 측도 0인 집합에서 발생할 수 있으나(예: ReLU), 일방향 리프시츠 경계를 제공합니다.
A2 (무한대에서의 강볼록성, Strong Convexity at Infinity): 컴팩트 집합 외부에서 포텐셜은 강볼록하며, 이는 확산의 소산성(dissipativity)과 수축을 보장합니다.
A3 (다항식 성장, Polynomial Growth): 서브그레이디언트는 $|h(x)| \leq m + K|x|^p$ 를 만족합니다.

증명 전략은 다음과 같습니다:

불변 측도(invariant measure)의 존재성과 유일성 확립.
이러한 가정하에서 타겟 측도 $\pi_\beta$ 에 대한 로그-소볼레프 부등식(Log-Sobolev inequality, LSI) 증명.
연속 SDE가 $\pi_\beta$ 로 수렴하는 지수적 수축률 도출.
테이밍 메커니즘을 통한 이산 알고리즘의 균등 모멘트 경계 확립.
이산화 오차 추정과 수축률을 결orel하여 Wasserstein-2 거리를 제한.

3. 주요 기여 및 결과

비점근적 샘플링 경계:
논문은 Wasserstein-2 거리( $W_2$ )에 대한 명시적인 비점근적 수렴 경계를 도출합니다. 스텝사이즈 $\lambda < 1/(4\mu)$ 와 $n$ 번의 반복에 대해:
$W_2(\pi_\beta, \mathcal{L}(\theta^\lambda_n)) \leq 2 C_E \lambda^{1/4} + e C_D e^{-n\lambda/T_0}$

수렴 속도: 이산화 오차는 $O(\lambda^{1/4})$ 의 속도로 수렴합니다.
상수: 모든 상수( $C_E, C_D, T_0$ )는 차원 $d$ 와 역온도 $\beta$ 에 따라 명시적으로 추적됩니다. 차원 의존성은 다항식 형태( $O((d/\beta)^{p/2})$ )입니다.
비교: 이는 유사한 비매끄러움, 초선형, 비볼록성 조건 하에서의 기존 서브그레이디언트 기반 랑주뱅 알고리즘의 $O(\lambda^{1/8})$ 속도를 개선한 것입니다 (특히 Johnston et al. [2025a] 대비 개선). 이는 매끄러운 비볼록 환경에서 발견되는 $O(\lambda^{1/4})$ 속도와 일치하면서도, 이를 비매끄러운 초선형 영역까지 확장했습니다.

최적화 보증:
샘플링 경계는 최적화 문제로 전달되어 초과 위험(excess risk)을 제한합니다:
$\mathbb{E}[u(\theta^\lambda_n)] - u(\theta^\star) \leq C_{T1} W_2(\pi_\beta, \mathcal{L}(\theta^\lambda_n)) + C_{T2}$
여기서 $C_{T2}$ 는 "온도 갭(temperature gap)"(유한한 $\beta$ 로 인한 편향)을 나타냅니다. $\epsilon$ -정확도를 달 achieve하기 위한 복잡도는 스텝사이즈 $\lambda = O(\epsilon^4)$ 일 때 $O(\epsilon^{-4} \log(1/\epsilon))$ 반복입니다.

실험적 검증:
저자들은 두 가지 특정 문제에 대해 가정과 알고리즘을 검증합니다:

LLM 사전 학습 (Nanochat): 부스트된 좌표별 변형(SG-TheoPouLA)을 적용하여 GPT-2 계열 모델을 사전 학습합니다. 논문은 포텐셜이 요구되는 곡률 경계( $\nabla^2 u(\theta) \succeq -c_\star(1+|\theta|)^{12L+2} I$ )를 만족함을 확인합니다. 실험적으로, 깊이 12에서 SG-TheoPouLA는 테스트된 옵티마이저 중 가장 낮은 검증 bits-per-byte와 가장 높은 CORE 점수를 달성하며, 특정 구성에서 파인튜닝된 AdamW 및 Muon과 경쟁할 만한 성능을 보입니다. 깊이 24에서는 Muon이 검증 bits-per-byte에서 앞서지만, SG-TheoPouLA는 근접하게 뒤따르며 CORE 측면에서 AdamW와 대등한 성능을 유지하며, 이는 모두 평가 오차 범위 내에 있습니다.
희소 위상 복원 (Sparse Phase Retrieval): 논문은 희소 위상 복원 문제(4차 에너지 + $\ell_1$ 페널티)가 세 가지 까다로운 조건(성장 지수 $p=3$ 인 초선형 성장, 비볼록성, 좌표 하이퍼플레인 상의 그래디언트 불연속성)을 모두 만족함을 보여줍니다.

4. 의의 및 주장

본 논문은 스무딩 근사에 의존하지 않고 비매끄러움, 초선형 그래디언트 성장, 비볼록성을 동시에 처리하는 랑주뱅 기반 알고리즘에 대한 최초의 비점근적 수렴 보증을 제공한다고 주장합니다.

이론적 영향: 기존 연구들이 (표준 테이밍을 위해) 매끄러움(smoothness)을 요구하거나 (안정성을 위해) 볼록성(convexity)을 요구했던 간극을 메웁니다. $O(\lambda^{1/4})$ 속도는 이 특정 영역에서 기존 서브그레이디언트 방법론보다 개선된 것으로 제시됩니다.
실용적 영향: 테이밍 기법은 계산 효율적이며(행렬 곱셈보다 훨씬 작은 오버헤드), 딥러닝 맥락에서 효과적임이 입증되었습니다. LLM 사전 학습에 대한 실험 결과는 제안된 이론적 프레임워크가 그래디언트가 가중치에 대해 다항식이고 비볼록한 현대적 딥러닝 아키텍처에 적용 가능함을 시사합니다.
한계점: 저자들은 역온도 $\beta$ 에 대한 상수들의 지수적 의존성이 주로 최적화 보증을 샘플링을 통해 도출하는 증명 전략의 산물이라고 언급합니다. Polyak–Łojasiewicz 조건 하에서는 이 의존성이 다항식이 될 수 있다고 제안합니다. 또한, 복잡도 $O(\epsilon^{-4})$ 는 드리프트의 특정 정칙성 가정에서 기인한 것이며, 더 높은 차수의 매끄러움이 있다면 이론적으로 더 나은 속도(예: $O(\lambda^{1/2})$ )를 가질 수 있음을 명시했습니다.

요약하자면, 본 연구는 딥러닝의 "거친(wild)" 조건(비매끄러움, 비볼록성, 초선형성)에서 서브그레이디언트 랑주뱅 역학을 사용하기 위한 엄밀한 이론적 토대를 구축하였으며, 제안된 테이밍 스킴이 표준 옵티마이저인 AdamW나 Muon의 유효하고 경쟁력 있는 대안이 될 수 있음을 실험적으로 입증하였습니다.