🤖 machine learning

Accelerating LMO-Based Optimization via Implicit Gradient Transport

본 논문은 무제약 및 제약 기반 LMO 접근법 간의 이론적 간극을 해소하기 위해 단일 반복당 단일 기울기 평가만으로 개선된 $\mathcal{O}(\varepsilon^{-3.5})$ 반복 복잡도를 달성하는 암시적 기울기 수송을 활용하는 새로운 확률적 최적화 방법인 LMO-IGT를 제안하며, 이를 위해 통합된 프레임워크와 정규화된 지지 함수를 도입한다.

원저자: Won-Jun Jang, Si-Hyeon Lee

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Won-Jun Jang, Si-Hyeon Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 AI 모델을 훈련하기 위해 안개가 자욱한 광활한 골짜기 (손실 지형) 에서 가장 낮은 지점을 찾으려 한다고 상상해 보세요. 골짜기 전체를 볼 수 없으므로 발밑의 경사도에 기반하여 한 걸음씩 나아가야 합니다. 이것이 최적화 알고리즘이 수행하는 일입니다.

오랫동안 이를 수행하는 표준적인 방법은 지면이 내려가는 방향으로 한 걸음을 내딛되, 경사의 가파름에 따라 걸음 크기를 조절하는 것이었습니다. 최근 Lion과 Muon과 같은 새로운 방법들이 게임의 판을 바꾸었습니다. 단순히 경사도만 보는 대신, 시간 경과에 따른 평균 경사도 (모멘텀) 를 살펴본 후 이를 '정규화'합니다. 이는 단순히 언덕을 내려가는 등산객이 아니라, 언덕이 얼마나 가파른지와 상관없이 가장 효율적인 방향으로 걷고 있는지 나침반을 끊임없이 확인하는 등산객과 같습니다.

그러나 이러한 새로운 방법들은 여전히 '지연'이라는 문제가 있습니다. 과거 걸음들의 평균에 의존하기 때문에 지형의 갑작스러운 변화에 반응하는 속도가 때로는 너무 느릴 수 있습니다.

문제: 지연되는 나침반

이 논문은 이러한 '선형 최소화 오라클 (LMO) 기반' 방법들이 훌륭하지만 지연 현상을 겪고 있음을 지적합니다. 매우 무거운 핸들을 가진 차를 운전한다고 상상해 보세요. 핸들을 돌리지만, 차가 실제로 방향을 바꾸는 데는 잠시 시간이 걸립니다. 수학적으로 말해, '모멘텀' (현재 차량의 진행 방향) 은 과거 데이터에 기반하므로, 지금 정말 가야 할 방향과 완벽하게 일치하지 않습니다.

이 지연을 해결하기 위해 이전 연구자들은 분산 감소 (Variance Reduction) 라는 기법을 시도했습니다. 이는 길을 ahead 로 확인하기 위해 정찰병을 보내고, 돌아와서 방향을 알려주는 것과 같습니다. 이는 더 빠르지만 비용이 많이 듭니다. 한 걸음을 내디딜 때마다 정찰병을 두 번 보내야 하기 때문입니다 (기울기를 두 번 계산). 이는 전체 과정을 늦추고 더 많은 컴퓨팅 자원을 소모합니다.

해결책: '전방 탐색 (Lookahead)' 트릭 (IGT)

저자들은 LMO-IGT (암시적 기울기 수송) 라는 새로운 방법을 제안합니다. 그들은 정찰병 두 명을 보내는 비용 없이 '정찰병'의 속도 향상을 얻고자 했습니다.

다음은 창의적인 비유입니다:
개와 목줄을 잡고 걷는 상황을 상상해 보세요.

표준 방법: 개가 지금 있는 곳을 보고, 어디로 갈지 추측한 후 목줄을 당깁니다. 하지만 개는 이미 움직이고 있으므로, 당신은 항상 1 초 뒤처집니다.
분산 감소 (이전 해결책): 멈추고, 개가 있을지도 모르는 곳으로 달려가 지형을 확인한 후 다시 돌아와 목줄을 당깁니다. 정확하지만 지칩니다 (두 번의 이동).
LMO-IGT (새로운 해결책): 멈추거나 ahead 로 달려가지 않습니다. 대신, 당신보다 약간 앞서 같은 길을 걷는 '유령' 버전의 자신을 상상합니다. 그 유령에게 "저기 그곳의 땅은 어떤 느낌인가?"라고 묻고, 그 정보를 이용해 목줄을 당깁니다. 한 걸음만 내딛지만, 약간 앞선 지점의 정보를 활용하는 것입니다.

이 '유령'은 수송된 점 (transported point) 입니다. 약간 앞선 지점에서 기울기를 계산함으로써, 알고리즘은 과거 데이터를 따라가는 실수를 저지르기 전에 모멘텀을 수정합니다. 이는 앞으로 몇 인치만 보여 주는 수정구슬을 가진 것과 같아, 추가 노력 없이도 완벽하게 조종할 수 있게 합니다.

통합 프레임워크

이 논문은 이러한 방법들을 위한 '범용 번역기'도 구축했습니다.

일부 방법은 열린 들판 (비제약) 에서 가장 잘 작동합니다.
일부 방법은 울타리 안의 정원 (제약) 에서 가장 잘 작동합니다.
이전에는 과학자들이 각 방법마다 성공을 측정하기 위해 서로 다른 규칙책을 사용했습니다.

저자들은 정규화 지지 함수 (Regularized Support Function, RSF) 라는 새로운 측정 기준을 만들었습니다. 이는 열린 들판이든 울타리 안의 정원이든 골짜기 바닥에 얼마나 가까운지를 측정할 수 있는 범용 자와 같습니다. 이를 통해 서로 다른 방법들을 단일 척도에서 공정하게 비교할 수 있게 되었습니다.

결과

이 새로운 '전방 탐색' 트릭 (IGT) 을 사용하여 저자들은 다음과 같은 결과를 발견했습니다:

속도: 새로운 방법은 표준 방법보다 더 빠르게 수렴 (바닥을 찾음) 합니다.
효율성: '정찰병' 방법 (분산 감소) 과 달리 추가 계산이 필요하지 않습니다. '한 걸음, 한 계산' 규칙을 유지하므로 표준 방법과 동일한 속도로 실행되지만 더 나은 결과를 얻습니다.
성능: 이미지 인식 (CIFAR-10) 과 언어 모델 (텍스트 작성) 에서 이를 테스트했을 때, Muon-IGT라는 새로운 버전이 다른 방법들을 일관되게 능가했습니다. 동일한 시간 내에 더 높은 정확도에 도달했습니다.

요약

이 논문은 AI 훈련이라는 복잡한 지형을 항해하는 더 지능적인 방법을 제시합니다. 오래된 정보에 반응하여 갇히거나 (지연), 앞을 확인하기 위해 막대한 대가를 치르는 (분산 감소) 대신, 동일한 노력으로 더 정확하게 조종할 수 있는 교묘한 '전방 탐색' 트릭을 사용합니다. 이는 더 많은 컴퓨팅 자원이 필요하지 않으면서도 대규모 AI 모델 훈련을 더 빠르고 효율적으로 만듭니다.

기술 요약: 암시적 기울기 수송을 통한 LMO 기반 최적화 가속화

문제 제기

최근 Lion 및 Muon과 같은 최적화 알고리즘은 선형 최소화 오라클 (LMO) 을 통해 기울기 모멘텀을 정규화함으로써 강력한 실증적 성능을 입증해 왔습니다. 이러한 방법들은 효과적이지만, 그 이론적 이해는 제약 없는 형식과 제약 있는 형식 간에 단편화되어 있으며, 종종 서로 다른 정상성 측정 지표 (기울기 노름 대 Frank-Wolfe 갭) 에 의존합니다. 또한, LMO 기반 방법을 가속화하기 위해 분산 감소 (VR) 기법이 탐구되어 왔으나, 이러한 기법들은 일반적으로 반복당 추가적인 기울기 평가 (예: 현재 반복점과 이전 반복점 모두에서 기울기 계산) 를 요구함으로써 상당한 계산 오버헤드를 초래합니다. 이는 다음과 같은 트레이드오프를 야기합니다: 더 빠른 이론적 수렴 속도를 달성하는 것은 종종 증가된 실제 시간 (wall-clock time) 과 메모리 사용량으로 인해 대규모 설정에서 실용적 효율성을 저하시킵니다.

본 논문은 두 가지 핵심 질문에 답합니다:

LMO 기반 방법이 분산 감소와 관련된 상당한 계산 오버헤드를 피하면서도 가속화된 수렴을 달성할 수 있는가?
확률적 LMO 기반 최적화를 제약 없는 설정과 제약 있는 설정을 연결하는 통일된 프레임워크 내에서 이해할 수 있는가?

방법론

1. LMO 를 위한 암시적 기울기 수송 (IGT)

저자들은 일반 LMO 업데이트에 암시적 기울기 수송 (IGT) 개념을 확장한 새로운 유형의 확률적 LMO 기반 방법인 LMO-IGT를 제안합니다.

핵심 메커니즘: 현재 반복점 $w_t$ 에서 기울기를 평가하는 표준 확률적 LMO 와 달리, LMO-IGT 는 "수송된" 점 $x_t$ 에서 확률적 기울기를 평가합니다. 이 점은 최적화 궤적의 선점 (lookahead) 근사치 역할을 합니다.
업데이트 규칙: 이 방법은 서로 다른 시간 척도를 가진 두 개의 모멘텀 버퍼를 유지합니다. 기울기 모멘텀 $g_t$ 는 $x_t$ 에서 평가된 기울기를 사용하여 업데이트되는 반면, 반복점 $w_t$ 는 $g_t$ 에서 유도된 LMO 방향을 통해 업데이트됩니다. 수송된 점 $x_{t+1}$ 은 동일한 LMO 방향을 사용하지만 잠재적으로 다른 스텝 크기를 사용하여 업데이트됩니다.
효율성: 핵심적으로, 이 메커니즘은 표준 확률적 LMO 의 반복당 단일 기울기 평가 구조를 유지합니다. Lion-VR 또는 Muon-VR 과 같은 분산 감소 방법이 필요로 하는 이전 반복점에서의 추가 기울기 평가를 요구하지 않습니다.

2. 통일된 프레임워크 및 정규화된 지지 함수 (RSF)

이러한 방법들을 균일하게 분석하기 위해 저자들은 세 가지 클래스를 포괄하는 통일된 프레임워크를 도입합니다:

확률적 LMO: 하나의 기울기 평가를 사용하는 표준 방법 (예: Lion, Muon).
분산 감소 LMO (LMO-VR): 두 개의 기울기 평가를 사용하는 STORM 유사 보정 항을 포함하는 방법.
LMO-IGT: 수송된 점을 사용하지만 하나의 기울기 평가만 필요한 제안된 방법.

주요 이론적 기여는 정규화된 지지 함수 (RSF), 즉 $\Psi_{C,\lambda}(w)$ 의 도입입니다.

정의: $\Psi_{C,\lambda}(w) := \sup_{v \in C} \langle -\nabla F(w), v - \lambda w \rangle$ .
통일성:
- $\lambda > 0$ 인 경우 (제약 설정), RSF 는 Frank-Wolfe 갭으로 스케일링됩니다.
- $\lambda = 0$ 인 경우 (비제약 설정), RSF 는 지지 함수로 축소되며, 이는 쌍대 노름 (예: 유클리드 볼의 경우 기울기 노름) 과 일치합니다.
이 측정 지표는 제약 있는 형식과 비제약 형식 모두에 대한 공통의 수렴 분석을 가능하게 하여, 기울기 노름과 Frank-Wolfe 갭이라는 서로 다른 정상성 개념 간의 간극을 메워줍니다.

주요 기여

LMO-IGT 알고리즘: 수송된 점에서 기울기를 평가함으로써 추가적인 기울기 평가 없이 더 빠른 수렴을 달성하는 LMO 기반 최적화 알고리즘의 새로운 클래스.
통일된 이론적 프레임워크: 확률적 LMO, LMO-VR, LMO-IGT 의 분석을 통일하는 일반화된 업데이트 알고리즘 및 RSF 정상성 측정 지표.
수렴 보장: 논문은 $\epsilon$ $ϵ$ -정상성 (RSF 로 측정) 에 도달하기 위한 다음과 같은 반복 복잡도를 확립합니다:
- 확률적 LMO: $O(\epsilon^{-4})$ (표준 속도).
- LMO-VR: $O(\epsilon^{-3})$ (반복당 2 개의 기울기 평가 필요).
- LMO-IGT: $O(\epsilon^{-3.5})$ (반복당 1 개의 기울기 평가만 필요).
실용적 구현: 저자들은 특정 LMO 집합으로 LMO-IGT 를 구체화하여 Lion-IGT( $\ell_\infty$ -노름 볼 사용) 와 Muon-IGT(연산자 노름 볼 사용) 를 도출했습니다.

실험 결과

저자들은 이미지 분류 (ResNet-18 을 사용한 CIFAR-10) 및 언어 모델링 (nanoGPT 를 사용한 Shakespeare 데이터셋, 124M 파라미터 모델을 사용한 OpenWebText) 에서 제안된 방법들을 평가했습니다.

성능: Muon-IGT는 평가된 모든 설정에서 일관되게 가장 강력한 전체 성능을 달성하여, 표준 Lion/Muon, 그 분산 감소 대응 버전 (Lion-VR/Muon-VR), 그리고 AdamW 및 NIGT 와 같은 베이스라인을 능가했습니다.
효율성: 분산 감소 방법 (Lion-VR, Muon-VR) 은 이론적으로 $O(\epsilon^{-3})$ 속도를 제공하지만, 추가 기울기 평가로 인해 훨씬 더 높은 실제 시간을 초래했습니다. 반면, LMO-IGT 방법은 단일 기울기 평가로 인해 단순한 대응 버전과 거의 동일한 속도로 실행되면서 더 높은 정확도를 달성했습니다.
강건성: 제거 실험 및 하이퍼파라미터 민감도 테스트는 Muon-IGT 가 학습률 및 가중치 감소 선택에 대해 강건하며 넓은 탐색 공간 전반에 걸쳐 잘 수행됨을 나타냈습니다.

중요성 및 주장

본 논문은 IGT 가 현대 LMO 기반 최적화를 위한 효과적이고 실용적인 가속화 메커니즘을 제공한다고 주장합니다.

이론과 실용의 연결: 이 연구는 표준 확률적 LMO 와 분산 감소 방법 간의 간극을 성공적으로 메웠습니다. 분산 감소의 prohibitive 한 계산 비용 없이 최적의 $O(\epsilon^{-3})$ 에 가까운 수렴 속도 (구체적으로 $O(\epsilon^{-3.5})$ ) 를 달성할 수 있음을 보여줍니다.
통일된 관점: RSF 를 도입함으로써, 이전에는 호환되지 않는 기준 (기울기 노름 대 Frank-Wolfe 갭) 하에 분석되었던 최적화 알고리즘들을 비교할 수 있는 공통된 이론적 언어를 제공합니다.
실용적 영향: 실증적 결과는 계산 효율성이 최우선인 대규모 설정에서 LMO-IGT 가 표준 LMO 방법에 비해 무시할 수 있는 오버헤드로 최첨단 정확도를 제공하여 우수한 트레이드오프를 제공함을 시사합니다.

저자들은 그들의 이론적 보장이 표준 매끄러움 및 2 차 정규성 가정에 의존하며, 이는 실용적인 딥러닝에 비해 이상화되었음을 지적하지만, 이 프레임워크는 속도 비교를 위한 원칙적인 기초를 제공한다고 말합니다. 그들은 모든 최적화 과제를 해결한다고 주장하지는 않지만, 수송된 기울기가 유클리드 정규화를 넘어 일반적인 LMO 기반 업데이트로 확장됨을 강조합니다.