🤖 machine learning

Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence

본 논문은 무온 (Muon) 옵티마이저의 뛰어난 안정성과 수렴성을 설명하기 위해, 그 직교화 메커니즘이 스펙트럼 평탄화를 달성하여 크로네커 인자 곡률 모델 하에서 안정성 제약을 가장 큰 기울기 특이값에서 평균 기울기 특이값으로 이동시키고 유효 수렴 인자를 개선함을 보여줌으로써 이를 원리적으로 기하학적으로 설명한다.

원저자: Tien-Phat Nguyen, Truong Nguyen, Minh-Phuc Truong, Tuc Nguyen, James Bailey, Trung Le

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tien-Phat Nguyen, Truong Nguyen, Minh-Phuc Truong, Tuc Nguyen, James Bailey, Trung Le

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 돌멩이를 언덕 위로 밀어 올리는 상황을 상상해 보세요. 이 돌멩이는 컴퓨터 두뇌 (신경망) 를 훈련시킬 때 발생하는 '손실 (오차)'을 나타냅니다. 당신의 목표는 이 돌멩이를 가능한 한 빠르게 계곡의 바닥 (완벽한 해답) 으로 끌어내리는 것입니다.

오래전까지 이 작업을 수행하는 표준적인 방법은 **SGD(확률적 경사 하강법)**였습니다. SGD 를 돌멩이를 밀고 있는 팀원들로 생각하세요. 그들은 경사를 보고 가장 가파른 방향으로 밀어냅니다. 하지만 이 돌멩이는 기이한 모양을 하고 있습니다: 한쪽 면은 엄청나게 미끄럽고 가파르지만, 다른 면들은 완만합니다.

옛 방식 (SGD) 의 문제점:
돌멩이의 한쪽 면이 너무 미끄러우기 때문에 팀은 매우 조심스럽게 밀어야 합니다. 너무 세게 밀면 미끄러져 통제할 수 없이 잘못된 면으로 굴러가 전체 작전을 무너뜨립니다.这意味着 그들은 아주 작고 신중한 걸음만 내디딜 수 있어 여정이 매우 느려집니다.

새로운 영웅: Muon
이 논문은 Muon이라는 새로운 방법을 소개합니다. Muon 은 단순히 밀어내는 것이 아니라, 매번 밀기 전에 돌멩이의 모양을 재구성할 수 있는 마법 같은 정비공처럼 행동합니다.

논문이 제시한 핵심 개념을 사용하여 Muon 이 작동하는 방식을 살펴봅시다:

1. 스펙트럼 평탄화 (Spectral Flattening): "수평화" 트릭

논문에 따르면 Muon 의 비밀 병기는 **"스펙트럼 평탄화"**입니다.

비유: 돌멩이에 '뾰족한' 면 (매우 가파르고 위험한 방향) 과 '평평한' 면이 있다고 상상해 보세요. 수학적으로 이들은 '특이값 (singular values)'이라고 불립니다. 뾰족한 면이 문제인데, 이 면 때문에 팀이 매우 천천히 걸어야 하기 때문입니다.
Muon 의 역할: Muon 은 수학적 도구 (뉴턴 - 슈르츠 반복법) 를 사용하여 뾰족한 면을 '평탄화'합니다. 팀이 가야 할 방향을 바꾸는 것이 아니라, 가파른 경사를 덜 가파르게 하고 평평한 경사를 조금 더 가파르게 만듭니다. 이를 통해 울퉁불퉁하고 고르지 않은 바위를 매끄럽고 둥근 공으로 바꿉니다.
결과: 바위가 이제 둥글고 균형 잡혔기 때문에 팀은 미끄러질 염려 없이 훨씬 더 세게 밀 수 있습니다. 옛 방식이라면 즉시 작전을 무너뜨렸을 **거대한 걸음 (큰 학습률)**을 내딛을 수 있게 됩니다.

2. 왜 더 빠른가: "평균" 대 "최악"

이 논문은 이 방식이 작동하는 이유에 대해 두 가지 주요 사실을 증명합니다:

속도 제한:
- SGD는 돌멩이의 최악인 부분 (가장 가파른 뾰족함) 에 의해 제한됩니다. 만약 그 뾰족함이 나머지 부분보다 100 배 더 가파르다면, 팀은 1/100 속도로 걸어야 합니다.
- Muon은 평균 가파름에 의해 제한됩니다. 뾰족함을 평탄화함으로써 Muon 은 '최악의 시나리오'를 무시하고 평균에 집중합니다. 이를 통해 팀은 그들의 진정한 잠재력에 훨씬 더 가까운 속도로 걸을 수 있습니다.
수렴 (바닥에 도달하는 것):
- 논문은 Muon 이 단순히 더 큰 걸음을 내딛는 것이 아니라, 더 나은 걸음을 내딛는다고 보여줍니다. Muon 은 '전조건자 (pre-conditioner)'처럼 행동하는데, 이는 모든 걸음이 돌멩이를 목표에 더 효율적으로 가까이 데려가도록 지형을 조정한다는 세련된 표현입니다.
- 만약 옛 팀 (SGD) 과 새로운 팀 (Muon) 을 정확히 같은 속도로 걷게 하더라도, Muon 의 경로가 더 직선적이고 덜 흔들리기 때문에 계곡의 바닥에 더 빠르게 도달합니다.

3. 실험: 작동함을 증명하다

저자들은 이 방법을 표준 컴퓨터 비전 작업 (CIFAR-10 데이터셋에서 고양이, 개 등의 이미지 인식) 에 테스트했습니다.

"다이빙" 테스트: 그들은 매우 높은 속도로 돌멩이를 밀어보았습니다. 옛 팀 (SGD) 은 즉시 절벽에서 떨어졌 (발산) 고 훈련은 실패했습니다. 반면 새로운 팀 (Muon) 은 매끄럽게 걷기를 계속하여 목표에 도달했습니다.
"레이스" 테스트: 두 팀을 같은 중간 속도로 걷게 했을 때, Muon 은 여전히 경주를 이겼으며 옛 팀보다 몇 바퀴 (에포크) 앞서 높은 정확도 점수에 도달했습니다.

4. "정규화"에 대한 새로운 통찰

이 논문은 '배치 정규화 (Batch Normalization)'라는 일반적인 도구가 왜 도움이 되는지 그 이유도 발견했습니다.

발견: 저자들은 배치 정규화가 Muon 이 돌멩이에 하는 것과 유사하게 입력 데이터를 자연스럽게 '평탄화'하기 때문에 작동한다는 것을 깨달았습니다.
새로운 아이디어: 그들은 이러한 도구를 설계하기 위한 새로운 규칙을 제안했습니다: 단순히 숫자를 균형 있게 맞추지 말고, 데이터의 '모양'을 균형 있게 맞추세요. 입력 데이터에 '초가파른' 방향이 하나도 없도록 보장할 수 있다면, 컴퓨터 두뇌를 더 빠르게 훈련시키고 더 큰 걸음으로 학습시킬 수 있습니다. 그들은 정확히 이 작업을 수행하는 'FrobNorm'이라는 새로운 방법을 테스트했으며, 다른 방법들이 실패했던 놀라운 고속에서 훈련이 가능하다는 것을 발견했습니다.

요약

간단히 말해, Muon은 AI 를 훈련시키는 더 지능적인 방법입니다. 이는 문제의 messy 하고 고르지 않은 지형을 매 단계 전에 '평탄화'합니다. 이는 훈련이 가파르고 위험한 경사면에 갇히는 것을 방지하여, AI 가 이전 방법들보다 더 빠르게 학습하고, 더 큰 걸음을 내딛으며, 더 신뢰할 수 있게 해답에 도달하도록 합니다.

기술적 요약: 스펙트럼 평탄화 (Spectral Flattening) 가 Muon 에 필요한 모든 것

문제 제기

현대 신경망의 학습은 평탄한 영역, 날카로운 방향, 안장점 (saddle points) 으로 특징지어지는 매우 비볼록 (non-convex) 한 지형에서 최적화를 수행하는 것을 포함합니다. 최적화 알고리즘 (optimizer) 의 선택은 안정성과 효율성에 결정적입니다. Adam 및 AdamW 와 같은 좌표별 적응형 방법들은 견고성을 향상시켰지만, 행렬 값 파라미터가 제기하는 기하학적 과제를 완전히 해결하지는 못했습니다. 최근, Muon이 업데이트 전에 모멘텀 버퍼를 직교화하여 더 큰 학습률과 빠른 수렴을 가능하게 하는 고성능 대안으로 등장했습니다. 그러나 최대 안정적 스텝 크기와 수렴률 측면에서 Muon 이 표준 경사 하강법 (SGD) 보다 우수한 이유를 설명하는 이론적 메커니즘은 아직 충분히 탐구되지 않았습니다. 구체적으로, 기존 이론은 직교화가 학습률 병목 현상이나 최적화 문제의 유효 조건 수 (effective condition number) 를 어떻게 정량적으로 변화시키는지 설명하지 못했습니다.

방법론

본 논문은 Muon 의 업데이트 규칙을 스펙트럼 평탄화의 한 형태로 프레임하여 이론적 분석을 제공합니다. 저자들은 두 가지 주요 이론적 결과를 개발하고 실험적으로 검증했습니다:

이론적 프레임워크:
- Muon 정의: Muon 은 $W$ 가중치를 업데이트할 때, 먼저 기울기 $G_t$ 를 계산한 다음, 뉴턴 - 슈르츠 (Newton–Schulz) 반복을 적용하여 극성 인자 (polar factor) $O_t \approx (G_t G_t^\top)^{-1/2} G_t = UV^\top$ 를 근사합니다. 이 연산은 기울기의 특이 벡터는 보존하면서 특이값들을 1 로 대체합니다.
- 헤시안 근사: 분석은 크로네커 인수분해 곡률 모델 (K-FAC) 을 활용하여 헤시안을 $H \approx X^\top X \otimes G_t G_t^\top$ 로 근사합니다. 여기서 $X$ 는 입력 활성화값을, $G_t$ 는 기울기를 나타냅니다.
- 학습률 분석: 저자들은 SGD 와 Muon 에 대한 정확한 1 스텝 하강 임계값을 유도합니다. 두 최적화 알고리즘의 최대 안정 학습률 ( $\eta_{max}$ ) 을 비교하여, SGD 는 기울기의 최대 특이값 ( $\sigma_{max}$ ) 에 의해 병목이 발생하지만, Muon 의 안정성은 평균 특이값 ( $\frac{1}{m}\sum \sigma_i$ ) 에 의해 지배됨을 보여줍니다.
- 수렴 분석: Muon 을 전처리기 $P = I_n \otimes (G_t G_t^\top)^{-1/2}$ 를 가진 전처리된 경사법으로 재해석합니다. Polyak–Łojasiewicz (PL) 조건과 상대적 부드러움 (relative smoothness) 하에서 저자들은 수렴 인자를 분석합니다. 기울기 공분산이 이방성 (anisotropic) 일 때, Muon 의 유효 조건 비율 ( $\tilde{\alpha}/\tilde{\beta}$ ) 이 SGD 의 비율 ( $\alpha/\beta$ ) 보다 엄격하게 더 좋음을 증명하며, 이는 기울기의 스펙트럼 분산과 관련된 인자만큼 개선됨을 보여줍니다.
실험 설계:
- 설정: 실험은 CifarNet 을 사용하여 CIFAR-10 에서 수행되었습니다. 행렬 값 파라미터에 대한 최적화 알고리즘의 영향을 분리하기 위해 이중 최적화 알고리즘 전략을 사용했습니다: 합성곱 커널은 대상 최적화 알고리즘 (Muon 또는 SGD) 으로 업데이트되고, 편향 및 기타 파라미터는 고정된 참조 최적화 알고리즘을 사용했습니다.
- 안정성 테스트: 배치 정규화 (BN) 없이 학습률 스윕을 수행하여 내재적 안정성을 관찰했습니다.
- 수렴 테스트: 두 최적화 알고리즘을 동일한 학습률 (그리고 별도로 각각의 최적 학습률) 로 실행하여 수렴 속도와 스텝당 수렴 비율 ( $r_t$ ) 을 측정했습니다.
- 정규화 원리: 입력의 스펙트럼 스케일 ( $\lambda_{max}(X^\top X)$ ) 을 줄이는 것이 더 높은 학습률을 가능하게 한다는 이론적 주장을 검증하기 위해, FrobNorm(프로베니우스 노름으로 정규화) 이라는 새로운 정규화 체계를 제안하고 테스트했습니다.

주요 기여

최대 학습률 유도: 본 논문은 Muon 의 최대 안정 스텝 크기가 기울기의 최대 특이값이 아닌 평균 특이값에 비례함을 증명합니다.
- SGD 의 경우: $\eta_{max} \propto \frac{2}{\lambda_{max}(H)} \approx \frac{2}{\lambda_{max}(X^\top X) \sigma_{max}(G)}$ .
- Muon 의 경우: $\eta_{max} \propto \frac{2}{\lambda_{max}(H)} \frac{\sum \sigma_i}{m} \approx \frac{2}{\lambda_{max}(X^\top X) \sigma_{max}(G)} \frac{\sum \sigma_i}{m \sigma_{max}(G)}$ .
- 이는 스펙트럼 평탄화가 단일 지배적인 특이 방향이 스텝 크기 제약을 결정하는 것을 방지하여 Muon 이 훨씬 더 큰 학습률을 견딜 수 있음을 보여줍니다.
수렴률 가속: 저자들은 Muon 이 유효 조건 비율을 개선하는 전처리기로 작용함을 보여줍니다.
- K-FAC 하에서, Muon 의 수렴 인자는 $1 - \frac{\tilde{\alpha}}{\tilde{\beta}}$ 이며, 여기서 $\frac{\tilde{\alpha}}{\tilde{\beta}} = \frac{\alpha}{\beta} \sqrt{\frac{\lambda_{min}(G_t G_t^\top)}{\lambda_{max}(G_t G_t^\top)}}$ 입니다.
- $\frac{\lambda_{min}}{\lambda_{max}} < 1$ 이므로 $\sqrt{\dots}$ 항은 1 보다 작지만, 전처리된 시스템의 맥락에서 유도 과정은 $\frac{\tilde{\alpha}}{\tilde{\beta}} > \frac{\alpha}{\beta}$ 임을 보여, 기울기 공분산이 조건이 나쁠 때 (ill-conditioned) 엄격하게 더 빠른 선형 수렴률을 이끌어냅니다.
새로운 정규화 원리: 분석은 최대 안정 학습률이 $\lambda_{max}(X^\top X)$ 에 반비례함을 드러냅니다. 저자들은 정규화 레이어가 이 스펙트럼 스케일을 줄이는 것을 목표로 해야 한다고 제안합니다. FrobNorm을 통해 이를 검증하여, 표준 학습이 실패하는 높은 학습률 (예: 0.25) 에서 학습을 가능하게 함을 보여주었습니다. 이는 특히 SGD 에 해당합니다.

실험 결과

안정성: 배치 정규화가 없는 상태에서 SGD 는 Muon 이 안정적으로 유지되며 손실을 계속 감소시키는 학습률에서 처음 몇 번의 반복 내에 발산했습니다. Muon 은 파라미터 및 기울기 노름의 통제된 성장을 보인 반면, SGD 는 치명적인 폭발을 나타냈습니다.
수렴 속도: 동일한 학습률 (예: $\eta=0.05$ ) 에서 Muon 은 SGD 보다 몇 에포크 일찍 정확도 마일스톤 (70%–91%) 에 도달했습니다. 경험적 수렴 비율 $r_t$ 는 Muon 에서 일관되게 더 낮아, 더 빠른 선형률에 대한 이론적 예측을 확인했습니다.
정규화 영향: FrobNorm 의 적용은 두 최적화 알고리즘 모두 높은 학습률 (CifarNet 의 경우 0.25, GPT-2 스타일 트랜스포머의 경우 0.2) 에서 안정적으로 학습할 수 있게 하여, 레이어 입력의 스펙트럼 스케일을 제어하는 것이 더 큰 스텝 크기를 가능하게 하는 일반적인 원리라는 가설을 검증했습니다.

중요성과 주장

본 논문은 Muon 의 경험적 성공에 대한 원칙적이고 기하학적인 설명을 제공한다고 주장합니다. Muon 의 이점은 단순한 휴리스틱이 아니라 스펙트럼 평탄화의 직접적인 결과라고 가정합니다. 이는 다음과 같습니다:

학습률 제약을 최대 특이값에서 분리하여 더 큰 스텝 크기를 허용합니다.
최적화 지형의 유효 조건 수를 개선하는 한쪽 면 전처리기로 작용하여 더 빠른 수렴을 이끕니다.

저자들은 이론적 분석이 결정론적 전체 배치 설정과 정확한 극성 인자를 가정하지만, 실제 구현은 확률적 기울기, 유한한 뉴턴 - 슈르츠 반복, 그리고 모멘텀을 사용한다는 한계를 인정합니다. 이러한 결과를 확률적 설정과 대규모 아키텍처로 확장하는 것이 향후 연구의 중요한 방향이라고 명시합니다. 논문은 이러한 결과들이 Muon 의 경험적 성능을 더 정밀한 이론적 이해로 전환하여 향후 최적화 알고리즘 및 정규화 전략의 설계에 지침을 제공할 수 있다고 결론짓습니다.