🤖 machine learning

Reassessing Muon for Matrix Factorization

이 논문은 혼란 변수로부터 업데이트 규칙을 분리하기 위해 저계수 행렬 분해(low-rank matrix factorization) 상에서 Muon 옵티마이저를 재평가하며, 이를 통해 Muon이 AdamW보다 일관되게 우수한 성능을 보이지 않으며 보고된 장점들이 종종 하이퍼파라미터 선택에 민감하다는 점을 밝혀낸다.

원저자: Ali Parviz, Gal Mishne, Alex Cloninger

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Parviz, Gal Mishne, Alex Cloninger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 학습하는 법을 가르치려 한다고 상상해 보십시오. 이를 위해 당신은 로봇이 더 나아지기 위해 다음 단계로 어디로 발을 내디뎌야 할지 알려주는 '코치'가 필요합니다. 인공지능의 세계에서 이 코치는 **옵티마이저(optimizer)**라고 불립니다. 수년 동안 가장 인기 있었던 코치는 AdamW라는 방법이었는데, 이는 경로가 얼마나 미끄러운지 혹은 울퉁불퉁한지에 따라 발걸음을 조절하는 데 탁월합니다. 하지만 최근, Muon이라는 화려한 신입 코치가 등장했습니다. Muon은 단순히 경로를 보는 것에 그치지 않고, **직교화(orthogonalization)**라는 멋진 수학적 기술을 사용하여 로봇의 발걸음을 "곧게 펴려고" 하기 때문에 특별하다고 주장합니다. 이것은 마치 무용수에게 완벽하고 서로 겹치지 않는 방향으로 움직이도록 강요하여 춤을 더 효율적으로 만들려는 무용 강사와 같습니다.

모두가 품고 있는 큰 의문은, Muon이 이야기를 쓰거나 이미지를 생성하는 것과 같은 현대 AI의 거대하고 복적인 작업들을 수행할 때 정말로 AdamW보다 더 나은 코치인가 하는 점입니다. 아니면 단지 댄스 플로어가 너무 거대하고 혼란스러워서 Muon이 좋아 보이는 것뿐일까요? 과학자들은 거대 AI 모델을 대상으로 대규모 테스트를 수행해 왔으며, Muon이 승리하는 것처럼 보였습니다. 하지만 수십억 개의 변수를 다룰 때는, 코치가 실제로 일을 잘하고 있는 것인지 아니면 문제의 규모 자체가 코치의 실수를 가리고 있는 것인지 구별하기 어렵습니다. 여기서 이야기는 흥eric해집니다. 진실을 찾으려면, 단순히 큰 쇼를 지켜보는 것이 아니라, 조용하고 통제된 방 안에서 코치들을 테스트해야 합니다.

"행렬 분해에 대한 Muon의 재평가(Reassessing Muon for Matrix Factorization)"라는 제목의 이 논문은 Muon과 AdamW를 혼란스러운 수십억 개의 파라미터가 있는 댄스 플로리에서 데리고 나와, 단순하고 밝은 연습실로 옮겨 놓습니다. 연구진은 **행렬 분해(matrix factorization)**라는 특정하고 근본적인 과제를 통해 그들을 테스트하기로 했습니다. 만약 당신이 두 개의 더 작고 단순한 스프레드시트로 분해하고자 하는 거대한 숫자 표를 가지고 있다면, 그것이 바로 행렬 분해입니다. 이것은 정답이 무엇인지 정확히 알 수 있고 코치가 내딛는 모든 작은 발걸음을 측정할 수 있는 깔끔한 수학적 퍼즐입니다.

연구진은 두 코치에게 "학습률(learning rate, 로봇이 내딛는 발걸음의 크기)"을 조정하며 다양한 버전의 퍼즐에 대해 대규모 실험을 수행했습니다. 그들은 쉽고 매끄러운 퍼즐부터 숫자가 까다롭고 급격히 감소하는 매우 어렵고 "조건이 나쁜(ill-conditioned)" 퍼즐에 이르기까지 모든 것을 테스트했습니다. 또한 숫자가 양수로 유지되어야 하는 **비음수 행렬 분해(Non-negative Matrix Factorization)**를 포함하여 다양한 유형의 퍼즐을 조사했습니다.

결과는 다음과 같으며, 이는 여러분을 놀라게 할 수도 있습니다: Muon은 마법의 탄환이 아닙니다. 연구진이 두 코치에게 최적의 발걸음 크기를 찾을 수 있는 공정한 기회를 주었을 때, Muon은 AdamW를 일관되게 이기지 못했습니다. 실제로 표준적인 저계수(low-rank) 분해 작업에서는 AdamW나 심지어 평범한 경사 하강법(Gradient Descent)조차 Muon과 대등하거나 오히려 더 뛰어난 성능을 보이기도 했습니다. 거대 AI 모델에서 사람들이 보았던 Muon의 "우월성"은 변수들을 통제했을 때 사라지는 듯합니다. 이 논문은 Muon의 성공이 수학적으로 근본적으로 더 뛰어나서라기보다, 그 거대한 모델들의 특정한 규모와 구조에서 비롯된 결과물일 수 있음을 시사합니다.

하지만 Muon이 쓸모없는 것은 아닙니다. 연구진은 Muon이 한 가지 특정 시나리오에서 명확한 이점을 가진다는 것을 발견했습니다: 바로 **비음수 행렬 분해(NMF)**입니다. 숫자가 반드시 양수여야 하는 이 퍼즐에서, 발걸음을 곧게 펴는 Muon의 독특한 방식은 중복된 솔루션을 피하고 더 다양한 답을 찾는 데 도움을 주었습니다. 즉, Muon은 범용 전문가가 아닌 특화된 전문가인 것입니다. Muon은 문제에 특정한 기하학적 특징(NMF 제약 조건과 같은)이 있을 때는 빛을 발하지만, 문제가 단순히 표준적이고 잘 정돈된 수학 퍼즐일 때는 압도적인 성능을 내지 못합니다.

또한 이 연구는 문제의 "조건(conditioning, 숫자가 얼마나 까다로운지)"에 따라 승자가 달라진다는 것을 밝혔습니다. 매우 어렵고 조건이 나쁜 시나리오에서는 데이터의 형태에 따라 코치들의 순위가 완전히 뒤바뀔 수 있습니다. 저자들은 어떤 코로가 최고인지 결정하기 위해 단 하나의 테스트나 기본 설정만을 봐서는 안 된다고 결론짓습니다. 우리는 광범위한 조건과 발걸음 크기에 걸쳐 그들을 테스트해야 합니다. 결론적으로, Muon은 강력한 도구이긴 하지만, 모든 상황에서 AdamW와 같은 기존의 챔피언들을 자동으로 왕좌에서 끌어내릴 수는 없습니다. Muon의 성공은 그것이 해결하려는 문제의 구체적인 형태에 크게 좌우됩니다.

기술 요약: 행렬 분해(Matrix Factorization)에 대한 Muon의 재평가

문제 정의

Muon(Newton–Schulz에 의해 직교화된 MomentUm)은 최근 대규모 딥러닝, 특히 대규모 언어 모델(LLM) 학습에서 Adam 및 AdamW와 같은 표준 적응형 방법론보다 우수한 성능을 보이는 강력한 옵티마이저로 부상했습니다. 이론적 문헌에서는 Muon을 스펙트럼 노름(spectral norm) 하에서의 최급 강하(steepest descent)를 수행하는 것으로 해석하며, 근사적인 직교화(orthogonalization)를 활용하여 그래디언트 업데이트를 재형성한다고 설명합니다.

그러나 결정적인 간극이 존재합니다. 즉, Muon의 경험적 성공이 그 고유의 업데이트 규칙 덕분인지, 아니면 현대적 심층 네트워크의 특정 규모, 아키텍처 및 데이터 분포의 산물인지가 불분명합니다. 기존의 이론적 분석은 종종 이상적인 설정이나 국소적 특성에 의존하며, Muon이 이론적으로 또는 경험적으로 클래식한 옵티마이저보다 우수해야 하는 구체적인 조건을 명시하지 못하고 있습니다.

본 논문은 **저계수 행렬 분해(low-rank matrix factorization)**를 통해 Muon을 평가함으로써 아키텍처, 규모, 데이터와 같은 혼란 변수로부터 옵티마이저를 격리하여 이 불확실성을 해결하고자 합니다. 이 문제는 단순성, 잘 알려진 최적화 지형, 그리고 명시적인 스펙트럼 구조를 가지고 있어, Muon의 스펙트럼 특성이 곡률 및 특이값(singular-value) 구조와 어떻게 상호작용하는지 체계적이고 철저하게 평가할 수 있는 적합한 대상입니다.

방법론

저자들은 다섯 가지 서로 다른 행렬 복구 문제 설정에 대해 Muon을 적응형 베이스라인(AdamW, Plain GD, SignGD)과 통제된 체계적 비교를 수행합니다. 평가 프로토콜은 저자들이 이전 연구에서 오해의 소지가 있는 주요 원인으로 지목한 하이퍼파라미터 선택의 편향을 제거하도록 설계되었습니다.

실험 설계

문제 변형:
- 대칭 저계수 분해(Symmetric Low-Rank Factorization): $UU^\top$ 로부터 rank- $r$ 양의 준정부호(PSD) 행렬 $M^\star$ 를 복구.
- 행렬 완성(Matrix Completion): 관측된 엔트리의 일부(20% 관측률)로부터 행렬을 복구.
- 비음수 행렬 분해(Non-negative Matrix Factorization, NMF): 타겟과 인자 모두가 비음수인 제약 조건이 있는 분해.
- 텐서 트레인 분해(Tensor-Train Factorization): 딥러닝의 곱 파라미터화(product parameterizations)를 위한 최소 모델로서, 대칭 PSD 타겟에 적용된 이선형(bilinear) 분해 설정.
- 가우시안 커널 분해(Gaussian-Kernel Factorization): RBF 커널 행렬을 사용하는 매끄럽고 상태가 양호한(well-conditioned) 지형.
통제 변수:
- 조건수 ( $\kappa$ ): 상태가 양호한 경우( $\kappa=1$ )부터 심각하게 불량한 경우( $\kappa=625$ 또는 $10^4$ )까지 조건수를 스윕(sweep)함.
- 스펙트럼 형태: 특이값의 분포를 유니폼, 감쇠(decayed), 헤비 테일(heavy-tailed), 클러스터링된 형태로 변화시키며, 이를 통해 스펙트럼 밀도에 대한 민감도를 테스트함. 이때 조건수는 고정함.
- 파라미터화: 과소 매개변수화(under-parameterized), 정확한 매개변수화(exactly parameterized), 과잉 매개변수화(over-parameterized) 영역을 모두 다룸.
평가 프로토콜:
- 하이퍼파라미터 튜닝: 단일 "기본" 학습률을 사용하는 대신, 모든 옵티마이저와 문제 설정에 대해 로그 그리드 방식의 철저한 학습률 스윕을 수행함.
- 지표: 복구 성능은 정규화된 평균 제곱 오차(NMSE)로 측정함.
- 비교: 옵티마이저들은 "안정적인 학습률 범위"(수렴이 로스 플로어(loss floor)에 도달하는 스텝 사이즈 대역)와 최적 튜닝된 최종 로스를 기준으로 비교됨.

주요 기여 및 결과

1. 하이퍼파라미터 민감도 및 튜닝

본 논문은 옵티마이저의 순위가 학습률 선택에 매우 민감하다는 것을 입증합니다.

기본값 vs 튜닝된 값: 단일 기본 학습률(예: $10^{-3}$ )에서 도출된 순위는 개별 튜닝을 거친 후의 순위와 자주 상충합니다.
보편적 우위의 부재: 각 방법이 개별적으로 튜닝되었을 때, 모든 설정에서 단일 옵티마이저가 지배적인 우위를 점하지는 않습니다.
- AdamW와 GD는 표준 저계수 분해 및 행렬 완성 작업에서 Muon과 대등하거나 오히려 더 나은 성능을 보이기도 합니다.
- Muon은 주로 비음수 행렬 분해(NMF) 및 특정 고조건(highly ill-conditioned) 행렬 완성 문제에서 일관된 이점을 보입니다.

2. 조건수와 스펙트럼 구조의 역할

조건수에 의한 방법론 재배치: 조건수( $\kappa$ )가 증가함에 따라 최적의 학습률이 이동하며, 옵티마이저의 상대적 성능도 변화합니다. 예를 들어, GD는 상태가 양호한 영역에서는 잘 작동하지만 극단적인 불량 조건에서는 실패하며, 이 경우 AdamW가 우수합니다.
스펙트럼 형태의 중요성: 극단적인 조건수( $\kappa=10^4$ )가 고정된 상태에서도 내부 고유값 분포가 성능에 큰 영향을 미칩니다. AdamW는 헤비 테일 및 클러스터링된 스펙트럼에 효과적으로 적응하는 반면, Muon은 이러한 극단적 조건의 대부분의 스펙트럼 형태에서 낮은 성능을 보입니다.

3. NMF에서의 특정 성능

Muon은 NMF 작업에서 뚜렷한 이점을 유지합니다. 저자들은 이것이 Muon의 직교화된 업데이트가 중복된 인자를 억제하고 더 다양한 표현을 촉진하기 때문이라고 제안하며, 이는 제약이 없는 또는 대칭 분해 작업에서는 관찰되지 않는 이점입니다.

4. 양호한 지형(Well-Behaved Landscapes)

매끄럽고 상태가 양호한 지형인 가우시안 커널 분해 작업에서, Muon의 복잡한 직교화 메커니즘은 잘 튜닝된 AdamW에 비해 별다른 이점을 제공하지 못합니다. 두 방법 모두 동일한 글로벌 플로어(global floor)로 수렴하며, 이는 Muon의 장점이 보편적인 것이 아니라 맥락 의존적임을 뒷받침합니다.

의의 및 주장

본 논문은 Muon의 대규모 딥러닝에서의 인지된 우월성이 모델 규모, 아키텍처, 데이터 특성과 같은 다른 요인들과 혼동되었을 수 있다고 주장합니다. 통제된 문제들을 통해 옵티마이저를 격리함으로써, 저자들은 Muon의 능력에 대해 더 미묘한 시각을 제공합니다.

맥락 의존적 유용성: Muon은 보편적으로 우월한 옵티마이저가 아닙니다. 그 이점은 NMF에서 발견되는 것과 같은 특정 문제 구조, 특히 비음수 제약이나 특정 스펙트럼 퇴화(spectral degeneracies)와 관련이 있습니다.
평가 표준: 본 연구는 현대적 옵티마이저를 평가할 때 단일 엔드 투 엔드 벤치마크나 기본 설정에 의존하기보다, 튜닝된 하이퍼파라미터 범위와 다양한 조건수 영역에 걸쳐 평가해야 할 필요성을 강조합니다.
이론적 함의: 결과는 스펙트럼 노름 최급 강하(Muon의 이론적 해석)가 모든 구조화된 설정에서 좌표별 적응성(AdamW)보다 본질적으로 우월하다는 가설에 의문을 제기합니다. 대신, "최선의" 접근 방식은 목적 함수의 구체적인 기하학적 및 스펙트럼 특징에 크게 좌우됩니다.

결론적으로, 저자들은 Muon이 효과적이지 않다고 주장하는 것이 아니라, 그 이점이 문제 의존적이라는 점을 밝히고 있습니다. 이 연구는 스펙트럼을 인식하는 직교화가 언제, 왜 최적화를 돕는지 이해하기 위해 더 엄격하고 통제된 벤치마킹 접근 방식을 옹호합니다.