🤖 machine learning

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

본 논문은 Muon 과 AdamW 가 어려움을 겪는 검증 가능한 보상을 활용한 비전 - 언어 - 행동 훈련 및 강화 학습에서 Muon 보다 노이즈가 많은 기울기 성분을 억제하고 헤드별 전문성을 보존함으로써 우수한 성능과 안정성을 달성하는 고역파 스펙트럼 최적화기인 Pion 을 소개합니다.

원저자: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Rethinking Muon Beyond Pretraining" 논문을 쉬운 언어와 일상적인 비유로 설명합니다.

큰 그림: 로봇과 추론을 위한 새로운 최적화 알고리즘

인공지능 (AI) 을 훈련시키는 것은 학생을 가르치는 것과 같습니다. 오랫동안 대규모 언어 모델 (LLM) 을 위한 최고의 교사 (최적화 알고리즘) 는 AdamW였습니다. 최근 Muon이라는 더 진보된 새로운 교사가 등장했습니다. Muon 은 AI 가 인터넷 전체를 읽으며 일반 지식을 습득하는 '사전 훈련 (pretraining)' 단계에서 탁월합니다. Muon 은 AI 의 두뇌를 악기처럼 취급하여, 모든 음 (수학적 방향) 이 동일한 볼륨으로 연주되도록 함으로써 과감한 탐색을 장려합니다.

그러나 이 논문의 저자들은 Muon 을 두 가지 특정 고급 작업에 적용하려 할 때 치명적인 결함이 있음을 발견했습니다.

로봇 교육 (VLA): 지능형 언어 모델을 보고, 말하고, 움직일 수 있는 로봇으로 변환하는 것.
수학/논리 교육 (RLVR): 보상 (reward) 을 이용해 AI 에게 수학 퍼즐 같은 어려운 문제를 해결하도록 가르치는 것.

이 새로운 시나리오에서 Muon 은 종종 실패하여 로봇이 어색하게 움직이거나 수학 풀이기가 배운 모든 것을 잊어버리게 만듭니다. 저자들은 이러한 문제를 해결하는 새로운 교사인 Pion을 제안합니다.

문제: 왜 Muon 은 새로운 상황에서 실패하는가

문제를 이해하기 위해 AI 의 학습 과정을 많은 스피커 (수학적 방향) 가 있는 사운드 시스템으로 상상해 보십시오.

1. 로봇 문제 (저랭크 문제)

로봇을 훈련시킬 때, 팔을 조절하는 두뇌 부분 (행동 모듈) 은 매우 단순합니다. 오직 몇 가지 특정 방향으로만 움직이면 됩니다.

비유: 합창단에서 3 명의 가수만 올바른 가사를 가지고 있고, 나머지 97 명은 무작위 소음을 흥얼거리는 상황을 상상해 보십시오.
Muon 의 행동: Muon 은 모든 가수의 볼륨을 정확히 같은 수준으로 높이는 오디오 엔지니어와 같습니다. 이는 3 명의 좋은 가수를 크게 만들지만, 97 명의 소음 가수들도 같은 볼륨으로 폭발시킵니다. 결과는 무엇일까요? 로봇은 소음에 혼란을 느껴 불규칙하게 움직입니다.
해결책: 좋은 가수는 크게 유지하되 소음 가수는 음소거하는 시스템이 필요합니다.

2. 수학 문제 (저신호대잡음비 문제)

보상 (RLVR) 을 이용해 AI 에게 수학 문제를 풀도록 가르칠 때, 피드백은 매우 '소음'이 많습니다. AI 가 추측하고, 보상을 받고, 다시 시도합니다. 신호 (실제 수학 교훈) 는 약하고 소음 (무작위 추측) 은 강합니다.

비유: 허리케인 속에서의 속삭임을 듣는 상황을 상상해 보십시오.
Muon 의 행동: Muon 은 속삭임과 허리케인 바람을 똑같이 크게 만들려고 합니다. 이는 속삭임을 완전히 덮어씌워 AI 가 '붕괴'하고 학습을 멈추게 만듭니다.
해결책: 속삭임을 증폭시키고 허리케인 바람은 차단하는 필터가 필요합니다.

해결책: Pion 의 등장

저자들은 Pion(sPectral hIgh-pass Optimization on momeNtum)을 만들었습니다. Pion 은 Muon 이 빠뜨린 스마트 오디오 이퀄라이저라고 생각하십시오.

모든 볼륨을 동일하게 높이는 대신, Pion 은 두 단계 과정을 사용합니다:

증진 (Promotion): 중요하고 명확한 신호 (소리의 '머리' 부분) 를 증폭합니다.
억제 (Suppression): 소음이 많고 약한 신호 (소리의 '꼬리' 부분) 를 적극적으로 음소거합니다.

이를 'High-Pass' 필터라고 합니다. 음악에서 고역대 필터가 낮은 울림 베이스 소음을 잘라내어 명확한 보컬이 빛나도록 하듯, Pion 도 수학적 소음을 잘라내어 유용한 학습 방향이 빛나도록 합니다.

Pion 의 주요 특징:

바로 교체 가능 (Drop-in Replacement): 기존 훈련 코드에서 Muon 이 들어가는 자리에 정확히 들어맞습니다. 더 많은 컴퓨터 성능이나 시간이 필요하지 않으며, 속도는 동일합니다.
헤드별 모드 (Per-Head Mode): 수학 문제의 경우 Pion 은 AI 두뇌의 서로 다른 부분 (주목 헤드, attention heads) 을 개별적으로 처리할 수 있습니다. 이는 한 반의 학생들 전체를 하나의 덩어리로 취급하는 대신, 어떤 학생은 기하학을 잘하고 다른 학생은 대수학을 잘한다는 것을 인식하고 각자에게 다른 숙제를 주는 것과 같습니다.

결과: 로봇과 수학이 더 똑똑해지다

이 논문은 Pion 을 두 가지 주요 영역에서 테스트했습니다.

1. 실제 로봇 (VLA)

테스트: 로봇이 오이나 큐브 같은 물체를 집어 그릇이나 접시에 넣도록 훈련시켰습니다.
결과:
- AdamW: 로봇이 고전하며 물건을 자주 떨어뜨리거나 목표를 빗나갔습니다.
- Muon: 로봇이 더 잘했지만 여전히 떨림이 있었고, 너무 많은 소음에 '귀를 기울여' 때때로 물체에 부딪혔습니다.
- Pion: 로봇은 매끄럽고 정밀했습니다. 한 테스트에서 Pion 은 1,500 단계 후 100% 성공률을 달성한 반면, Muon 은 97%, AdamW 는 32% 에 그쳤습니다.
- 실제 세계: 그들은 실제 물리적 로봇 팔 (Franka Research 3) 에서도 이를 테스트했고, Pion 이 여전히 승리하여 다른 방법들보다 훨씬 더 신뢰성 있게 물체를 집어 넣고 놓았습니다.

2. 수학 추론 (RLVR)

테스트: 강화 학습을 이용해 AI 모델 (Qwen3) 에게 수학 문제 (MATH 및 GSM8K 데이터셋) 를 풀도록 가르쳤습니다.
결과:
- Muon: 모델이 붕괴했습니다. 소음이 학습 신호를 압도하여 정확도가 거의 0 으로 떨어졌습니다.
- AdamW: 모델은 느리지만 꾸준히 학습했습니다.
- Pion: 모델은 AdamW 보다 빠르게 학습했으며 더 높은 정확도를 달성하여 소음이 많은 수학 환경을 성공적으로 헤쳐 나갔습니다.

요약

이 논문은 Muon 이 AI 훈련의 초기 '읽기' 단계에서는 훌륭한 도구이지만, 로봇을 제어하거나 수학 문제를 해결하는 섬세한 작업에는 너무 '시끄럽고' 무분별하다고 주장합니다. Pion은 AI 훈련을 위한 소음 제거 헤드폰과 같은 새로운 도구입니다. 중요한 학습 신호는 명확하고 크게 유지하면서 방해가 되는 소음은 침묵시켜, 속도를 늦추지 않으면서 더 똑똑한 로봇과 더 나은 수학 풀이기를 만들어냅니다.

기술 요약: 사전 훈련을 넘어선 Muon 재고찰

문제 제기

본 논문은 대규모 언어 모델 (LLM) 사전 훈련에서 성공을 거둔 행렬 인식 최적화기인 Muon(Newton–Schulz에 의해 직교화된 MomentUm) 이 두 가지 새로운 훈련 regimes, 즉 시각 - 언어 - 행동 (VLA) 훈련과 검증 가능한 보상을 통한 강화 학습 (RLVR) 에 적용될 때 근본적인 한계를 드러낸다고 지적합니다.

Muon 은 Newton–Schulz(NS) 반복을 통해 모멘텀 행렬의 모든 특이값을 1 로 수렴시켜 균일한 스펙트럼 화이트닝을 수행합니다. 이는 사전 훈련에서 탐색을 촉진하지만, 저자들은 이것이 하류 작업에서 "스펙트럼 불일치"를 유발한다고 주장합니다:

VLA 훈련에서: 행동 모듈의 기울기는 본질적으로 저랭크(낮은 유효 랭크, 또는 erank) 입니다. Muon 의 균일한 화이트닝은 저랭크 스펙트럼을 지배하는 노이즈가 많은 꼬리 방향을 정보성 있는 선도 특이값과 동일한 크기로 증폭시켜 업데이트를 손상시킵니다.
RLVR 사후 훈련에서: 정책 기울기는 궤적 수준의 보상과 안정화 메커니즘 (예: 클리핑, 중요도 샘플링) 으로 인해 낮은 신호 대 잡음비 (SNR) 를 보입니다. Muon 의 균일한 화이트닝은 이러한 확률적 노이즈를 증폭시켜 정책 붕괴를 초래합니다. 또한, Muon 은 사전 훈련에서 물려받은 헤드별 이질성(전문화된 업데이트 스케일) 을 무시하고 어텐션 프로젝션을 단일 블록으로 취급합니다.

Low-Rank Muon(LRMuon) 과 같은 기존 변형들은 랭크 문제를 해결하지만, 계산 비용이 많이 드는 SVD 나 스케치에 의존하여 Muon 의 확장성을 따라가지 못합니다.

방법론: Pion

저자들은 Muon 을 대체할 수 있는 Pion(sPectral hIgh-pass Optimization on momeNtum) 을 제안합니다. 이는 Muon 과 동일한 계산 효율성 (단계당 비용 동일) 을 유지하면서 균일한 화이트닝을 스펙트럼 고역 통과 필터로 대체합니다.

핵심 메커니즘: 고역 통과 NS 반복

Pion 은 정규화된 특이값 $\sigma \in [0, 1]$ 에 작용하는 스칼라 다항식 매핑 $f(\sigma)$ 로 NS 반복을 재해석합니다. 모든 $\sigma \to 1$ 로 유도하는 단일 다항식 대신, Pion 은 $k=5$ 단계의 NS 단계를 증진 (Promotion) + 억제 (Suppression) 의 2 단계 시퀀스로 분할합니다:

증진 단계 ( $f_p$ ): $k_p$ 단계 동안 적용됩니다. 이 다항식은 특이값을 단조롭게 증폭하도록 설계되어, 억제 임계값 이상의 정보성 있는 방향을 들어 올리면서 상대적 순서를 유지합니다. 계수는 원점에서의 기울기를 최대화 ( $a_p = 1.875$ ) 하도록 유도되되 $\sigma=1$ 을 고정합니다.
억제 단계 ( $f_s$ ): $k_s = k - k_p$ 단계 동안 적용됩니다. 이 다항식은 선도 특이값을 1 에 고정하면서 작고 노이즈가 많은 특이값을 0 으로 수렴시킵니다. 노이즈의 선형 증폭을 제거하기 위해 원점에서 0 이 되는 미분값 ( $f'_s(0)=0$ ) 을 강제합니다.

이로 인해 생성된 복합 매핑은 날카로운 고역 통과 필터를 생성합니다: 지배적인 특이값은 보존되며 (1 근처에 고정), 노이즈가 많은 꼬리는 억제됩니다 (0 쪽으로 수축). 차단 강도는 하이퍼파라미터 $k_p$ (증진 단계 수) 로 제어됩니다.

헤드별 모드

어텐션 헤드 전문화와 관련된 한계를 해결하기 위해 Pion 은 헤드별 모드를 도입합니다. 전체 가중치 행렬에 NS 반복을 적용하는 대신, 어텐션 프로젝션을 헤드 차원을 따라 재구성하여 각 헤드에 독립적으로 고역 통과 NS 를 적용합니다. 이는 단순한 재구성을 넘어 추가적인 계산 비용 없이 헤드 간에 필요한 이질적인 업데이트 스케일을 보존합니다.

주요 기여

스펙트럼 실패 식별: 본 논문은 Muon 의 균일한 스펙트럼 화이트닝이 VLA(저랭크 행동 기울기 때문) 와 RLVR(낮은 SNR 기울기 때문) 에서 해롭다는 것을 체계적으로 입증한 최초의 연구로, 이로 인해 성능이 저하되거나 모델이 붕괴됨을 보여줍니다.
Pion 최적화기: NS 반복을 2 단계 증진 + 억제 메커니즘으로 재설계한 Pion 을 제안합니다. 이는 비싼 SVD 연산을 피하면서 Muon 과 동일한 계산 비용으로 스펙트럼 고역 통과 효과를 달성합니다.
헤드별 적응: 사전 훈련된 어텐션 헤드의 이질성을 존중하는 헤드별 적용 모드를 도입하여, 안정적인 RLVR 사후 훈련에 필수적인 요소를 제공합니다.
종합적 실증 검증: 시뮬레이션 및 실제 로봇 배포를 포함한 다양한 설정에서 Pion 이 AdamW 와 Muon 일관적으로 능가함을 보여주는 광범위한 실험을 수행했습니다.

실험 결과

VLA 훈련 (LIBERO 및 LIBERO-Plus)

설정: LIBERO suites 에서 VLA-Adapter( $\ell_1$ -회귀) 와 VLANeXt(흐름 매칭) 를 훈련합니다.
결과:
- Pion 은 Muon 과 AdamW 일관적으로 능가합니다. LIBERO Object 작업에서 Pion 은 1,500 단계 후 100% 성공률에 도달하는 반면, Muon 은 97.0%, AdamW 는 32.2% 입니다.
- Pion 은 LIBERO-Plus 벤치마크에서 분포 변화 (예: 노이즈, 로봇 교란) 하에서 더 빠른 수렴과 높은 견고성을 보여줍니다.
- 실제 로봇 평가: $\pi0.5$ 백본을 사용하는 Franka Research 3 로봇에서 Pion 은 잡기 및 놓기 작업에서 평균 **85.6%**의 성공률을 달성하여 Muon(38.9%) 과 AdamW(31.1%) 를 크게 능가했습니다.

RLVR 사후 훈련 (Qwen3-1.7B/4B)

설정: GRPO 및 GMPO 알고리즘을 사용하여 MATH 및 GSM8K 에서 Qwen 모델을 미세 조정합니다.
결과:
- Muon 붕괴: Muon 은 노이즈 증폭으로 인해 정확도가 거의 0 으로 떨어지며 RLVR 설정에서 완전히 실패합니다.
- Pion 성공: Pion 은 의미 있는 훈련 신호를 회복하여 모든 모델 크기와 벤치마크에서 AdamW 를 능가합니다. 예를 들어, MATH 에서 GRPO 를 사용하는 Qwen3-1.7B 의 경우, Muon 이 붕괴하는 동안 Pion 은 안정적인 정확도 성장을 달성합니다.
- Ablation: 반대 방향으로 필터링하는 (작은 값은 유지하고 큰 값은 버리는) "Low-pass Muon"(LPMuon) 변형은 훈련에 실패하여, Pion 의 고역 통과 특성이 성공의 결정적 요소임을 확인시켜 줍니다.

의의 및 주장

본 논문은 Pion 이 사전 훈련이 아닌 regimes 에 Muon 을 적용할 때 내재된 스펙트럼 불일치 문제에 대한 대체 가능하고 계산 효율적인 솔루션을 제공한다고 주장합니다. 균일한 화이트닝을 제어 가능한 고역 통과 필터로 대체함으로써 Pion 은 Muon 이 실패하는 노이즈가 많은 (RLVR) 과 저랭크 (VLA) 환경에서 훈련을 안정화합니다.

저자들은 Pion 의 이점이 단순히 아키텍처적인 것이 아니라, 최적화기의 스펙트럼 유추 편향을 근본적으로 수정한 데서 비롯된다고 강조합니다. 이 연구는 균일한 스펙트럼 탐색이 사전 훈련에는 유익할 수 있지만, 효과적인 하류 적응과 추론을 위해서는 스펙트럼 선택성(신호 보존, 노이즈 억제) 이 필수적임을 시사합니다. 실제 로봇 하드웨어에서의 결과는 이러한 알고리즘적 개선이 물리적 작업 수행의 실질적인 향상으로 이어짐을 추가로 검증합니다.