🔢 mathematics

Sign compression for Muon: SignMuon, MuonSign, and the Limits of Error Feedback

이 논문은 이론적 발산과 이를 해결하기 위한 오차 피드백의 실패에도 불구하고 다양한 벤치마크에서 증명 가능한 수렴 변형 모델들보다 실증적으로 더 우수한 성능을 보이는 Muon 옵티마이저를 위한 1비트 압축 방식인 SignMuon을 소개하며, 이는 저비트 최적화에서 이론적 보장과 실제 성능 사이의 상당한 격차를 강조한다.

원저자: Maria Smirnova, Alexey Kravatskiy

게시일 2026-08-03

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Maria Smirnova, Alexey Kravatskiy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 아주 똑똑한 로봇에게 사진 속 고양이를 인식하는 법을 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 수백만 장의 사진으로부터 학습해야 하며, 로봇이 추측을 할 때마다 중앙의 두뇌로 "제 생각을 이런 방향으로 조정해야 할 것 같아요"라고 메시지를 보냅니다. 문제는 이 메시지들이 매우 크다는 점입니다. 마치 "예" 또는 "아니오"라고 말할 때마다 백과사전 한 권 분량의 데이터를 보내는 것과 같습니다. 만약 이 거대한 백과사전들을 느린 인터넷 연결을 통해 보내야 한다면, 데이터가 도착하기를 기다리느라 전체 학습 과정이 멈춰버릴 것입니다.

이 문제를 해결하기 위해 과학자들은 "압축(compression)"이라는 기술을 발명했습니다. 전체 백과사전을 보내는 대신, 가장 중요한 단어인 '부호(sign)'만을 보내는 것입니다. 조정이 양수(+)인가요, 아니면 음수(-)인가요? 그것뿐입니다. 단 1비트의 정보죠. 이는 상세한 지도를 보내는 대신 "위로!" 또는 "아래로!"라고 외치는 것과 같습니다. 이렇게 하면 대역폭을 엄청나게 절약할 수 있고 로봇이 훨씬 빠르게 학습할 수 있습니다. 하지만 함정이 있습니다. 세부 사항을 모두 버리고 방향만 남기게 되면, 실수로 수학적 계산을 망칠 수 있다는 것입니다. 로봇이 제자리에서 뱅글뱅글 돌거나, 앞으로 가고 있다고 생각하면서 실제로는 뒤로 걷게 될 수도 있습니다. 이 논문은 로봇이 길을 잃지 않고 실제로 학습할 수 있도록 "위로!" 또는 "아래로!"라고 외치는 완벽한 방법을 찾는 것에 관한 것입니다.

위대한 부호 압축 실험 (The Great Sign-Compression Experiment)

인공지능을 훈련시키는 세계에는 Muon이라는 유명한 방법이 있습니다. Muon을 우리 로봇을 위한 매우 정교한 GPS라고 생각하세요. 모든 구식 방법들이 로봇의 뇌 각 부분을 별개의 격리된 항목으로 취급하는 것과 달리, Muon은 전체적인 그림을 봅니다. Muon은 로봇의 뇌가 숫자 그리드(행렬)로 구성되어 있음을 이해하며, 최적의 경로를 찾기 위해 특별한 기하학적 규칙을 사용합니다. 이는 단순히 직선으로 걸으려고 하는 것이 아니라, 지형이 산맥임을 이해하고 그 언덕의 모양에 맞는 경로를 선택하는 GPS와 같습니다.

하지만 Muon은 무겁습니다. 매 단계마다 상세한 전체 지도(32비트 데이터)를 보냅니다. 당신이 대역폭을 아끼기 위해 "위/아래 외치기(부호 압축)" 기술을 Muon과 함께 사용하려고 하면 상황이 이상해집니다. 이 논문의 저자인 마리아 스미르노바(Maria Smirnova)와 알렉세이 크라바츠키(Alexey Kravatskiy)는 Muon의 스마트한 GPS와 단순한 "위/아래" 외치기를 결합하는 세 가지 다른 방법을 테스트하기로 했습니다.

세 가지 외치기 방식

그들은 마치 미로를 탐색하는 세 팀처럼 세 가지 전략을 설정했습니다:

SignMuon ("외친 후" 팀): 먼저 Muon이 완벽하고 상세한 경로를 계산합니다. 그런 다음 그 경로를 보고 모든 단계에 대해 "위!" 또는 "아래!"라고 외칩니다. 이것이 가장 논리적으로 보입니다. 스마트한 방향을 먼저 얻은 다음 단순화하는 것이니까요.
MuonUSign ("외치기 전" 팀): Muon이 스마트한 수학 계산을 하기 전에, 원시 데이터에 대해 먼저 "위!" 또는 "아래!"라고 외칩니다. 그 후 Muon은 이 단순한 외침들을 바탕으로 최적의 경로를 찾아냅니다.
MuonSign ("양방향 외치기" 팀): 전과 후 모두 외칩니다. 원시 데이터에 대해 먼저 외치고, Muon이 제 역할을 하게 한 다음, 결과에 대해 다시 한번 외칩니다. 이것은 가장 극단적인 압축 방식으로, 양방향 모두에서 "위" 또는 "아래"만을 보냅니다.

충격적인 발견: 논리 vs 현실

여기서 이야기는 반전됩니다. 저자들은 엄격한 수학적 증명(정리로 입증)을 수행했고 놀라운 사실을 발견했습니다: 이 세 가지 방법 중 그 어떤 것도 성공을 보장하지 못한다는 것입니다.

실제로 그들은 특정 유형의 단순한 직선 문제에서 세 방법 모두 로봇을 뒤로 걷게 만들 수 있음을 증证明했습니다. 로봇이 곧은 복도를 따라 걷고 있다고 상상해 보세요. 앞으로 나아가는 대신, 수학적 혼란으로 인해 "위/아래" 외침이 매 단계마다 로봇을 뒤로 한 걸음씩 물러나게 만듭니다. 단계의 크기가 아무리 작더라도 로봇은 목표에서 점점 더 멀어집니다.

저자들은 심지어 이러한 현상이 발생하는 구체적인 작은 예시들(예: 4x4 또는 5x5 그리드)을 직접 만들어 보여주었습니다. 그들은 "실수의 기억(error feedback)"이라는 기술을 사용하여 이를 해결하려 해도 "외친 후" 팀(SignMuon)에게는 도움이 되지 않는다는 것을 증명했습니다. 로봇은 여전히 뒤로 걷는 상태에서 갇혀 있게 됩니다.

(하지만 최선은 아닌) "마법 같은" 해결책

그렇다면 명백한 방법들이 실패한다면, 무엇이 작동할까요? 저자들은 무엇을 압축하느냐에 따라 상황을 바꿀 수 있다는 것을 발견했습니다.

최종 방향을 압축하는 대신, Muon이 마법을 부리기 전의 원시 데이터를 압축하고, 실수를 수정하기 위한 특별한 "기억" 시스템을 사용합니다. 그들은 두 가지 새로운 방법을 만들었습니다: EF21-MuonUSign과 EF21-MuonSign.

이 방법들은 수학적으로 작동합니다. 저자들은 이 방법들이 어렵고 비선형적인 문제에서도 결국 목표를 찾아낼 것임을 증명했습니다. 이들은 로봇이 영원히 뒤로 걷게 만들지 않는 "안전한" 선택지입니다.

반전: 이론 vs 현실

만약 "안전한" 방법들이 수학적으로 유일하게 작동하는 방법이라면, 현실 세계에서도 그들이 챔피언이 될 것이라고 예상하겠죠? 틀렸습니다.

저자들은 실제 작업에 대해 대규모 실험을 수행했습니다:

개와 고양이를 인식하도록 로봇을 훈련시킴 (CIFAR-10).
인간처럼 글을 쓰도록 로봇을 훈련시킴 (nanoGPT).

그리고 결과는 수학적 예측과 정반대였습니다. 수학적 보증이 있는 "안전한" 방법들은 더 느리고 정확도가 낮았습니다. 수학적으로 고장 났다고 판명된 방법인 **"외친 후" 방식 (SignMuon)**이 오히려 승자였습니다.

모든 테스트에서 Sign_Muon이 최고의 성능을 보였습니다. 수학이 그것이 실패해야 한다고 말했음에도 불구하고, SignMuon은 더 빠르게 학습하고 더 높은 점수를 얻었습니다.

왜 이런 일이 일어날까요?

논문은 "깨진" 수학이 매우 특수하고 이상한 상황에서만 발생한다는 점을 시사합니다. "깨진" 수학이 발생하는 상황은 현실에서 잘 일어나지 않습니다. "외친 후" 방식(SignMuon)은 수학적 증명이 포착하지 못한 숨겨진 초능력을 가진 것으로 보입니다. 복잡하고 난해한 실제 데이터의 세계에서는, 최종 방향을 압축하는 단순한 행위가 복잡하고 "안전한" 오류 수정 시스템보다 더 효과적이라는 사실이 밝혀졌습니다.

저자들은 "안전한" 방법들이 작동할 수 있음을 증명할 수는 있지만, "위험한" 방법인 SignMuon이 실제로 일을 해내는 방법이라고 결론짓습니다. 이는 이론이 실제를 따라가지 못하는 사례를 보여줍니다. "안전한" 방법을 구축할 수는 있지만, 때로는 몇 번의 위험한 도약을 하는 로봇이 결승선에 더 빨리 도착할 수 있다는 교훈을 줍니다. AI 시스템을 만드는 사람들에게 교훈은 명확합니다. 수학을 믿어 안전을 지키되, 무엇이 실제로 작동하는지는 실험을 믿으라는 것입니다.

기술 요약: Muon을 위한 Sign Compression

문제 정의
분산 클라이언트 간 또는 대역폭 제한이 있는 환경에서 심층 신경망을 훈련하려면 워커(worker)와 서버 사이에서 전송되는 업데이트를 압축해야 합니다. SignSGD는 각 좌표당 1비트라는 극단적인 압축률을 제공하지만, 고급 옵티마이저인 Muon이 활용하는 행렬 구조를 무시하고 가중치 행 matrices를 벡터로 평탄화해 버립니다. Muon은 스펙트럼 노름(spectral norm)에 기반한 선형 최소화 오라클(LMO)을 사용하여 모멘텀 행렬을 직교화함으로써 다양한 설정에서 우수한 성능을 발휘합니다. 그러나 Muon은 밀집된 전정밀도(full-precision) 행렬(파라미터당 32비트)을 전송하므로 병목 현상을 일으킵니다. 핵심 문제는 Muon의 행렬 인식 기하학(matrix-aware geometry)을 유지하면서도 하강 성질(descent property)이나 수렴 보장을 잃지 않고 1비트 통신 예산을 결합하는 것입니다.

방법론
본 논문은 Muon LMO에 대한 세 가지 자연스러운 부호 압축 연산자(sign compression operator) 배치 위치를 조사합니다:

SignMuon: LMO의 출력에 부호를 적용함 ( $\text{sign}(\text{LMO}(\cdot))$ ). 이는 가장 직접적인 접근 방식으로, $\pm 1$ 행렬을 생성합니다.
MuonUSign: LTO의 입력에 부호를 적용함 ( $\text{LMO}(\text{sign}(\cdot))$ ).
MuonSign: 입력과 출력 모두에 부호를 적용함 ( $\text{sign}(\text{LMO}(\text{sign}(\cdot)))$ ).

저자들은 선형 목적 함수와 매끄러운 비볼록(smooth non-convex) 문제에 대해 이 방법들을 이론적으로 분석합니다. 또한 부호 압축으로 인한 편향을 해결하기 위해 에러 피드백(error-feedback) 변형(EF21)을 도입합니다:

EF21-SignMuon: LMO 출력(폴라 팩터, polar factor)에 에러 피드백을 적용합니다.
EF21-MuonUSign: LMO 이전의 그래디언트에 에러 피드백을 적용합니다.
EF21-MuonSign: 그래디언트(업링크)와 모델 업데이트(다운링크) 모두에 에러 피드백을 적용합니다.

주요 구현 세부 사항으로는 레이어별 스텝 사이즈를 위한 "단위 이득 휴리스틱(unit-gain heuristic)"이 있습니다. 이는 다양한 형태를 가진 레이어 간에 일관된 제곱평균제곱근(RMS) 이득을 보장하기 위해 레이어 차원에 따라 학습률을 조절하며, 이는 LMO 기반 스텝(노름 $\sqrt{r}$ )과 부호 기반 스텝(노름 $\sqrt{mn}$ )을 혼합할 때 필수적입니다.

주요 기여

직접적인 조합의 발산: 본 논문은 세 가지 직접적인 부호 배치(SignMuon, MuonUSign, MuionSign) 중 어느 것도 일반적인 상황에서 하강을 보장하지 못함을 증명합니다. 구체적으로, 저자들은 각 방법이 임의의 스텝 사이즈와 모멘텀 계수에 대해 선형 목적 함수에서 상승(ascend)하는 명시적인 소규모 반례(4x4 및 5x5 행렬)를 구성합니다. 부호 연산자와 스펙트럼 노름 LMO의 합성은 어떤 노름에 대해서도 LMO가 되지 못하며, 이로 인해 하강 보장이 파괴됨을 보여줍니다.
오라클 출력에 대한 에러 피드백의 실패: 저자들은 표준 에러 피드백(EF21)을 LMO 출력에 적용하는 것(EF21-SignMuon)이 발산을 복구하지 못함을 입증합니다. 이들은 EF21-SignMuon이 모든 매끄러움 상수, 스텝 사이즈, 모멘텀 설정에 대해 발산하는, 유계인 매끄러운 함수를 구성합니다. 폴라 팩터는 스텝 사이즈와 관계없이 일정한 양만큼 이동할 수 있으므로, 에러 피드백 추정기가 이를 추적하는 것을 방지합니다.
그래디언트 기반 에러 피드백의 수렴: 이와 대조적으로, LMO 이전의 그래디언트에 에러 피드백을 적용하면 수렴이 회복됩니다.
- EF21-MuonUSign은 1비트 업링크를 사용하는 매끄러운 비볼록 문제에 대해 표준 $O(T^{-1/2})$ 의 제곱 그래디언트 노름 도달률을 달성합니다.
- EF21-MuonSign은 모델에 두 번째 에러 피드백 루프를 추가함으로써 이를 양방향(업링크 및 다운링크) 1비트로 확장하며, 동일한 수렴률을 유지합니다.
이론의 실험적 역전: SignMuon의 이론적 발산에도 불구하고, 중앙 집중식 CIFAR-10, 연합 학습(federated) CIFAR-10 및 nanoGPT 스피드런에 대한 실험 결과는 SignMuon(sign-after 배치)이 가장 강력한 압축 방법임을 일관되게 보여줍니다. 이는 이론적으로 수렴하는 변형들(EF21-MuonUSign, EF21-MuonSign)보다 우수하며, 많은 경우 전정밀도 Muon과 대등한 성능을 보입니다. 이론적으로 "안전한" 방법들은 SignMuon보다 뒤처집니다.

결과

이론적: 본 논문은 "sign-after" 배치가 오라클 출력에 적용된 에러 피드백에 의해 복구 불가능함을 입증하는 반면, "sign-before" 및 "양방향" 배치는 그래디언트에 에러 피드백을 적용할 경우 수렴 가능함을 확립합니다.
실험적:
- **중앙 집중식 CIFAR-10 (ResNet-18)**에서 SignMuon은 94.60%의 정확도를 달성하여 전정밀도 Muon(94.35%)과 대등하며, SignSGD(93.37%)를 크게 앞섭니다. 에러 피드백 변형(EF21-SignMuon)은 SignMuon보다 약간 낮은 성능을 보입니다.
- **연합 학습 CIFAR-10 (N=11)**에서 SignMuon은 85.72%의 정확도를 기록하여 Muon(85.98%)에 한 표준 편차 미만으로 뒤처지지만, SignSGD보다 4.3포인트 높습니다. 순위는 SignMuon > MuonUSign > MuonSign 순을 유지합니다. 수렴형 변형들(EF21-MuonUSign/Sign)은 뒤처집니다.
- nanoGPT에서 SignMuon과 EF21-SignMuon은 구분이 불가능할 정도로 유사하며, 전정밀도 Muon과 검증 손실(validation loss) 차이가 0.01 이내로, 다른 모든 압축 방법들을 능가합니다.
반례: 구성된 발산 사례들은 최악의 시나리오입니다. 무작위 이차 문제(random quadratic problems)에서 그래디언트와 스텝 사이의 정렬(alignment)은 세 가지 배치 모두에서 양의 값을 유지하며, 이는 일반적인 데이터가 이론적 발산을 유발하지 않음을 시사합니다.

의의 및 주장
본 논문은 압축 최적화에서의 이론적 보장과 실제 성능 사이의 긴장을 기록합니다. 저자들은 "sign-after" 배치(SignMuon)가 이론적으로는 복구가 불가능하며 특정 선형 인스턴스에서 발산할 수 있지만, 다양한 아키텍처와 규모에서 가장 효과적인 휴리스틱임을 주장합니다. 저자들은 이 긴장을 해결하려는 것이 아니라 특징짓고자 합니다. 즉, 반례들이 모든 클래스의 모든 문제를 커버하는 보장을 배제한다는 것이지, 일반적인 데이터가 충족하는 조건 하에서의 수렴을 배제하는 것은 아닙니다.

논문은 현재 규모에서 LMO 이후에 압축하는 휴리스틱의 이점이 이론적 보장의 부재보다 크다고 결론짓습니다. 주요 미결 과제로 "sign-after" 배치가 수렴하는 구체적인 조건을 식별하는 것과, 압축된 다운링크에 대한 수렴 속도 및 어떤 1비트 압축기가 레이어 노름(layer norm) 내에서 수축하는지를 조사하는 것을 꼽았습니다. 또한, 동시기에 제안된 SignMuon(Mishra et al., 2026)은 SignMuon 업데이트 자체가 아닌 다른 방법(gradient-sign oracle)에 대한 보장을 제공한다는 점을 명확히 합니다.