🤖 machine learning

Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization

이 논문은 가중치 행렬과 그 업데이트의 프로베니우스 노름(Frobenius norm)을 상수 값으로 고정함으로써 Muon과 같은 행렬 기반 옵티마이저의 성능 스케일링 한계를 해결하고, 표준적인 디커플드 가중치 감쇠(decoupled weight decay)와 비교하여 대규모 언어 모델에서 유의미한 토큰 등가 속도 향상 및 개선된 학습률 전이 성능을 달축성하는 단순한 옵티마이저 래퍼인 Hyperball을 소개한다.

원저자: Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 복잡한 로봇(대규모 언어 모델)에게 인간의 언어를 말하는 법을 가르치려 한다고 상상해 보세요. 이를 위해 당신은 '선생님'(옵티마이저)을 사용하여 로봇의 내부 설정값(가중치)을 실수에 따라 단계별로 조정합니다.

오랫동안 최고의 선생님은 AdamW였습니다. 최근에는 Muon이라는 더 빠른 새로운 선생님이 발견되었습니다. Muon은 AdamW라는 세단에 비하면 스포츠카와 같아서, 보통 로봇이 훨씬 더 빠르게 학습하도록 돕습니다.

하지만 이 논문의 저자들은 한 가지 문제를 발견했습니다. 스포츠카가 경주가 길어질수록 속도가 느려진다는 점입니다. 로봇을 더 크게 만들고 더 많은 데이터를 학습하게 했을 때, Muon의 속도 우위는 압도적인 30% 차이에서 고작 10% 차이로 줄어들었습니다.

저자들은 질문했습니다. 경주가 아무리 거대해져도 스포츠카의 속도를 유지할 수 있을까?

그들의 해답은 Hyperball이라는 새로운 도구입니다.

문제점: "부드러운" 브레이크

표준적인 학습 방법에서 선생님은 "가중치 감쇠(weight decay)"라는 기술을 사용합니다. 이것은 로봇의 설정을 매 단계마다 0을 향해 부드럽게 조이는 부드럽고 보이지 않는 브레이크라고 생각하면 됩니다.

목표: 이 브레이크는 로봇의 설정값이 너무 날뛰지 않도록 제어하는 것입니다.
문제점: 로봇이 커질수록 이 부드러운 브레이크는 예측 불가능해집니다. 이는 단순히 설정값의 크기를 조절하는 데 그치지 않고, 로봇이 새로운 방향을 배우는 속도까지 의도치 않게 변화시킵니다. 이는 마치 자동차를 운전할 때 브레이크가 밟히는 강도가 계속 변해서, 빠르고 곧게 운전하기 어렵게 만드는 것과 같습니다.

해결책: "Hyperball"

Hyperball은 어떤 선생님(Muon이나 Adam 등)이라도 감쌀 수 있는 래퍼(wrapper)이며, 게임의 규칙을 바꿉니다. 부드러운 브레이크를 사용하는 대신, 로봇의 설정을 거대하고 단단한, 보이지 않는 구(sphere)(즉, "하이퍼볼") 안에 넣습니다.

작동 방식은 다음과 같은 간단한 비유로 설명할 수 있습니다:

구(Sphere): 로봇의 설정값이 거대한 비치볼 표면 위에 떠 있는 하나의 점이라고 상상해 보세요. 비치볼의 크기는 고정되어 있습니다. 이 점은 표면 어디든 움직일 수 있지만, 중심에 더 가까워지거나 중심에서 더 멀어질 수는 없습니다. 중심으로부터의 거리는 항상 정확히 동일합니다.
단계(Step): 선생님이 변화를 주고 싶을 때, 로봇에게 "이 방향으로 움직이라"고 지시합니다.
튕김(Bounce): 로봇은 그 방향으로 발을 내디딥니다. 만약 그 발걸음이 비치볼 밖으로 밀려나게 만든다면, Hyperball은 즉시 로봇을 다시 표면 위로 튕겨 올려서 중심으로부터의 거리를 일정하게 유지합니다.

이것이 왜 더 나은가

설정값을 이 구의 표면에 머물게 함으로써, Hyperball은 이전에 뒤섞여 있던 두 가지 요소를 분리합니다:

크기: 설정값의 크기는 이제 고정되고 일정합니다 (비치볼의 반지름처럼).
방향: 로봇은 오로지 어느 방향으로 회전할지에만 온전히 집중할 수 있습니다.

저자들은 기존의 "부드러운 브레이크"(가중치 감류)가 간접적으로 이 역할을 수행하려 했지만, 매우 지저분한 방식이었다고 주장합니다. Hyperball은 이를 직접적으로 수행합니다.

결과

저자들은 이를 최대 12억 개의 파라미터를 가진 모델(매우 큰 규모)까지 테스트했습니다:

속도: Hyperball을 적용한 Muon을 사용했을 때, 로봇은 표준 방식보다 20~30% 더 빠르게 학습했습니다. 이는 이전의 Muon 방식이 이 정도 규모에서 약 10%의 우위만을 보였던 것과 비교하면 엄청난 개선입니다.
안정성: 다양한 모델 크기에 맞춰 학습 속도(학습률)를 조정하기가 훨씬 쉬워졌습니다. 기존 방식에서는 모델 크기를 바꿀 때마다 설정을 완전히 새로 튜닝해야 했지만, Hyperball을 사용하면 마치 만능 열쇠처럼 동일한 설정이 다양한 크기에서도 잘 작동했습니다.

그 이면의 이론

이 논문은 이러한 유형의 AI 모델에서 중요한 것은 설정값이 0으로부터 떨어진 거리가 아니라, 설정값이 가리키는 방향이라고 설명합니다.

기존 방식: 선생님은 학습 속도를 일정하게 만들기 위해 거리를 적절히 조절하려고 부드러운 브레이크를 사용했습니다.
Hyperball 방식: 선생님은 처음부터 거리를 완벽하고 고정된 크기로 잠가 버립니다. 이를 통해 선생님은 순수하게 로봇을 올바른 방향으로 조종하는 데에만 집중할 수 있습니다.

요 요약

Hyperball은 AI의 내부 설정이 비치볼 표면 위의 점처럼 고정된 크기를 유지하도록 강제하는 간단한 기법입니다. 이는 전통적인 "브레이킹" 방식이 유발하던 혼란을 제거하여, 고급 옵티마이저인 Muon이 AI 모델이 거대한 규모로 성장하더라도 빠르고 효율적인 상태를 유지할 수 있게 해줍니다. 이는 지저분하고 간접적인 과정을 깔끔하고 직접적인 과정으로 바꾸어 놓았습니다.

기술 요약: Hyperball 최적화 (Hyperball Optimization)

문제 정의

Muon과 같은 행렬 기반 최적화 도구(matrix-based optimizers)는 언어 모델 사전 학습 과정에서 AdamW 대비 상당한 속도 향상을 입증했습니다. 그러나 경험적 관찰에 따르면, 표준적인 상수 결합 가중치 감쇠(constant decoupled weight decay)를 사용할 경우 모델 크기와 데이터 규모가 커짐에 따라 이러한 이점이 감소하는 것으로 나타났습니다. 대규모 설정(예: 1.2B 파라미터 모델)에서 Muon의 AdamW 대비 속도 향상은 약 30%에서 약 10%로 줄어듭니다. 이러한 성능 저하는 더 높은 컴퓨팅 규모에서도 높은 효율성을 유지할 수 있는 최적화 전략을 탐색하게 하는 동기가 됩니다.

핵심 문제는 결합 가중치 감쇠(decoupled weight decay)의 메커니즘에 있습니다. 스케일 불변 레이어(현대적 Transformer의 정규화 기법에서 흔히 볼 수 있음)에서 가중치 감쇠는 단순히 규제(regularizer) 역할을 하는 것이 아니라, 가중치 행렬의 방향이 변하는 속도인 "각속도 학습률(angular learning rate)"을 간접적으로 제어하는 역할을 합니다. 이론적 분석에 따르면 가중치 감쇠는 가중치 노름(weight norm)을 하이퍼파라미터( $\eta$ 및 $\lambda$ )에 의해 결정되는 평형 상태로 유도합니다. 이 평형 노름은 결과적으로 유효 각 스텝 사이즈(effective angular step size)를 결정합니다. 그러나 이러한 간접적인 보정은 스케일이 변함에 따라 최적이 아닐 수 있으며, 이는 관찰된 최적화 성능의 감소로 이어집니다.

방법론: Hyperball

저자들은 가중치 감쇠의 스케일링 한계를 해결하기 위해 설계된 간단한 최적화 래퍼(optimizer wrapper)인 Hyperball을 제안합니다. Hyperball은 가중치 감쇠를 통한 가중치 노름의 암시적이고 부드러운 제어를 대신하여, 가중치 행렬과 그 업데이트에 대한 프로베니우스 노름(Frobenius norm)에 대한 명시적인 제약을 적용합니다.

핵심 메커니즘

매개변수 행렬 $W_t$ 에 대해 업데이트 $u_t$ 를 생성하는 기본 최적화 도구(예: Adam 또는 Muon)가 주어졌을 때, Hyperball은 다음 두 가지 조건을 강제합니다:

가중치 행렬의 프로베니우스 노름 $\|W_t\|_F$ 는 상수 반지름 $R$ (초기 가중치의 노름으로 설정)으로 고정됩니다.
업데이트 방향은 정규화되며, 스텝 사이즈는 명시적으로 스케일링됩니다.

업데이트 규칙은 다음과 같이 정의됩니다:
$W_{t+1} = R \cdot \text{Normalize}\left( W_t - \eta_t R \cdot \text{Normalize}(u_t) \right)$
여기서 $\text{Normalize}(X) = X / \|X\|_F$ 입니다.

기하학적으로, 이는 최적화 궤적을 반지름 $R$ 인 초구(hypersphere)의 표면에 구속합니다. 각 단계는 정규화된 업데이트 방향을 따라 $\eta_t R$ 에 비례하는 거리만큼 이동하며, 즉시 구 위로 투영(projection)됩니다. 이는 가중치의 크기를 업데이트의 방향으로부터 분리하여, 최적화 도구가 주로 가중치 방향을 통해 탐색할 수 있도록 합니다.

구현 세부 사항

범위: Hyperball은 prenorm Transformer의 어텐션(attention) 및 MLP 가중치 행렬에 적용됩니다.
제외 대상: 임베딩, 정규화 게인(normalization gains), 그리고 스칼라 매개변수는 그 노름이 의미적 정보를 담고 있기 때문에 표준 최적화 도구(예: Adam)를 사용하여 업데이트됩니다.
복잡도: 프로베니우스 구로의 투영은 행렬당 $O(N^2)$ 의 복잡도를 가지며, 이는 SVD를 요구하는 스펙트럼 노름(spectral norm) 투영( $O(N^3)$ )보다 계산 비용이 저렴합니다. 저자들은 고유 랭크(high stable-rank) 체제(LLM에서 일반적임)에서 프로베니우스 제약이 스펙트럼 제약과 유사하게 동작한다고 언급했습니다.

주요 기여

Hyperball 래퍼: 가중치와 업데이트 노름을 고정하는 변형을 가진 범용적인 기본 최적화 도구 래퍼입니다.
이론적 통찰: 본 논문은 스케일 불변 손실(scale-invariant losses)에 대해 결합 가중치 감쇠가 암시적으로 평형 반지름과 각 스텝 사이즈를 설정한다는 이론적 프레임워크를 제공합니다. Hyperball은 가중치 감쇠의 평형 역학에 의존하는 대신, 반지름 $R$ 과 정규화된 업데이트 길이를 직접 고정함으로써 이 메커니즘을 명시화합니다.
개선된 스케일링: 가중치 감쇠 베이스라인이 실패하는 더 큰 규모에서도 최적화의 이점을 유지함을 보여줍니다.
학습률 전이성(Learning Rate Transfer): Hyperball은 가중치 감쇠 베이스라인과 비교하여 서로 다른 모델 너비와 깊이 간의 학습률 전이성을 크게 개선합니다.

실험 결과

저자들은 Qwen3 스타일의 모델(최대 1.2B 파라미터)과 더 큰 규모(최대 8B 파라미터)에서 다양한 벤치마크를 통해 Hyperball을 평가했습니다.

토큰 등가 속도 향상(Token Equivalent Speedup): 1.2B 파라미터 모델에서, **Muon Hyperball (MuonH)**은 AdamW 베이스라인 대비 20–30%의 토큰 등가 속도 향상을 달립다. 반면, 표준 가중치 감쇠를 사용하는 Muon(MuonW)은 이 규모에서 약 10%의 속도 향상만을 달성했습니다. MuonH와 MuonW 사이의 격차는 훈련 기간이 길어질수록 더 벌어졌습니다.
벤치마크 성능:
- Marin speedrun 벤치마크에서, AdamH와 MuonH는 약 10% 더 큰 가중치 감쇠 베이스라인과 대등한 성능을 보였습니다.
- 공개된 modded-nanogpt Track 3 최적화 벤치마크에서, Hyperball 변형들(KL-SOAP-H 포함)은 가중치 감쇠 대응 모델보다 더 빠르게 낮은 검증 손실에 도달했습니다. 예를 들어, KL-SOAP-H는 3125 스텝 만에 검증 손실 3.2780에 도달하여 튜닝된 MuonW 베이스라인을 능가했습니다.
하이퍼파라미터 전이:
- 깊이 스케일링(Depth Scaling): 깊이를 4에서 512까지 스윕했을 때, Hyperball 변형들의 최적 학습률 드리프트는 약 1.4배였던 반면, AdamW와 MuonW는 2–4배였습니다.
- 너비 스케일링(Width Scaling): 마찬가지로, 너비를 128에서 2048까지 변화시켰을 때, Hyperball은 1.4배의 드리프트만으로 안정적인 학습률 윈도우를 유지했습니다.
오버트레이닝 설정: 데이터 스케일링 실험(130M 파라미터 모델, 1B–128B 토큰)에서, MuonH는 MuonW( $L_\infty = 3.079$ )보다 낮은 점근적 검증 손실( $L_\infty = 3.065$ )을 달성했습니다.

의의 및 주장

본 논문은 Hyperball이 특히 행렬 기반 최적화 도구(예: Muon)를 사용할 때, 대규모 언어 모델을 훈련하기 위한 더 견고하고 효율적인 대안임을 주장합니다.

명시적 제어: 가중치 노름과 업데이트 노름을 명시적으로 고정함으로써, Hyperball은 각속도 학습률을 간접적으로 조절하기 위해 가중치 감쇠에 의존하는 것을 제거합니다. 이는 더 예측 가능한 최적화 역학을 이끌어냅니다.
확장성: 이 방법은 모델 및 데이터 규모가 증가함에 따라 행렬 기반 최적화 도구(Muon 등)의 효율성 이득을 성공적으로 보존하며, 현재의 사전 학습 관행에서의 중요한 병목 현상을 해결합니다.
설계 선택: 저자들은 Hyperball을 가중치 감쇠 스케일링에 대한 의존성(학습률 전이성에 영향을 미침)을 명시적인 파라미터인 반지름 $R$ 로 전환하여, 다양한 모델 아키텍처 간의 학습률 전이성을 개선하는 설계 선택으로 규정합니다.
개념 증명: 이 연구는 가중치 노름을 명시적으로 제어하는 최적화 도구를 설계함으로써 가중치 감쇠를 완전히 제거하는 것이 가능하다는 개념 증명 역할을 하며, 이는 정규화된 네트워크에서의 최적화 도구 설계에 대한 새로운 방향을 제시합니다.

저자들은 특정 제약 조건의 선택에 대해 겸손한 태도를 유지하며, 프로베니우스 노름이 계산적으로 효율적이고 이론적으로 동기 부여가 되었지만, 특정 모델이나 최적화 도구에는 다른 제약(스펙트럼, 행 단위, 열 단위 등)이 더 적합할 수 있다고 언급했습니다. 또한 가중치 정규화된 훈련 궤적에 대한 더 정교한 이론의 필요성을 강조했습니다.