기술 요약: 하이퍼볼(Hyperball)은 공짜 점심이 아닐 수 있다

문제 정의

스케일 불변 구조를 가진 심층 신경망에서, 행렬 값 파라미터를 고정된 노름 구체(fixed norm sphere)로 제한하는 최적화 도구(MuonH와 같은 하이퍼볼 스타일의 최적화 도구)는 대규모 학습에서 강력한 경험적 성능을 입증해 왔다. 그러나 이러한 이점의 기저에 있는 메커니즘은 여로 불분명하다. 구체적으로, 그 성공이 다음 중 무엇에서 기인하는지는 알려지지 않았다:

1. 더 유리한 업데이트 방향.
2. 반경 방향 업데이트(파라미터 벡터와 평행한 업데이트)의 억제.
3. 제약으로 인한 유효 스텝 사이즈(effective step size)의 변화.

흔히 가설로 제시되는 것은 가중치 감쇠(weight decay)나 노름 제약이 파라미터 노름이 커짐에 따라 상대적인 업데이트 크기를 줄임으로써 유효 학습률을 조절한다는 것이다. 그러나 이러한 관점은 종종 파라미터와 업데이트 사이의 직교성을 가정하는데, 이는 모멘텀, 프리컨디셔닝(preconditioning) 또는 행렬 값 규칙을 사용하는 현대적 최적화 도구에서는 성립하지 않을 수 있는 가정이다. 더욱이, 하이퍼볼 최적화 도구는 뚜렷한 단계 의존적 행동을 보인다: 이들은 훈련 초기에는 성능이 떨어지지만, 후기 단계에서는 비-하이퍼볼 베이스라인(예: MuonWD)을 추월한다. 본 논문은 이러한 행동이 반경 방향 운동의 억제 때문인지, 아니면 암시적인 상태 의존적 학습률 스케줄 때문인지를 조사한다.

방법론

1. 각도 유효 학습률 유도

저자들은 노름 기반 분석을 넘어, 연속적인 파라미터 상태 사이의 각도 변위($\Delta \phi_t$)를 기반으로 한 각도 유효 학습률($\eta^{\phi}_{\text{eff}, t}$)을 유도한다.

• 일반 업데이트 규칙: 업데이트 $W_{t+1} = \alpha_t W_t - \eta_t U_t$에 대하여 (여기서 $U_t$는 학습률 승수를 제외한 모멘텀과 프리컨디셔닝을 포함함), 각도 스텝은 다음과 같이 유도된다:
  $$\tan(\Delta \phi_t) = \frac{\eta_t \|U_t\|_F \sqrt{1-c_t^2}}{\alpha_t \|W_t\|_F - \eta_t c_t \|U_t\|_F}$$
  여기서 $c_t$는 파라미터 $W_t$와 업데이트 $U_t$ 사이의 코사인 유사도이다.
• 각도 유효율: $\eta^{\phi}_{\text{eff}, t} \approx \frac{\Delta \phi_t}{\|U_t\|_F}$로 정의된다. 이 공식은 파라미터와 업데이트 사이의 각도를 명시적으로 고려하며, 유효 스텝이 학습률, 파라미터 노름, 업데이트 노름, 그리고 코사인 유사도 $c_t$에 의존함을 보여준다.
• 하이퍼볼 특이사항: 하이퍼볼 최적화 도구의 경우, 파라미터 노름은 고정($R$)되어 있으며 업데이트는 정규화된다. 결과적으로 각도 유효율은 주로 학습률 $\eta_t$와 코사인 유사도 $c_t$에 의존하게 되어, 진화하는 파라미터 노름에 대한 독립적인 의존성을 제거한다.

2. 반경 및 접선 효과의 분해

저자들은 최적화 업데이트를 반경 방향( $W_t$와 평행) 및 접선 방향($W_t$와 직교) 성분으로 분해한다.

• 이들은 반경 성분이 1단계 각도 변위에 미치는 직접적인 기여를 분석한다.
• 각도 유효 학습률의 로그에 대한 수치 미분을 사용하여, 네 가지 요인(외부 학습률 스케줄, 파라미터-업데이트 각도의 변화, 파라미터 노름의 변화, 업데이트 노름의 변화)의 기여도를 정량화한다.

3. 상태 의전적 학습률 정렬

메커니즘을 격리하기 위해, 저자들은 비-하이퍼볼 최적화 도구(MuonWD)의 학습률 스케줄만을 수정하여 매 단계마다 하이퍼볼 최적화 도구(MuonH)의 각도 유효 학습률과 일치시키는 휴리스틱 실험을 설계했다.

• 절차: 대상 최적화 도구의 각도 유효 학습률을 기록한다. 현재 상태($W_t, U_t, c_t$)가 주어졌을 때, 해당 타겟 레이트를 재현할 수 있는 스텝별 학습률 $\eta_t$를 소스 최적화 도구에 대해 구한다.
• 목표: 업데이트 방향이나 제약을 변경하지 않고도, 오직 유효 스텝 사이즈를 정렬하는 것만으로 독특한 훈련 역학(느려졌다가 빨라지는 수렴 양상)을 재현할 수 있는지 결정한다.

4. 공격적 스케줄링 실험

하이퍼볼 최적화 도구의 초기 단계가 늦어지는 수렴을 가속화할 수 있다는 가설(초기 유효 스텝 사이즈가 크기 때문)을 바탕으로, 더 공격적인 학습률 감쇠 스케줄을 적용하는 실험을 수행한다. 선형, 지수, 다항식 감쇠 스케줄을 표준 베이스라인과 비교한다.

주요 결과

1. 반경 억제의 제한적 영향

각도 유효 학습률 진화의 수치적 분석(그림 1) 결과, 고려된 훈련 구성 하에서 반경 성분은 1단계 각도 변위에 미치는 직접적인 영향이 제한적임이 드러났다. 훈련 초기에 파라미터-업데이트 각도($c_t$)가 크게 변하지만, 유효 학습률의 변화율에 대한 기여도는 후기 단계에서 작아진다. 이는 반경 방향 업데이트의 억제가 관찰된 단계 의존적 역학의 주요 동인이 아님을 시사한다.

2. 암시적 스케줄러로서의 하이퍼볼

실험을 통해 다음이 입증되었다:

• MuonH는 동일한 명목 학습률을 사용할 때 초기 단계에서 MuonWD보다 더 큰 각도 유효 학습률에서 작동한다.
• MuonH는 대략 일정한 유효 학습률을 유지하는데, 이는 파라미터 노름이 고정되어 있기 때문이다. 반면 MuonWD의 유효율은 파라미터 노름이 커짐에 따라 급격히 감소한다.
• 역학 재현: MuonWD의 학습률을 MuonH의 각도 유효 학습률에 맞게 동적으로 조정했을 때, MuonWD는 MuonH의 검증 손실 궤적을 성공적으로 재현했다(그림 3). 역으로, MuonH를 MuonWD의 역학에 맞추는 것도 가능하다. 이는 두 최적화 도구의 주요 차이점이 본질적으로 우월한 업데이트 방향이 아니라 유효 스텝 사이즈의 진화에 있음을 나타낸다.

3. 공격적 스케줄링의 트레이드오프

더 공격적인 학습률 감쇠(예: 다항식 감쇠)를 MuonH에 적용하면 훈련 초기 수렴을 가속화하여 표준 스케줄보다 빠르게 목표 검증 손실에 도달하게 할 수 있다. 그러나 저자들은 중요한 트레이드오프를 관찰했다:

• 초기에 MuonH를 가속화하는 것은 종종 후기 단계의 성능을 저해하여, 표준 MuonWD 또는 덜 공격적인 스케줄을 사용한 MuonH보다 성능이 떨어지게 만든다.
• 이는 "느려졌다가 빨라지는" 행동이 단순히 해결해야 할 버그가 아니라, 학습률 스케줄과 최적화 도구 간의 상호작용에서 나타나는 특징임을 시사한다.

의의 및 주장

본 논문은 하이퍼볼 스타일 최적화 도구의 이점이 우월한 기하학적 업데이트 방향이나 단순한 반경 운동의 억부에서 오는 "공짜 점심"이 아니라고 주장한다. 대신 저자들은 다음과 같이 결론짓는다:

1. 메커니즘 식별: 하이퍼볼 최적화 도구의 특징적인 역학(초기 저조, 후기 추월)은 주로 파라미터 노름을 고정함으로써 유도된 초기 단계의 더 큰 유효 스텝 사이즈에서 기인한다. 이는 가중치 감쇠에서 관찰되는 "강가-계곡(river-valley)" 지형 현상과 유사하다.
2. 스케줄링의 필요성: 일정한 각도 속도를 유지하는 것이 학습률 스케줄링 문제를 제거하지는 않는다. 실제로 하이퍼볼 최적화 도구의 유효 학습률은 (노름 기반 최적화 도구처럼 노름 증가에 의해 감쇄되지 않고) 기본 학습률에 직접 비례하기 때문에, 신중한 학습률 스적줄링이 필수적이다.
3. 실무적 시사점: 학습률 스케줄을 조정하지 않고 단순히 하이퍼볼 최적화 도구를 적용하는 것은 최적이 아닌 수렴을 초래할 수 있다. "느려졌다가 빨라지는" 행동은 스케줄링을 통해 조절 가능하지만, 초기에 공격적으로 가속화하는 것은 최종 모델 품질을 저하시킬 수 있다.
4. 이론적 기여: 본 논문은 각도 유효 학습률에 대한 엄밀한 정의를 제공하며, 기존의 노름 기반 척도가 파라미터-업데이트 직교성 하에서만 유효한 특수한 경우임을 보여준다. 이 프레임워크를 통해 현대의 비직교적 최적화 업데이트를 더욱 정확하게 분석할 수 있다.

요약하자면, 본 논문은 하이퍼볼 최적화 도구가 암시적이고 상태 의전적인 학습률 스케줄러로 기능한다고 주장한다. 이들의 성공은 본질적인 기하학적 이점에 의존하기보다, 신중한 스케줄링을 통해 발생하는 유효 스텝 사이즈의 역학을 관리하는 데 달려 있다.