On the Optimizer Dependence of Neural Scaling Laws

기술적 요약: 신경 확장 법칙의 최적화기 의존성

문제 제기
신경 확장 법칙은 테스트 손실 $L$이 모델 크기 $N$에 따라 멱함수 법칙으로 감소한다고 주장합니다 ($L(N) \propto N^{-\alpha}$). 여기서 지수 $\alpha$는 전통적으로 아키텍처와 데이터 분포에 의해 결정되는 고정된 상수로 간주됩니다. 이 가정은 최첨단 모델에 대한 컴퓨팅 할당 전략의 근간을 이룹니다. 그러나 2 차 최적화기 (Muon, SOAP, Shampoo 등) 에 관한 최근의 실증적 결과는 상충되는 증거를 제시합니다: 일부는 AdamW 대비 상당한 컴퓨팅 속도 향상을 시사하는 반면, 다른 연구들은 이러한 이득이 모델 크기가 커짐에 따라 감소함을 나타냅니다. 본 논문은 근본적인 질문을 탐구합니다: 고급 최적화기는 단순히 확장 법칙의 상수 인자를 개선할 뿐인가, 아니면 확장 지수 $\alpha$ 자체를 근본적으로 변화시키는가? 만약 $\alpha$가 변한다면, 확장 예측에 대한 함의는 지대한데, 그 이유는 지수 변화는 모델 크기가 두 배로 늘어날 때마다 누적되는 반면, 상수 인자 개선은 그렇지 않기 때문입니다.

방법론
저자들은 랜덤 특징 회귀 프레임워크(Maloney et al., 2022; Bordelon et al., 2024) 내에서 이 질문을 탐구합니다. 이 이론적 설정은 특징 가중치를 고정하고 최상위 레이어의 선형 가중치만 훈련함으로써 데이터 스펙트럼 구조, 최적화기 사전 조건화, 그리고 모델 용량 간의 상호작용을 분리합니다.

• 실험 설정: 연구는 멱함수 고유값 $\lambda_i \propto i^{-(1+s)}$을 갖는 가우시안 분포에서 추출된 입력을 가진 회귀 작업을 시뮬레이션합니다. 여기서 $s$는 스펙트럼 지수입니다. 자연어 데이터는 $s \approx 0.8\text{--}1.2$로 특징지어집니다.
• 최적화기 변형: 다섯 가지 최적화기가 그라디언트 사전 조건화기로 구현됩니다:
  1. GD: 기준선 (항등 사전 조건화기).
  2. Diagonal: AdamW 의 대리 ($P = \text{diag}(F^\top F)^{-1/2}$).
  3. Full NG: Shampoo/K-FAC 의 대리 ($P = (F^\top F)^{-1}$).
  4. Sign-GD: 부호 업데이트를 사용하는 음성 대조군.
  5. Matrix-Sign: Muon 의 대리 ($P = (F^\top F)^{-1/2}$), 이는 특이값을 균등화합니다.
• 프로토콜: 실험은 여섯 가지 스펙트럼 조건 ($s \in [0.25, 2.0]$) 과 여덟 가지 모델 크기 ($N \in [25, 5000]$) 를 스윕합니다. 확장 지수 $\alpha$는 $N \ge 200$에 대한 모델 크기에 따른 손실의 로그 - 로그 플롯에서 일반 최소제곱법 (OLS) 을 통해 적합됩니다.

주요 기여

1. 체계적 측정: 본 논문은 다섯 가지 사전 조건화기 변형에 걸쳐 최적화기 유형과 데이터 스펙트럼 감쇠의 결합 함수로서 $\alpha$를 체계적으로 측정하는 첫 번째 연구를 제공합니다.
2. 기작적 설명: 사전 조건화된 최적화기가 모드별 학습률을 균등화한다는 스펙트럼 휴리스틱 (명제 1) 을 제시합니다. 그라디언트 하강법 (GD) 은 고분산 모드에 "과소비"하고 저분산 모드에 "소홀히"하는 반면, 사전 조건화기는 소외된 모드를 구제하여 주어진 $N$에서 활용되는 유효 용량을 증가시킵니다.
3. 스펙트럼 진단: 저자들은 진단 규칙을 제안합니다: 사전 조건화의 이득은 스펙트럼의 가파름 $s$에 의존합니다. 평평한 스펙트럼 ($s < 0.3$) 에서는 이득이 미미하지만, $s$가 증가함에 따라 이득은 크게 커집니다.
4. 반증 가능한 예측: 본 논문은 인위적으로 평평해진 스펙트럼 데이터 (예: 화이트닝을 통해) 로 훈련할 경우 Muon 과 같은 고급 최적화기의 이득이 축소되거나 사라져야 한다고 예측합니다.

결과

• $\alpha$의 최적화기 의존성: 사전 조건화된 최적화기는 GD 보다 일관되게 더 가파른 확장 (더 큰 $\alpha$) 을 산출합니다. 순서는 일반적으로 $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$입니다.
• 스펙트럼 의존성: 간격 $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$는 스펙트럼 지수 $s$가 증가함에 따라 커집니다.
  • $s \approx 1.0$ (자연어의 특징) 에서, Full Natural Gradient 는 $\alpha \approx 0.31$을 달성하는 반면 GD 는 $\alpha \approx 0.12$로, 적합된 지수가 $2.6$배 더 큽니다.
  • $s \approx 0.5$에서 곡선은 거의 평행하며 이득은 감소합니다.
  • $s \approx 2.0$에서 GD 의 지수는 거의 0 으로 붕괴합니다 ($\alpha \approx 0.01$), 반면 사전 조건화된 최적화기는 우아하게 저하됩니다 ($\alpha \approx 0.20$).
• 컴퓨팅 승수: $\alpha$의 변화를 유효 컴퓨팅 승수로 변환하면, 랜덤 특징 모델은 $s \approx 1.0$에서 강력한 사전 조건화기에 대한 상당한 파라미터 동등 이점을 예측합니다. 이는 중간 규모에서 Muon 이 AdamW 대비 $\sim 1.4$배의 컴퓨팅 속도 향상을 보인다는 최근 실증 보고서 (Chen et al., 2025) 와 방향적으로 일치합니다.

의의 및 주장
본 논문은 확장 법칙 예측이 최적화기 선택을 고려해야 한다고 주장합니다. 만약 사전 조건화된 최적화기가 지수 $\alpha$를 변경한다면, AdamW 하에서 보정된 예측은 고급 최적화기로 훈련된 모델에 대한 확장 수익을 크게 과소평가할 수 있습니다.

그러나 저자들은 이러한 발견이 대규모 LLM 으로 전이되는 것에 대해 겸손한 입장을 유지합니다:

• 한계: 랜덤 특징 모델은 "게으른" (고정된 특징) 영역에서 작동하며, 깊이, 어텐션, 토큰화를 생략합니다.
• 규모 감소: 본 논문은 Muon/SOAP 의 이득이 매우 큰 규모 (예: 12 억 파라미터) 에서 감소할 수 있음을 시사하는 상충되는 증거 (Wen et al., 2025) 를 인정합니다. 저자들은 이러한 감소가 유한-$N$ 효과, 특징 학습이 자연스럽게 스펙트럼 불균형을 완화함, 또는 규모에서의 유효 데이터 스펙트럼 변화 때문일 수 있다고 제안합니다.
• 결론: 주요 기여는 확장 지수가 아키텍처/데이터 쌍의 고정된 상수가 아니라, 데이터 스펙트럼과 상호작용하는 최적화기에 체계적으로 의존한다는 것을 확립하는 것입니다. 본 논문은 이 지수 변화가 특징 학습의 "풍부한" 영역에서 지속되는지 아니면 감소하는지 결정하기 위한 실제 모델 검증을 요구합니다.