技術要約：Hyperballは「フリーランチ」ではない可能性がある

問題提起

スケール不変な構造を持つ深層ネットワークにおいて、行列値パラメータを固定されたノルム球に拘束するオプティマイザ（MuonHのようなHyperball型のオプティマイザ）は、大規模トレーニングにおいて強力な経験的性能を示している。しかし、その優位性のメカニズムは依然として不明である。具体的には、その成功が以下のどれに起因しているのかが分かっていない：

1. より好ましい更新方向。
2. 半径方向の更新（パラメータベクトルに平行な更新）の抑制。
3. 制約によって誘発される実効ステップサイズの変化。

一般的な仮説では、ウェイトデケイ（重み減衰）やノルム制約が、パラメータのノルムが増大するにつれて相対的な更新サイズを減少させることで、実効学習率を制御するとされている。しかし、この見解はパラメータと更新の直交性を前提としていることが多く、モーメンタム、プリコンディショニング、または行列値の規則を利用する現代的なオプティマイザにおいては、その仮定が成立しない可能性がある。さらに、Hyperball型オプティマイザは明確なフェーズ依存の挙動を示す。すなわち、トレーニングの初期段階では性能が劣ることが多いが、後半段階では非Hyperball型のベースライン（MuonWDなど）を追い抜く。本論文では、この挙動が半径方向の運動の抑制によるものか、あるいは暗黙的な状態依存の学習率スケジュールの結果であるのかを調査する。

メソドロジー

1. 角実効学習率の導出

著者らは、連続するパラメータ状態間の角度変位（$\Delta \phi_t$）に基づき、ノルムベースの分析を超えた角実効学習率（$\text{angular effective learning rate}$, $\eta^{\phi}_{\text{eff}, t}$）を導出する。

• 一般的な更新則: 更新を $W_{t+1} = \alpha_t W_t - \eta_t U_t$ とする（ここで $U_t$ は学習率の乗数を除いたモーメンタムとプリコンディショニングを含む）。角度ステップは以下のように導かれる：
  $$\tan(\Delta \phi_t) = \frac{\eta_t \|U_t\|_F \sqrt{1-c_t^2}}{\alpha_t \|W_t\|_F - \eta_t c_t \|U_t\|_F}$$
  ここで $c_t$ はパラメータ $W_t$ と更新 $U_t$ のコサイン類似度である。
• 角実効率: $\eta^{\phi}_{\text{eff}, t} \approx \frac{\Delta \phi_t}{\|U_t\|_F}$ と定義される。この定式化は、パラメータと更新の間の角度を明示的に考慮しており、実効ステップが学習率、パラメータノルム、更新ノルム、およびコサイン類似度 $c_t$ に依存することを示している。
• Hyperballの特性: Hyperball型オプティマイザでは、パラメータのノルムは固定（$R$）されており、更新は正規化されている。その結果、角実効率は主に学習率 $\eta_t$ とコサイン類似度 $c_t$ に依存し、進化するパラメータノルムへの独立した依存性が除去される。

2. 半径方向 vs 接線方向の効果の分解

著者らは、オプティマイザの更新を半径方向（$W_t$ に平行）成分と接線方向（$W_t$ に直交）成分に分解する。

• 彼らは、1ステップの角度変位に対する半径方向成分の直接的な寄与を分析する。
• 角実効学習率の対数の数値微分を用いて、4つの要因（外部学習率スケジュール、パラメータと更新の間の角度の変化 $c_t$、パラメータノルムの変化、および更新ノルムの変化）の寄与を定量化する。

3. 状態依存の学習率アライメント

メカニズムを分離するために、著者らは、非Hyperball型オプティマイザ（MuonWD）の学習率スケジュールのみを、各ステップにおいてHyperball型オプティマイザ（MuonH）の角実効学習率に一致するように修正するというヒューリスティックな実験を考案した。

• 手順: ターゲットとなるオプティマイザの角実効学習率を記録する。現在の状態（$W_t, U_t, c_t$）が与えられたとき、ターゲットのレートを再現するステップ固有の学習率 $\eta_t$ をソースとなるオプティマイザに対して解く。
• 目的: 特有のトレーニングダイナミクス（低速から高速への収束）が、更新方向や制約を変更することなく、実効ステップサイズを一致させることだけで再現できるかどうかを判断する。

4. 強力なスケジューリング実験

Hyperball型オプティマイザの初期段階における収束を加速させるという仮説（初期の有効ステップサイズが大きいことが収束を遅らせるという仮説）に基づき、より積極的な学習率減衰スケジュールをテストする。彼らは、リニア、指数、および多項式減衰スケジュールを標準的なベースラインと比較する。

主な結果

1. 半径方向抑制の限定的な影響

角実効学習率の進化に関する数値解析（図1）によれば、検討されたトレーニング構成において、半径方向成分が1ステップの角度変位に与える直接的な影響は限定的であることが明らかになった。トレーニングの開始時にはパラメータと更新の角度（$c_t$）が大きく変化するが、実効学習率の変化率に対するその寄与は後半段階では小さくなる。これは、半径方向の更新の抑制が、観察されたフェーズ依存のダイナミクスの主要な要因ではないことを示唆している。

2. 暗黙的なスケジューラとしてのHyperball

実験により以下のことが示された：

• MuonHは、同じ公称学習率を使用している場合でも、初期段階においてMuonWDよりも大きな角実効学習率で動作する。
• MuonHは、パラメータのノルムが固定されているため、近似的に一定の角実効学習率を維持するのに対し、MuonWDの実効学習率はパラメータの成長に伴って急速に減衰する。
• ダイナミクスの再現: MuonWDの学習率を、MuonHの角実効学習率に動的に調整すると、MuonWDはMuonHの検証損失の軌跡を正常に再現する（図3）。逆に、MuonHをMuonWDのダイナミクスに合わせることも可能である。これは、両者の主な違いが、本質的に優れた更新方向ではなく、実効ステップサイズの進化にあることを示している。

3. 強力なスケジューリングにおけるトレードオフ

より積極的な学習率減衰（例：多項式減衰）をMuonHに適用すると、初期段階の収束が加速され、標準的なスケジュールよりも早く目標の検証損失に到達できる。しかし、著者らは重要なトレードオフを観察している：

• 初期にMuonHを加速させると、しばしば後半段階の性能が損なわれ、標準的なMuonWDや、より緩やかなスケジュールのMuonHよりも性能が低下する。
• これは、「低速から高速へ」という挙動が、単に修正すべきバグではなく、学習率スケジュールとの相互作用におけるオプティマイザの特性であることを示唆している。

意義と主張

本論文は、Hyperball型のオプティマイザの優位性は、優れた幾何学的更新方向や単なる半径方向運動の抑制から得られる**「フリーランチ」ではない**と主張している。代わりに、著者らは次のように結論付けている：

1. メカニズムの特定: Hyperball型オプティマイザの特徴的なダイナミクス（初期に劣り、後に追い抜く）は、主にパラメータのノルムを固定することによって誘発される、トレーニング初期における大きな実効ステップサイズに起因する。これは、ウェイトデケイで見られる「リバー・バレー（河川の谷）」現象に類似している。
2. スケジューリングの必要性: 一定の角速度を維持することは、学習率スケジューリングの問題を排除しない。実際、Hyperball型オプティマイザの実効学習率は（ノルム成長によって減衰するノルムベースのオプティマイザとは異なり）ベースの学習率に直接比例するため、その潜在能力を実現するには、注意深い学習率スケジューリングが不可欠である。
3. 実用的な意味合い: 学習率スケジュールを調整せずに単にHyperball型オプティマイザを適用すると、収束が最適ではなくなる可能性がある。「低速から高速へ」という挙動はスケジューリングを通じて操作可能であるが、初期に積極的に加速させることは、最終的なモデルの品質を低下させる可能性がある。
4. 理論的貢献: 本論文は、角実効学習率の厳密な定義を提供し、従来のノルムベースの尺度が、パラメータと更新が直交する場合にのみ有効な特殊なケースであることを示している。このフレームワークにより、現代の非直交なオプティマイザの更新をより正確に分析することが可能になる。

要約すると、本論文は、Hyperball型オプティマイザは暗黙的かつ状態依存の学習率スケジューラとして機能すると論じている。彼らの成功は、固有の幾何学的利点に頼るのではなく、結果として生じる実効ステップサイズのダイナミクスを、注意深いスケジューリングを通じて管理できるかどうかにかかっている。