技術的サマリー：グロッキングかグリッチか？低精度がスリングショット損失スパイクを駆動する仕組み

1. 問題定義

明示的な正則化なしで訓練された深層ニューラルネットワークは、「グロッキング」と呼ばれる現象を示すことが多く、モデルが完全な訓練精度に達してから長い時間を経た後に、突然の汎化性能の獲得が見られる。この過程は頻繁にスリングショットメカニズムを伴う。これは、最終層のパラメータノルムの急速かつほぼ指数関数的な増加に特徴づけられる周期的な不安定性であり、それに続いて訓練損失の急激なスパイクが発生する。

既存の文献では、これらのスパイクはエッジ・オブ・スタビリティ（EOS）や勾配スケールと適応的オプティマイザとの相互作用といった、内在的な最適化ダイナミクスに起因するとされているが、正確なトリガーメカニズムは不明なままだ。本論文は、これらの不安定性が最適化の風景に内在するものなのか、それとも有限精度演算のアーティファクトなのかを調査する。

2. 手法と理論的枠組み

著者らは、スリングショットメカニズムが内在的な最適化現象ではなく、クロスエントロピー（CE）損失の計算中の浮動小数点演算の精度限界に起因すると提案する。

2.1 ソフトマックスの崩壊（SC）

このメカニズムの核心は、浮動小数点加算に内在する吸収誤差にある。訓練が進みモデルが高信頼度領域（完全な訓練精度）に入ると、正解クラスのロジット（$z_r$）は誤ったクラスのロジット（$z_k$）よりも著しく大きくなる。

• ソフトマックスの計算において、分母には log-sum-exp 演算が含まれる：$Z = \log(\sum \exp(z_k))$。
• マージン $z_r - \max_{k \neq r} z_k$ が仮数部の精度によって決定される閾値（float32 の場合、$\approx 16$ など）を超えると、小さな項は限られた精度のために大きな項に吸収される。
• その結果、計算された正解クラスの確率は正確に 1 となり、正解クラスロジットに関する勾配 $\partial L / \partial z_r$ は正確にゼロに丸められる。この現象を**ソフトマックスの崩壊（SC）**と呼ぶ。

2.2 ゼロ和制約の破綻

正確な演算では、単一のサンプルに対する全クラスの勾配の和はゼロ（$\sum_k \nabla_{W_k} L = 0$）となり、分類器重みのグローバル平均（$W_G$）が静的に保たれることを保証する。

• SC 下では、正解クラスに対する勾配は消滅するが、誤ったクラスに対する勾配はゼロではない（ただし小さい）。
• これによりゼロ和制約が破られ、グローバル分類器平均 $W_G$ の更新に正味のドリフトが生じる。具体的には、$W_G$ は $-\mu_G$ の方向にドリフトする。ここで $\mu_G$ は、最終層直前の特徴のグローバル平均である。

2.3 数値的特徴膨張（NFI）

本論文は、数値的特徴膨張（NFI）と呼ばれる正のフィードバックループを特定する。

1. $W_G$ のドリフトが、特徴層への勾配フローを変化させる。
2. 特徴平均 $\mu_G$ は $-W_G$ の方向にドリフトを受ける。
3. これにより、$W_G$ と $\mu_G$ が反平行になり、そのノルムが指数関数的に成長する結合ダイナミクスが生まれる。
4. これらのノルムが成長すると、あるサンプル（特に外れ値）のマージンが最終的に吸収閾値以下に落ち込み、正解クラスに対する勾配が突然再出現する。

2.4 スリングショットスパイク

正解クラス勾配の再出現が損失スパイクをトリガーする。

• スパイク以前、正解クラス勾配はゼロであり、誤ったクラス勾配は極めて小さい。Adam オプティマイザの二次モーメント蓄積器（$v_t$）が減衰し、実効学習率（$\eta / \sqrt{v_t + \epsilon}$）が極めて大きくなる。
• 勾配が突然再出現すると、この巨大な実効学習率が不釣り合いに大きなパラメータ更新を引き起こし、損失をランダム推測レベルまで押し戻す（「スリングショット」）。

3. 主要な貢献

1. スリングショットの理論的説明: 本論文は、スリングショットメカニズムが有限精度の CE 損失計算に起因する数値的アーティファクトであり、特にソフトマックスの崩壊とそれに続くゼロ和勾配制約の破綻と密接に関連していることを、厳密に証明する。
2. NFI の特定: 著者らは、グローバル分類器平均とグローバル特徴平均の間のフィードバックループである**数値的特徴膨張（NFI）**を定義し、損失スパイク以前に観測されるパラメータノルムの指数関数的成長を駆動する要因を明らかにした。
3. 内在的ダイナミクスとの区別: この研究は、スリングショットがエッジ・オブ・スタビリティ（EOS）とは異なることを実証する。EOS はヘッシアン曲率に起因する振動を含むが、スリングショットはヘッシアン固有値が消滅する領域（補間領域）で発生し、精度を上げることで排除される。
4. 実践的介入策: 本論文は、NFI を抑制する方法を提案し検証する。
   • 損失計算にfloat64を使用する（吸収誤差を排除）。
   • 勾配射影を通じてゼロ和制約を強制する。
   • 最終分類器の直前にバッチ正規化を適用し、グローバル平均成分を除去する。
   • Adam の $\epsilon$ パラメータを増加させ、実効学習率を上限設定する。

4. 実験結果

著者らは、複数のアーキテクチャ（MLP、VGG11、ResNet18、ViT、Transformer）とデータセット（モジュラー演算、CIFAR-10、LLM 用の FineWeb）において、理論を検証した。

• 精度感受性: 損失計算をfloat64に切り替えると、モデルパラメータが float32 のままでもスリングショットスパイクは完全に排除される。これは不安定性がモデルダイナミクスではなく、損失計算に由来することを裏付ける。
• アーキテクチャ依存性: この現象はほとんどのアーキテクチャで観測されるが、ResNet18では顕著に欠如している。著者らは、ResNet18 が残留確率質量（$\epsilon$）をモデルが安定する前に指数成長領域に入るのを防ぐほど迅速に減少させる能力を持っていることに起因すると帰属する。
• 緩和策:
  • 分類器の直前に適用された**レイヤー正規化（LN）**は効果を緩和できず、特徴ノルムを制約することでスパイクを加速させる可能性がある。
  • 最終線形層の直前に適用された**バッチ正規化（BN）**は、特徴を中心化しドリフト成分を除去することで、スパイクを成功裡に排除する。
  • ラベルスムーシングは精度誘発スパイクを排除するが、非消滅するヘッシアン固有値に起因するエッジ・オブ・スタビリティに関連する別の不安定性を導入する。
• LLM における文脈: 大規模言語モデルの訓練において、ミニバッチの確率的性質によりフルバッチのスリングショットスパイクは稀であるが、NFI メカニズムは依然として異常なロジットの成長を駆動する。著者らは、言語モデリングにおいて、トークン頻度の偏り（ジップフの法則）が数値的崩壊がなくても大きなグローバル平均 $W_G$ を生み出し、低精度が頻度誘発の発散を部分的に抑制する異なるダイナミクスにつながる可能性に言及している。

5. 意義と主張

本論文は、スリングショットメカニズムを神秘的な最適化行動ではなく、有限精度訓練の数値的ダイナミクスとして再解釈する。

• 勾配フローの再解釈: 結果は、無限精度を仮定し（しばしば対数的なノルム成長を予測する）理論的勾配フロー解析と、数値誤差が指数成長を駆動する実際の訓練との間にギャップがあることを浮き彫りにする。
• 低精度訓練における安定性: 大規模訓練に向けて BF16、FP8、FP4 などの低精度へ移行する分野において、NFI の理解は極めて重要である。著者らは、対数確率計算における数値誤差が、行列乗算やアテンションシンクにおける量子化誤差とは区別される、訓練を不安定化させる固有の失敗モードを代表すると主張する。
• 限定的な範囲: 著者らは限界を認め、分析が制約なし特徴モデルの仮定に依存し、主に最終層と最終層直前の特徴の相互作用を調査していることを指摘する。彼らは訓練不安定性のすべての形態を説明するものではなく、正則化なしの長期的訓練で観測される周期的損失スパイクを具体的に標的としている。

結論として、本論文はスリングショットは機能ではなく、浮動小数点演算の吸収誤差によって駆動されるグリッチであると主張し、訓練後期における異常なパラメータ成長に対する具体的かつ検証可能な説明と介入策を提供する。