🤖 machine learning

Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

本論文は、重みの二乗ノルムの三つの力の分解を導出することによって、AdamWの学習中におけるワイブル尺度パラメータ $\lambda$ の進化を分析し、初期の成長フェーズではアライメント力が支配的である一方、その後の緩和はアライメントとウェイトデケイの間のバランスによって駆動されることを示し、疎なチェックポイントからこれらのダイナミクスを正確に再構成することを可能にするスプライン変位法を提案する。

原著者： Tiexin Ding

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tiexin Ding

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

AdamWのような巨大なAIモデルのトレーニングを、何百万もの小さく目に見えないレゴブロックを使って、巨大で複雑な彫刻を作り上げる作業に例えてみましょう。目標は、これらのブロックが完璧に機能するように形を整えることです。しかし、ブロックは実際にどのように動き、最終的な位置に落ち着くのでしょうか？

この論文は、AIの重み（「ウェイト」）のサイズ（レゴブロックの大きさ）が、なぜ成長し、オーバーシュートし、そして落ち着いていくのかを調査する、探偵小説のようなものです。著者たちは、この動きを追跡するために、ワイブル尺度（これを「サイズ・ゲージ」と呼びましょう）という特別な測定ツールを使用しています。

以下に、彼らが発見した内容のシンプルな内訳を示します。

1. 「サイズ・ゲージ」の謎

これまでの研究において、研究者たちは奇妙なパターンに気づいていました。AIの重みの「サイズ・ゲージ」（ $\lambda$ ）は、ただ着実に成長するわけではありません。急上昇し、大きくなりすぎ（オーバーシュート）、そして再び快適な休息サイズへと縮小していくのです。

問い： なぜこのようなことが起こるのでしょうか？何が重みを押し上げ、何が引き下げているのでしょうか？

2. 3つの見えない手

著者たちは、これらの重みの動きが、まるで重い箱を押したり引いたりする3人の人物のように、3つの明確な力によって制御されていることを発見しました。

アライメント力（「プッシャー／押す者」）： これがメインエンジンです。学習信号に基づいて、重みが「行きたい」と思う方向に重みを押し出します。彫刻を形作るために吹く強い風のようなものです。論文では、成長フェーズの間、この力が**88%から94%**の仕事をこなしていることが分かりました。これが支配的なドライバーです。
注入力（「ジッター／震え」）： これはデータのランダムさに起因する、小さく絶え間ない刺激です。テーブルのわずかな振動のようなものです。常に存在していますが、非常に小さく（努力のわずか4%程度）、影響は軽微です。
減衰力（「プラー／引く者」）： これは組み込まれたブレーキです。モデルをシンプルに保ち、暴走を防ぐために、重みをゼロに向かって常に縮小させようとします。彫刻を中心へと引き戻すゴムバンドのようなものです。

3. 曲線のストーリー（上昇、ピーク、緩和）

この論文は、これら3つの力を用いて、サイズ・ゲージの奇妙な「上下」のカーブを説明しています。

上昇（Rise）： 最初期、**プッシャー（アライメント力）はプラー（減衰力）**よりもはるかに強力です。押しが勝っているため、重みは急速に成長します。
ピーク（Peak）： モデルが「完成」に近づくにつれ、プッシャーは疲れていき（アライメントが最適ではなくなる）、重みが大きくなるにつれてプラーが強くなります。やがて、両者が中間地点で出会います。押しと引きが完璧にバランスします。ここで成長が止まります。これがピークです。
緩和（Relaxation）： もしプラーがプッシャーよりもわずかに強くなった場合、重みは新しい安定したバランスを見つけるまで少し縮小します。これが、モデルが落ち着く「フロア（底）」となります。

4. 「魔法の架け橋」（点と点を結ぶ）

問題がありました。これらの力の数学的計算は「総重量（RMS）」に基づきますが、「サイズ・ゲージ（ワイブル）」は重みの「分布」を測定するものです。

解決策： 著者たちは「魔法の架け橋」を発見しました。彼らは、重みの分布の「形」が、トレーニング中を通じてほぼ完璧に固定されている（硬い型のように）ことを突き止めました。形が変わらないため、総サイズとサイズ・ゲージは完全に連動して動きます。これにより、力の数学をサイズ・ゲージの挙動へと直接翻訳することが可能になりました。

5. 「欠損データ」のパズルを解く

現実世界のAIモデルは、各ステップで力がどのように適用されたかを示す「内部日記（オプティマイザのモーメント）」を持たずにリリースされることがよくあります。私たちに手に入るのは、最終的な重みのスナップショットだけです。

トリック： 著者たちは**「スプライン変位法」**を考案しました。例えば、車の動画を見ているけれど、10秒ごとにしか写真がない状況を想像してください。写真の間にある速度は見えません。しかし、もし点と点を結ぶ滑らかな曲線（スプライン）を描けば、速度を非常に正確に推測できます。
結果： この方法により、疎らなスナップショットから「プッシャー」の力を92〜94%の精度で推測することができました。これは、単に2点間を推測するよりも2倍優れた精度です。

6. データへの一瞥

著者たちはまた、興味深いことにも気づきました。ピークの「高さ」（重みが縮小する前にどれほど大きくなるか）は、AIが何を読んでいるかに依存しているようです。

もしAIが単一の種類のテキスト（特定のWikiなど）を読んでいる場合、重みは非常に大きくなります（高いピーク）。
もしAIが多くの異なるトピックを混ぜて読んでいる場合、ピークは低くなります。
注：著者たちは、これは将来の研究への「ヒント」に過ぎないと述べています。彼らはまだ正確な理由を証明していませんが、多様なデータを読むことが、重みを巨大化させるのを防ぐ「相反する方向性」を生み出しているのではないかと推測しています。

まとめ

要約すると、この論文は、AIの重みの「呼吸」のようなパターン（成長、オーバーシュート、そして落ち着くこと）はランダムではないことを説明しています。それは、**強力な押し（学習）**と、**一定の引き（減衰）**との間の精密なダンスなのです。押しが勝れば重みは成長し、両者がバランスすればモデルは落ち着きます。著者たちは、完全なビデオがなくても、わずかなスナップショットさえあれば、このダンスを観察する方法を見出したのです。

技術要約：AdamWにおけるワイブル分布のスケールパラメータの進化

問題提起
ニューラルネットワークの学習中における重みの進化を理解することは、最適化と汎化の両面において極めて重要である。先行研究（Ding, 2026）は、トランスフォーマーの重みの大きさを診断するために、2パラメータのワイブル分布を確立し、形状パラメータ $k$ が $k_0 \approx 1.20$ 付近に固定される「伝送クラス（Transmission-class）」の規則性を特定した。一方で、スケールパラメータ $\lambda$ は、上昇、オーバーシュート、緩和、そしてフロア（底）という特徴的な軌跡を辿る。しかし、この軌跡を駆動するメカニズムは未解明であった。AdamWのダイナミクスは個々のパラメータとオプティマイザの状態レベルで定義されるが、ワイブルパラメータは分布レベルの要約統計量であるため、両者の間には乖離が存在していた。具体的には、どのオプティマイザレベルの力がモデルを $\lambda$ 座標に沿って移動させているのかが不明であった。

手法
本論文は、以下の3段階のアプローチを通じて、個々のパラメータのダイナミクスと分布レベルの統計量との間の溝を埋めるものである。

3つの力の分解： 分離されたAdamWの更新則から出発し、重みの二乗ノルムのダイナミクス（ $\Delta \Sigma W^2$ ）を、以下の3つの明確な力へと導出する主要項分解を行う。
- 整列力 ( $F_{align}$ ): $-2\eta \langle W, \hat{u} \rangle$ 。現在の重みと適応的な更新方向との相関を測定する。
- 注入力 ( $F_{inj}$ ): $+\eta^2 \|\hat{u}\|^2$ 。適応的ステップの二乗マグニチュード（確率的ノイズ）を表す。
- 減衰力 ( $F_{decay}$ ): $-2\eta \lambda_{wd} \Sigma W^2$ 。分離された重み減衰による構造的な寄与。
$k$ -ロック・ブリッジ： 二乗ノルムの力とワイブルのスケールパラメータ $\lambda$ を結びつけるため、本論文では、伝送クラスのコンポーネントにおいて $k$ がほぼ一定（ $k \approx 1.20$ ）に保たれるという観察結果を利用する。これにより、RMS ( $\sigma$ ) と $\lambda$ をほぼ固定された乗法的因子（ $\sigma = \lambda \sqrt{\Gamma(1+2/k)}$ ）によって関連付けることが可能となり、 $\sigma^2$ 上の力のダイナミクスを $\lambda(t)$ の軌跡へと変換できる。
スパース・チェックポイント復元（スプライン変位法）： 公開されているモデルのリリースにはオプティマイザのモーメント（ $\hat{m}, \hat{v}$ ）が含まれていないため、著者らはスパースな重みのチェックポイントから力の情報を復元する手法を導入した。保存された重みの軌跡に対して3次スプラインを適合させることで、整列力を計算するために必要な単位ステップ変位を推定する。この手法は、自己学習モデルのグラウンドトゥルース（真値）のモーメントを用いて検証されている。

主な結果

上昇フェーズの支配性： グラウンドトゥルースのオプティマイザ・モーメントを持つ自己学習済みPythia-70Mモデルにおいて、整列力が上昇フェーズを支配しており、絶対的な力の予算の**88〜94%**を占めている。この支配性は4つのランダムシード間でロバストであり、「スーパーウェイト」の外れ値を除去した後でも安定している。注入力はわずか約4%、減衰力は約2〜7%である。
緩和への遷移： 重みのスケール成長から緩和への遷移は、力のバランスの変化に対応している。学習が進み飽和に向かうにつれ、整列力は減少し、減衰力が増加する。ピーク付近および緩和フェーズに入ると、整列力と減衰力が均衡（ $F_{align} \approx |F_{decay}|$ ）し、正味の力が消失することで、重みのスケールが安定または縮小する。
アーキテクチャ横断的な堅牢性： 整列支配のメカニズムは、Pythia型（GPT-NeoX）とLlama型の両方のアーキテクチャで成立しており、上昇フェーズにおける整列力のシェアは88〜94%の範囲内に収まっている。
復元精度： 提案されたスプライン変位法は、スパースなチェックポイントから整列力を92〜94%の精度で復元し、これは素朴な2点ベースラインの約2倍の性能である。
RMS-to-Weibull オフセット： 力の閉ループ積分による $\lambda(t)$ の予測は、高密度サンプリング領域において約**5〜6%**の系統的なオフセットを示した。これは、約4.6%のブリッジ誤差（RMS-to-Weibull 再構成）と約1.9%の積分誤差に分解され、力のダイナミクスが軌跡の支配的な成分を制御していることを裏付けている。
データ依存の変調： 探索的な観察として、 $\lambda(t)$ の絶対的なピーク値は学習データのコヒーレンス（一貫性）によって変化することが示唆されている。単一ドメインのデータ（wikitext-103）で学習されたモデルは、マルチドメインのデータ（The Pile）で学習されたモデル（~~0.035）と比較して、より高いピーク $\lambda$ 値（~~0.069–0.076）に達する。The Pileで学習されたモデルに対し、wikitext-103への継続学習介入を行ったところ、 $\lambda$ が2.6倍増加したことは、データのコヒーレンスが整列力を変調することを示唆している。

意義と主張
本論文は、AdamWの学習中におけるワイブルの重みスケールパラメータ $\lambda$ の上昇、オーバーシュート、および緩和の軌跡に対する初のメカニズム的説明を提供すると主張している。その主な貢献は以下の通りである：

記述レベルの接続： 低レベルのAdamW更新則と高レベルの分布レベルの診断との間の溝を埋めることに成功し、 $\lambda(t)$ が主要項の力予算の重みスケール成分を追跡していることを示した。
駆動因子の特定： 学習の上昇フェーズにおける重みスケールの成長の主要な駆動因子が、重み減衰やノイズではなく、整列力であることを特定した。
軌跡の説明： オーバーシュートと緩和が、飽和付近における整列優位から整列・減衰の均衡への移行の結果であることを説明した。
実用的な適用可能性： オプティマイザの状態が利用できない現実世界のモデルから力のダイナミクスを復元する検証済みの手法（スプライン変位法）を提供し、分析を自己学習環境以外にも拡張した。

著者らは、データの多様性の影響に関する完全な特性評価には制御された追跡研究が必要であるとして、データのコヒーレンスに関する観察は探索的なものであることを明記している。主要な貢献は依然として、重みスケールのダイナミクスに関する力予算による説明であり、データの解析結果は将来の制御実験への動機付けとしての役割を果たしている。