📊 statistics

Why Adam Works Better with $\beta_1 = \beta_2$ : The Missing Gradient Scale Invariance Principle

本論文は、Adam 最適化器において $\beta_1 = \beta_2$ と設定することが最適であることを明らかにしており、その理由は、この設定が第一階の勾配スケール不変性という構造的性質を唯一無二に保証するからであり、その性質が多様なタスクにおいて経験的に観察される訓練の安定性と性能の向上を説明するものである。

原著者： Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに歩くことを教えることを想像してみてください。あなたは、直前の数歩でつまずいた様子に基づいて指示を与えます。これが、最も人気のある「オプティマイザー」（AI が学習するのを助けるツール）であるAdamの仕組みです。Adam は、過去と現在のどちらにどの程度耳を傾けるかを決定するために、2 つの「メモリノブ」を使用します。

ほぼ 10 年にわたり、専門家はこれらのノブを特定の設定に調整してきました：最初のメモリには0.9、2 番目のメモリには0.999です。しかし最近、奇妙なパターンが浮かび上がりました：研究者が両方のノブを同じ数値（例えば、どちらも 0.99）に設定すると、ロボットはより滑らかに歩き、より速く学習するのです。なぜこの魔法のようなトリックが機能するのか、誰も知りませんでした。

この論文はその謎を解明します。以下に、いくつかの比喩を用いた、平易な英語での説明を示します。

問題：「音量ノブ」対「方向」

あなたが曲がりくねった道を運転していることを想像してください。

**勾配（Gradient）**は道そのものです。道は急な場合（大きな勾配）もあれば、平坦な場合（小さな勾配）もあります。
**更新（Update）**は、あなたがステアリングホイールを切る動作です。

理想的には、あなたはどの方向に曲がるか（方向）だけを気にすべきです。坂道の急峻さがステアリングホイールを激しく回す原因になってはいけません。道が突然急勾配になっても、ステアリングホイールを急に 90 度きつく回すべきではなく、同じ方向に舵を取り続けるべきです。

著者らは、標準的な Adam（異なるノブ設定）は道の「急峻さ」に対して敏感すぎることを発見しました。勾配が大きくなると、Adam は過剰反応します。しかし、2 つのノブを同じ値に設定すると、Adam は誤差の「音量」（大きさ）を気にしなくなり、純粋に「方向」に集中するようになります。

秘密のソース：「勾配スケーリング不変性」

この論文はこの性質を**勾配スケーリング不変性（Gradient Scale Invariance）**と呼んでいます。

音楽を聴くことを考えてみてください。

標準的な Adam（異なるノブ）： 音楽の音量を上げると（勾配を大きくすると）、イコライザー（オプティマイザー）はパニックを起こし、ベースやトレブルの設定を激しく変えてしまいます。その結果、曲は歪んで聞こえます。
バランスの取れた Adam（同じノブ）： 音量を上げても、イコライザーは冷静を保ちます。「ああ、曲はただ大きいだけだ。メロディは同じだ」と理解するのです。音量に関係なく、音楽が滑らかに聞こえるよう、設定を完璧に調整します。

この論文は数学的に証明しています：2 つのメモリノブが等しい場合のみ、Adam はこの「音量に強い」安定性を達成できるということです。それらが異なる場合、数学的に「遅れ」が生じ、勾配のサイズが変化するたびにロボットがつまずくことになります。

「滑らかさ」テスト

これを証明するために、研究者たちは最終的なスコア（AI がどの程度うまくやったか）だけを見ているわけではありませんでした。彼らはロボットの一歩一歩の動きを観察しました。

彼らは振動（oscillation）（ロボットの歩幅が前後に揺れる程度）を測定しました。

ノブが異なる場合： ロボットの歩幅はぎくしゃくしていました。歩幅の大きさは、不安定なサスペンションを持つ車のように激しく上下に跳ねていました。
ノブが同じ場合： 歩幅は驚くほど滑らかになりました。ロボットは一定のリズムで安定したペースで移動しました。

彼らは、さまざまなタスクを行うさまざまな「ロボット」（AI モデル）でこれをテストしました。

ビジョン： 画像の認識（猫と犬など）。
言語： テキストの作成や質問への回答。

すべてのケースにおいて、「バランスの取れた」設定（ $\beta_1 = \beta_2$ ）が、最も滑らかで安定した学習をもたらしました。

大きな教訓

長年、人々は Adam の 2 つのノブがうまく機能するためには異なっていなければならないと考えていました。しかし、この論文は、安定性のための「秘密のソース」は実は目に見える場所に隠れていたことを示しています：それらを等しくすることです。

それらを等しく設定すると、隠されたスーパーパワーが解放されます。オプティマイザーは勾配のサイズの混沌とした上下動に対して免疫を持つようになるのです。誤差の大きさという「ノイズ」に反応するのをやめ、行くべき方向という「信号」に純粋に集中し始めるのです。

要約すれば： AI の学習をより滑らかで安定させたいなら、設定を推測するのはやめましょう。両方のモーメンタムノブを同じ数値に設定するだけで、残りは数学が処理してくれます。

技術的サマリー：なぜ Adam は $\beta_1 = \beta_2$ とした方が優れているのか

問題提起
Adam が大規模ニューラルネットワークのトレーニングにおけるデフォルトのオプティマイザとしてほぼ 10 年間使用されてきたにもかかわらず、一貫した経験的観察が未解決のまま残っている：モーメンタムパラメータを等しく設定（ $\beta_1 = \beta_2$ ）すると、トレーニングの安定性と検証性能が向上することが多い。Orvieto と Gower [2025] などの最近の研究がさまざまなアーキテクチャにおいてこの現象を記録しているが、なぜこの特定の構成がより良い挙動をもたらすのか、またそれがオプティマイザの内部ダイナミクスとどのように関連しているのかについて、厳密な理論的説明は存在しなかった。さらに、現代のオプティマイザ設計における並行する傾向（例：Lion、Muon、Scion）は、明示的にスケールに頑健な更新を実装するものであるが、これらの新しい手法と Adam の「バランス型」レジームとの間の関連性は不明瞭なままであった。

手法
著者らは、Adam のダイナミクスを分析するために「勾配スケール不変性」と呼ばれる構造的性質を導入する。彼らはこの概念を以下のように定式化する：あるオプティマイザが勾配スケール不変であるとは、内部状態を固定したまま、現在の勾配を正の因子 $\lambda$ で再スケーリングしても、更新ベクトルが本質的に変化しないことを意味する。

これを調査するために、著者らは Adam アルゴリズムの「連続時間極限」分析を採用する。彼らは Adam を、常微分方程式（ODE）によって支配される力学系の時間離散化としてモデル化する。離散パラメータ $\beta_1$ と $\beta_2$ に対応する緩和時間 $\tau_1$ と $\tau_2$ を導入（ $\beta_i = e^{-\Delta t/\tau_i}$ 経由）することで、1 次モーメントと 2 次モーメント（ $m(t)$ および $v(t)$ ）に対する連続時間フローを導出する。

分析の核心は、正規化された更新ベクトル $R(t) = m(t)/\sqrt{v(t)}$ を、勾配の「対数スケールドリフト」として定義される $\delta(t) = \frac{d}{dt} \log |g(t)|$ に依存する成分に分解することにある。著者らは、更新が、スケール不変な符号成分、 $(\tau_2 - \tau_1)\delta(t)$ に比例する明示的な「スケールラグ」項、および高次の剰余項に分解できることを証明する。

主な貢献

勾配スケール不変性の定式化：本論文は、勾配スケールの変化に対する明示的な線形応答が消滅する「1 次勾配スケール不変性」を定義する。
Adam の理論的特徴付け：著者らは、Adam が $\beta_1 = \beta_2$ $β_{1} = β_{2}$ （または同等に $\tau_1 = \tau_2$ $τ_{1} = τ_{2}$ ）である場合に限って 1 次勾配スケール不変性を達成することを証明する。
- $\beta_1 \neq \beta_2$ の場合、更新には勾配のスケールドリフトに比例する 1 次項が含まれ、更新が勾配の大きさの変動に対して敏感になる。
- $\beta_1 = \beta_2$ の場合、この 1 次項は完全に打ち消され、感度は 2 次へと押し上げられる。その結果、更新は本質的にスケール不変である符号ベースの手法に似た挙動を示す。
合成および経験的検証：
- 合成実験：再スケーリングされた勾配信号を用いた制御実験により、 $\beta_1 = \beta_2$ の場合、更新ベクトルのノルムはスケール変化に対して安定して維持されるが、 $\beta_1 \neq \beta_2$ の場合は顕著な 1 次偏差が生じることが示された。
- 実世界トレーニング：ビジョン（EfficientNet、ResNet、ViT）および言語（NanoGPT、T5）タスクにわたる広範な実験により、更新ノルム（ $\|R_k\|$ ）の振動が $\beta_1 = \beta_2$ のときに最小化されることが示された。著者らはこの安定性を定量化するための振動指標 $\omega$ を定義し、対角構成が一貫して滑らかな更新軌道をもたらすことを発見した。
- 統計的有意性：複数のモデル - データセットペアにわたる二項検定により、更新安定性を最小化する $\beta_2$ が、高い統計的有意性をもって $\beta_1$ と一致することが確認された。

結果
実験は、スケールラグ項の理論的な打ち消しが、実用的なトレーニングダイナミクスに直接転換されることを確認した。

更新ノルムの安定性：テストされたすべてのアーキテクチャ（NanoGPT、EfficientNet-B0、ResNet18、ViT-B16、T5）において、更新ノルム $\|R_k\|$ は、非対角設定と比較して $\beta_1 = \beta_2$ の場合に著しく低い振動を示す。
分解分析：固定データプローブ勾配に対する診断的リプレイにより、 $\beta_1 \neq \beta_2$ の場合、明示的なスケールラグ項が正規化された更新の絶対予算の約 50% を占めることが明らかになった。 $\beta_1 = \beta_2$ の場合、この項は消滅し、更新はスケール不変な符号成分によって支配されるようになる。
頑健性：これらの知見は、異なるランダムシード、学習率スケジュール、アーキテクチャファミリーにわたって維持され、この現象が特定のハイパーパラメータのアーティファクトではなく、オプティマイザの構造に固有の基本的な性質であることを示唆している。

意義と主張
本論文は、Adam におけるバランス型レジーム（ $\beta_1 = \beta_2$ ）の経験的成功に対する一貫した理論的説明を提供すると主張する。これは単なる便利なヒューリスティックではなく、Adam に「1 次勾配スケール不変性」を与える構造的整合であると提唱している。

著者らは、この性質によりバランス型 Adam レジームが、スケール頑健性を明示的に設計する最近の最先端オプティマイザ（Lion や Muon など）と同じ概念的クラスに位置づけられると論じている。この望ましい性質が Adam の標準的な定式化の中に潜在していることを特定することで、この研究は従来の適応的手法と現代のスケール不変設計の間のギャップを埋めている。

論文は、勾配スケールに対する感度を低減することが、安定した適応的最適化のための構造的原理であると結論づけている。本研究は新しいオプティマイザを提案するものではないが、将来のオプティマイザ設計のための指針を提供し、特に勾配の大きさが変動するレジームにおいて、トレーニングの安定性を向上させるための原理的な選択として $\beta_1 = \beta_2$ を設定することを示唆している。著者らは謙虚さを保ち、彼らの分析が局所的かつ座標ごとのものであること、および対角線上の共通 $\beta$ の最適値は特定のトレーニングダイナミクスに依存する未解決の問題であることを指摘している。

問題：「音量ノブ」対「方向」

秘密のソース：「勾配スケーリング不変性」

「滑らかさ」テスト

大きな教訓

技術的サマリー：なぜ Adam は β1=β2\beta_1 = \beta_2β1​=β2​ とした方が優れているのか

関連論文

技術的サマリー：なぜ Adam は $\beta_1 = \beta_2$ とした方が優れているのか