🤖 machine learning

Beyond a Single Explanation of the Adam--SGD Gap

多様な領域にわたる制御された実証的研究を通じて、本論文は、AdamとSGDの間の性能差が単一の要因ではなく複雑なデータとアーキテクチャの相互作用から生じるものであること、そして、バッチサイズがスケールするにつれて相対的な優位性がSGDからAdamへとシフトする理論的な「クロスオーバー・バッチサイズ」によって一貫して特徴付けられることを示している。

原著者： Chenxiang Zhang, Rustem Islamov, Enea Monzio Compagnoni, Jun Pang, Aurelien Lucchi, Antonio Orvieto

公開日 2026-06-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenxiang Zhang, Rustem Islamov, Enea Monzio Compagnoni, Jun Pang, Aurelien Lucchi, Antonio Orvieto

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに新しいスキル（物語を書くことや、写真の中の猫を認識することなど）を教えようとしていると想像してください。これを行うには、ロボットの学習プロセスを導くための「教師」（オプティマイザ）が必要です。長い間、そこには2種類の主要な教師がいました。それは、SGD（着実で伝統的な教師）と、Adam（現代的で適応的な教師）です。

長年、研究者たちはどちらの教師が優れているかを議論してきました。ある人々は、Adamが勝つのはデータ（言語における言葉の使い方など）のせいだと主張しました。またある人々は、Adamが勝つのはアーキテクチャ（ロボットの脳の具体的な設計）のせいだと考えました。また、バッチサイズ（ロボットが一度に目にする例題の数）が理由だと言う人もいました。

この論文は、研究者たちがこれらすべての理論を検証するために、言語、ビジョン（視覚）、ゲノミクス（DNA）、グラフといった異なる世界を通じて行った、大規模で制御された実験のようなものです。彼らが発見したことを、簡単に説明します。

1. 単一の「魔法の弾丸」は存在しない

最大の教訓は、単一の要因が、なぜAdamが通常より優れているのかを説明しているわけではないということです。それはデータだけの問題でも、ロボットの設計だけの問題でもありません。

データの神話： 人々は、Adamが勝つのは言語データが「ヘビーテイル（裾が重い）」であるため（つまり、一部の単語が絶えず使われる一方で、ほとんどの単語は稀であるというジップの法則に従うため）だと考えていました。研究者たちはこれをDNAデータでテストしました。DNAの「語彙」は極めて小さく（A, C, G, Tのわずか4文字）、非常に均等に使用されます。驚くべきことに、それでもAdamが勝利しました。したがって、奇妙なデータだけが理由ではありません。
設計の神話： 人々は、Adamが勝つのは現代のAIに見られるような複雑な「Transformer」設計（アテンション・メカニズムなど）のおかげだと考えていました。研究者たちはこれらの複雑な部分を取り除き、より単純で古い設計を使用しました。それでもAdamが勝利しました。
「万能」の神話： 彼らはまた、ロボットの設計をわずかに変更するだけで（例えば、ある種の活性化関数を別のものに置き換えるなど）、優劣が逆転し、SGDが勝者になることもあることを発見しました。

2. 「クロスオーバー」ポイント：すべてはクラスの規模による

もしデータも設計も唯一の答えではないとするなら、何が答えなのでしょうか？論文は、その答えはロボットが一度に目にする例題の数（「バッチサイズ」）にあることを示唆しています。

教室を想像してみてください：

小さなクラス（小さなバッチサイズ）： ロボットが一度にわずかな例題から学ぶとき、ノイズは大きくなります。この混沌とした環境では、伝統的な教師（SGD）が、適応的な教師（Adam）と同等か、あるいはそれ以上にうまく機能することがよくあります。
大きなクラス（大きなバッチサイズ）： ロボットが一度に見る例題の数を増やしていくと、「ノイズ」は滑らかになります。ある一定の地点、すなわちクロスオーバー・バッチサイズに達すると、適応的な教師（Adam）が突如としてリードし始め、勝ち始めます。

論文は、この「クロスオーバー・ポイント」が、データや設計によって変化することを示しています。

言語タスクの場合、クロスオーバーは比較的早く起こります（中程度のクラスサイズでもAdamが勝利します）。
ビジョンタスク（画像認識など）の場合、クロスオーバーははるかに遅く起こります。AdamがSGDに打ち勝つには、非常に大きなクラスサイズが必要です。これが、画像タスクにおいてSGDがいまだに人気がある理由です。

3. 理論：地形の地図

研究者たちは、なぜこのクロスオーバーが起こるのかを説明するために、数学的モデルを構築しました。彼らは、ロボットが登るべき「地形」を比較しました。

時には、地形は凸凹していて平坦ではありません（高いノイズ）。
時には、滑らかです。

彼らのモデルは、もし地形が十分に「荒れて」いて、かつクラスサイズが十分に大きい場合、適応的な教師（Adam）の方がはるかに速くナビゲートできることを予測しています。しかし、地形がより滑らかであるか、あるいはクラスが小さい場合、着実な教師（SGD）で十分なのです。このモデルは、「勝者」がデータの形状、ロボットの設計、そしてクラスの規模の相互作用に依存することを裏付けています。

4. 「ワンエポック」の現実

論文はまた、旧来のトレーニングと現代のトレーニングの違いについても強調しています。

旧来型（過剰パラメータ化）： 小さなデータセットに対してロボットを長時間トレーニングさせ続けると、最終的にはすべてを完璧に学習します。この場合、両方の教師が丘の底に到達できるため、教師間の差は縮まります。
現代型（低パラメータ化）： 現代の大規模言語モデルでは、膨大なデータセットに対して、わずか1回のパス（1エポック）でトレーニングを行うことがよくあります。この場合、ロボットはすべてを完璧に学習する時間がありません。このレースにおいては、適応的な教師（Adam）が、伝統的な教師よりも一貫して低いエラー率でゴールに到達します。

まとめ

この論文は、「Adam vs SGD」の議論は、一つのルールに基づいて勝者を選ぶことではないと結論付けています。むしろ、それはクロスオーバー・ポイントを見つけることです。

車の運転に例えてみましょう：

狭くて凸凹のある未舗装路（小さなバッチ、特定のデータ）では、頑丈でシンプルなトラック（SGD）の方がうまく扱えるかもしれません。
広く滑らかな高速道路（大きなバッチ、異なるデータ）では、高性能なスポーツカー（Adam）が猛スピードで駆け抜けていくでしょう。

「勝者」は、ロードコンディション（データ）、車の設計（アーキテクチャ）、そしてどれくらいの速さで走っているか（バッチサイズ）によって完全に決まります。あらゆるレースで勝てる唯一の車というものは存在しないのです。

技術的要約：Adam–SGDギャップに関する単一の説明を超えて

問題提起

10年以上にわたり、適応型オプティマイザであるAdamと確率的勾配降下法（SGD）の間の性能差は、特にTransformerベースの大規模言語モデル（LLM）の文脈において、ディープラーニングにおける中心的な疑問となってきました。Adamは現代の基盤モデルにおける事実上の標準ですが、既存の文献は、この「Adam–SGDギャップ」に対して断片的な説明を提供しています。これらの説明は通常、個別に研究されており、以下の特定の要因に起因するとされています：

データの特性： テキストデータにおける重い裾を持つ語彙分布（ジップの法則）が、異方的な最適化ランドスケープを生み出す。
アーキテクチャ： Transformerにおけるコンポーネントの不均質性（例：softmax-attention、埋め込み層、正規化層）。
最適化のダイナミクス： バッチサイズの影響および勾配ノイズの特性（例：重い裾を持つノイズ）。

本研究が取り組む核心的な問題は、これらの要因がいかに相互作用するかについての統一的な理解が欠如していることです。単一の要因が普遍的にギャップを駆動しているのか、それともこの現象がデータ、アーキテクチャ、および訓練ハイパーパラメータ間の複雑な相互作用から生じるものなのかは、依然として不明です。

手法

著者らは、言語、ビジョン、ゲノミクス、およびグラフ学習の4つの異なるドメインにわたる、制御された大規模な実証研究を実施しています。この研究では、現代的なTransformerアーキテクチャと、古典的な非Transformerモデル（例：ResNet、GCNN、GAT）の両方を利用しています。

実験設計：

統一チューニングプロトコル： 撹乱因子を制御するため、著者らは両方のオプティマイザに対して学習率（ $\eta$ ）とモメンタムパラメータ（ $\beta$ ）を共同でスイープします。Adamについては、SignSGD理論に合わせるために、結び付けられたパラメータ化（ $\beta_1 = \beta_2 = \beta$ ）を使用しますが、アブレーション研究では独立したチューニングもテストしています。
グローバルな制約： 実験では、グローバルな勾配ノルムクリッピング（1に設定）と、一貫したウォームアップおよびコサインスケジュールの採用を行っています。
ギャップ指標： 性能ギャップは $\Delta^* = L^*_{Adam} - L^*_{SGD}$ と定義されます。ここで、 $L^*$ は最適なハイパーパラメータ構成における最終的な訓練損失です。 $\Delta^*$ が負であることは、AdamがSGDを上回っていることを示します。
理論的モデリング： 著者らは、非ユークリッド収束境界（Kovalev, 2025）に基づく理論的なギャップモデルを用いて、実証的な知見を補完しています。彼らは、Momentum付きのNormalized SGD (NSGD) をAdamのプロキシであるSignSGDと比較し、ギャップが滑らかさの定数の比（ $r = L_\infty / L_2$ ）およびバッチサイズ（ $B$ ）にどのように依存するかを分析しています。

主な貢献と結果

1. 単一の要因はギャップを説明しない

本研究は、単一の要因（語彙分布、アテンション機構、またはアーキテクチャのタイプ）が、Adam–SGDギャップを説明するために必要、あるいは十分であるという仮説を系統的に論破しています。

語彙分布： 語彙分布がほぼ一様（ $v=5$ ）で語彙サイズが小さいゲノミクスデータ（HG38）においてもギャップは持続しており、これは重い裾を持つクラス不均衡の仮説に矛盾します。
Softmax-Attention： GPTのsoftmax-attention層をゲート付き畳み込み（GCNN）に置き換えても、ギャップは解消されません。Adamは依然としてSGDを上回っており、アテンション機構が唯一の要因ではないことを示唆しています。
アーキテクチャの不均質性： コンポーネントの不均質性（例：埋め込み層 vs ヘッド層）はギャップに影響を与えますが、それは決定的ではありません。ImageNet21Kで訓練されたVision Transformer（ViT）は、Adamが勝利するモデルと同様のアーキテクチャの複雑さを持ちながら、SGDがAdamを上回る逆転の傾向を示すことがあります。

2. クロスオーバー・バッチサイズ現象

主要な実証的発見は、クロスオーバー・バッチサイズの存在です。バッチサイズ（ $B$ ）がスケールするにつれて、相対的な優位性はSGDからAdamへとシフトします。

データとアーキテクチャの相互作用： クロスオーバーが発生する特定の地点と、遷移の傾きは、データモダリティとアーキテクチャに共同で依存します。例えば、画像データ（I21K）は、言語やゲノミクスと比較して、優位性をAdamに移すためにより大きなバッチサイズを必要とします。これは、ビジョンタスクにおけるSGDの歴史的な成功と一致しています。
アーキテクチャの感度： ReLUをGeLUに、BatchNormをLayerNormに置き換えるといった小さなアーキテクチャの変更によって、同じデータセット上でのオプティマイザの好みがSGDからAdamへとシフトすることがあります。

3. 訓練レジームへの依存性

ギャップは、最適化レジームによって異なる挙動を示します：

過剰パラメータ化（マルチエポック）： モデルが訓練損失にほぼゼロまで到達できる設定（例：小さなデータセットを多エポック訓練する場合）では、訓練が進むにつれてギャップは縮小し、最終的にSGDがAdamの性能に匹当することができます。
不足パラメータ化（シングルエポック）： 現代のLLMの設定（大規模なデータセット、シングルエポック）では、ギャップは訓練中を通じて持続し、AdamはSGDに対して一貫した優位性を維持します。

4. 理論的ギャップモデル

著者らは、幾何学的な滑らかさの比 $r = L_\infty / L_2$ に基づいて2つのレジームを予測する理論モデルを提案しています：

レジーム I ( $1 < r < d^{1/3}$ ): クロスオーバーが発生し、小さなバッチサイズではSGDが有利になりますが、バッチサイズ $B$ が増加するにつれてAdamが有利になります。これはほとんどの実験設定と一致しています。
レジーム II ( $d^{1/3} < r < d$ ): すべてのバッチサイズにおいてSGD (NSGD) が有利になります。このレジームは、ImageNet21KにおけるResNetの実験に対応しており、そこでは大きなバッチサイズであってもSGDがAdamを上回ります。
このモデルは、ギャップが最適化の幾何学的形状、データセットの特性、および勾配ノイズの分散の相互作用によって決定されることを示唆しています。

意義

本論文は、以前の相反する仮説を調和させる統一的な視点を提供すると主張しています。Adam–SGDギャップを単一の原因（例：「テキストデータはジップ分布である」や「Transformerは複雑である」）に帰するのではなく、著者らは、そのギャップがデータ分布、アーキテクチャ設計、およびバッチサイズの相互作用から生じる創発的な特性であることを示しています。

クロスオーバー・バッチサイズの特定は、実用的なヒューリスティックを提供します。すなわち、AdamとSGDの選択は絶対的なものではなく、特定のバッチサイズ・レジームとデータ・アーキテクチャのペアを考慮すべきであるということです。理論モデルはさらに、相対的な性能が損失ランドスケープの滑らかさの比と勾配ノイズの特性に依存することを予測することで、これらの実証的な観察を検証しています。

本研究は、Adamは現代の大規模な不足パラメータ化設定（特に大きなバッチサイズを伴う場合）において一貫した実用的な優位性を提供する一方で、SGDは特定のレジーム（例：大きなバッチサイズを伴うビジョンタスクや過剰パラメータ化の設定）において競争力がある、あるいは優れているままであり、「普遍的な勝者のオプティマイザ」という概念に異を唱えるものであると結論付けています。