📊 statistics

SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates

本論文は、マルチクラス交差エントロピー損失における大きな学習率を用いた確率的勾配降下法（SGD）に対して鋭い収束保証を確立し、固有の確率性がアルゴリズムに自己安定化を可能にし、収束を確実にするために安定性の境界での振動と制御された降下を交互に繰り返させることを実証している。

原著者： Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常にデコボコで曲がりくねった丘の底（「完璧な」解決策）に向かって、重い岩を転がそうとしていると想像してください。機械学習の世界では、この岩はあなたのAIモデルであり、丘は「損失ランドスケープ（モデルがいかに間違っているかを示す地図）」であり、底はモデルが最小限のミスしか犯さない地点です。

長い間、科学者たちは、岩を優しく慎重に押さなければならないと信じてきました。もし強く押しすぎると（「学習率が大きい」と）、岩は壁に跳ね返ったり、端から飛び出したり、あるいはループに陥って底に到達できなくなったりします。これが「古典的な理論」でした。

しかし、現代のAIにおいて、エンジニアはある奇妙な現象に気づきました。岩を非常に強く押すと、実際にはより速く底に到達し、時には穏やかに押したときよりも優れた場所にたどり着くことがあるのです。この現象は「安定の縁（Edge of Stability）」と呼ばれます。それは、車のグリップの限界ギリギリで運転しているようなものです。車体は揺れ、スリップしますが、それでも前進はしています。

問題は、この「揺れる運転」を説明する数学のほとんどが、**決定論的（deterministic）な世界（道の形が正確に分かっている世界）のために書かれていたことです。しかし、現実のAIは確率的勾配降下法（SGD）を使用しています。これは、AIが道全体を一度に見るのではなく、どちらに岩を押すべきかを決める前に、ごく小さなランダムな区画（「ミニバッチ」）しか見ていないことを意味します。ここにノイズ（ランダム性）**が加わります。

この論文は、次の問いを投げかけています：このランダムなノイズは、「安定の縁」における「揺れる運転」にどのような影響を与えるのでしょうか？ AIはクラッシュしてしまうのでしょうか、それとも自らを安定させる方法を見つけるのでしょうか？

以下に、著者たちの発見を分かりやすい比喩を用いて説明します。

1. 二つの運転モード

著者たちは、大きな学習率とランダムなノイズを併用した場合、AIの旅は単なる混沌とした混乱ではないことを発見しました。実際には、二つの明確なモードの間を行き来しています。

「スリップ」フェーズ（安定の縁）: 岩が強く押されすぎて、凸凹に当たって激しく跳ね返り始めている状態を想像してください。エラー（底からの距離）は上下に変動します。これは不安定に見えます。このフェーズでは、AIは「曲率（丘の凸凹）」に支配されています。
「滑走」フェーズ（安定領域）: やがて、AIは一定のリズムを掴みます。依然として強く押されてはいますが、平均的には底に向かって進んでいるゾーンに入ります。エラーは着実に減少していきます。

2. 「自己安定化」の魔法

最も驚くべき発見は、AIがランダム性をどのように扱うかという点です。

ノイズのない完璧な世界では、もし押しすぎると、行き過ぎて戻ってこれなくなる可能性があります。しかし、ランダムなノイズが存在する現実の世界では、著者たちはSGDには組み込まれた自己修正メカニメントがあることを証明しました。

比喩: 嵐の中で綱渡りをしているところを想像してください（これがノイズです）。時折、風によって綱から吹き飛ばされることがあります（これがAIが安定領域を離れる状態です）。
発見: 著者たちは、たとえ風で綱から飛ばされたとしても、綱渡りのロープの形状（クロスエントロピー損失の数学的性質）が磁石のように機能することを明らかにしました。それはあなたを引き戻します。何度か綱から足を踏み外すことはあっても、必ず特定の予測可能なステップ数以内に、再び綱の上へと引き戻されます。
結果: AIはクラッシュしません。ノイズによって安定領域を一時的に外れて揺れ動きますが、すぐに修正を行い、安全で安定した経路へと戻ります。これは何度も繰り返されますが、AIが改善される（損失が低くなる）につれて、安定した経路に留まる時間が増え、外れる時間が減っていきます。

3. 単純なモデルと複雑なモデルの両方に適用される

著者たちは、単なる直線（線形分類器）だけを見たのではありません。彼らは二層ニューラルネットワーク（ディープラーニングの基本的な形態）についても調査しました。

彼らは、ランダムなノイズと追加された複雑さがある場合でも、同じルールが適用されることを証明しました。
また、この自己安定化を可能にする特定の「活性化関数（AI内部の数学的なスイッチ）」を特定しました。彼らは、現代のAIで使用されている一般的なツール（GELUやSoftplusなど）が、これらのルールに完璧に適合していることを示しました。

4. 実証実験（Proof is in the Pudding）

彼らの数学が単なる理論ではないことを確認するため、彼らは実際のデータ（MNISTの手書き数字やCIFAR-10の画像など）を用いた実験を行いました。

彼らは、非常に巨大な学習率（古い教科書が安全だと説くものよりもはるかに大きいもの）を用いてAIモデルを訓練しました。
結果: モデルが爆発することはありませんでした。代わりに、損失（エラー）は急速に減少しました。モデルはより速く学習し、高い精度を達成しました。これにより、「安定の縁」における「揺れる運転」は、安全であるだけでなく、しばしばより優れていることが確認されました。

まとめ

この論文は、なぜ現代のAIが、たとえ「無謀な」学習率を使用してもこれほど上手く機能するのかを説明しています。結論として、トレーニングプロセスにおける**ランダム性（ノイズ）**は、単なる厄介者ではありません。それは問題の形状と相互作用し、自己安定化するループを作り出しているのです。

AIは安定の縁でつまずいたり揺れたりすることもありますが、そこには自分を捉えて安定した経路へと引き戻す目に見えないセーフティネットが存在します。これにより、慎重にゆっくりと運転する場合よりも、より速く優れた解決策へと収束することができるのです。

技術要約：安定性の境界におけるSGD：大きな学習率を用いた確率的安定化

問題提起

現代のディープラーニングでは、古典的な滑らかな凸最適化理論によって正当化されるよりも大幅に大きな学習率が日常的に用いられており、これは「安定性の境界（Edge of Stability: EoS）」として知られる現象である。決定論的な勾配降下法（GD）におけるEoSの挙動は、曲率に起因する振動の初期フェーズと、それに続く損失が単調減少する自己安定化フェーズという形で分析されているが、確率的な設定については依然としてほとんど解明されていない。

確率的勾配降下法（SGD）においては、ミニバッチのノイズによる「無害な確率的ゆらぎ」と、大きなステップサイズに起因する「真の不安定性」の区別が曖昧である。SGDにおける損失の非単調性は、これら両方の要因から生じ得るため、古典的な決定論的安定性閾値（ヘッセ行列の最大固有値に基づくもの）は、不適切または不十分となる。その結果、マルチクラス交差エントロピー損失を用いた、任意の大きな学習率の下でのSGDの振る舞いに関する原理的な理解が欠落している。核心となる問いは、「マルチクラス交差エントロピー損失に対するSGDの適切な安定性の概念とは何か、そして古典的な小さな学習率の領域を超えて、そのダイナミクスをどのように特徴付けられるか？」である。

手法

著者らは、任意の大きなステップサイズ（ $\eta > 0$ ）の下で、線形分類器および2層ニューラルネットワークに適用されるマルチクラス交差エントロピー損失に対するSGDを分析するための理論的枠組みを開発した。

確率的リアプノフ安定性:
点ごとの実現された損失の単調性（ノイズが存在するため保証は不可能）に依存する代わりに、本論文では確率的リアプノフ安定性の視点を採用している。損失関数 $L(W)$ はリアプノフ関数として扱われる。安定性は、 $L(W_{t+1}) \leq L(W_t)$ という条件ではなく、フィルタリング $\mathcal{F}_t$ が与えられた下での条件付き期待値において損失が減少するという条件によって定義される：
$\mathbb{E}[L(W_{t+1}) - L(W_t) \mid \mathcal{F}_t] \leq 0$
この基準は、曲率とノイズのバランスを捉えている。これは、フルバッチの極限においては決定論的な安定性条件に帰着するが、確率的な設定におけるミニバッチのゆらぎも考慮に入れている。
二相ダイナミクス分析:
分析では、学習ダイナミクスを以下の2つのレジームに分離する：

安定性の境界（EoS）レジーム: 反復計算が曲率に起因する振動を経験する可能性があり、損失が単調減少しない初期フェーズ。
安定レジーム: 期待損失が1ステップの降下を許容する領域。著者らは、ステップサイズ、バッチサイズ、およびデータのマージンに依存する $\tilde{L}$ を用いて、安定集合 $\mathcal{S}$ を定義する。

確率的安定化メカニズム:
主要な理論的貢献は、SGDが自己安定化特性を持つことを証明した点にある。たとえミニバッチノイズによって反復計算が安定集合 $\mathcal{S}$ の外へ押し出されたとしても、ダイナミクスは高い確率で、固定された有界な反復回数以内に安定レジームへと戻ることが保証される。この回帰メカニズムは、損失がゼロに近づくにつれて曲率とノイズの大きさの両方が減少するという、交差エントロピー損失の幾何学的性質によって駆動されている。
ニューラルネットワークへの拡張:
この枠組みは、平均場スケーリングにおける2層ニューラルネットワークへと拡張される。著者らは、活性化関数の微分可能性、滑らかさ、および近同次性に関する緩やかな条件を課し、活性化関数の微分の下限を考慮した「有効マージン」 $\tilde{\gamma}$ を導入する。これにより、非線形の設定への線形収束保証の転移が可能となる。

主要な貢献

確率的安定性基準: 本論文は、パラメータが発散しながらも損失がゼロに収束し得る分離可能な交差エントロピー最小化に適した、条件付きリアプノフ・ドリフトに基づくSGDの新しい安定性の定義を提案している。
大きな学習率に対する収束保証: 著者らは、任意の大きなステップサイズ（ $\eta > 0$ ）の下で、マルチクラス交差エントロピー損失に対するSGDの最初の理論的収束保証を提供した。彼らは、ステップサイズの大きさに依存せず、最良の反復計算が $\tilde{O}(1/t)$ の収束率を達成することを確立した。
安定レジームの特性付け: 本研究は、SGDが固定された反復回数内に高い確率で安定レジームに入ることを証明している。一度中に入ると、最終反復計算は劣線形レートで収束する。
確率的安定化の証明: 本論文は、SGDが「自己安定化」することを厳密に証明している。たとえ軌跡がノイズによって安定集合から脱出したとしても、それは有界なステップ数で安定へと戻る。これは、一度安定フェーズに入ると、構造上その領域に留まり続ける決定論的なGDとは対照的である。
ニューラルネットワーク分析: 結果は2層ニューラルネットワークに拡張され、活性化関数が特定の「リーキー（leaky）」な条件を満たす限り、大きなステップサイズによる収束保証が保持されることを示している。

結果

理論的境界: 定理2.2は、線形分類器における最良の反復計算の期待損失の上界を確立し、 $\tilde{O}(1/t)$ のレートを示す。定理4.1および定理5.4は、ダイナミクスが安定レジームに入った後の最終反復計算に対する同様の保証を提供する。
安定性への回帰: 定理4.2（線形モデル）および定理5.5（ニューラルネットワーク）は、安定集合内に留まる確率と、脱出が発生した場合に安定に戻るために必要な最大ステップ数を定量化している。これらの境界は、バッチサイズ、ステップサイズ、および現在の損失値に依存する。
実験的検証: 合成データ、MNIST（2層NN）、およびCIFAR-10（8層NN）を用いた実験により、理論的知見が検証された。実験結果は以下を示している：
- 開始時における非単調な損失減少（EoSフェーズ）と、それに続く安定レジームでの収束。
- 大きなステップサイズによる損失のより速い収束。
- 小さなステップサイズと比較して、大きなステップサイズにおける同等または向上したテスト精度。
- 大きなバッチサイズによるノイズと振動の減少。

意義と主張

本論文は、現代のディープラーニングにおける最適化の理論的理解における決定的なギャップを埋めるものであると主張している。先行研究は決定論的なGDにおけるEoS現象を説明してきたが、本研究はこれを、実用的なディープラーニングの標準である確率的な設定へと拡張している。

著者らは、彼らの結果が、確率性が最適化の二相構造をどのように変化させるかについての原理的な理解を提供するものであると強調している。彼らは、「自己安定化」メカニズムは交差エントロピー損失を用いたSGDに固有のものであり、損失が時間とともに減少する限り、大きな学習率を用いてもアルゴリズムが発散しないことを保証すると主張している。本研究は、ディープラーニングにおけるすべての最適化の課題を解決することを目的としているのではなく、大きなステップサイズ・レジームにおけるSGDを分析するための厳密な枠組みを提供し、大きな学習率が実用において効果的かつ安定しているという経験的な観察を検証するものである。理論的保証は、分離可能なデータおよび交差エントロピー損失に特化しており、ニューラルネットワークの分析は平均場スケーリング下の2層アーキテクチャに限定されている。