📊 statistics

Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization

本論文は、過剰パラメータ化されたネットワークの汎化を理解するには、ノルム最小化とシャープネス削減の間の動的なトレードオフを分析する必要があると論じており、学習率がこれらのバイアス間を補完すること、およびどちらか一方だけでは汎化誤差を最小化するには不十分であることを示している。

原著者： Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly

公開日 2026-06-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな全体像：AI学習における「ゴルディロックス問題（ちょうど良い状態の追求）」

あなたは、生徒（ニューラルネットワーク）にパズルを解く方法を教えていると想像してください。あなたは、生徒がルールを完璧に習得し、見たことがない新しいパズルも解けるようになってほしいと考えています（これは**汎化（generalization）**と呼ばれます）。

長い間、研究者たちは、生徒を優れたものにするためのたった一つの「魔法のトリック」が存在すると考えてきました。彼らは、学習プロセス（勾配降下法（Gradient Descent）と呼ばれます）が、自然と生徒を最もシンプルで「コンパクト」な解へと導くと信じていました。数学的な表現では、これはノルムの最小化（minim-izing the Norm）（モデル内の数値を小さく、整然と保つこと）と呼ばれます。

しかし、最近の観察により、別の現象が起きていることが分かりました。学習率を「速く」設定して学習させると、生徒は自然と「尖った」あるいは不安定な解を避け、代わりに「平坦で」滑らかな解を見つけるようになります。数学的な表現では、これは**シャープネスの最小化（minimizing Sharpness）**と呼ばれます。

この論文の主な発見： これら2つの「魔法のトリック」（物事を小さく保つこと vs 物事を平坦に保つこと）は、実は互いに戦っています。両方を同時に手に入れることはできません。この論文は、優れたAIの秘訣は、これら一方の特性だけを持つことではなく、学習の速さ（学習率（Learning Rate））によって制御される、両者の間の完璧なバランスを見つけることにあると主張しています。

2つの対立するバイアス

この対立を理解するために、2つの比喩を使ってみましょう。

1. 「小さなバックパック」バイアス（ノルムの最小化）

内容： 非常にゆっくりと教える（学習率が極めて小さい）とき、アルゴリズムは、できるだけ軽いバックパックを背負おうとするハイカーのように振る舞います。モデルの「重み」（内部の数値の大きさ）をできる限り小さく保とうとするのです。
結果： 非常にシンプルでコンパクトなモデルが得られます。
論文の発見： シンプルであることは通常良いことですが、この論文は、「最もシンプルな」モデルが必ずしも新しいデータに対して最高のパフォーマンスを発揮するわけではないことを示しています。

2. 「平坦な谷」バイアス（シャープネスの最小化）

内容： 中程度の速さ、あるいは速いスピードで教えるとき、アルゴリズムは、狭くて不安定な頂上ではなく、広く平らな谷底を探しているハイカーのように振る舞います。もし解が「鋭い（シャープな）」状態（針の上に立っているような状態）だと、次のステップでのわずかなミスで転落してしまいます。もし「平坦（フラット）」であれば（広いプラトーのような状態）、多少ふらついても安全に留まることができます。
結果： 非常に安定しており、小さな変化に対しても頑健（ロバスト）なモデルが得られます。
論文の発見： 安定性は素晴らしいことですが、「最も平坦な」解が常にベストであるとは限りません。

「安定の縁（Edge of Stability）」のダンス

この論文は、**「安定の縁（Edge of Stability: EoS）」**という魅力的な概念を紹介しています。

あなたが綱渡りをしているところを想像してください。

遅すぎる場合（小さな学習率）： あなたは非常に慎重に歩き、完璧に中央に留まります。あなたは「小さなバックパック（低いノルム）」を手に入れますが、それは必ずしも最善のルートではない、細い道を歩いている可能性があります。
速すぎる場合（大きな学習率）： あなたは走りすぎて、綱から跳ね返されてしまいます。そして落下します（学習が崩壊します）。
ちょうど良い場合（安定の縁）： あなたは、バランスを崩しそうになるギリギリのスピードで走っています。あなたは前後にゆらゆらと揺れますが、落ちることはありません。この状態において、アルゴリズムは自然とあなたを「平坦な谷（低いシャープネス）」へと押し進めます。

対立： この論文は、この「揺れながらも安定した」状態に到達するために、歩く速度（学習率）を上げていくにつれて、バックパックがどんどん重くなっていく（ノルムが増加する）ことを示しています。

遅いスピード： 小さなバックパック、狭い道。
速いスピード： 重いバックパック、広く平らな谷。

「軽いバックパック」と「広い谷」を同時に持つことはできません。これらはトレードオフの関係にあります。

「U字型」の秘密

最も重要な発見は、汎化（Generalization）（モデルが新しいデータに対してどれほどうまく機能するか）に関するものです。

モデルのパフォーマンスを学習スピードに対してプロットすると、しばしばU字型になります。

遅すぎる： モデルがシンプルすぎて（低いノルム）、データの細かなニュアンスを見逃してしまいます。パフォーマンスは悪くはありませんが、最高とは言えません。
速すぎる： モデルが混沌としすぎて（高いノルム、たとえ平坦であっても）、過学習したり不安定になったりします。パフォーマンスは低下します。
ちょうど良い（中間）： スイートスポットは真ん中にあります。ここでは、モデルは「中くらいのサイズのバックパック」を持ち、「適度に平坦」な状態にあります。

比喩： ラジオのチューニングを考えてみてください。

ダイヤルを左に回しすぎると（遅すぎると）、ノイズが聞こえます（アンダーフィッティング）。
ダイヤルを右に回しすぎると（速すぎると）、再びノイズが聞こえます（不安定性）。
最もクリアな信号は、2つの相反する力がバランスしている中間で見つかります。

理論的証明（単純なモデル）

これが複雑なコンピュータ上の単なる偶然ではないことを証明するために、著者らは非常に小さく単純な数学モデル（「トイ」ネットワーク）を構築しました。

彼らは、「最小のバックパック」（最小のノルム）を持つ解が、「最も平坦な谷」（最小のシャープネス）を持つ解とは全く異なる場所に存在することを示しました。
そして、**「最良の」**解（新しいデータを最もよく予測するもの）は、多くの場合、これら2つの極端な選択肢のちょうど中間にある第3の選択肢であることを証明しました。

結論：それはバランスの取り合いである

この論文は、AIがなぜこれほど上手く機能するのかを、単一の要因（例えば「最もシンプルな解を見つけるから」など）だけで説明することはできないと結論づけています。

むしろ、学習率は、2つの相反する欲求をバランスさせる**調光スイッチ（ディマー・スイッチ）**として機能します。

モデルを小さくシンプルに保つこと。
モデルを安定させ、平坦に保つこと。

ディープラーニングの「魔法」は、これら2つの相反する力の完璧な妥協点を見つけるために、このスイッチを調整するときに起こります。この論文は、これら一方のバイアスだけに焦点を当てることは不十分であり、両者のダイナミックなトレードオフを理解しなければならないと主張しています。

技術要約：安定性の境界における相反するバイアス：ノルム対シャープネスの正則化

問題提起

過剰パラメータ化されたニューラルネットワークの驚異的な汎化能力は、勾配降下法（GD）のような最適化アルゴリズムの暗黙的なバイアスに起因すると頻繁に説明される。これについて、主に2つの支配的な理論が登場している：

ノルム最小化： 学習率が消失する極限（または勾配フロー）において、GDは最小のパラメータノルム（例： $\ell_1$ または $\ell_2$ ノルム）を持つ解へと向かう暗黙的なバイアスを示す（特に線形および対角ネットワークの設定において）。
シャープネス最小化： 「安定性の境界（Edge of Stability; EoS）」レジームにおいて、学習率が有限かつ十分に大きく、損失の非単調な挙動を引き起こす場合、GDは低いシャープネス（具体的には、ヘッシアンのスペクトルノルムが $2/\eta$ 以下に抑えられる状態）を持つ解へと収束することが観察される。

本研究が取り組む中心的な問題は、これら2つの形態の暗黙的正則化が、しばしば個別に分析されていることである。有限で無視できない学習率を用いてGDを訓練する場合に、これらがどのように相互作用するかは依然として不明である。具体的には、単一のバイアス（ノルムまたはシャープネスのいずれか）だけで汎化を説明するのに十分なのか、それとも両者の間に動的なトレードオフが存在するのか？

手法

著者らは、多様な設定における広範な実証分析と、簡略化されたモデルを用いた厳密な理論的分析を組み合わせた二段構えのアプローチを採用している。

実証分析

著者らは、学習率 $\eta$ の影響を分離するために、幅広い構成に対して系統的な実験を行っている：

データセット： MNIST および CIFAR-10（ともに5kおよびフルセットのサブセット）。
アーキテクチャ： 様々な幅と深さを持つ全結合ネットワーク（FCN）、畳み込みニューラルネットワーク（CNN）、ResNet、およびVision Transformer（ViT）。
ハイパーパラメータ： 臨界遷移点付近の微細なグリッドおよび、より大きな学習率に対する粗いグリッドを含む、学習率の系統的なスイープ。
指標： 最終的なパラメータノルム（ $\ell_1, \ell_2$ , 核ノルム）、訓練損失のシャープネス（ヘッシアンの演算子ノルム）、およびテスト誤差を追跡。
制御： 確率性を排除するためにフルバッチGDを使用し、比較可能性を確保するために初期値を固定し、様々な損失関数（MSE, Cross-Entropy）および活性化関数（ReLU, tanh）を使用。

理論的分析

メカニズム的な洞察を提供するために、著者らは、共有重みを持つ単一のデータポイントに対する、浅い対角線形ネットワークを用いた単純化された回帰タスクを分析する。

彼らは、訓練損失がゼロとなる解の多様体を明示的に特徴付ける。
パラメータノルムを最小化する解と、シャープネスを最小化する解をそれぞれ導出する。
これらの異なる解の汎化誤差（リスク）を分析し、様々な学習率の下での実際のGDの収束挙動と比較する。

主な貢献

1. 学習率に依存するトレードオフの発見

本論文は、学習率が2つの異なる暗黙的バイアスを補間するコントロールノブとして機能することを実証的に示している：

フロー整列レジーム ( $\eta < \eta_c$ )： 学習率が臨界閾値 $\eta_c \approx 2/s_{GF}$ （ここで $s_{GF}$ は勾配フローの最大シャープネス）を下回る場合、GDは勾配フローと同様の挙動を示す。このとき、パラメータノルムとシャープネスの両方が比較的一定に保たれる。
安定性の境界（EoS）レジーム ( $\eta > \eta_c$ )： 学習率が $\eta_c$ を超えると、システムはEoSレジームに入る。ここでは急激な相転移が発生する。最終的なモデルのシャープネスは双曲線的に減少する一方（ $2/\eta$ を追跡）、パラメータノルムは近似的に線形に増加する。
結論： 本質的なトレードオフが存在する。学習率を調整するだけで、ノルムとシャープネスの両方を同時に最小化することはできない。

2. 汎化は単一のバイアスに対して単調ではない

著者らは、「最良」の汎化性能が、学習率のスペクトルのいずれの極端な方とも必ずしも一致しないことを示している：

低い学習率： 最小ノルム（フロー整列）を持つ解は、必ずしも最低のテスト誤差をもたらさない。
高い学習率： 最小シャープネス（EoS）を持つ解も、ノルムが大きくなりすぎると、不適切な汎化を招く可能性がある。
U字型曲線： 多くの設定において、テスト誤差は学習率に対してU字型の曲線を描く。最適な汎化は、低ノルムと低シャープネスへのバイアスがバランスされる中間的な学習率において達成される。

3. 理論的な反例

対角線形ネットワークモデルを用いて、著者らは以下を証明している：

ノルムを最小化するパラメータ集合と、シャープネスを最小化するパラメータ集合は、幾何学的に区別され、しばしば互いに素である。
ノルム最小化解もシャープネス最小化解も、必ずしも期待汎化誤差を最小化するわけではない。
学習率は、GDが解の多様体のどの領域に収束するかを制御しており、実質的に、これら相反する目的をバランスさせる正則化ハイパーパラメータとして機能している。

結果

相転移： フロー整列挙動からEoS挙動への転移は鋭く、異なるアーキテクチャ、データセット、損失関数において一貫して $\eta_c \approx 2/s_{GF}$ で発生する。
堅牢性： 増加するノルムと減少するシャープネスの間の観察されたトレードオフは、様々なノルム（ $\ell_1, \ell_2$ , 核ノルム）およびシャープネスの尺度（最悪ケース、平均ケース、適応型）に対して保持される。
最適化ダイナミクス： EoSレジームにおいて、訓練の軌跡はシャープネスの境界 $2/\eta$ の周囲で振動するが、パラメータノルムは時間とともに単調に増加する。これは、軌跡が高い複雑性の領域を訪問していることを示している。
分類 vs 回帰： 多くの回帰および分類の設定においてU字型の汎化曲線が顕著であるが、特定の分類シナリオ（例：Cross-Entropy損失を用いた場合）では、関係性がより複雑になる可能性があることを著者らは述べている。ただし、ノルムとシャープネスの間のトレードオフは維持される。

意義と主張

本論文は、ディープラーニングの汎化性能を説明する上で、暗黙的正則化を単一の静的なバイアスと捉える従来の視点は不十分であると主張している。

単一のバイスを超えて： GDベースの訓練の成功は、ノルム最小化（小さな学習率の理論が示唆するもの）のみ、あるいはシャープネス最小化（EoS理論が示唆するもの）のみに帰せられることはない。
動的な相互作用： 良好な汎化は、学習率によって媒介される、これら競合するバイアスの動的なトレードオフから生じる。
実用的な意味合い： 学習率は単なる収束速度のパラメータではなく、最終的なモデルの構造的特性（複雑性と平坦性）を決定する、重要な正則化ハイパーパラメータとして見なされるべきである。
限界： 著者らは、一般的な非線形ネットワークにおける暗黙的バイアスの特徴付けが困難であるため、理論的結果が簡略化されたモデル（対角線形ネットワーク）に限定されていることを認めている。しかし、多様なアーキテクチャにわたる実証結果の一貫性は、この現象が一般的であることを示唆している。

要約すると、本研究は、暗黙的正則化を、個別のバイアスを孤立させて考えるのではなく、最適化ダイナミクスによって形成される複数のバイアスの相互作用を考慮した、より広い視点へと促すものである。