🤖 machine learning

Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization

本論文は、平坦な極小値の曲率に基づく性質により適切に整合するように、Sharpness-Aware Minimization の固定されたパラメータ空間半径を固定された損失空間予算に置き換える新しい最適化手法である Loss-Equated SAM（LE-SAM）を提案し、それによって多様なベンチマークにおいて最先端の汎化性能を達成する。

原著者： Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「損失を修正せよ、半径を修正するな」（LE-SAM）という論文を、平易な言葉と創造的な比喩を用いて解説します。

全体像：「平坦な」谷を見つけること

あなたが広大な霧に包まれた山脈（これはニューラルネットワークの損失地形を表します）で、最も低い地点を見つけようとしていると想像してください。あなたの目標は、モデルが完璧に機能し、天候がわずかに変わってもその状態を維持できる場所を見つけることです（これを汎化と呼びます）。

研究者たちは長年、最も良い場所とは単なる「低い地点」ではなく、平坦な谷であると信じてきました。

鋭い山頂： 鋭い山頂に立っていると、どの方向にわずかに一歩を踏み出すだけでも、転げ落ちてしまいます。これは不安定です。
平坦な谷： 広々とした平坦な谷に立っていると、どの方向に数歩歩いても、まだ谷底にとどまることができます。これは安定しており、頑健です。

この論文は、これらの平坦な谷を見つけるための現在の最良の方法（SAMと呼ばれます）が、地形を測定するために間違った道具を使っていると主張しています。

問題点：「固定ステップ」の物差し

現在の手法であるSAMは、あらゆる方向に「テストステップ」を踏み、地面がどれほど上昇するかを確認することで、平坦な谷を見つけようとします。

SAM の仕組み： 「私は最急降下方向に正確に1 メートルのステップを踏み、地面がどれほど高くなるかを見てみよう」と言います。
欠点： 論文は、この不一致を指摘しています。
- 地面が非常に急な場合（大きな勾配）、1 メートルのステップはあなたを山の遥か上へ押し上げます。この測定値は、谷の広さではなく、斜面の急峻さによって支配されてしまいます。
- 地面が平坦な場合（小さな勾配）、同じ 1 メートルのステップではほとんど動きません。
- 比喩： 10 歩歩いて部屋の幅を測ろうとしていると想像してください。急なスロープを歩いている場合、その 10 歩は巨大な垂直距離をカバーします。平坦な地面の場合、ほとんど距離をカバーしません。あなたは部屋の幅を測っているのではなく、ただどれだけ苦労して歩いたかを測っているに過ぎません。

このため、SAM は主に斜面の急峻さ（勾配）に反応し、谷の形状（曲率）には反応しません。これは、トレーニングがほぼ終了し、斜面が非常に緩やかになったときにのみ機能し始めます。これは、解の根本的な形状を修正するには遅すぎます。

解決策：LE-SAM（「固定高さ」の予算）

著者たちは、LE-SAM（Loss-Equated SAM：損失均等化 SAM）と呼ばれる新しい手法を提案します。彼らは論理をひっくり返します。

「固定サイズのステップを踏む」と言う代わりに、「地面が一定の高さ（予算）だけ上昇することを許容し、その高さに達するために必要なステップの大きさを計算する」と言います。

新しい仕組み：
1. 予算を設定する： 「私は正確に1 メートルの高さを登ることを許容する」とします。
2. ステップを計算する：
  - 斜面が急な場合、その 1 メートルの高さに達するにはごく小さなステップだけで済みます。
  - 斜面が平坦な場合、その 1 メートルの高さに達するには巨大なステップが必要です。
3. 結果： 「登った高さ」が固定されているため、測定値は斜面の急峻さによって支配されなくなります。これにより、アルゴリズムは曲率（勾配がどの程度速く変化するかの度合い）に注目することを強制されます。

比喩：
あなたが盲目のハイカーになり、平坦な谷を見つけようとしていると想像してください。

古い方法（SAM）： 10 フィートの固定ステップを踏みます。丘が急なら、崖から転落します。平坦なら、ほとんど動きません。谷が広いのか狭いのかは分かりません。
新しい方法（LE-SAM）： 「私は正確に 5 フィート登る」と言います。丘が急なら、小さなステップを踏みます。丘が平坦なら、大ジャンプをします。その特定の高さまで登ることを強制することで、地形が急なのか平坦なのかを瞬時に知ることができます。これにより、平坦な谷がどこにあるかが正確に分かります。

なぜこれが重要なのか（結果）

「半径」（ステップサイズ）ではなく、「損失予算」（登ることを許容する高さ）を固定することで、この論文は以下を主張しています。

より優れた汎化： モデルはより広く、より平坦な谷を見つけるため、新しい未見のデータに対してより良いパフォーマンスを発揮します。
早期に機能する： 古い手法がトレーニングの最終段階でのみ役立つのに対し、この新しい手法は初期の斜面の急峻さに惑わされないため、トレーニングの最初から効果的に機能します。
安定性： 斜面が激しく変化する際、トレーニングが不安定になるのを防ぎます。

証明

著者たちは、標準的な画像認識タスク（写真から猫、犬、車を識別するなど）でこれをテストしました。

彼らは、新しい手法を従来の「固定ステップ」手法およびいくつかの他の変種と比較しました。
結果： 彼らの手法は一貫して勝利し、異なる種類のニューラルネットワークやデータセット全体で、最高精度（State-of-the-Art）を達成しました。
視覚的証明： 彼らはさらに、モデルが見つけた「地形」のマップを描画しました。そのマップは、他の手法が見つけた鋭い山頂と比較して、彼らの手法がはるかに平坦で広い谷を見つけ出したことを示していました。

まとめ

この論文は、最も安定した AI モデルを見つけるためには、地面をテストするために固定サイズのステップを踏んではならないと主張しています。代わりに、固定された「登る高さ」を設定し、ステップサイズを自動的に調整させるべきです。この単純な切り替えにより、急峻な斜面が引き起こす混乱を取り除き、AI が賢く信頼性のある、真の平坦で安定した解を見つけるのを助けます。

技術的サマリー：損失を修正し、半径を修正しない：シャープネス感知最小化の敵対的摂動の再考

1. 問題提起

深層ニューラルネットワーク（DNN）は、過剰パラメータ化と非凸な損失ランドスケープに悩まされることが多く、これにより汎化能力が異なる多数の局所最適解が生じます。 prevailing な仮説では、「平坦な極小値」（低曲率を有する領域）は「鋭い極小値」よりも優れた汎化性能を示すとされています。シャープネス感知最小化（SAM）は、固定されたパラメータ空間半径 $\rho$ 内における最悪ケースの損失を最小化することでこの問題に対処するために提案されました。

しかし、著者らは SAM およびその変種において根本的なメカニズムレベルの不一致を特定しました：

理想： 平坦性は本質的に2 次の性質であり、損失ランドスケープの局所曲率（ヘッシアン）によって特徴づけられます。
現実： SAM はその敵対的目的関数を1 次の線形近似を用いて構築します。固定された半径 $\rho$ 内では、摂動は勾配方向に整列します。その結果、得られる学習信号は曲率ではなく、勾配ノルム（ $\rho \|\nabla L(w)\|$ ）によって支配されます。
結果： 勾配ノルムが信号を支配するため、SAM の有効性は、曲率項が比較可能な程度まで勾配が自然に小さくなるトレーニングの後期段階まで大きく遅延します。これにより、トレーニングメカニズムと、最適化プロセス全体を通じて平坦な極小値を見つけるという目標との間に不一致が生じます。

2. 手法：損失等価 SAM（LE-SAM）

この不一致を解決するため、著者らは従来の SAM パラダイムを反転させるメカニズムレベルの再定式化である損失等価 SAM（LE-SAM）を提案します。パラメータ空間における摂動半径を固定する代わりに、LE-SAM は損失空間の予算 $\sigma$ を固定します。

中核メカニズム

古典的なPolyak ステップサイズに触発され、LE-SAM は 1 次の損失変動をスカラー化します。

固定予算： $\rho$ を固定する代わりに、アルゴリズムは損失空間における目標損失増加量 $\sigma$ を固定します。
半径の逆算： 摂動半径 $\rho_t$ は、1 次の損失変動が予算 $\sigma$ と一致することを保証するように動的に計算されます：
$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$
ここで、 $\varrho$ は数値的安定性のための小さな定数です。
代理損失： この適応的半径を損失のテイラー展開に代入すると、1 次の項は定数スカラー $\sigma$ となります：
$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{定数スカラー}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$
$\nabla_w \sigma = 0$ であるため、勾配ノルムペナルティは最適化信号から実質的に除去されます。学習信号は完全に2 次曲率項（ $\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$ ）へとシフトします。

安定化戦略

勾配ノルムが小さい場合に不安定化（過度に大きな $\rho_t$ につながる可能性）を防ぐため、LE-SAM は 2 つの安全策を採用します：

半径クリッピング： 最大半径 $\rho_{max}$ が強制されます。
損失予算のアニーリング： 予算 $\sigma$ は、滑らかな収束を確保するためにトレーニングの最終段階で（例えばコサイン減衰を介して）徐々に 0 までアニーリングされます。

3. 主要な貢献

本論文は以下の貢献を主張します：

目的の不一致の特定： 標準的な SAM における敵対的摂動は、固定半径制約下での 1 次線形化された代理関数を通じて生成され、学習信号が平坦な極小値に必要な 2 次曲率ではなく、勾配の大きさによって支配されることを著者らは実証しました。
LE-SAM の提案： 半径ではなく損失予算を固定するメカニズムレベルの再定式化。これにより 1 次変動がスカラー化され、勾配ノルムによる支配が除去され、最適化信号がトレーニングプロセス全体を通じて曲率支配項へとシフトします。
実証的優位性： 広範な実験により、LE-SAM が多様なベンチマークにおいて標準 SAM およびその変種（ASAM、ESAM、F-SAM、Eigen-SAM を含む）を一貫して上回り、最先端（SOTA）の性能を達成することが示されました。

4. 実験結果

著者らは LE-SAM を複数のタスクとデータセットで評価しました：

スクラッチからのトレーニング：
- CIFAR-10/100： ResNet-18、WideResNet-28-10、PyramidNet-110 を使用し、LE-SAM はすべての SAM 変種の中で最高精度を達成しました。CIFAR-100 においては、標準 SAM より 1.34 から 1.49 ポイント上回りました。
- ImageNet： ResNet-50 と ResNet-101 をスクラッチからトレーニングしたところ、LE-SAM は SAM よりそれぞれ 0.71 ポイント、0.77 ポイント上回りました。
転移学習： 事前学習済み ViT-B-16 を CIFAR-10/100 で微調整したところ、LE-SAM は SAM を一貫して上回りました。
ドメイン汎化（SDG）： PACS および VLCS データセットにおいて、LE-SAM は SAM よりそれぞれ平均精度を 2.18 ポイント、0.84 ポイント向上させました。
ロバスト性： $L_2$ および $L_\infty$ PGD 敵対的攻撃下において、LE-SAM はより強力なロバスト性を示し、SAM より最大 2.47 ポイント上回りました。
ロングテール学習： CIFAR-100-LT において、LE-SAM を SOTA 手法である GLMC と組み合わせることで、GLMC+SAM 以上のさらなる改善が得られました。

メカニズム分析

平坦性メトリクス： ヘッシアン跡および最大固有値の分析により、LE-SAM は SAM や SGD に比べてより平坦な極小値（より低いヘッシアン跡と最大固有値）に収束することが確認されました。
トレーニングダイナミクス： 後期トレーニング段階でのみ顕著な gains を示す SAM と異なり、LE-SAM はトレーニングプロセス全体を通じて大幅な性能差を示し、曲率信号が最初から活性化していることを実証しました。
計算コスト： LE-SAM は、動的半径の計算に伴うオーバーヘッドを無視できる程度に抑えつつ、SAM と同じ漸近計算量（反復あたり 2 回の順伝播・逆伝播）を維持しています。

5. 意義と主張

本論文は、既存のシャープネス感知最小化手法の主な限界は、勾配の大きさではなく曲率を優先してしまう固定半径の 1 次近似への依存にあると主張しています。「半径を修正するのではなく損失を修正する」ことで、LE-SAM は敵対的摂動メカニズムを根本的に再考します。

著者らは、このアプローチが本質的に曲率を認識するシャープネス感知学習の統合された視点を提供すると主張しています。摂動サイズを勾配ノルムから解き放つことで、LE-SAM は平坦な領域へのより直接的かつ堅牢な経路を提供し、計算オーバーヘッドを大幅に増やすことなく、さまざまなアーキテクチャ、データセット、トレーニングシナリオ（転移学習やドメイン汎化を含む）において優れた汎化性能を実現します。