🤖 machine learning

Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization

Der Artikel schlägt Loss-Equated SAM (LE-SAM) vor, eine neuartige Optimierungsmethode, die den festen Parameter-Raum-Radius der Sharpness-Aware Minimization durch ein festes Verlust-Raum-Budget ersetzt, um besser mit dem auf Krümmung basierenden Charakter flacher Minima übereinzustimmen und dadurch einen state-of-the-art Generalisierungsleistung über diverse Benchmarks zu erreichen.

Ursprüngliche Autoren: Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Auffinden des „flachen" Tals

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einer weitläufigen, nebligen Bergkette zu finden (dies repräsentiert die Verlustlandschaft eines neuronalen Netzwerks). Ihr Ziel ist es, einen Ort zu finden, an dem das Modell perfekt funktioniert und auch dann perfekt bleibt, wenn sich das Wetter leicht ändert (dies wird als Generalisierung bezeichnet).

Forscher haben lange geglaubt, dass der beste Ort nicht einfach irgendein tiefer Punkt ist, sondern ein flaches Tal.

Scharfer Gipfel: Wenn Sie auf einem scharfen Berggipfel stehen, lässt Sie ein winziger Schritt in jede Richtung hinabstürzen. Dies ist instabil.
Flaches Tal: Wenn Sie in einem weiten, flachen Tal stehen, können Sie ein paar Schritte in jede Richtung machen und bleiben dennoch am Boden. Dies ist stabil und robust.

Das Papier argumentiert, dass die derzeit beste Methode zum Auffinden dieser flachen Täler (genannt SAM) das falsche Werkzeug verwendet, um das Terrain zu vermessen.

Das Problem: Das „feststufen"-Lineal

Die derzeitige Methode, SAM, versucht, ein flaches Tal zu finden, indem sie in jede Richtung einen „Testschritt" macht, um zu sehen, wie stark der Boden ansteigt.

Wie SAM funktioniert: Sie sagt: „Ich werde einen Schritt von genau 1 Meter in Richtung des steilsten Abstiegs machen und sehen, wie hoch der Boden wird."
Der Fehler: Das Papier weist auf eine Diskrepanz hin.
- Wenn der Boden sehr steil ist (ein großer Gradient), katapultiert Sie ein 1-Meter-Schritt weit den Hügel hinauf. Die Messung wird von der Steilheit des Hangs dominiert, nicht von der Breite des Tals.
- Wenn der Boden flach ist (ein kleiner Gradient), bewegt Sie derselbe 1-Meter-Schritt kaum.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, die Breite eines Raumes zu messen, indem Sie 10 Schritte gehen. Wenn Sie auf einer steilen Rampe laufen, decken Ihre 10 Schritte eine enorme vertikale Distanz ab. Wenn Sie auf flachem Boden sind, decken sie sehr wenig ab. Sie messen nicht die Breite des Raumes; Sie messen nur, wie schwer Sie laufen müssen.

Aus diesem Grund reagiert SAM hauptsächlich auf die Steilheit des Hangs (den Gradienten) und nicht auf die Form des Tals (die Krümmung). Sie funktioniert erst gut, wenn das Training fast abgeschlossen ist und die Hänge sehr sanft sind, was zu spät ist, um die grundlegende Form der Lösung zu korrigieren.

Die Lösung: LE-SAM (Das „feststufen"-Höhenbudget)

Die Autoren schlagen eine neue Methode namens LE-SAM (Loss-Equated SAM) vor. Sie drehen die Logik auf den Kopf.

Anstatt zu sagen: „Ich werde einen Schritt fester Größe machen", sagen sie: „Ich erlaube dem Boden, um eine feste Höhe (ein Budget) anzusteigen, und ich berechne, wie groß der Schritt sein muss, den ich machen muss, um diese Höhe zu erreichen."

Der neue Mechanismus:
1. Budget festlegen: „Ich bin bereit, genau 1 Meter Höhe zu erklimmen."
2. Schritt berechnen:
  - Wenn der Hang steil ist, muss ich nur einen winzigen Schritt machen, um diese 1-Meter-Höhe zu erreichen.
  - Wenn der Hang flach ist, muss ich einen riesigen Schritt machen, um diese 1-Meter-Höhe zu erreichen.
3. Das Ergebnis: Da die „erklimmte Höhe" festgelegt ist, wird die Messung nicht mehr von der Steilheit des Hangs dominiert. Es zwingt den Algorithmus, sich die Krümmung anzusehen (wie schnell sich der Hang ändert).

Die Metapher:
Stellen Sie sich vor, Sie sind ein blinder Wanderer, der versucht, ein flaches Tal zu finden.

Alte Methode (SAM): Sie machen einen festen 10-Fuß-Schritt. Wenn der Hügel steil ist, fallen Sie von einer Klippe. Wenn er flach ist, bewegen Sie sich kaum. Sie können nicht erkennen, ob das Tal breit oder schmal ist.
Neue Methode (LE-SAM): Sie sagen: „Ich werde genau 5 Fuß hochklettern." Wenn der Hügel steil ist, machen Sie einen winzigen Schritt. Wenn der Hügel flach ist, machen Sie einen riesigen Sprung. Indem Sie sich zwingen, diese spezifische Höhe zu erklimmen, wissen Sie sofort, ob das Terrain steil oder flach ist. Dies sagt Ihnen genau, wo das flache Tal liegt.

Warum dies wichtig ist (Die Ergebnisse)

Indem man das „Verlustbudget" (die Höhe, die man zu erklimmen bereit ist) statt des „Radius" (der Schrittlänge) festlegt, behauptet das Papier:

Bessere Generalisierung: Das Modell findet breitere, flachere Täler, was bedeutet, dass es auf neuen, ungesehenen Daten besser funktioniert.
Frühere Wirksamkeit: Im Gegensatz zur alten Methode, die nur am Ende des Trainings hilft, funktioniert diese neue Methode effektiv von Anfang an, da sie nicht von der Steilheit der anfänglichen Hänge abgelenkt wird.
Stabilität: Sie verhindert, dass das Training chaotisch wird, wenn sich die Hänge wild ändern.

Der Beweis

Die Autoren testeten dies an Standardaufgaben zur Bilderkennung (wie dem Identifizieren von Katzen, Hunden und Autos auf Fotos).

Sie verglichen ihre neue Methode mit der alten „feststufen"-Methode und mehreren anderen Variationen.
Das Ergebnis: Ihre Methode gewann konsequent und erzielte die höchsten Genauigkeitswerte (State-of-the-Art) bei verschiedenen Arten von neuronalen Netzwerken und Datensätzen.
Visueller Beweis: Sie zeichneten sogar Karten des „Terrains", das die Modelle fanden. Die Karten zeigten, dass ihre Methode viel flachere, breitere Täler fand im Vergleich zu den scharfen Gipfeln, die von anderen Methoden gefunden wurden.

Zusammenfassung

Das Papier argumentiert, dass wir, um die stabilsten KI-Modelle zu finden, nicht einfach Schritte fester Größe machen sollten, um den Boden zu testen. Stattdessen sollten wir eine feste „Kletterhöhe" festlegen und die Schrittlänge automatisch anpassen lassen. Dieser einfache Wechsel beseitigt die Verwirrung, die durch steile Hänge verursacht wird, und hilft der KI, die wahren, flachen, stabilen Lösungen zu finden, die sie braucht, um intelligent und zuverlässig zu sein.

Technische Zusammenfassung: Den Verlust beheben, nicht den Radius: Eine Neubetrachtung der adversarialen Perturbation bei der Sharpness-Aware Minimization

1. Problemstellung

Tiefe neuronale Netze (DNN) leiden häufig unter Überparametrisierung und nicht-konvexen Verlustlandschaften, was zu zahlreichen lokalen Optima mit unterschiedlichen Generalisierungsfähigkeiten führt. Die vorherrschende Hypothese besagt, dass „flache Minima" (Bereiche mit geringer Krümmung) besser generalisieren als „scharfe Minima". Die Sharpness-Aware Minimization (SAM) wurde vorgeschlagen, um dies zu adressieren, indem sie den Worst-Case-Verlust innerhalb eines festen Radius $\rho$ im Parameterraum minimiert.

Die Autoren identifizieren jedoch eine fundamentale Mismatch auf Mechanismusebene in SAM und seinen Varianten:

Das Ideal: Flachheit ist inhärent eine zweite Ordnung Eigenschaft, charakterisiert durch die lokale Krümmung (Hesse-Matrix) der Verlustlandschaft.
Die Realität: SAM konstruiert sein adversariales Ziel unter Verwendung einer linearen Approximation erster Ordnung. Innerhalb eines festen Radius $\rho$ ist die Perturbation in Richtung des Gradienten ausgerichtet. Folglich wird das resultierende Lernsignal vom Gradientennorm ( $\rho \|\nabla L(w)\|$ ) und nicht von der Krümmung dominiert.
Die Konsequenz: Da die Gradientennorm das Signal dominiert, wird die Wirksamkeit von SAM weitgehend auf die späten Phasen des Trainings verschoben, wenn die Gradienten natürlich klein genug werden, damit die Krümmungsterme vergleichbar werden. Dies erzeugt eine Diskrepanz zwischen dem Trainingsmechanismus und dem Ziel, flache Minima während des gesamten Optimierungsprozesses zu finden.

2. Methodik: Loss-Equated SAM (LE-SAM)

Um diese Diskrepanz zu beheben, schlagen die Autoren Loss-Equated SAM (LE-SAM) vor, eine Reformulierung auf Mechanismusebene, die das traditionelle SAM-Paradigma umkehrt. Anstatt den Perturbationsradius im Parameterraum festzulegen, fixiert LE-SAM ein Verlustraum-Budget $\sigma$ .

Kernmechanismus

Inspiriert von der klassischen Polyak-Schrittweite skalarisiert LE-SAM die Verlustvariation erster Ordnung.

Festes Budget: Anstatt $\rho$ zu fixieren, fixiert der Algorithmus eine Ziel-Verlustzunahme $\sigma$ im Verlustraum.
Rückwärtsberechnung des Radius: Der Perturbationsradius $\rho_t$ wird dynamisch berechnet, um sicherzustellen, dass die Verlustvariation erster Ordnung dem Budget $\sigma$ entspricht:
$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$
wobei $\varrho$ eine kleine Konstante zur numerischen Stabilität ist.
Surrogat-Verlust: Wenn dieser adaptive Radius zurück in die Taylor-Entwicklung des Verlusts eingesetzt wird, wird der Term erster Ordnung zu einer konstanten Skalargröße $\sigma$ :
$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{skalare Konstante}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$
Da $\nabla_w \sigma = 0$ , wird die Gradientennorm-Strafe effektiv aus dem Optimierungssignal entfernt. Das Lernsignal wird vollständig auf den Krümmungsterm zweiter Ordnung ( $\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$ ) verschoben.

Stabilisierungsstrategien

Um Instabilität zu verhindern, wenn die Gradientennormen klein sind (was zu übermäßig großen $\rho_t$ führen könnte), setzt LE-SAM zwei Schutzmaßnahmen ein:

Radius-Begrenzung: Ein maximaler Radius $\rho_{max}$ wird durchgesetzt.
Budget-Annealing: Das Budget $\sigma$ wird in den finalen Phasen des Trainings schrittweise auf 0 abgebaut (z. B. via kosinusförmigem Decay), um eine glatte Konvergenz zu gewährleisten.

3. Hauptbeiträge

Die Arbeit beansprucht folgende Beiträge:

Identifikation einer Ziel-Diskrepanz: Die Autoren zeigen, dass die adversariale Perturbation in der Standard-SAM über eine linearisierte Surrogatfunktion erster Ordnung unter einer Radius-Fixierung erzeugt wird, wodurch das Lernsignal von der Gradientenstärke und nicht von der für flache Minima erforderlichen Krümmung zweiter Ordnung dominiert wird.
Vorschlag von LE-SAM: Eine Reformulierung auf Mechanismusebene, die das Verlustbudget statt des Radius fixiert. Dies skalarisiert die Variation erster Ordnung, entfernt die Dominanz der Gradientennorm und verschiebt das Optimierungssignal hin zu krümmungsdominierten Termen während des gesamten Trainingsprozesses.
Empirische Überlegenheit: Umfassende Experimente zeigen, dass LE-SAM die Standard-SAM und ihre Varianten (einschließlich ASAM, ESAM, F-SAM und Eigen-SAM) über diverse Benchmarks hinweg konsistent übertrifft und State-of-the-Art (SOTA)-Leistungen erzielt.

4. Experimentelle Ergebnisse

Die Autoren bewerteten LE-SAM an mehreren Aufgaben und Datensätzen:

Training von Grund auf:
- CIFAR-10/100: Unter Verwendung von ResNet-18, WideResNet-28-10 und PyramidNet-110 erzielte LE-SAM die höchste Genauigkeit unter allen SAM-Varianten. Auf CIFAR-100 übertraf es die Standard-SAM um 1,34 bis 1,49 Punkte.
- ImageNet: Beim Training von ResNet-50 und ResNet-101 von Grund auf übertraf LE-SAM die SAM um jeweils 0,71 und 0,77 Punkte.
Transfer Learning: Beim Feinabstimmen eines vortrainierten ViT-B-16 auf CIFAR-10/100 übertraf LE-SAM die SAM konsistent.
Domänengeneralisierung (SDG): Auf den Datensätzen PACS und VLCS verbesserte LE-SAM die durchschnittliche Genauigkeit gegenüber der SAM um 2,18 bzw. 0,84 Punkte.
Robustheit: Unter $L_2$ - und $L_\infty$ -PGD-adversarialen Angriffen zeigte LE-SAM eine stärkere Robustheit und übertraf die SAM um bis zu 2,47 Punkte.
Long-Tailed Learning: Auf CIFAR-100-LT führte die Kombination von LE-SAM mit der SOTA-Methode GLMC zu weiteren Verbesserungen gegenüber GLMC+SAM.

Mechanismus-Analyse

Flachheitsmetriken: Die Analyse der Hesse-Spur und der größten Eigenwerte bestätigte, dass LE-SAM im Vergleich zu SAM und SGD zu flacheren Minima konvergiert (niedrigere Hesse-Spur und maximaler Eigenwert).
Trainingsdynamik: Im Gegensatz zu SAM, das nur in der späten Trainingsphase signifikante Gewinne zeigt, demonstrierte LE-SAM durchgängig über den gesamten Trainingsprozess hinweg erhebliche Leistungslücken, was validiert, dass das Krümmungssignal von Anfang an aktiv ist.
Rechenkosten: LE-SAM behält die gleiche asymptotische Komplexität wie SAM bei (zwei Vorwärts-Rückwärts-Pässe pro Iteration) mit vernachlässigbarem Overhead für die Berechnung des dynamischen Radius.

5. Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die primäre Einschränkung bestehender Sharpness-Aware Minimization-Methoden ihre Abhängigkeit von einer Radius-fixierten, linearen Approximation erster Ordnung ist, die unabsichtlich die Gradientenstärke über die Krümmung priorisiert. Indem LE-SAM „den Verlust behebt, nicht den Radius", denkt es den Mechanismus der adversarialen Perturbation grundlegend neu.

Die Autoren behaupten, dass dieser Ansatz eine vereinheitlichte Sichtweise des sharpness-bewussten Lernens bietet, die inhärent krümmungsbewusst ist. Durch die Entkopplung der Perturbationsgröße von der Gradientennorm bietet LE-SAM einen direkteren und robusteren Weg zu flachen Regionen, was zu überlegenen Generalisierungsergebnissen über verschiedene Architekturen, Datensätze und Trainingsszenarien (einschließlich Transfer Learning und Domänengeneralisierung) führt, ohne signifikante Rechenkosten zu verursachen.