📊 statistics

Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization

Dieses Paper argumentiert, dass das Verständnis der Generalisierung überparametrisierter Netzwerke eine Analyse des dynamischen Kompromisses zwischen Normminimierung und Schärferereduktion erfordert, wobei nachgewiesen wird, dass Lernraten zwischen diesen Biases interpolieren und keines der beiden allein ausreicht, um den Generalisierungsfehler zu minimieren.

Ursprüngliche Autoren: Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Goldlöckchen-Problem des KI-Trainings

Stellen Sie sich vor, Sie bringen einem Schüler (einem neuronalen Netz) bei, ein Rätsel zu lösen. Sie möchten, dass der Schüler die Regeln so gut lernt, dass er auch neue Rätsel lösen kann, die er noch nie gesehen hat (das nennt man Generalisierung).

Lange Zeit glaubten Forscher, es gäbe einen „magischen Trick“, der Schüler gut macht. Sie glaubten, dass der Trainingsprozess (genannt Gradient Descent) den Schüler natürlich zu der einfachsten, „kompaktesten“ Lösung führt. In der Mathematik nennt man das Minimierung der Norm (die Zahlen im Modell klein und ordentlich zu halten).

Neuere Beobachtungen zeigten jedoch etwas anderes. Wenn man mit einer „schnellen“ Lernrate trainiert, scheint der Schüler von Natur aus „spitzige“ oder instabile Lösungen zu vermeiden und statettdessen „flache“, glatte Lösungen zu finden. In der Mathematik nennt man das Minimierung der Schärfe (Sharpness).

Die Hauptentdeckung des Papers: Diese beiden „magischen Tricks“ (Dinge klein zu halten vs. Dinge flach zu halten) bekämpfen sich tatsächlich gegenseitig. Man kann nicht beides gleichzeitig haben. Das Paper argumentiert, dass das Geheimnis einer guten KI nicht nur eine dieser Eigenschaften ist, sondern das Finden des perfekten Gleichgewichts zwischen ihnen, welches dadurch gesteuert wird, wie schnell man den Schüler lehrt (die Lernrate).

Die zwei konkurrierenden Biases

Um den Konflikt zu verstehen, nutzen wir zwei Metaphern:

1. Der „Kleiner-Rucksack“-Bias (Norm-Minimierung)

Was es ist: Wenn man sehr langsam lehrt (winzige Lernrate), handelt der Algorithmus wie ein Wanderer, der versucht, den leichtestmöglichen Rucksack zu tragen. Er versucht, das „Gewicht“ des Modells (die Größe der Zahlen darin) so klein wie möglich zu halten.
Das Ergebnis: Man erhält ein sehr einfaches, kompaktes Modell.
Die Erkenntnis des Papers: Obwohl „einfach“ meistens gut ist, zeigt das Paper, dass das einfachste Modell nicht immer dasjenige ist, das bei neuen Daten am besten abschneidet.

2. Der „Flaches-Tal“-Bias (Sharpness-Minimierung)

Was es ist: Wenn man in einem moderaten bis schnellen Tempo lehrt, handelt der Algorithmus wie ein Wanderer, der einen weiten, flachen Talboden sucht, statt eines schmalen, prekären Gipfels. Wenn die Lösung „spitz“ ist (wie auf einer Nadel zu stehen), würde ein winziger Fehler beim nächsten Schritt dazu führen, dass man abstürzt. Wenn die Lösung „flach“ ist (wie auf einem breiten Plateau), kann man ein wenig wackeln und trotzdem sicher bleiben.
Das Ergebnis: Man erhält ein Modell, das sehr stabil und robust gegenüber kleinen Änderungen ist.
Die Erkenntnis des Papers: Während Stabilität großartig ist, ist auch die flachste Lösung nicht immer die beste.

Der Tanz am „Rand der Stabilität“ (Edge of Stability)

Das Paper führt ein faszinierendes Konzept namens Edge of Stability (EoS) ein.

Stellen Sie sich vor, Sie gehen auf einem Seil.

Zu langsam (Kleine Lernrate): Sie gehen sehr vorsichtig und bleiben perfekt in der Mitte. Sie enden mit einem „Kleinen Rucksack“ (niedrige Norm), aber Sie wandern vielleicht auf einem schmalen Pfad, der nicht die beste Route ist.
Zu schnell (Große Lernrate): Sie rennen so schnell, dass Sie anfangen, vom Seil abzuprallen. Sie fallen herunter (das Training stürzt ab).
Gerade richtig (Der Rand der Stabilität): Sie rennen mit einer Geschwindigkeit, bei der Sie fast das Gleichgewicht verlieren. Sie wackeln hin und her, aber Sie fallen nicht. In diesem Zustand treibt der Algorithmus Sie natürlich zu einem „Flachen Tal“ (niedrige Schärfe).

Der Konflikt: Das Paper zeigt, dass während Sie Ihr Gehtempo erhöhen (die Lernrate steigern), um in diesen „wackeligen, aber stabilen“ Zustand zu gelangen, Ihr Rucksack immer schwerer wird (die Norm steigt).

Langsame Geschwindigkeit: Leichter Rucksack, schmaler Pfad.
Schnelle Geschwindigkeit: Schwerer Rucksack, weites, flaches Tal.

Man kann nicht gleichzeitig einen leichten Rucksack haben und ein weites Tal. Es sind Kompromisse.

Das „U-förmige“ Geheimnis

Die wichtigste Erkenntnis betrifft die Generalisierung (wie gut das Modell mit neuen Daten funktioniert).

Wenn man die Leistung des Modells gegen die Lerngeschwindigkeit aufträgt, erhält man oft eine U-Form:

Zu langsam: Das Modell ist zu einfach (niedrige Norm) und übersieht die Nuancen der Daten. Die Leistung ist okay, aber nicht großartig.
Zu schnell: Das Modell ist zu chaotisch (hohe Norm, selbst wenn es flach ist) und überpasst oder wird instabil. Die Leistung sinkt.
Gerade richtig (Die Mitte): Der „Sweet Spot“ liegt in der Mitte. Hier hat das Modell einen „mittelgroßen Rucksack“ und ist „moderat flach“.

Die Analogie: Denken Sie an das Einstellen eines Radios.

Drehen Sie den Regler zu weit nach links (zu langsam), und Sie hören Rauschen (Unteranpassung/Underfitting).
Drehen Sie ihn zu weit nach rechts (zu schnell), und Sie hören wieder Rauschen (Instabilität).
Das klarste Signal finden Sie in der Mitte, wo Sie die beiden gegensätzlichen Kräfte ausgeglichen haben.

Der theoretische Beweis (Das einfache Modell)

Um zu beweisen, dass dies kein Zufall komplexer Computer ist, bauten die Autoren ein winziges, einfaches mathematisches Modell (ein „Toy“-Netzwerk).

Sie zeigten, dass die Lösung mit dem kleinsten Rucksack (niedrigste Norm) an einem völlig anderen Ort liegt als die Lösung mit dem flachsten Tal (niedrigste Schärfe).
Sie bewiesen, dass die beste Lösung (diejenige, die neue Daten am besten vorhersagt) oft eine dritte Option ist: ein Punkt genau zwischen diesen beiden Extremen.

Fazit: Ein Balanceakt

Das Paper kommt zu dem Schluss, dass wir nicht erklären können, warum KI so gut funktioniert, indem wir nur einen Faktor betrachten (wie z. B. „sie findet die einfachste Lösung“).

Stattdessen fungiert die Lernrate wie ein Dimmer, der zwei gegensätzliche Bestrebungen ausbalanciert:

Das Modell klein und einfach zu halten.
Das Modell stabil und flach zu halten.

Das „Magische“ am Deep Learning geschieht, wenn wir diesen Schalter so einstellen, dass wir den perfekten Kompromiss zwischen diesen beiden gegensätzlichen Kräften finden. Das Paper argumentiert, dass es unzureichend ist, sich nur auf einen dieser Biases zu konzentrieren; wir müssen den dynamischen Kompromiss zwischen ihnen verstehen.

Technisches Resümee: Konfliktierende Biases an der Grenze der Stabilität: Norm- versus Schärferegularisierung

Problemstellung

Die bemerkenswerten Generalisierungsfähigkeiten überparametrisierter neuronaler Netze werden häufig den impliziten Biases von Optimierungsalgorithmen wie dem Gradientenabstieg (Gradient Descent, GD) zugeschrieben. Zwei dominante Theorien sind entstanden, um dieses Phänomen zu erklären:

Norm-Minimierung: Im Grenzfall verschwindender Lernraten (oder des Gradientenflusses) weist GD einen impliziten Bias hin zu Lösungen mit minimalen Parameternormen auf (z. B. $\ell_1$ - oder $\ell_2$ -Normen), insbesondere in linearen und diagonalen Netzwerksettings.
Schärfe-Minimierung (Sharpness Minimization): Im „Edge of Stability“ (EoS)-Regime, in dem die Lernraten endlich und groß genug sind, um ein nicht-monotones Verlustverhalten zu verursachen, wird beobachtet, dass GD zu Lösungen mit geringer Schärfe konvergiert (speziell ist die Spektralnorm der Hesse-Matrix durch $2/\eta$ beschränkt).

Das zentrale Problem, das diese Arbeit adressiert, ist, dass diese beiden Formen der impliziten Regularisierung oft isoliert analysiert werden. Es bleibt unklar, wie sie interagieren, wenn GD mit den in der Praxis verwendeten endlichen, nicht vernachlässigbaren Lernraten trainiert wird. Genügt ein einzelner Bias (entweder Norm oder Schärfe), um die Generalisierung zu erklären, oder gibt es einen dynamischen Trade-off zwischen ihnen?

Methodik

Die Autoren verwenden einen dualen Ansatz, der eine umfangreiche empirische Analyse über verschiedene Settings hinweg mit einer rigorosen theoretischen Analyse auf einem vereinfachten Modell kombiniert.

Empirische Analyse

Die Autoren führen systematische Experimente über eine breite Palette von Konfigurationen durch, um die Effekte der Lernrate $\eta$ zu isolieren:

Datensätze: MNIST und CIFAR-10 (sowohl 5k- als auch Full-Sets).
Architekturen: Vollständig verbundene Netzwerke (FCNs) mit variierender Breite und Tiefe, Convolutional Neural Networks (CNNs), ResNets und Vision Transformer (ViT).
Hyperparameter: Ein systematischer Sweep der Lernraten, einschließlich eines feingliedrigen Gitters um den kritischen Übergangspunkt und eines groben Gitters für größere Raten.
Metriken: Die Studie verfolgt die endgültige Parameternorm ( $\ell_1, \ell_2$ , Nuklearnorm), die Schärfe des Trainingsverlusts (Operatornorm der Hesse-Matrix) und den Testfehler.
Kontrolle: Die Experimente verwenden Full-Batch GD, um Stochastizität zu eliminieren, feste Initialisierungen zur Gewährleistung der Vergleichbarkeit sowie verschiedene Verlustfunktionen (MSE, Cross-Entropy) und Aktivierungsfunktionen (ReLU, tanh).

Theoretische Analyse

Um mechanistische Einblicke zu gewinnen, analysieren die Autoren eine vereinfachte Regressionsaufgabe: das Training eines flachen, diagonalen linearen Netzwerks mit geteilten Gewichten auf einem einzelnen Datenpunkt unter Verwendung des quadratischen Fehlers (Square Loss).

Sie charakterisieren explizit die Lösungsmanifold, auf der der Trainingsverlust Null ist.
Sie leiten die spezifischen Lösungen ab, die die Parameternorm versus jene, die die Schärfe minimieren, minimieren.
Sie analysieren den Generalisierungsfehler (Risiko) dieser unterschiedlichen Lösungen und vergleichen sie mit dem tatsächlichen Konvergenzverhalten von GD unter variierenden Lernraten.

Zentrale Beiträge

1. Entdeckung eines lernratenabhängigen Trade-offs

Die Arbeit zeigt empirisch, dass die Lernrate als Kontrollknopf fungiert, der zwischen zwei distinkten impliziten Biases interpoliert:

Flow-Aligned Regime ( $\eta < \eta_c$ ): Wenn die Lernrate unter einem kritischen Schwellenwert $\eta_c \approx 2/s_{GF}$ liegt (wobei $s_{GF}$ die maximale Schärfe der Gradientenfluss-Trajektorie ist), verhält sich GD ähnlich wie der Gradientenfluss. Sowohl die Parameternorm als auch die Schärfe bleiben relativ konstant.
Edge-of-Stability Regime ( $\eta > \eta_c$ ): Sobald die Lernrate $\eta_c$ überschreitet, tritt das System in das EoS-Regime ein. Hier findet ein scharfer Phasenübergang statt: Die endgültige Schärfe des Modells nimmt hyperbolisch ab (folgt $2/\eta$ ), während die Parameternorm annähernd linear ansteigt.
Fazit: Es besteht ein inhärenter Trade-off; man kann nicht gleichzeitig sowohl die Norm als auch die Schärfe durch bloße Anpassung der Lernrate minimieren.

2. Generalisierung ist nicht monoton mit einzelnen Biases verknüpft

Die Autoren zeigen, dass die „beste“ Generalisierungsleistung nicht zwangsläufig mit einem der beiden Extreme des Lernratenspektrums übereinstimmt:

Niedrige Lernraten: Lösungen mit minimaler Norm (flow-aligned) liefern oft nicht die niedrigsten Testfehler.
Hohe Lernraten: Lösungen mit minimaler Schärfe (EoS) können ebenfalls zu einer suboptimalen Generalisierung führen, wenn die Norm zu groß wird.
U-förmige Kurven: In vielen Settings folgt der Testfehler einer U-förmigen Kurve in Bezug auf die Lernrate. Die optimale Generalisierung wird bei intermediären Lernraten erreicht, bei denen die Biases hin zu niedriger Norm und niedriger Schärfe ausbalanciert sind.

3. Theoretisches Gegenbeispiel

Unter Verwendung des diagonalen linearen Netzwerkmodells beweisen die Autoren:

Die Menge der Parameter, die die Norm minimieren, und die Menge der Parameter, die die Schärfe minimieren, sind geometrisch distinkt und oft disjunkt.
Weder der Norm-Minimierer noch der Schärfe-Minimierer erreichen notwendigerweise den niedrigsten erwarteten Generalisierungsfehler.
Die Lernrate steuert, in welche Region der Lösungsmanifold GD konvergiert, und fungiert effektiv als Regularisierungs-Hyperparameter, der diese konkurrierenden Ziele ausbalanciert.

Ergebnisse

Phasenübergang: Der Übergang vom flow-aligned Verhalten zum EoS-Verhalten ist scharf und tritt konsistent bei $\eta_c \approx 2/s_{GF}$ über verschiedene Architekturen, Datensätze und Verlustfunktionen hinweg auf.
Robustheit: Der beobachtete Trade-off zwischen steigender Norm und sinkender Schärfe gilt für verschiedene Normen ( $\ell_1, \ell_2$ , Nuklearnorm) und Schärfemaße (Worst-Case, Average-Case, adaptiv).
Optimierungsdynamik: Im EoS-Regime oszilliert die Trainings-Trajektorie um die Schärfengrenze $2/\eta$ , während die Parameternorm über die Zeit monoton wächst, was darauf hindeutet, dass die Trajektorie Regionen höherer Komplexität besucht.
Klassifikation vs. Regression: Während die U-förmige Generalisierungskurve in vielen Regressions- und Klassifikationssettings prominent ist, merken die Autoren an, dass die Beziehung in einigen spezifischen Klassifikationsszenarien (z. B. mit Cross-Entropy Loss) komplexer sein kann, wenngleich der Trade-off zwischen Norm und Schärfe bestehen bleibt.

Bedeutung und Ansprüche

Die Arbeit argumentiert, dass die vorherrschende Sichtweise der impliziten Regularisierung als ein einzelner, statischer Bias unzureichend ist, um die Generalisierungsleistung von Deep Learning zu erklären.

Jenseits eines einzelnen Bias: Der Erfolg des GD-basierten Trainings kann weder allein der Norm-Minimierung (wie durch die Theorie kleiner Lernraten suggeriert) noch allein der Schärfe-Minimierung (wie durch die EoS-Theorie suggeriert) zugeschrieben werden.
Dynamisches Zusammenspiel: Gute Generalisierung entsteht aus einem dynamischen Trade-off zwischen diesen konkurrierenden Biases, der durch die Lernrate vermittelt wird.
Praktische Implikation: Die Lernrate sollte nicht nur als Parameter für die Konvergenzgeschwindigkeit betrachtet werden, sondern als kritischer Regularisierungs-Hyperparameter, der die strukturellen Eigenschaften (Komplexität vs. Flachheit) des finalen Modells bestimmt.
Limitierungen: Die Autoren räumen ein, dass ihre theoretischen Ergebnisse aufgrund der Schwierigkeit, implizite Biases in allgemeinen nicht-linearen Netzwerken zu charakterisieren, auf vereinfachte Modelle (diagonale lineare Netzwerke) beschränkt sind. Die Konsistenz der empirischen Ergebnisse über diverse Architekturen hinweg deutet jedoch darauf hin, dass das Phänomen allgemein gültig ist.

Zusammenfassend motiviert die Arbeit zu einer breiteren Perspektive auf die implizite Regularisierung, die die Interaktion zwischen multiplen, durch Optimierungsdynamiken geformten Biases berücksichtigt, anstatt sie isoliert zu betrachten.