📊 statistics

Edge of Stability Selectively Shapes Learning Across the Data Distribution

Diese Arbeit zeigt, dass die Stabilitätsgrenze nicht bloß eine globale Optimierungsgrenze ist, sondern ein selektiver Mechanismus, der das Lernen über die Datenverteilung hinweg umverteilt, indem er den Fortschritt bei Gruppen mit Top-Hessian-ausgerichteten, nicht-sättigenden Gradienten verstärkt und andere unterdrückt.

Ursprüngliche Autoren: Shauna Kwag, Anakha Ganesh, Tomaso Poggio, Pierfrancesco Beneventano

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shauna Kwag, Anakha Ganesh, Tomaso Poggio, Pierfrancesco Beneventano

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten ein riesiges Trainingslager für ein Team von tiefen neuronalen Netzen (KI-Modellen). Das Ziel ist es, dem Modell beizubringen, Dinge zu erkennen, wie zum Beispiel zwischen Autos und Lastwagen zu unterscheiden.

Normalerweise denken wir beim Training an einen sanften, stetigen Marsch auf eine Lösung zu. Aber diese Arbeit enthüllt, dass der Prozess, wenn das Training „kantig“ wird – insbesondere, wenn die Lernrate hoch genug ist, um das System an die äußerste Grenze der Stabilität zu treiben –, kein sanfter Marsch mehr ist. Stattdessen wird er zu einem selektiven Filter, der entscheidet, wer lernt und wer zurückgelassen wird.

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Die „Edge of Stability“ ist ein Drahtseilakt

Stellen Sie sich vor, die KI geht auf einem Drahtseil. Wenn sie zu langsam geht (niedrige Lernrate), ist sie sicher, aber langsam. Wenn sie zu schnell geht, fällt sie. Die „Edge of Stability“ (EoS – Rand der Stabilität) ist der Sweet Spot, an dem die KI so schnell geht, dass sie anfängt zu wackeln und vor und zurück zu schwanken, aber gerade so eben noch auf dem Seil bleibt.

Lange Zeit dachten Wissenschaftler, dieses Wackeln sei nur ein seltsamer Nebeneffekt. Diese Arbeit sagt: Nein, das Wackeln ist eigentlich ein mächtiges Werkzeug. Es wirkt wie ein Scheinwerfer, der auf bestimmte Schüler im Klassenzimmer leuchtet, während er andere ignoriert.

2. Der selektive Scheinwerfer: Wer wird geholfen?

Die Forscher bauten ein „Gabelung am Wegesrand“-Experiment auf. Sie trainierten zwei identische KI-Modelle mit exakt denselben Daten.

Modell A ging weiterhin auf dem Drahtseil (blieb an der Edge of Stability).
Modell B verlangsamte den Schritt und verließ das Drahtseil (verließ die Edge of Stability).

Die Überraschung: Modell A wurde nicht einfach insgesamt besser. Es wurde viel besser darin, bestimmte Arten von Beispielen zu erkennen, während Modell B bei anderen besser wurde. Das Drahtseil half nicht allen gleichermaßen; es verteilte die Lernbemühungen neu.

Die Gewinner: Beispiele, die „Ausreißer“ waren (seltsame, ungewöhnliche Eingaben) oder deren Labels nicht ganz passten (Output-Ausreißer), erhielten einen massiven Schub. Sie lernten auf dem Drahtseil schneller.
Die Verlierer: Die „normalen“ Beispiele (Inlier) und diejenigen, die genau an der Grenze zwischen Kategorien lagen, lernten auf dem Drahtseil langsamer als das Modell, das das Drahtseil verlassen hatte.

3. Die zwei Regeln des Scheinwerfers

Warum half das Drahtseil einigen und schadete anderen? Die Arbeit identifiziert zwei strikte Regeln. Damit eine Gruppe von Daten den „Edge of Stability“-Schub erhält, muss sie einen zweiteiligen Test bestehen:

Regel #1: Die „Richtungsbindung“ (Der Druck)

Stellen Sie sich vor, die KI wird von einem riesigen Wind gedrückt. Die „Edge of Stability“ hilft nur, wenn der Wind in eine ganz bestimmte Richtung weht.

Der Test: Der „Gradient“ (die Richtung, in der gelernt werden muss) der Gruppe muss perfekt mit dem „obersten Hessian-Eigenvektor“ übereinstimmen.
Die Analogie: Denken Sie an eine Gruppe von Menschen, die versuchen, einen schweren Felsbrocken zu schieben. Wenn sie alle in die gleiche Richtung drücken, bewegt sich der Felsbrocken schnell. Wenn sie in zufällige Richtungen drücken, heben sich ihre Kräfte gegenseitig auf.
Das Ergebnis: Die Arbeit bewies, dass, wenn man die Richtung des „Ausreißer“-Datensatzes verdreht (während man den Abstand gleich hält), sie ihren Vorteil verlieren. Sie müssen kohärent in dieselbe Richtung drücken, um den Schub zu erhalten.

Regel #2: Die „Persistenz“ (Die Ausdauer)

Die zweite Regel handelt davon, nicht aufzugeben.

Der Test: Die Gruppe muss während des gesamten Trainings weiter „drücken“ (einen Gradienten ungleich Null haben).
Die Analogie: Stellen Sie sich ein Rennen vor. Wenn ein Läufer selbstbewertend wird und aufhört zu laufen, weil er denkt, er habe schon gewonnen, hört er auch auf, Fortschritte zu machen.
Das Ergebnis: Bei einigen Verlustsfunktionen (wie Cross-Entropy) hört die KI auf, sobald sie sich über ein „normales“ Beispiel sicher ist (der Gradient verschwindet). Aber „Ausreißer“ oder „falsch beschriftete“ Beispiele verwirren die KI weiterhin, sodass die KI immer weiter versucht, aus ihnen zu lernen. Weil sie weiter drücken, erhalten sie den Schub. Wenn man zu einer Verlustsfunktion wechselt, bei der selbstbewusste Beispiele aufhören zu drücken, verschiebt sich der Vorteil zu denen, die weiter durchhalten.

4. Das große Ganze: Die Geometrie bestimmt den Gewinner

Der faszinierendste Teil ist, dass welche Gruppe gewinnt, völlig von der Form der Daten abhängt.

Wenn Ihre Daten eine spezifische Form haben, bei der „Ausreißer“ diejenigen sind, die in die richtige Richtung drücken, wird die Edge of Stability die KI zu einem Experten für Ausreißer machen (was die Robustheit gegen seltsame Angriffe verbessern kann).
Wenn Sie die Form der Daten so ändern, dass „Grenzbeispiele“ diejenigen sind, die in die richtige Richtung drücken, wird die Edge of Stability die KI plötzlich zu einem Experten für die Grenzen machen.

Das Fazit:
Die Edge of Stability ist nicht nur eine Sicherheitsgrenze; sie ist ein Mechanismus, der das Lernen alloziert. Sie wirkt wie ein Manager, der entscheidet: „Wir werden unsere Energie jetzt darauf konzentrieren, diese spezifischen Probleme zu lösen, und die anderen werden wir ignorieren.“

Dies verändert unsere Sichtweise auf das KI-Training. Es geht nicht nur darum, die „flachste“ oder „beste“ globale Lösung zu finden. Es geht darum zu verstehen, dass der Trainingsprozess bestimmte Teile der Daten basierend auf ihrer Geometrie und darauf, wie lange sie weiter „kämpfen“, um gelernt zu werden, von Natur aus priorisiert. Die „Edge of Stability“ ist das Werkzeug, das diese Priorisierung erzwingt.

Technisches Resümee: Die Edge of Stability formt das Lernen über die Datenverteilung selektiv

1. Problemstellung

Die bestehende Literatur zur „Edge of Stability“ (EoS) behandelt diese primär als eine globale Eigenschaft der Optimierung, bei der sich der größte Eigenwert der Hesse-Matrix selbst nahe dem Schwellenwert $2/\eta$ stabilisiert (wobei $\eta$ die Lernrate ist). Während die Dynamik dieses Regimes – charakterisiert durch zeichenwechselnde Oszillationen und einen langsamen korrektiven Drift – gut dokumentiert ist, bleiben die funktionalen Konsequenzen des Operierens an dieser Schwelle unklar. Speziell ist unbekannt, ob die Stabilitätsbeschränkung einen einheitlichen Nutzen bietet oder ob sie das Lernen über verschiedene Teilmengen der Trainingsdaten differenziert formt. Die zentrale Frage lautet: Induziert das EoS-Regime einen selektiven Lern-Bias, und wenn ja, welche geometrischen und dynamischen Eigenschaften bestimmen, welche Datenuntergruppen davon profitieren?

2. Methodik

2.1 Experimenteller Aufbau und Prototypen-Taxonomie

Die Autoren implementieren ein kontrolliertes experimentelles Framework mittels einer binären Klassifikationsaufgabe auf CIFAR-10 (Automobil vs. LKW) mit einem MLP mit zwei verborgenen Schichten, das mittels Full-Batch-Gradientenabstieg trainiert wird. Um die Effekte der Datengeometrie zu isolieren, definieren sie eine Prototypen-Taxonomie, die die Trainingsverteilung basierend auf der Position relativ zu den Klassen-Zentroiden ( $\mu_c$ ) und der Label-Konsistenz in vier Gruppen unterteilt, unabhängig vom trainierten Modell:

Inlier: Hochdichte Punkte nahe dem Klassen-Zentroiden mit korrekten Labels.
Boundary (Grenze): In-Distribution-Punkte nahe der Inter-Klassen-Grenze (hohe Label-Ambiguität).
Input-Outlier: Geometrisch atypische Inputs (fern von $\mu_c$ ) mit korrekten Labels.
Output-Outlier: Hochdichte Inputs mit falschen Labels (synthetisch konstruiert).

2.2 Branching-Intervention (Kausale Identifikation)

Um den Effekt des Verbleibens im EoS-Regime gegenüber dem Verlassen desselben kausal zu identifizieren, nutzen die Autoren eine Branching-Intervention:

Baseline-Branch: Setzt das Training mit der ursprünglichen Lernrate $\eta$ fort und verbleibt somit im EoS-Regime.
Exit-Branch: Beim Erreichen der EoS (detektiert, wenn der größte Hesse-Eigenwert $\lambda_1$ den Wert $2/\eta$ erreicht), wird die Lernrate halbiert ( $\eta \to \eta/2$ ). Dies erhöht den Stabilitätsschwellenwert auf $4/\eta$ und ermöglicht es dem Optimierer, das EoS-Regime zu verlassen.
Vergleich: Durch den Vergleich der Divergenz der pro-Gruppe-Losses ( $\ell_k$ ) zwischen den beiden Branches nach der Intervention isolieren die Autoren den kausalen Einfluss der EoS-Stabilitätsbeschränkung.

2.3 Isolierung des Mechanismus

Die Autoren testen zwei hypothetische notwendige Bedingungen für eine Teilmenge, um von der EoS zu profitieren:

Direktionale Ausrichtung (Directional Alignment): Der aggregierte Gradient der Teilmenge muss mit dem größten Hesse-Eigenvektor ( $v_1$ ) übereinstimmen. Dies wird durch die Konstruktion von „Random-Direction“-Input-Outliern getestet, bei denen die Distanz der Verschiebung beibehalten, aber die Richtung randomisiert wurde, wodurch die kohärente Ausrichtung zerstört wird.
Gradienten-Persistenz (Gradient Persistence): Die Teilmenge muss eine nicht verschwindende Gradienten-Magnitude aufrechterhalten. Dies wird durch den Vergleich des Mean Squared Error (MSE) Loss (Gradienten persistieren) gegen den Cross-Entropy (CE) Loss (Gradienten verschwinden bei sicher klassifizierten Punkten) getestet.

3. Kernergebnisse

3.1 Selektiver Lern-Trade-off

Die Branching-Intervention zeigt, dass EoS selektiv und nicht global ist. Die Stabilitätsbeschränkung verteilt die Optimierungsbemühungen ungleichmäßig:

Begünstigte: Teilmengen, deren Gradienten mit $v_1$ korrelieren und persistieren (z. B. Input-Outlier unter MSE, Output-Outlier unter CE), zeigen im EoS-Branch eine beschleunigte Reduktion des Loss im Vergleich zum Exit-Branch.
Unterdrückte: Teilmengen mit orthogonalen Gradienten oder verschwindenden Magnituden (z. B. Inlier und Boundary-Punkte unter bestimmten Bedingungen) zeigen im EoS-Branch einen unterdrückten Fortschritt im Vergleich zum Exit-Branch.
Dieser Trade-off repliziert sich über Architekturen (CNN, ResNet), Optimierer (SGD, Momentum) und Klassenpaare hinweg.

3.2 Mechanismus: Alignment $\times$ Persistence

Zwei Bedingungen sind gemeinsam notwendig, damit eine Gruppe den EoS-Vorteil erhält:

Alignment: Der aggregierte Gradient der Gruppe muss mit dem größten Hesse-Eigenvektor ( $v_1$ $v_{1}$ ) übereinstimmen.
- Evidenz: Wenn Input-Outlier in zufällige Richtungen verschoben werden (wobei die Distanz erhalten bleibt, aber die Ausrichtung zerstört wird), kollabiert ihr Krümmungseinfluss $(\nabla \ell_k \cdot v_1)^2$ um eine Größenordnung und der EoS-Vorteil verschwindet.
Persistence: Die Gruppe muss eine nicht verschwindende Gradienten-Magnitude beibehalten.
- Evidenz: Unter Cross-Entropy-Loss sättigen die Gradienten für sicher klassifizierte Input-Outlier (sie verschwinden). Infolgedessen verschiebt sich der EoS-Vorteil zu den Output-Outliern, deren Gradienten aufgrund der Label-Inkonsistenz aktiv bleiben, trotz potenziell geringerer Ausrichtung.

3.3 Geometrie bestimmt den Begünstigten

Die Teilmenge, die von der EoS profitiert, wird durch die geometrische Zusammensetzung der Datenverteilung bestimmt:

Im Standard-CIFAR-10-Setup dominieren Input-Outlier (am weitesten von den Zentroiden entfernt) $v_1$ und profitieren.
Bei einem schwierigeren Klassenpaar (Katze vs. Hund) oder mit anderen Parametern zur Konstruktion von Outliern können Boundary-Punkte zur am weitesten entfernten Gruppe werden, $v_1$ dominieren und zum primären Begünstigten werden.
Natürliche Daten: Auf der natürlichen CIFAR-10-Verteilung entsteht beim EoS-Beginn eine positive Korrelation zwischen der Distanz zum Zentroiden und der Ausrichtung mit $v_1$ , was bestätigt, dass geometrische Outlier den instabilen Modus natürlich antreiben.

3.4 Implikationen für Generalisierung und Robustheit

Das Paper liefert vorläufige Hinweise darauf, dass sich die Selektivität während des Trainings auf das Verhalten zur Testzeit überträgt:

Adversarielle Robustheit: EoS verbessert die Robustheit auf Boundary-Punkte nur dann, wenn Boundary-Punkte $v_1$ dominieren. Wenn Input-Outlier dominieren, schneidet der EoS-Branch bei der Robustheit der Boundary-Punkte schlechter ab, da das Optimierungsbudget umgeleitet wird.
OOD-Generalisierung (Out-of-Distribution): EoS verbessert die OOD-Performance auf extrapolierten Inputs nur dann, wenn diese Inputs während des Trainings $v_1$ dominieren.

4. Theoretischer Rahmen

Die Autoren erweitern das Selbststabilisierungs-Framework (Damian et al., 2023) von einem globalen Loss auf pro-Teilmengen-Losses. Sie leiten her, dass der zyklusgemittelte Drift im E-S-Regime einen zusätzlichen Term enthält, der proportional zu $-\nabla S$ ist (wobei $S$ die Schärfe/Sharpness bezeichnet). Der differenzielle Effekt auf eine Teilmenge $k$ wird durch den Selektor gesteuert:
$Q_k = \langle \nabla \ell_k, \nabla S \rangle$
Unter einer Single-Mode-Approximation ist dieser Selektor proportional zum Quadrat der Projektion des Teilmengen-Gradienten auf den obersten Eigenvektor:
$C_k = (\nabla \ell_k \cdot v_1)^2 = \|\nabla \ell_k\|^2 \cos^2 \theta_k$
Diese Dekomposition bestätigt, dass sowohl direktionale Ausrichtung ( $\cos^2 \theta_k$ ) als auch Gradienten-Magnituden-Persistenz ( $\|\nabla \ell_k\|^2$ ) erforderlich sind, damit eine Teilmenge den EoS-Drift erfährt.

5. Bedeutung und Ansprüche

Das Paper beansprucht, das Verständnis der EoS von einer skalaren Stabilitätsgrenze hin zu einem Mechanismus, der die Allokation des Lernens über die Datenverteilung steuert, zu verschieben.

Reframing von Flatness: Die Autoren argumentieren, dass „Flatness“ (Flachheit) keine skalare Eigenschaft der Lösung ist, sondern eine direktionale Eigenschaft, die durch die Datengeometrie bestimmt wird. Der funktionale Nutzen geringer Krümmung hängt vollständig davon ab, welche Teilmenge den obersten Hesse-Eigenvektor dominiert.
Induktiver Bias: EoS fungiert als ein induktiver Bias, der spezifische Teilmengen für die Optimierung basierend auf ihrer geometrischen Beziehung zum instabilen Modus auswählt, anstatt lediglich zwischen äquivalenten Minima zu wählen.
Vereinigung von Perspektiven: Die Arbeit verbindet den impliziten Regularisierungseffekt im Parameterraum (Krümmungsbeschränkungen) mit dem induktiven Bias über die Datenverteilung (welche Beispiele gelernt werden).
Begrenzter Umfang: Die Autoren räumen Einschränkungen ein und merken an, dass die Experimente auf kleine Modelle und Full-Batch-Training beschränkt sind, bedingt durch die hohen Rechenkosten von Hesse-Vektor-Produkten. Sie stellen fest, dass es eine offene Frage bleibt, ob diese Selektivitätseffekte auch für größere Datensätze, Mini-Batch-Optimierer oder Repräsentationsraum-Prototypen bestehen bleiben.

Zusammenfassend demonstriert das Paper, dass die Edge of Stability ein selektives Regime ist, in dem die Stabilitätsbeschränkung das Lernen für Teilmengen verstärkt, die entlang des größten Hesse-Eigenvektors ausgerichtet sind und darin persistieren, während sie andere unterdrückt, wodurch die funktionalen Eigenschaften des Modells grundlegend geformt werden.