🤖 machine learning

Flatland: The Adventures of Gradient Descent with Large Step Sizes

Diese Arbeit befasst sich mit der offenen Frage der Konvergenz des Gradientenabstiegs bei großen Schrittweiten auf nicht-L-glatten Funktionen, indem sie adaptive Methoden vorschlägt, die an der Grenze der Stabilität operieren, und demonstriert, dass das Zulassen des Trainings in leicht schärfere Täler durch Selbststabilisierung die Konvergenz und Generalisierung im Vergleich zum vorzeitigen Auftreffen auf flache Regionen verbessern kann.

Ursprüngliche Autoren: Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einer riesigen, nebligen Gebirgskette zu finden. Diese Gebirgskette repräsentiert die „Loss Landscape“ (Verlustlandschaft) eines neuronalen Netzes. Ihr Ziel ist es, zum ganz tiefsten Punkt (der besten Lösung) zu gelangen, und zwar so schnell wie möglich.

In der Welt des Deep Learning ist das Werkzeug, mit dem Sie den Berg hinabwandern, als Gradient Descent (Gradientenabstieg) bekannt. Es ist wie ein Wanderer, der immer in die Richtung einen Schritt macht, die am steilsten bergab führt. Die Größe dieses Schrittes ist die Learning Rate (Lernrate oder Schrittweite).

Lange Zeit glaubten Forscher, dass das Gehen kleiner, vorsichtiger Schritte der sicherste Weg sei, um nicht über eine Klippe zu stolen und zu fallen. Eine jüngste Beobachtung hat jedoch gezeigt, dass es manchmal hilft, riesige, rücksichtslose Schritte zu machen, um ein besseres, flacheres Tal am Boden zu finden, was zu einer klügeren KI führt. Aber es gibt einen Haken: Wenn Ihre Schritte zu groß sind, fangen Sie vielleicht an, wild hin und her zu springen, und kommen nie zur Ruhe, oder Sie bleiben an einem seltsamen, flachen Ort hängen, der wie der Boden aussieht, aber es nicht ist.

Dieses Paper mit dem Titel „Flatland: The Adventures of Gradient Descent with Large Step Sizes“ ist wie ein Reiseführer für Wanderer, die diese Riesenschritte machen wollen, ohne am Rand der Welt abzustürzen.

Das Problem: Die „Edge of Stability“ (Rand der Stabilität)

Die Autoren stellten fest, dass Wanderer anfangen zu oszillieren, wenn sie Schritte machen, die gerade richtig groß sind, um „groß“ zu sein. Sie springen auf und ab an den Seiten des Tals, anstatt geradeaus bergab zu gehen. Dies wird als Edge of Stability (EoS) bezeichnet.

Denken Sie an einen Skateboarder in einer Halfpipe. Wenn sie zu langsam fahren, bleiben sie in der Mitte stehen. Wenn sie genau richtig fahren, gleiten sie hin und her, gewinnen an Schwung und finden schließlich den glattesten, flachsten Teil des Bodens. Das Paper argumenttiert, dass es gut für das Training von KI ist, genau an diesem „Rand“ zu bleiben.

Die Lösung: Ein intelligenter Kompass (Der Algorithmus)

Die große Frage war: Wie wissen wir, wie groß ein Schritt ist, ohne abzustürzen?

Die Autoren haben einen neuen „Kompass“ (einen Algorithmus) entwickelt, der die Schrittweite automatisch anpasst. Anstatt zu raten, prüft der Kompass das Gelände direkt vor dem Wanderer.

Wenn der Boden glatt ist, sagt er: „Mach einen riesigen Schritt!“
Wenn der Boden zerklüftet ist, sagt er: „Werde langsamer, aber bleib nicht stehen.“

Dieser Kompass ermöglicht es dem Wanderer, sich vom ersten Schritt an auf der „Edge of Stability“ aufzuhalten, was sicherstellt, dass er sich schnell bewegt, ohne vom Berg wegzufliegen.

Die Überraschung: Die „Flatland“-Falle

Dies ist der interessanteste Teil der Geschichte. Die Autoren entdeckten, dass man, wenn man Schritte nimmt, die zu groß sind, versehentlich an einen Ort namens Flatland geraten kann.

Stellen Sie sich vor, Sie wandern und erreichen einen Ort, der vollkommen flach aussieht. Sie denken: „Großartig, ich habe den Boden gefunden!“ Aber tatsächlich sind Sie auf einem Sattelpunkt gelandet (wie in der Mitte eines Pferdesattels). Es ist in einer Richtung flach, neigt sich aber in einer anderen Richtung nach unten.

Die Falle: In diesen „Flatland“-Regionen hört die KI auf zu lernen. Sie denkt, sie sei fertig, weil der Boden flach ist, aber eigentlich ist sie nur in einer Sackgasse stecken geblieben, in der sie nicht mehr herausfinden kann, wie sie das Problem lösen soll. Das Paper nennt dies „unsuccessfully-flat“ (unglücklich-flache) Läufe. Die KI rät im Grunde nur noch zufällig und bleibt dort stecken.

Die Lösung: Gehen Sie nicht zu flach

Die Hauptempfehlung des Papers ist kontraintuitiv: Zielen Sie nicht auf den absolut flachsten Punkt ab.

Die Autoren fanden heraus, dass die besten Ergebnisse durch einen „successfully-flat“ (erfolgreich-flachen) Lauf erzielt werden. Dies ist der Fall, in dem die KI in einem Tal bleibt, das größtenteils flach ist, aber immer noch eine winzige Neigung besitzt.

Die Metapher: Stellen Sie sich vor, Sie suchen nach dem besten Platz, um ein Zelt aufzustellen.
- Die Falle: Sie finden eine perfekt flache, merkmalslose Ebene. Sie sieht perfekt aus, aber es gibt keinen Wind, der Ihnen hilft, Ihre Kleidung zu trocknen, und Sie können nicht sagen, in welche Richtung Norden ist. Sie bleiben stecken.
- Die Lösung: Sie finden einen Platz, der fast flach ist, aber eine sanfte, leichte Neigung hat. Diese leichte Neigung hilft Ihnen, sich zu orientieren und hält Sie in Bewegung, um den bestmöglichen Ausblick zu erreichen.

Die Autoren schlagen eine einfache Regel vor, um die Falle zu vermeiden: Begrenzen Sie Ihre Schrittweite so, dass sie niemals größer ist als die Anzahl der Kategorien, die Sie zu lernen versuchen. (Wenn Sie also eine KI lehren, 100 Arten von Tieren zu erkennen, lassen Sie Ihre Schrittweite nicht größer als 100 werden). Dies hält die KI in dem „leicht geneigten“ Tal, in dem sie tatsächlich lernen kann, anstatt in der „perfekt flachen“ Falle stecken zu bleiben.

Zusammenfassung

Große Schritte sind gut: Große Schritte helfen der KI, schneller zu lernen und bessere Lösungen zu finden, vorausgesetzt, man bleibt auf der „Edge of Stability“.
Die Falle: Wenn man Schritte nimmt, die zu groß sind, kann man in ein „Flatland“ (einen Sattelpunkt) geraten, wo die KI aufhört zu lernen und nur noch zufällig rät.
Die Lösung: Nutzen Sie eine intelligente Methode, um die Schritte anzupassen, aber legen Sie ein „Tempolimit“ für sie fest. Halten Sie die Schritte groß genug, um schnell zu sein, aber klein genug, um die perfekt flache Falle zu vermeiden. Dies führt zu einer klügeren, präziseren KI.

Kurz gesagt: Das Paper lehrt uns, dass man im Wettlauf um das Training von KI manchmal schnell rennen muss, aber man muss aufpassen, dass man nicht so schnell rennt, dass man über einen perfekt flachen Stein stolpert und völlig aufhört, sich zu bewegen.

Technische Zusammenfassung: Flatland: Die Abenteuer des Gradientenabstiegs mit großen Schrittweiten

Problemstellung

Das Training neuronaler Netze beinhaltet häufig Zielfunktionen, die nicht global $L$ -glatt sind. Für solche Funktionen bleibt eine langjährige offene Frage im Deep Learning: Was ist die größtmögliche Schrittweite, die die Konvergenz des Gradientenabstiegs (Gradient Descent, GD) gewährleistet? Während frühere Arbeiten (z. B. Cohen et al., 2021) beobachteten, dass GD mit festen Schrittweiten oft in eine „Edge of Stability“ (EoS)-Phase eintritt – in der der Verlust nicht-monoton abnimmt und das Produkt aus Schrittweite und Schärfe (Sharpness) um den Wert 2 stabilisiert wird –, gibt es keine einheitliche Definition für „große“ Schrittweiten, die eine Konvergenz garantiert, ohne auf Informationen zweiter Ordnung zurückzugreifen. Zudem ist unklar, ob GD von Beginn des Trainings an konsistent am EoS operieren kann oder ob es aufgrund unkontrollierter Oszillationen Gefahr läuft, zu divergieren.

Methodik

Die Autoren schlagen einen vereinheitlichten Rahmen vor, um „große“ Schrittweiten basierend auf der lokalen Segment-Glattheit statt auf globaler Lipschitz-Stetigkeit zu definieren und zu finden.

Segment-Glattheit: Das Paper führt das Konzept der lokalen Segment-Glattheit ein, wobei angenommen wird, dass die Zielfunktion $f$ kontinuierlich differenzierbar ist und der Gradient nur entlang der Anti-Gradienten-Richtung zwischen den Iterationen $w$ und $w - \eta \nabla f(w)$ Lipschitz-stetig (oder Hölder-stetig) ist.
Equality Line Search: Um Schrittweiten zu finden, die die Definition von „groß“ erfüllen (speziell Schrittweiten $\eta_k$ , für die gilt: $\eta_k \geq 1/l(w_k, \eta_k)$ und gelegentlich $\eta_k > 2/l(w_k, \eta_k)$ ), entwerfen die Autoren einen neuen Equality Line Search-Algorithmus. Diese Methode kombelt Backtracking- und Extrapolationsschritte. Wenn die Standard-Bedingung für die nicht-monotone Line Search zunächst erfüllt ist, wird die Schrittweite verdoppelt; wenn nicht, wird sie halbiert. Der Prozess wird fortgesetzt, bis die Bedingung als Gleichheit erfüllt ist, was die maximale Schrittweite approximiert, die durch die lokale Geometrie zulässig ist.
Theoretische Garantien: Die Autoren beweisen, dass dieser Ansatz Schrittweiten liefert, die „Lipschitz-bewusst“ und „Hölder-bewusst“ sind. Entscheidend ist, dass sie zeigen, dass die Schrittweite, wenn der Gradient nahe eines stationären Punktes verschwindet, durch den Kehrwert der Schärfe (dem größten Eigenwert der Hesse-Matrix) nach unten begrenzt ist, wodurch die Methode effektiv „schärfe-bewusst“ wird, ohne explizite Berechnung der Hesse-Matrix.
Vermeidung von Flat Traps: Die Autoren identifizieren ein Phänomen, bei dem GD mit großen Schrittweiten in „global flachen“ Regionen (Sattelpunkten) stecken bleiben kann, in denen die Schärfe ein globales Minimum von $2/K$ (für $K$ Klassen) erreicht. Um dies zu mildern, schlagen sie NLS-ub vor, eine Variante, welche die Schrittweite unter $K$ begrenzt und den Optimierer dazu zwingt, etwas schärfere Täler zu durchqueren.

Zentrale Beiträge

Vereinheitlichte Definition: Eine formale Definition von „großen“ Schrittweiten, die die Konvergenz von GD für nicht global glatte Funktionen sicherstellt und sich dabei nur auf die lokale Segment-Glattheit stützt.
Ersterordentliche Schärfe-Bewusstheit: Ein Algorithmus (Equality Line Search), der nachweislich Schrittweiten liefert, die bereits ab der ersten Iteration am Edge of Stability operieren, ohne die Notwendigkeit von Informationen zweiter Ordnung.
Charakterisierung global flacher Regionen: Die Identifizierung spezifischer Sattelpunkte, an denen die Schärfe ein globales Minimum von $2/K$ erreicht. Die Autoren zeigen, dass das zu frühe Auftreffen auf diese Punkte zu „unerfolgreich flachen“ (unsuccessfully-flat) Durchläufen führt, bei denen das Netzwerk keine bedeutsamen Merkmale lernt, was zu schlechter Konvergenz und Generalisierung führt.
Selbststabilisierungsmechanismus: Eine praktische Strategie (NLS-ub), die die Schrittweiten unter der Anzahl der Klassen $K$ begrenzt, was die Optimierer erfolgreich von „unerfolgreich flachen“ in „erfolgreich flache“ Durchläufe umwandelt, die einen geringeren Trainingsverlust und eine höhere Testgenauigkeit erzielen.

Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methoden an verschiedenen Architekturen (MLP, CNN, ResNet, VGG, DenseNet, Vision Transformer) und Datensätzen (CIFAR10/100, SVHN, EMNIST) unter Verwendung sowohl von Mean Squared Error (MSE) als auch von Cross-Entropy-Verlusten.

Edge of Stability: Der vorgeschlagene Equality Line Search (NLS) und seine deterministische Variante (PoNLS) operieren konsistent am EoS, wobei das Produkt aus Schrittweite und Schärfe während des gesamten Trainings über dem Schwellenwert von 2 bleibt.
Global Flaches Phänomen: In mehreren Experimenten (z. B. ResNet auf SVHN) trieb NLS die Schärfe sehr früh im Training auf exakt $2/K$ . In diesen Fällen stagnierte der Trainingsverlust auf dem Niveau eines zufälligen Ratens, und die Gradientennormen der verborgenen Schichten kollabierten gegen Null, was darauf hindeutete, dass der Optimierer einen Sattelpunkt erreicht hatte.
Erfolg vs. Misserfolg: Durchläufe, die das exakte $2/K$ -Minimum vermieden (und leicht darüber blieben), wurden als „erfolgreich flach“ bezeichnet. Diese Durchläufe erreichten einen signifikant besseren Trainingsverlust und eine höhere Testgenauigkeit.
NLS-ub Effektivität: Durch die Begrenzung der Schrittweite unter $K$ verhinderte NLS-ub, dass der Optimierer in die global flachen Sattelregionen eintrat. Diese Modifikation verbesserte die Konvergenz und Testgenauigkeit im Vergleich zu Standard-NLS und anderen Baselines wie SAM (Sharpness Aware Minimization) und CDAT konsistent.
Sensitivität der Verlustfunktion: Das Phänomen des Erreichens globaler Schärfe-Minima wurde mit MSE-Verlust beobachtet (wo das Minimum $2/K$ ist). Bei Cross-Entropy-Verlust ist das Schärfe-Minimum 0, und ähnliche „feststeckende“ Verhaltensweisen wurden beobachtet, wenn die Schärfe gegen 0 ging, wenngleich die Dynamik leicht unterschiedlich war.

Bedeutung und Ansprüche

Das Paper beansprucht, eine konkrete Antwort auf die offene Frage zu liefern, wie man die größtmöglichen Lernraten auswählt, während die GD-Konvergenz gewährleistet bleibt. Es stellt die gängige Intuition infrage, dass „flachere“ Minima immer vorzuziehen sind. Die Autoren zeigen, dass das Finden der global flachen Regionen (globale Minima der Schärfe) nicht vorteilhaft für die Konvergenzgeschwindigkeit oder Generalisierung ist; tatsächlich kann es kontraproduktiv sein und das Netzwerk an Sattelpunkten zum Stillstand bringen.

Die Bedeutung liegt in:

Operationalisierung großer Schritte: Bereitstellung einer praktischen, erstordentlichen Methode zur automatischen Auswahl von Schrittweiten, die am Edge of Stability operieren, was das Training ohne manuelles Tuning beschleunigt.
Neubewertung von Flachheit: Aufzeigen, dass das Streben nach den absolut flachsten Minima eine Falle sein kann und dass etwas schärfere Täler (die das $2/K$ oder 0 Schärfe-Minimum vermeiden) eine überlegene Leistung erbringen.
Theoretisches Fundament: Etablierung von Konvergenzgarantien für GD unter lokaler Segment-Glattheit, einer schwächeren Annahme als die globale $L$ -Glattheit, die in Deep Learning oft verletzt wird.

Die Autoren bleiben bescheiden hinsichtlich des Umfangs und merken an, dass während ihre Methode gut für Full-Batch-GD und vorläufige stochastische Experimente funktioniert, die theoretische Konvergenz von Stochastic Gradient Descent (SGD) unter diesen spezifischen Annahmen weiterer Untersuchung bedarf. Sie räumen zudem ein, dass der Mechanismus, der GD so effizient in diese global flachen Regionen führt, noch nicht vollständig verstanden ist und mit dem Phänomen des „Neural Collapse“ zusammenhängen könnte.