🤖 machine learning

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

Diese Arbeit erweitert die Theorie des Gradientenabstiegs mit großen Schrittweiten von isolierten flachen Minima auf Mannigfaltigkeiten flacher Minima in überparametrisierten Kleinste-Quadrate-Problemen mit vektorwertigen Ausgaben, indem sie eine verallgemeinerte Normalform und Konvergenzergebnisse etabliert, die die Faserbündelstruktur flacher Minima in der tiefen Matrixfaktorisierung offenbaren.

Ursprüngliche Autoren: Lachlan Ewen MacDonald, René Vidal

Veröffentlicht 2026-07-10

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lachlan Ewen MacDonald, René Vidal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einer riesigen, nebligen Landschaft zu finden. Diese Landschaft repräsentiert den „Loss“ (den Verlust) eines tiefen neuronalen Netzes – ein Maß dafür, wie falsch der Computer liegt. Das Ziel ist es, ganz nach unten zu gelangen.

Lange Zeit glaubten Informatiker, dass der beste Weg dorthin darin bestehe, winzige, vorsichtige Schritte bergab zu machen. Sie glaubten, wenn man einen Schritt zu groß macht, würde man das Tal unterschießen, wieder hochspringen und schließlich in den Himmel davonfliegen (divergieren). Sie hatten eine strikte Regel: Ihre Schrittweite musste kleiner als ein spezifisches Limit sein, das durch die „Schärfe“ des Talbodens bestimmt wurde. Wenn das Tal eine Nadelspitze war (scharf), musste man mikroskopisch kleine Schritte machen. Wenn es eine weite, flache Schüssel war, konnte man etwas größere Schritte machen.

Aber hier kommt der Plot-Twist: In der realen Welt des KI-Trainings begannen die Menschen, riesige Schritte zu machen. Anstatt abzustürzen, wurde die KI intelligenter, schneller und überraschenderweise schien sie es vorzuziehen, in jenen weiten, flachen Schüsseln zu landen, anstatt in den scharfen Nadelspitzen. Dieses Verhalten war ein Rätsel. Es war, als würde man einem Skier beim Beobachten, wie er einen massiven Sprung macht, perfekt in einem weichen Schneehaufen landet und zum Stillstand gleitet – und dabei alle Physik-Lehrbücher trotzt, die behaupteten, er müsste abstürzen.

Dieses Paper ist das Team von Detektiven, das endlich herausgefunden hat, warum der Skier nicht abgestürzt ist und genau wie er gelandet ist.

Die große Entdeckung: Das „Flip“ und das „Slide“

Die Autoren, Lachlan MacDonald und René Vidal, nahmen die alten, einfachen Theorien und aktualisierten sie, um sie für die chaotische, hochdimensionale Realität moderner KI handhabbar zu machen. Sie entdeckten, dass die KI bei einem großen Schritt nicht einfach nur ziellos umherwandert. Sie spaltet ihr Verhalten tatsächlich in zwei distinkte Modi auf, wie ein Auto, das vorwärts fahren und gleichzeitig auf der Stelle drehen kann.

1. Das „Flip“ (Der springende Ball):
Stellen Sie sich vor, die KI hüpft auf einem Trampolin. Wenn die Schrittweite genau richtig ist, hüpft die KI in einem sehr spezifischen Rhythmus auf und ab. Sie hört nicht sofort auf zu hüpfen; stattdessen pendelt sie sich in einem stabilen, sich wiederholenden Muster des Auf- und Abspringens ein. Das Paper beweist, dass die KI, wenn die Schrittweite etwas zu groß (aber nicht zu groß) ist, in einer perfekten, vorhersehbaren Schleife direkt über dem flachen Boden oszilliert. Das ist kein Fehler; es ist ein Feature.

**2. Das „Slide“ (Der Fluss):**ung
Während die KI auf und ab springt (das Flip), gleitet sie gleichzeitig langsam seitlich entlang des flachen Talbodens. Die Autoren zeigen, dass die KI im Grunde eine spezielle Art von „Riemannian Gradient Descent“ entlang dieser flachen Oberfläche durchführt. Denken Sie an einen Fluss, der entlang einer flachen Ebene fließt. Der Fluss kümmert sich nicht um die winzigen Unebenheiten im Sand; er fließt einfach glatt in Richtung des flachsten, stabilsten Teils der Landschaft.

Die Form des „Flachen“

Einer der spannendsten Teile dieses Papers ist, wie sie die „flachen Minima“ (die weiten, sicheren Täler) beschreiben. Vorherige Theorien behandelten diese flachen Stellen als isolierte Inseln. Aber die Autoren zeigen, dass diese flachen Punkte in komplexen Problemen wie der Matrix-Faktorisierung (einer Schlüsseltechnik im Deep Learning) keine isolierten Punkte sind. Sie sind tatsächlich ein Faserbündel über einem Produkt von Sphären.

Lassen Sie uns das in einfaches Englisch (bzw. Deutsch) übersetzen: Stellen Sie sich vor, das flache Tal ist nicht ein einzelner Raum, sondern eine riesige, vielschichtige Struktur. Die Basis dieser Struktur ist eine Sammlung von Sphären (wie die Oberfläche einer Kugel). Auf jedem Punkt dieser Sphären liegt ein ganzes „Faser“-Element oder ein kleiner Raum voller Lösungen. Die KI findet nicht nur eine Lösung; sie findet eine ganze zusammenhängende, glatte Familie von Lösungen, die alle gleichermaßen gut sind. Das Paper beweist, dass sich die „Schärfe“ (wie steil die Seiten sind) glatt verändert, während man sich auf dieser Struktur bewegt, und sich auf eine sehr geordnete Weise, genannt „Morse-Bott“, verhält.

Was sie bewiesen haben vs. was sie simuliert haben

Die Autoren haben nicht nur geraten; sie haben einen rigorosen mathematischen Rahmen aufgebaut, um dies zu beweisen.

Die Theorie: Sie bewiesen, dass die KI für eine breite Palette von Schrittweiten ihr Verhalten in drei distinkte Regime aufteilt:
- Subkritisch (Sicher, aber langsam): Wenn der Schritt klein genug ist, konvergiert die KI exponentiell schnell zu einem „suboptimal flachen“ Minimum. Es ist sicher, aber vielleicht nicht der absolut flachste Punkt.
- Kritisch (Der Sweet Spot): Wenn die Schrittweite genau einen bestimmten Schwellenwert erreicht (exakt $2/\lambda_1$ , wobei $\lambda_1$ die Schärfe ist), konvergiert die KI mit einer Rate von $t^{-1/2}$ zum flachen Minimum. Dies ist eine spezifische, bewiesene mathematische Rate. Sie zeigten, dass dies in Simulationen der Matrix-Faktorisierung geschieht.
- Superkritisch (Der Tanz): Wenn der Schritt etwas größer als der Schwellenwert ist, kommt die KI nicht am Boden an. Stattdessen konvergiert sie exponentiell zu einer Period-2-Orbit. Das bedeutet, sie pendelt sich in einen stabilen, sich wiederholenden Zyklus aus zwei Punkten ein und oszilliert zwischen ihnen hin und her. Das Paper beweist, dass dieser Zyklus existiert und stabil ist.
Die Simulationen: Um ihre Mathematik zu untermauern, führten sie Experimente zu Matrix-Faktorisierungs-Problemen durch (speziell 3-lagige, $2 \times 2$ Matrix-Faktorisierung). In diesen Simulationen beobachteten sie die KI bei großen Schritten. Die Graphen zeigten exakt das, was die Mathematik vorhersagte: Die KI hüpfte, dann glitt sie im $t^{-1/2}$ -Modus oder verfestigte sich im Period-2-Tanz.

Was sie explizit ausschließen

Es ist wichtig zu wissen, was dieses Paper nicht über das Geschehen aussagt.

Es ist kein zufälliges Chaos: Das Paper schließt explizit aus, dass große Schritte in diesen spezifischen Regimen zu zufälligem, unvorhersehbarem Verhalten führen. Die Oszillation ist ein strukturierter, stabiler Period-2-Orbit und kein chaotisches Durcheinander.
Es geht nicht nur um einzelne Punkte: Das Paper argumentiert dagegen, dass flache Minima isoliert sind. Sie beweisen, dass die Minima in diesen Systemen eine kontinuierliche, glatte Mannigfaltigkeit (eine zusammenhängende Oberfläche) bilden und keine verstreuten Ansammlung von Punkten sind.
Es ist keine globale Garantie: Die Autoren betonen vorsichtig, dass ihre Beweise lokal sind. Sie beweisen, was in der Nähe der flachen Minima passiert. Sie behaupten nicht, das gesamte Rätsel gelöst zu haben, wie die KI von einem zufälligen Startpunkt aus weit weg die flachen Minima findet (die Phase der „progressiven Schärfung“). Sie erklären lediglich, was passiert, sobald die KI sich bereits in der Umgebung des flachen Spots befindet.

Die „Edge of Stability“ (Rand der Stabilität)

Das Paper verbindet dies mit einem Phänomen namens „Edge of Stability“. Dies ist das Regime, in dem die KI am Rande des Absturzes schwankt, aber nicht fällt. Die Autoren zeigen, dass dies kein Bug ist, sondern ein spezifischer dynamischer Zustand, in dem die KI implizit einen „Riemannian Gradient Descent“ auf die Schärfe selbst durchführt. Es ist, als ob die KI den Sprung nutzt, um die Landschaft zu ertasten und entlang der flachsten Stelle zu gleiten.

Das Faz-it

Dieses Paper nimmt ein komplexes, hochdimensionales Problem und liefert uns eine klare Karte. Es zeigt, dass wir beim Training von KI nicht einfach nur raten, wenn wir große Schritte machen. Wir nehmen an einem anspruchsvollen Tanz teil, bei dem die KI in einem stabilen Rhythmus hüpft und gleichzeitig entlang einer glatten, zusammenhängenden Oberfläche perfekter Lösungen gleitet.

Sie haben bewiesen, dass diese Oberfläche für die Matrix-Faktorisierung eine wunderschöne geometrische Struktur ist (ein Faserbündel über Sphären), und sie haben bewiesen, dass die Bewegung der KI auf dieser Oberfläche strengen, vorhersagbaren Gesetzen folgt. Obwohl sie nicht das gesamte Geheimnis des Deep Learning gelöst haben (wie man vom Start bis zur Ziellinie kommt), haben sie die erste rigorose, mathematische Erklärung dafür geliefert, warum das Machen riesiger Schritte so gut funktioniert, sobald man sich der Lösung nähert.

Kurz gesagt: Die KI stürzt nicht ab; sie tanzt. Und dank dieses Papers haben wir endlich die Partitur dazu.

Technisches Resümee: Dynamik des Gradientenabstiegs mit großen Schrittweiten nahe einer Mannigfaltigkeit flacher Minima

Problemstellung

Die klassische Konvergenztheorie für den Gradientenabstieg (GD) stützt sich auf die Stabilitätsbedingung $\eta < 2/\lambda_1(x)$ , wobei $\eta$ die Schrittweite und $\lambda_1(x)$ der größte Eigenwert (Schärfe) der Hessian-Matrix der Zielfunktion ist. In der Deep-Learning-Praxis wird diese Bedingung häufig verletzt; dennoch konvergiert GD mit großen Schrittweiten oft und zeigt Phänomene wie die „Edge of Stability“-Dynamik sowie einen impliziten Bias hin zu „flachen Minima“ (Minima mit geringer Schärfe).

Vorherige Arbeiten von MacDonald et al. [39] lieferten eine rigorose dynamische Systemanalyse für den Large-Step-GD in Codimension-1-Kleinste-Quadrate-Problemen (skalarer Output) nahe eines isolierten flachen Minimums. Dieser Rahmen ist jedoch praktisch restriktiv, da er Folgendes nicht abdeckt:

Probleme mit höherer Codimension: Überparametrisierte Regression mit vektorwertigen Ausgaben und einer beliebigen Anzahl von Beobachtungen.
Mannigfaltigkeiten von Minima: Viele Deep-Learning-Probleme, wie etwa die Matrixfaktorisierung, besitzen eine kontinuierliche Mannigfaltigkeit flacher Minima anstelle isolierter Punkte.

Diese Arbeit erweitert die Theorie von [39] auf diese breiteren Settings und adressiert die technischen Herausforderungen höherdimensionaler Bifurkationen und singulärer partieller Differentialgleichungen (PDEs), die entlang von Mannigfaltigkeiten auftreten.

Methodik

1. Geometrischer Rahmen und Annahmen

Die Autoren betrachten überparametrisierte Kleinste-Quadrate-Zielfunktionen $\ell(w) = \frac{1}{2}\|\tau - f(w)\|^2$ mit $f: \mathbb{R}^p \to \mathbb{R}^q$ ( $p > q$ ). Sie etablieren eine Hierarchie geometrischer Annahmen, um die Existenz einer Normalform zu gewährleisten:

Annahme 3.1: Das Ziel $\tau$ ist ein regulärer Wert, was sicherstellt, dass die Lösungsmenge $M = f^{-1}(\tau)$ eine glatte Submannigfaltigkeit ist.
Annahme 3.3: Der oberste Eigenwert $\lambda_1$ der Hessian-Matrix ist einfach (unterscheidet sich von $\lambda_2$ ) auf einer nichtleeren offenen Teilmenge, was ein wohldefiniertes oberstes Eigenvektorfeld $\nu_1$ ermöglicht.
Annahme 3.4: Es existiert eine Submannigfaltigkeit $F \subset M$ lokaler Minima für $\lambda_1$ , wobei $\lambda_1$ Morse-Bott ist (strikt konvex in Richtungen senkrecht zu $F$ innerhalb von $M$ ).
Annahme 3.5: Eine Regularitätsbedingung auf einem Koeffizienten $\alpha_\eta$ , der aus höheren Ableitungen von $\ell$ abgeleitet ist, stellt die Lösbarkeit einer singulären PDE sicher, die für die Normalform erforderlich ist.

2. Ableitung der Normalform

Der zentrale technische Beitrag ist die Ableitung einer Normalform für GD nahe der Mannigfaltigkeit $F$ . Die Autoren führen eine Sequenz von Koordinatentransformationen durch:

Tubuläre Koordinaten: Abbildung der Umgebung von $M$ auf $M \times \mathbb{R}^q$ .
Zentrumsmannigfaltigkeits-Reduktion (Center Manifold Reduction): Verwendung des Zentrumsmannigfaltigkeitssatzes, um die $q$ -dimensionale orthogonale Dynamik auf ein 1-dimensionales System zu reduzieren, das der obersten Eigenrichtung $\nu_1$ entspricht.
Lösen einer singulären PDE: Ein kritischer Schritt ist das Lösen einer PDE der Form $Xu = \alpha u + \beta$ , wobei das Vektorfeld $X$ entlang der Mannigfaltigkeit $F$ verschwindet. Im Gegensatz zum Fall isolierter Punkte in [39] ist die Singularität hier entlang einer Mannigfaltigkeit. Die Autoren entwickeln neuartige Techniken unter Verwendung von logarithmischen Expansionen und invarianten Foliationen, um die Existenz einer $C^1$ -Lösung zu beweisen, wodurch ein fehlerhafter Beweis in [39] bezüglich der Kopplung zwischen den Mannigfaltigkeitskoordinaten und der orthogonalen Dynamik korrigiert wird.
Stark-stabile Foliation: Entkopplung der kontrahierenden Richtungen von der Dynamik auf der Zentrumsmannigfaltigkeit.

Die resultierende Normalform zerlegt die GD-Dynamik in:

Tangential zu $M$ ( $x$ ): Riemannsche Gradientenabstieg-Dynamik (RGD) auf der Schärfe $\lambda_1$ entlang von $M$ , wobei die Schrittweite durch das Quadrat der orthogonalen Distanz $y_1^2$ gesteuert wird.
Obere orthogonale Richtung ( $y_1$ ): Eine Flip-Bifurkationsdynamik (ähnlich einer Periodenverdoppelungsbifurkation), gesteuert durch $(1 - \eta\lambda_1)y_1 + y_1^3$ .
Andere orthogonale Richtungen ( $y_{2:q}$ ): Exponential ex exponentiell kontrahierende stabile Richtungen.

3. Fallstudie: Tiefe Matrixfaktorisierung

Die Autoren verifizieren, dass die tiefe Matrixfaktorisierung in diesen Rahmen passt. Sie beweisen, dass die Menge der flachen Minima $F$ ein glatter Faserbündel über einem Produkt von Sphären ist. Des Weiteren zeigen sie, dass die Schärfe $\lambda_1$ entlang dieser Mannigfaltigkeit Morse-Bott ist, womit die notwendigen geometrischen Hypothesen erfüllt sind.

Zentrale Beiträge und Ergebnisse

1. Verallgemeinerte Normalform

Die Arbeit etabliert eine Normalform für GD mit großen Schrittweiten in der Umgebung einer Mannigfaltigkeit flacher Minima für beliebige Codimensionen. Dies verallgemeinert die Ergebnisse von [39] von isolierten Minima in Codimension 1 auf kontinuierliche Mannigfaltigkeiten in beliebigen Dimensionen.

2. Konvergenztheoreme

Die Autoren beweisen drei Konvergenzregime basierend auf der Schrittweite $\eta$ relativ zum Stabilitätsschwellenwert $2/\lambda_1|_F$ :

Subkritische Regime ( $\eta < 2/\lambda_1|_F$ ):
Nach einer initialen Transient-Phase konvergieren die Iterationen exponentiell zu einem suboptimal flachen globalen Minimum. Die Schrittweite sinkt exponentiell, während sich die Iterationen der Mannigfaltigkeit nähern.
Kritisches Regime ( $\eta = 2/\lambda_1|_F$ ):
Die Iterationen konvergieren nicht-monoton mit einer Rate von $\Theta(t^{-1/2})$ zu einem Punkt in der Flache-Minima-Mannigfaltigkeit $F$ $F$ .
- Hinweis: Der Beweis für den allgemeinen Fall stützt sich auf eine Vermutung (Conjecture D.7) bezüglich der Existenz einer stabilen Foliation für normalerweise parabolische dynamische Systeme, analog zum Strong-Stable-Foliation-Theorem für normalerweise hyperbolische Mannigfaltigkeiten. Das Ergebnis ist streng bewiesen, falls die Hessian von $\lambda_1$ entlang $F$ ein Skalarmultiplikat der Identität ist oder falls die Vermutung gilt.
Superkritisches Regime ( $\eta > 2/\lambda_1|_F$ ):
Die Iterationen konvergieren exponentiell zu einem stabilen Period-2-Orbit entlang des Spanns des obersten Eigenvektorfeldes $\nu_1|_F$ . Die Amplitude dieser Oszillation skaliert als $\Theta(\sqrt{\eta\lambda_1|_F - 2})$ .

3. Strukturelle Ergebnisse für die Matrixfaktorisierung

Für die tiefe Matrixfaktorisierung liefert das Paper neuartige strukturelle Erkenntnisse:

Die Mannigfaltigkeit der flachen Minima $F$ ist ein Faserbündel über einem Produkt von Sphären.
Die Schärfe $\lambda_1$ ist Morse-Bott entlang $F$ .
Die Eigenwerte der Hessian von $\lambda_1$ , eingeschränkt auf das Normalbündel von $F$ , sind strikt positiv, wobei spezifische untere Schranken abgeleitet wurden (z. B. für $L=2$ ist die untere Schranke $4\sigma_1/(\sigma_1 - \sigma_{d_L})$ ).

4. Numerische Verifizierung

Die theoretischen Vorhersagen werden durch numerische Experimente an 3-schichtigen, $2 \times 2$ Matrixfaktorisierungsproblemen verifiziert. Die Experimente bestätigen:

Exponentielle Konvergenz im subkritischen Regime.
$t^{-1/2}$ -Konvergenz im kritischen Regime.
Exponentielle Konvergenz zu einem Period-2-Zyklus im superkritischen Regime.

Bedeutung und Ansprüche

Das Paper beansprucht, eine signifikante Lücke im theoretischen Verständnis der Optimierung im Deep Learning zu schließen:

Jenseits von Codimension 1: Es bewegt die Theorie des Large-Step-GD von dem unpraktikablen „Single-Datum“-Setting hin zu allgemeiner überparametrisierter Regression mit Vektor-Outputs.
Mannigfaltigkeiten von Minima: Es adresst die Realität, dass die Loss-Landschaften im Deep Learning oft Mannigfaltigkeiten von Minima enthalten, und zeigt, dass die „Edge of Stability“-Dynamik auch in diesen höherdimensionalen, kontinuierlichen Settings fortbesteht.
Technische Neuheit: Die Lösung der singulären PDE entlang einer Mannigfaltigkeit und die Korrektur des Beweises in [39] bezüglich der Kopplung der Koordinaten werden als eigenständige technische Beiträge zur Theorie dynamischer Systeme präsentiert.
Impliziter Bias: Die Ergebnisse formalisieren rigoros die Beobachtung, dass GD mit großen Schrittweiten implizit einen Riemannschen Gradientenabstieg auf der Schärfe entlang der Lösungsmannigfaltigkeit durchführt, was eine mechanistische Erklärung für den Bias hin zu flachen Minima liefert.

Die Autoren bleiben bescheiden hinsichtlich des kritischen Regimes und geben explizit an, dass der allgemeine Konvergenzbeweis auf einer Vermutung über parabolische Foliationen beruht, die außerhalb des aktuellen Fokus liegt, aber aufgrund von Analogien zu hyperbolischen Systemen als plausibel erachtet wird. Sie merken zudem an, dass ihre Ergebnisse lokal (nahe der Mannigfaltigkeit der flachen Minima) sind und die globale Phase des „Progressive Sharpening“ während des Trainings noch nicht erklären.