💻 computer science

Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics

Dieser Beitrag hinterfragt die Standard-Brownische-Bewegungs-Näherung des Stochastic Gradient Descent, indem er aus der diskreten Aktualisierungsregel eine diskrete Fokker-Planck-Gleichung herleitet und zeigt, dass sich die SGD-Dynamik in der Nähe kritischer Punkte in eingeschränkte und diffusive Regime zerlegt, wobei nahezu flache Richtungen ein unbeschränktes Varianzwachstum aufweisen, das proportional zur Lernrate ist.

Ursprüngliche Autoren: Igor Ignashin, Anna Radovskaya, Andrew Semenov, Egor Lopatin, Stanislav Potapov, Aleksandr Kovalenko, Andrey Veprikov, Aleksandr Shestakov, Andrey Leonidov, Aleksandr Beznosikov

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Igor Ignashin, Anna Radovskaya, Andrew Semenov, Egor Lopatin, Stanislav Potapov, Aleksandr Kovalenko, Andrey Veprikov, Aleksandr Shestakov, Andrey Leonidov, Aleksandr Beznosikov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Ein Wanderer in einer sich verändernden Landschaft

Stellen Sie sich vor, Sie sind ein Wanderer, der versucht, den tiefsten Punkt in einem weiten, nebligen Tal zu finden (dies repräsentiert das KI-Modell, das seinen „Verlust" oder seine Fehler minimieren möchte). Sie gehen bergab, basierend auf der Steigung, die Sie direkt vor sich sehen können. Dieser Prozess wird als Stochastischer Gradientenabstieg (SGD) bezeichnet.

Lange Zeit glaubten Wissenschaftler, dieser Wanderer sei wie eine betrunken Person, die in einem festen Park spaziert.

Die alte Sichtweise (Brownsche Bewegung): Sie glaubten, der Wanderer bewege sich auf einer statischen, unveränderlichen Karte (der durchschnittlichen Verlustlandschaft). Der einzige Grund, warum er strauchelte oder vom Kurs abkam, war „zufälliges Rauschen" (wie ein plötzlicher Windstoß oder ein betrunkenes Straucheln), das ihn herumwarf. In dieser Sichtweise ist der Pfad eine Mischung aus einem stetigen Gang bergab plus zufälligen, externen Zuckungen.

Dieses Papier sagt: Das ist falsch.

Die Autoren argumentieren, dass der Wanderer nicht in einem festen Park mit zufälligem Wind wandert. Stattdessen verändert sich der Boden selbst jedes Mal, wenn er einen Schritt macht.

Die neue Sichtweise (Fluktuierende Landschaft): Jedes Mal, wenn der Wanderer auf den Boden schaut, um zu entscheiden, wohin er treten soll, betrachtet er eine leicht andere Version der Karte. Warum? Weil der Wanderer nur eine winzige, zufällige Stichprobe des Geländes betrachtet (ein „Minibatch") und nicht die gesamte Karte.
Da sich die Karte mit jedem Schritt ändert, ist die Bewegung des Wanderers eigentlich deterministisch (folgt den Regeln der aktuellen Karte), aber die Karte selbst fluktuiert.

Der Fehler in der Mathematik: Das „Schrittgrößen"-Problem

Wissenschaftler haben ein mathematisches Werkzeug namens Langevin-Gleichung verwendet, um vorherzusagen, wie sich dieser Wanderer verhält. Dieses Werkzeug funktioniert hervorragend, wenn der Wanderer infinitesimal kleine Schritte macht (wie einen kontinuierlichen Fluss).

In der Realität machen KI-Modelle jedoch endliche Schritte (diskrete Sprünge).

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Treppe zu beschreiben.
- Die alte Mathematik (Langevin) behandelt die Treppe wie eine glatte Rampe. Sie geht davon aus, dass das „Rauschen" (die Zufälligkeit) auf eine spezifische Weise skaliert, die nur funktioniert, wenn die Schritte mikroskopisch klein sind.
- Die neue Mathematik (Diskrete Fokker-Planck) erkennt an, dass Sie tatsächlich auf distincte Stufen treten. Die Autoren zeigen, dass, wenn Sie echte, endliche Schritte machen, die Mathematik der „glatten Rampe" ein entscheidendes Puzzleteil vermisst. Sie ignoriert einen spezifischen Term, der wichtig wird, wenn die Schritte nicht winzig sind.

Aufgrund dieses fehlenden Teils macht die alte Mathematik qualitativ falsche Vorhersagen darüber, wo der Wanderer landen wird, insbesondere wenn die Lernrate (Schrittgröße) nicht winzig ist.

Die zwei Arten von Pfaden: Gebunden vs. Driftend

Das Papier analysiert, was passiert, wenn sich der Wanderer in der Nähe eines „kritischen Punkts" befindet (einer Stelle, an der der Boden flach ist oder eine bestimmte Form hat). Sie stellten fest, dass sich das Verhalten des Wanderers in zwei unterschiedliche Modi aufspaltet, abhängig von der Form des Bodens:

Die „steifen" Richtungen (Steile Hügel):
- Analogie: Stellen Sie sich vor, der Wanderer befindet sich in einer engen, steilen Schlucht.
- Verhalten: Wenn er versucht, zur Seite zu wandern, drücken ihn die steilen Wände zurück. Er springt herum, bleibt aber in einem kleinen, begrenzten Bereich. Sein Herumirren hat ein Limit; er driftet nicht für immer davon.
- Ergebnis des Papiers: In Richtungen, in denen die Verlustlandschaft „scharf" ist (hohe Krümmung), bleiben die Parameter des Modells mit einer stabilen Varianz gebunden.
Die „diffusiven" Richtungen (Flache Täler):
- Analogie: Stellen Sie sich vor, der Wanderer befindet sich auf einer weiten, flachen, nebligen Ebene.
- Verhalten: Es gibt keine Wände, die ihn aufhalten. Jedes Mal, wenn er einen Schritt macht, verschiebt sich der Boden leicht, und er driftet weiter weg. Er setzt sich nicht fest; er breitet sich im Laufe der Zeit immer weiter aus.
- Ergebnis des Papiers: In Richtungen, in denen die Landschaft „flach" ist (niedrige Krümmung), setzen sich die Parameter des Modells nicht in einem stabilen Muster fest. Stattdessen diffundieren sie (breiten sich aus) endlos, wie Tintentröpfchen in Wasser.

Warum das wichtig ist

Die Autoren testeten dies an echten KI-Modellen (wie denen, die zur Bilderkennung oder zum Textschreiben verwendet werden). Sie stellten fest, dass:

Die „steilen" Richtungen genau so verhielten, wie die neue Mathematik vorhersagte (gebunden).
Die „flachen" Richtungen genau so verhielten, wie die neue Mathematik vorhersagte (driftend/diffusiv).
Die alte „Brownsche Bewegung"-Mathematik das Verhalten der flachen Richtungen nicht korrekt vorhersagen konnte, insbesondere wenn die Schrittgröße größer war.

Zusammenfassung

Alte Idee: SGD ist ein Teilchen, das aufgrund von zufälligem Rauschen in einer festen Schüssel herumhüpft.
Neue Idee: SGD ist ein Teilchen, das auf einer Schüssel wandert, die sich jedes Mal neu formt, wenn sich das Teilchen bewegt.
Ergebnis: Da sich die Schüssel neu formt, zuckt das Teilchen nicht nur an Ort und Stelle. In flachen Bereichen driftet es für immer davon. In steilen Bereichen bleibt es stehen. Die alte Mathematik verpasste dies, weil sie annahm, die Schritte seien zu klein, um eine Rolle zu spielen, aber im realen KI-Training sind die Schritte groß genug, um einen Unterschied zu machen.

Das Papier kommt zu dem Schluss, dass wir, um wirklich zu verstehen, wie KI lernt, aufhören müssen, sie wie ein Teilchen in einem festen Feld zu behandeln, und anfangen müssen, sie als Reisenden auf einer sich verändernden Landschaft zu betrachten.

Technische Zusammenfassung: Warum SGD keine Brownsche Bewegung ist

Problemstellung

Der Stochastic Gradient Descent (SGD) ist der grundlegende Optimierungsalgorithmus für Deep Learning, doch sein theoretisches Verständnis bleibt unvollständig. Eine dominierende Forschungsrichtung modelliert SGD als Diskretisierung der Langevin-Dynamik und behandelt Minibatch-Rauschen als Brownsche Bewegung, die auf ein festes Potential (den durchschnittlichen Verlust) wirkt. Dieser Rahmen geht von einem kontinuierlichen Zeitlimit und einer spezifischen $\sqrt{\eta}$ -Rauschskalierung aus, um eine stationäre Gibbs-Verteilung abzuleiten.

Dieses Papier argumentiert jedoch, dass die Standard-Langevin-Näherung die diskreten SGD-Dynamiken bei endlichen Lernraten ( $\eta$ ) nicht getreu wiedergibt. Der Kernunterschied liegt in der Skalierung der Stochastizität: Beim tatsächlichen diskreten Update tritt das Rauschen in der Ordnung $\eta$ auf (über den Minibatch-Verlust), wohingegen die Langevin-Formulierung eine $\sqrt{\eta}$ -Skalierung auferlegt, um die Diffusion in kontinuierlicher Zeit zu erhalten. Folglich lässt die Langevin-Näherung Terme der Ordnung $\eta^2$ außer Acht, die in den exakten diskreten Dynamiken vorhanden sind, was zu qualitativ falschen Vorhersagen bezüglich der Existenz stationärer Verteilungen und des Verhaltens der Parametervarianz in der Nähe kritischer Punkte führt.

Methodik

Die Autoren schlagen ein neues Rahmenwerk vor, das SGD nicht als Brownsche Bewegung in einem festen Potential behandelt, sondern als deterministische Dynamik in einer fluktuierenden Verlustlandschaft. Die Zufälligkeit entsteht intrinsisch durch das Sampling von Minibatches, was die Zielfunktion in jedem Schritt verändert.

Die Methodik läuft wie folgt ab:

Exakte Master-Gleichung: Ausgehend von der exakten diskreten SGD-Update-Regel $w_{n+1} = w_n - \eta \nabla L_n(w_n)$ leiten die Autoren eine exakte Master-Gleichung für die Evolution der Parameterverteilung $p_n(w)$ ab.
Herleitung der diskreten Fokker-Planck-Gleichung: Durch Entwicklung der Master-Gleichung nach Potenzen der Lernrate $\eta$ und Abbruch bis zur zweiten Ordnung leiten sie eine diskrete Fokker-Planck-Gleichung her. Diese Gleichung erfasst die Evolution der Parametersdichte, ohne eine Approximation in kontinuierlicher Zeit heranzuziehen.
Lokale Analyse: Das Rahmenwerk wird auf die Umgebung eines kritischen Punkts des durchschnittlichen Verlusts angewendet. Unter Verwendung einer lokalen quadratischen Approximation der Verlustlandschaft analysieren die Autoren die Dynamik des Mittelwerts und der Kovarianz der Parameterverteilung in der Eigenbasis der mittleren Hesse-Matrix.
Annahmen: Um handhabbare geschlossene Ausdrücke zu erhalten, nimmt die Analyse Folgendes an:
- Unabhängiges Minibatch-Sampling mit Zurücklegen.
- Approximative Diagonalität der Hesse-Fluktuationen in der Eigenbasis der mittleren Hesse-Matrix.
- Eine empirische Beziehung, bei der die Kovarianz des Gradientenrauschens proportional zur Struktur der Hesse-Matrix ist ( $E[G_i G_j] \approx \gamma E[H_{ij}]$ ).

Hauptbeiträge

1. Diskretes Fokker-Planck-Rahmenwerk

Das Papier leitet eine Entwicklung der Parameterdichteevolution zweiter Ordnung (Gleichung 4) her, die sich von der standardmäßigen Langevin-basierten Fokker-Planck-Gleichung unterscheidet. Spezifisch enthält die diskrete Entwicklung einen zusätzlichen Term proportional zu $(\nabla \bar{L})^2$ in der Ordnung $\eta^2$ . Die Standard-Langevin-Formulierung lässt diesen Term außer Acht, da sie eine $\sqrt{\eta}$ -Rauschskalierung annimmt, die mit dem diskreten Update bei endlichem $\eta$ inkonsistent ist.

2. Diskrepanz zur Langevin-Dynamik

Die Autoren zeigen, dass diese Auslassung nicht lediglich eine quantitative Korrektur darstellt, sondern zu qualitativen Unterschieden führen kann. In einem eindimensionalen Toy-Beispiel sagt die Standard-Langevin-Näherung einen stationären Zustand mit endlicher Varianz unter Bedingungen voraus, unter denen die exakten diskreten SGD-Dynamiken ein exponentielles Wachstum der Varianz (Instabilität) vorhersagen. Diese Diskrepanz entsteht, weil die Langevin-Trunkierung Terme derselben formalen Ordnung verwirft wie den beibehaltenen Diffusionsterm.

3. Vereinheitlichtes Bild der SGD-Dynamik

Die Analyse zeigt, dass sich die SGD-Dynamik basierend auf den Eigenwerten ( $\lambda_i$ ) der mittleren Hesse-Matrix in verschiedene Regime zerlegen lässt:

Eingeschränkte (Scharfe) Richtungen: Für Richtungen mit hinreichend großer positiver Krümmung konvergiert die Parametervarianz zu einem endlichen stationären Limit. Die limitierende Varianz ist ungefähr proportional zur Lernrate $\eta$ und unabhängig vom Krümmungsbetrag (konsistent mit der inversen Varianz-Flachheits-Relation).
Diffusive (Flache) Richtungen: Für nahezu flache Richtungen ( $\lambda_i \approx 0$ ) konvergiert die Varianz innerhalb des beobachteten Zeithorizonts nicht zu einer stationären Verteilung. Stattdessen wächst sie linear mit der Zeit ( $\propto n$ ), was einer effektiven Diffusion entlang der Täler der Verlustlandschaft entspricht.

4. Empirische Validierung

Die theoretischen Vorhersagen werden an neuronalen Netzwerkmodellen in der Computer Vision (MLP auf MNIST) und der Verarbeitung natürlicher Sprache (NanoGPT auf Shakespeare und WikiText-2) validiert.

Experimente im kleinen Maßstab: Unter Verwendung exakter dichter Hesse-Matrizen bestätigen die Autoren, dass die Parameterkovarianz in der Eigenbasis der mittleren Hesse-Matrix annähernd diagonal ist und dass die Varianzprofile den theoretischen Vorhersagen entsprechen, wobei eine klare Trennung zwischen sättigenden und nicht sättigenden Richtungen gezeigt wird.
Experimente im großen Maßstab: Bei einem 6,6-Millionen-Parameter-NanoGPT-Modell stimmen unter Verwendung stochastischer Lanczos-Verfahren zur Schätzung von Hesse-Spektren die empirischen Sättigungsniveaus der Varianz mit der diskreten Vorhersage (Gleichung 19) überein und weichen bei steigender Lernrate signifikant von der Standard-Langevin-Vorhersage ab.

Ergebnisse und Bedeutung

Das Papier behauptet, dass SGD genauer als deterministische Dynamik in einer fluktuierenden Verlustlandschaft verstanden wird als als Brownsche Bewegung in einem festen Potential. Diese Perspektive löst Diskrepanzen zwischen Theorie und Praxis auf, die bei endlichen Lernraten beobachtet werden.

Die Bedeutung dieser Arbeit liegt in:

Korrektur der theoretischen Grundlage: Sie hebt hervor, dass die Standard-Langevin-Näherung eine schlechte Approximation für diskreten SGD bei praktischen Lernraten ist und kritische $\eta^2$ -Terme vermisst, die Stabilität und Stationarität bestimmen.
Erklärung dynamischer Regime: Sie liefert eine vereinheitlichte Erklärung dafür, warum SGD sowohl eingeschränktes Verhalten in scharfen Richtungen als auch persistente Diffusion in flachen Richtungen zeigt, ein Phänomen, das oft empirisch beobachtet, aber von Gleichgewichtsmodellen der statistischen Physik nicht vollständig erfasst wird.
Effekte endlicher Schritte: Sie betont die Bedeutung diskreter Zeiteffekte in der Optimierungsdynamik und legt nahe, dass das „Rauschen" in SGD eine intrinsische Konsequenz der Struktur des Algorithmus und der Geometrie der Verlustlandschaft ist und nicht ein externer stochastischer Kraftterm.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von lokalen quadratischen Approximationen, Annahmen über die Unabhängigkeit der Hesse-Fluktuationen und die Beschränkung auf Sampling mit Zurücklegen. Die empirischen Beweise über verschiedene Architekturen und Aufgaben hinweg deuten jedoch darauf hin, dass die abgeleiteten dynamischen Regime eine allgemeine Eigenschaft hochdimensionaler Optimierungslandschaften sind.