📊 statistics

A Stochastic--Geometric Theory of Scaling Laws in Grokking

Diese Arbeit schlägt eine stochastisch-geometrische Theorie vor, die Grokking als einen durch Optimierung induzierten Übergang von einer Memorisierungsschale zu einem Generalisierungskern innerhalb des Parameterraums von Adam erklärt und dadurch Skalierungsgesetze für die Verzögerungszeit basierend auf Lernrate, Batch-Größe und Regularisierung herleitet und validiert.

Ursprüngliche Autoren: Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Videospiel-Charakter, der versucht, ein schwieriges Rätsel zu lösen. Zuerst rennt der Charakter hektisch umher und lernt jeden einzelnen Schritt des Pfades, den er gerade genommen hat, auswendig. Er erreicht sofort eine Punktzahl von Null, aber er hat die Regeln noch nicht wirklich verstanden; er hat nur die spezifische Karte auswendig gelernt. Das nennt man Auswendiglernen (Memorization).

Dann geschieht etwas Magisches. Nach einer langen, langweiligen Phase, in der sich scheinbar nichts ändert, hält der Charakter plötzlich inne, blickt auf das Spielfeld und versteht es. Er beginnt, neue, bisher ungesehene Rätsel perfekt zu lösen. Dieser plötzliche „Aha!“-Moment wird von Forschern als Grokking bezeichnet.

Lange Zeit wusste niemand, warum diese Verzögerung auftrat. War es Magie? Ein Glitch? In dieser Arbeit schlagen die Autoren einen neuen Weg vor, um zu visualisieren, was im Inneren des „Gehirns“ des Computers (des neuronalen Netzes) vorgeht, indem sie eine Karte aus Formen und Abständen verwenden.

Die Zwiebel der Lösungen

Die Autoren schlagen vor, dass der Raum, in dem das „Gehirn“ des Computers existieren kann, wie eine Reihe von ineinander geschachtelten Kugeln aussieht, ähnlich einer Zwiebel oder einer Zielscheibe.

Die äußere Schale (Initialisierung): Wenn der Computer startet, sind seine Einstellungen auf einer dünnen, äußeren Schale verteilt. Es ist, als würde man Dartpfeile werfen, die alle am äußersten Rand eines riesigen Ballons landen.
Die mittlere Schale (Auswendiglernen): Während der Computer lernt, gleitet er schnell in eine mittlere Schicht ab. Hier hat er die Trainingsdaten perfekt auswendig gelernt. Es ist wie der Charakter in unserem Spiel, der die Karte auswendig gelernt hat, aber die Regeln nicht versteht. Der Computer bleibt hier für eine lange Zeit stecken.
Der Kern (Generalisierung): Tief im Zentrum der Zwiebel liegt der „Generalisierungs-Kern“. Dies ist der ideale Punkt, an dem der Computer tatsächlich die Regeln versteht und in der Lage ist, neue Probleme zu lösen.

Das „Grokking“-Phänomen ist schlichtweg die Reise von der mittleren Schale durch den leeren Raum bis hin zum Kern. Das Geheimnis war: Warum dauert es so lange, dorthin zu gelangen?

Der betrunkene Spaziergang und der magnetische Zug

Die Autoren erklären, dass der Lernprozess des Computers (unter Verwendung eines Optimierers namens Adam) eine Mischung aus zwei Kräften ist:

Der betrunkene Spaziergang (Diffusion): Da der Computer aus kleinen Datenpaketen (Batches) lernt, ist sein Pfad etwas wackelig, wie ein betrunkener Mensch, der versucht, in einer geraden Linie zu gehen. Dieses Wackeln ist zufällig.
Der magnetische Zug (Drift): Es gibt auch eine stetige Kraft, die den Computer in Richtung Zentrum zieht, insbesondere wegen einer Regel namens $\ell_2$ -Regularisierung (die wie ein sanfter Magnet wirkt, der versucht, die Einstellungen klein zu halten).

Die Autoren legen nahe, dass der Computer in der mittleren Schale stecken bleibt, weil der „betrunkene Spaziergang“ zu schwach ist, um ihn aus dieser Schicht herauszudrücken, und der „magnetische Zug“ nicht stark genug ist, um ihn sofort direkt in das Zentrum zu ziehen. Er muss eine Zeit lang in der mittleren Schale umherwandern, bis er durch Zufall durch die zufälligen Wackler weit genug gestoßen wird, um in den Kern zu fallen.

Die Regeln des Spiels (Skalierungsgesetze)

Die Autoren haben nicht nur geraten; sie haben Mathematik verwendet (speziell die Stoppzeit-Theorie und stochastische Differentialgleichungen), um genau vorherzusagen, wie lange diese Verzögerung dauern sollte. Sie fanden drei Hauptregler, die die Geschwindigkeit dieser Reise steuern:

Lernrate ( $\eta$ ): Dies ist die Größe des Schrittes, den der Computer macht. Die Arbeit zeigt, dass es ewig dauert, die mittlere Schale zu verlassen, wenn man die Schritte zu klein macht. Wenn man sie zu groß macht, könnte der Computer das Ziel überschießen. Es gibt eine „Goldlöckchen-Zone“ (genau richtig).
Batch-Größe ( $b$ ): Dies ist die Anzahl der Beispiele, die der Computer betrachtet, bevor er einen Schritt macht. Die Arbeit legt nahe, dass größere Batches den „betrunkenen Spaziergang“ weniger wackelig machen, was den Ausbruch aus der mittleren Schale tatsächlich verlangsamt.
Regularisierung ( $\lambda$ ): Dies ist die Stärke des „magnetischen Zuges“. Die Arbeit stellt fest, dass ein stärkerer Zug dem Computer hilft, die mittlere Schale schneller zu verlassen, aber nur bis zu einem gewissen Punkt.

Sie haben spezifische Formeln (Skalierungsgesetze) hergeleitet, wie diese Regler die Zeit beeinflussen, die für die Reise benötigt wird. Zum Beispiel ist die Zeit, die es dauert, vom Auswendiglernen zur Generalisierung zu springen, etwa proportional zu $1/(\eta \lambda)$ . Das bedeutet, wenn man die Lernrate oder die Regularisierung verdoppelt, wird die Verzögerungszeit halbiert.

Was sie ausgeschlossen haben

Die Arbeit ist sehr sorgfältig darin zu betonen, was die Autoren nicht behaupten. Sie sagen nicht, dass Grokking passiert, weil ein Netzwerk plötzlich „einen Schaltkreis findet“ oder weil es eine mysteriöse, biologisch anmutende Erweckung erlebt. Stattdessen argumentieren sie, dass es rein ein Ergebnis der Geometrie des Lösungsraums und der Zufälligkeit des Optimierungsprozesses ist. Sie schließen auch die Idee aus, dass dies nur ein zufälliger Glücksfall ist; ihre Mathematik legt nahe, dass es ein vorhersagbares, strukturelles Merkmal dafür ist, wie Adam diese spezifischen Arten von Problemen optimiert.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihre Theorie, aber sie unterscheiden sorgfältig zwischen dem, was sie bewiesen und was sie gemessen haben.

Die Mathematik: Sie haben diese Skalierungsgesetze unter Verwendung strenger mathematischer Beweise basierend auf kontinuierlichen Zeitmodellen des Lernprozesses hergeleitet. Sie haben ein symbolisches Algebra-System (ein Computerprogramm für Mathematik) verwendet, um ihre Formeln zu überprüfen, was ihnen eine hohe Zuversicht in die Gleichungen gibt.
Der Beweis: Sie haben ihre Ideen an zwei spezifischen Arten von Rätseln getestet: gruppen-theoretischem Lernen (speziell auf der symmetrischen Gruppe $S_5$ ) und modularer Arithmetik (speziell auf den ganzen Zahlen modulo 127, geschrieben als $Z_{127}$ ).
Die Ergebnisse: In diesen Experimenten entsprach das Verhalten des Computers genau ihren Vorhersagen. Beispielsweise änderte sich die Zeit, die zum Grokking benötigt wurde, exakt so, wie ihre Formeln es vorhersagten, wenn sie die Lernrate oder die Batch-Größe änderten. Sie beobachteten auch die „U-förmige“ Kurve für den Radius des Auswendiglernens, die laut ihrer Theorie auftreten müsste.

Sie merken jedoch an, dass ihre Mathematik auf bestimmten Bedingungen beruht, wie einer kleinen Lernrate und einer großen Batch-Größe. Sie behaupten nicht, dass dies jedes Vorkommen von Grokking in jedem möglichen neuronalen Netz erklärt, sondern dass es das Phänomen in diesen spezifischen, strukturierten Aufgaben erklärt, in denen die „Schalen-Kern-Geometrie“ existiert.

Das Fazendatum

Grokking ist keine Magie; es ist eine geometrische Reise. Der Computer beginnt außen, bleibt in einer „Auswendiglern-Schale“ stecken und muss umherwandern, bis das zufällige Rauschen seines Lernprozesses ihn in den „Generalisierungs-Kern“ drückt. Wie lange diese Reise dauert, hängt davon ab, wie schnell er schreitet (Lernrate), wie stetig seine Schritte sind (Batch-Größe) und wie stark er zum Zentrum gezogen wird (Regularisierung). Die Autoren haben diese Regeln mit Mathematik kartiert und mit Experimenten bestätigt und uns so ein klareres Bild davon vermittelt, warum diese neuronalen Netze manchmal scheinbar lange Zeit schlafen, bevor sie plötzlich aufwachen.

Problemstellung
Verzögerte Generalisierung, auch „Grokking“ genannt, ist ein Phänomen, das bei neuronalen Netzen beobachtet wird, die auf rauschfreien, hochstrukturierten Aufgaben (z. B. modularer Arithmetik, gruppentheoretischem Lernen) trainiert werden. In diesen Settings erreichen Modelle schnell einen nahezu null werdenden Trainingsverlust (Memorization/Auswendiglernen), scheitern aber über einen längeren Zeitraum an der Generalisierung, bevor sie abrupt in eine starke Testleistung übergehen. Trotz intensiver empirischer Studien bleiben der zugrunde liegende Mechanismus, der diese Verzögerung antreibt, sowie die spezifische Rolle von Hyperparametern (Lernrate, Batch-Größe, Regularisierung), unzureichend verstanden.

Methodik
Die Autoren schlagen ein stochastisch-geometrisches Framework vor, um Grokking zu charakterisieren, basierend auf der Optimierungsdynamik des Adam-Optimierers mit $\ell_2$ -Gewichtsschrumpfungs-Regularisierung.

Topologische Charakterisierung: Das Paper postuliert, dass die Optimierungsdynamik von Adam eine „Shell–Core“-Topologie (Schale–Kern) im Parameterraum induziert.
- Initialisierung: Lösungen konzentrieren sich auf eine dünne äußere hypersphärische Schale ( $\Theta$ ).
- Memorization: Innerhalb von $\Theta$ liegt eine Schale von Memorization-Lösungen ( $M \setminus G$ ), bei denen das Modell die Trainingsdaten anpasst, aber die Generalisierung verfehlt.
- Generalization: Im Zentrum liegt ein kompakter Kern von Generalization-Lösungen ( $G$ ).
- Der Übergang von Memorization zu Generalization wird als stochastisches Entkommen aus der äußeren Schale zum inneren Kern modelliert.
Formulierung der stochastischen Differentialgleichung (SDE):
- Die Autoren leiten ein Kontinuums-Zeit-Limit für die Adam-Dynamik her und formulieren eine Joint-State-SDE für die Parameter ( $\theta$ ) sowie die ersten und zweiten Momentenschätzungen ( $m, v$ ). Diese SDE berücksichtigt die Stochastizität der Mini-Batch-Gradienten sowie die Bias-Korrektur-Mechanismen von Adam.
- Spätphasen-Reduktion: Empirische Beobachtungen legen nahe, dass in den späten Phasen des Trainings (nach der Memorization) die Momentenschätzungen gegen ihre Mean-Field-Limits konvergieren und das Gradientenrauschen klein und isotrop wird. Diese Eigenschaften ermöglichen es, die komplexe Joint-State-SDE zu einer handhabbaren radialen SDE zu reduzieren, welche die Entwicklung der quadrierten Parameternorm ( $r_t^2 = \|\theta_t\|^2$ ) steuert.
Stoppzeit-Analyse:
- Die Übergangszeit von der Memorization-Mannigfaltigkeit ( $\partial M$ ) zur Generalization-Mannigfaltigkeit ( $\partial G$ ) wird mittels der Stoppzeit-Theorie für stochastische Prozesse analysiert.
- Die Autoren leiten Skalierungsgesetze für die Radien dieser Mannigfaltigkeiten und die erwartete Übergangszeit her, indem sie Dirichlet-Randwertprobleme und Mean-First-Passage-Time-Gleichungen lösen, die aus den reduzierten SDEs abgeleitet wurden.

Wesentliche Beiträge

Optimierungsinduzierte Shell–Core-Topologie: Das Paper führt ein theoretisches Prior ein, bei dem die Initialisierung auf einer Schale konzentriert, welche die Memorization-Lösungen umschließt, welche wiederum einen Generalization-Kern umschließen. Diese Konfiguration wird spezifisch durch die Adam-Dynamik mit Gewichtsschrumpfung induziert.
Stochastisch-geometrische Charakterisierung: Grokking wird formal als ein stochastisches Übergazitätsproblem charakterisiert. Die Geometrie des Lösungsraums wird durch die erste Stoppzeit definiert, bei der stochastische Gradientenflüsse aus der Memorization-Mannigfaltigkeit entweichen und die Generalization-Mannigfaltigkeit erreichen.
Ableitung von Skalierungsgesetzen: Die Autoren leiten geschlossene asymptotische Skalierungsgesetze für folgende Größen ab:
- Memorization-Radius ( $\rho_M$ ): Abhängig von der Lernrate ( $\eta$ ), der Batch-Größe ( $b$ ) und der Regularisierung ( $\lambda$ ). Die Theorie sagt eine U-förmige Abhängigkeit vom Verhältnis $\eta/b$ voraus.
- Generalization-Radius ( $\rho_G$ ): Abhängig von $\eta$ , $\lambda$ und $b$ , wobei er sich in einen landschaftsabhängigen Term und eine Fluktuation-Korrektur zerlegt.
- Lösungs-Übergangszeit ( $\tau_{M \to G}$ ): Die erwartete Anzahl der Iterationen, um von der Memorization- zur der Generalization-Mannigfaltigkeit zu übergehen, skaliert invers proportional zum Regularisierungskoeffizienten ( $\lambda$ ) und der Lernrate ( $\eta$ ), spezifisch $\tau \propto 1/(\eta \lambda)$ .

Ergebnisse
Die theoretischen Vorhersagen wurden durch Experimente zu zwei strukturierten Lernaufgaben validiert: gruppentheoretisches Lernen auf der symmetrischen Gruppe $S_5$ und modulare Arithmetik auf $\mathbb{Z}_{127}$ .

Empirische Validierung: Experimente bestätigten die vorhergesagten Skalierungsgesetze für die Radien der Mannigfaltigkeiten und die Übergangszeiten über verschiedene Hyperparameter hinweg.
U-förmige Kurve: Die Daten stützten die theoretische Vorhersage, dass der Memorization-Radius $\rho_M$ eine U-förmige Kurve in Bezug auf $\eta/b$ aufweist.
Rekuperation der Literatur: Die abgeleiteten Skalierungsgesetze reproduzierten bekannte empirische Ergebnisse aus der bisherigen Literatur, wie etwa die inverse Abhängigkeit der Grokking-Verzögerung von der Regularisierung und die „Goldilocks-Zone“ für Gewichtsnormen.
Symbolische Verifizierung: Alle geschlossenen und asymptotischen Ergebnisse wurden mittels eines symbolischen Algebra-Systems (Julia) maschinell überprüft, um die technische Korrektheit sicherzustellen.

Bedeutung
Das Paper beansprucht, einen theoretischen Rahmen zu liefern, der die Geometrie der Lösungs-Mannigfaltigkeiten mit der stochastischen Dynamik des Adam-Optimierers verbindet. Durch die Charakterisierung von Grokking mittels Stoppzeit-Analyse von SDEs bietet die Arbeit eine mechanistische Erklärung für das Phänomen der verzögerten Generalisierung. Sie klärt, wie spezifische Hyperparameter die stochastische Diffusion und den deterministischen Drift modulieren, um die Zeit zu beeinflussen, die ein Modell benötigt, um von der Memorization zur Generalization zu übergehen. Die Autoren merken an, dass ihre Ergebnisse auf den Bedingungen beruhen, die für das Adam-SDE-Limit erforderlich sind (hinreichend kleine Lernrate und große Batch-Größe), und nicht direkt auf das Regime mit großem $\eta/b$ anwendbar sind.