📊 statistics

To Grok Grokking: Provable Grokking in Ridge Regression

Diese Arbeit liefert die ersten strengen quantitativen Schranken für die „Grokking-Zeit“, indem sie beweist, dass überparametrisierte lineare Regressionsmodelle, die mit Gradientenabstieg und Weight Decay trainiert werden, unweigerlich von Überanpassung zu perfekter Generalisierung übergehen, was zeigt, dass dieses Phänomen eine kontrollierbare Folge der Trainingsbedingungen ist und kein inhärentes Versagen des Deep Learning darstellt.

Ursprüngliche Autoren: Mingyue Xu, Gal Vardi, Itay Safran

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mingyue Xu, Gal Vardi, Itay Safran

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Schüler bei, Matheaufgaben zu lösen. Sie geben ihm eine bestimmte Gruppe von Übungsaufgaben (die Trainingsdaten) und ein Regelwerk (den Lernalgorithmus).

Normalerweise erwarten wir, dass ein Schüler besser darin wird, neue Aufgaben zu lösen (Generalisierung), während er übt. Aber manchmal passiert etwas Merkwürdiges. Der Schüler lernt die Übungsaufgaben perfekt auswendig, erreicht eine Punktzahl von 100 % und dann... passiert gar nichts. Er behält diese 100 % auf dem Übungsblatt bei, aber wenn man ihm einen neuen Test gibt, versagt er kläglich. Er bleibt lange Zeit in diesem Zustand des „auswendig gelernten, aber ahnungslosen“ Zustands gefangen.

Dann, plötzlich, nach dem, was wie endlose Stagnation aussieht, hat der Schüler einen „Aha-Moment“. Er hört auf, nur auswendig zu lernen, und beginnt tatsächlich, die zugrunde liegende Logik zu verstehen. Plötzlich besteht er auch den neuen Test.

Dieses Phänomen nennt man „Grokking“. Es ist, als hätte der Schüler während der Lektion geschlafen, die Antworten stumpf auswendig gelernt und wäre erst Jahre später aufgewacht, um das Konzept endlich zu verstehen.

Die große Entdeckung des Papers

Lange Zeit glaubten Wissenschaftler, dass dieses „Grokking“ nur in superkomplexen, mysteriösen KI-Systemen (wie tiefen neuronalen Netzen) vorkommt. Sie dachten, es sei ein seltsamer Fehler moderner Technologie.

Dieses Paper sagt jedoch: „Moment mal. Man braucht keinen Supercomputer, damit das passiert.“

Die Autoren haben bewiesen, dass Grokking selbst in der einfachsten, klassischsten Matheaufgabe, die man sich vorstellen kann, auftreten kann: der Ridge-Regression. Betrachten Sie dies als eine sehr einfache, lineare Methode, um eine Linie durch eine Punktwolke zu ziehen. Es ist das „Hello World“ des maschinellen Lernens.

Sie zeigten, dass selbst mit diesem einfachen Werkzeug, wenn man die Einstellungen genau richtig wählt, man das Modell dazu zwingen kann:

Die Daten schnell auswendig zu lernen (Overfitting).
Lange zu stolpern, wobei es daran scheitert, neue Daten zu verstehen (Die „Grokking-Zeit“).
Plötzlich zu verstehen und perfekt zu generalisieren.

Das Geheimrezept: Der „Weight Decay“-Regler

Das Paper identifiziert den Hauptverantwortlichen für diese Verzögerung als eine Einstellung namens Weight Decay (Gewichtszerfall).

Stellen Sie sich vor, Sie fahren ein Auto (das Modell) auf ein Ziel zu (die richtige Antwort).

Die Trainingsdaten sind eine Karte einer bestimmten Route, die Sie schon einmal gefahren sind.
Weight Decay ist wie eine sanfte Hand am Lenkrad, die ständig versucht, das Auto zurück zur Mitte der Straße zu drücken, um zu verhindern, dass es zu weit vom Kurs abkommt.

Hier ist die Analogie für das, was das Paper herausgefunden hat:

Die schnelle Spur (Trainingsfehler): Wenn das Auto auf der vertrauten Straße (den Trainingsdaten) ist, rast es sehr schnell vorwärts. Selbst mit der sanften Hand am Lenkrad (geringem Weight Decay) passt das Auto perfekt zur Straße. Der Fahrer denkt: „Ich mache das großartig!“
Die feststeckende Phase (Die Grokking-Zeit): Aber wenn der Fahrer versucht, die vertraute Straße zu verlassen und auf einer neuen Straße zu fahren (Generalisierung), bleibt das Auto stecken. Die „Hand am Lenkrad“ (Weight Decay) ist zu schwach, um das Auto aus den tiefen Fahrrinnen der alten Straße herauszuziehen. Das Auto bewegt sich technisch gesehen, aber es dreht sich nur in den Schlammlöchern des alten Pfades. Es dauert eine lange Zeit, bis das Auto langsam aus diesen Fahrrinnen herausgleitet.
Der Durchbruch: Schließlich erledigt die sanfte Hand (Weight Decay) ihre Arbeit. Sie zieht das Auto langsam aus den tiefen Fahrrinnen heraus und zurück in die Mitte der Straße. Sobin das Auto zentriert ist, kann es schließlich auf jeder neuen Straße reibungslos fahren.

Was das Paper beweist

Die Autoren haben dies nicht nur beobachtet; sie haben ein mathematisches Rezept geschrieben, um genau vorherzusagen, wie lange das Auto im Schlamm stecken wird.

Je kleiner der Weight Decay ist: desto länger bleibt das Auto stecken. Wenn Sie die „Hand am Lenkrad“ fast ganz ausschalten, könnte das Auto eine unglaublich lange Zeit in den Fahrrinnen bleiben, bevor es sich endlich generalisiert.
Je mehr Daten: Wenn Sie eine riesige Karte haben (viele Trainingsdaten), bleibt das Auto schneller stecken, weil die Fahrrinnen tiefer sind.
Je mehr Dimensionen: Wenn die Straße sehr breit und komplex ist, braucht das Auto länger, um die Mitte zu finden.

Warum das wichtig ist

Das Paper argumentiert, dass Grokking kein magisches Versagen von „Deep Learning“ oder ein Zeichen dafür ist, dass KI kaputt ist. Es ist kein Bug; es ist ein Feature dessen, wie bestimmte Trainingsbedingungen funktionieren.

Es ist so, als würde man sagen: „Wenn man einen Schüler lehrt, Antworten auswendig zu lernen, ohne ihn denken zu lassen, wird er es schließlich verstehen, aber es wird eine lange Zeit dauern.“ Das Paper zeigt, dass man durch die Anpassung des „Lehrstils“ (die Hyperparameter wie Weight Decay) genau kontrollieren kann, wie lange diese Verzögerung dauert. Man kann den Schüler sofort verstehen lassen oder ihn jahrelang warten lassen – und das alles mit derselben einfachen Mathematik.

Kurz gesagt: Das Paper beweist, dass dieses seltsame Verhalten des „zuerst auswendig lernen, dann erst verstehen“ eine fundamentale Eigenschaft von Lernalgorithmen ist und kein Mysterium komplexer KI. Es passiert selbst in den einfachsten Matheklassen, und wir können nun genau berechnen, wie lange die Verzögerung des „Verstehens“ andauern wird.

Technisches Resümee: To Grok Grokking: Provable Grokking in Ridge Regression

Problemstellung

Die Arbeit untersucht das Phänomen des Grokking, definiert als der Einbruch der Generalisierung lange nachdem ein Modell eine perfekte Trainingsleistung (Overfitting) erreicht hat. Während dies zuvor primär in komplexen, nicht-linearen neuronalen Netzen und algorithmischen Datensätzen beobachtet wurde, zielen die Autoren darauf ab, rigorose, End-to-End-theoretische Garantien für dieses Phänomen in einem klassischen, linearen Setting zu etablieren. Speziell adressiert die Arbeit die Lücke in der bestehenden Literatur, in der vorangegangene Arbeiten entweder formale Beweise für die „Verzögerung“ zwischen Overfitting und Generalisierung vermissen lassen oder sich auf spezifische, nicht generalisierbare Problemstrukturen (z. B. modulare Addition) stützen. Die Kernfrage ist, ob Grokking in der überparametrisierten Ridge-Regression mittels Gradientenabstieg (GD) mit Weight Decay provabel nachgewiesen werden kann und falls ja, wie Hyperparameter die „Grokking-Zeit“ quantitativ steuern.

Methodik

Die Autoren formulieren das Problem innerhalb eines Teacher-Student-Frameworks:

Setting: Überparametrierte lineare Regression, bei der ein Student-Modell $N(x; \theta) = \langle \theta, \phi(x) \rangle$ eine realisierbare Teacher-Funktion $N^*(x) = \langle \theta^*, \phi(x) \rangle$ lernt.
Optimierung: Der Student wird mittels Gradientenabstieg (GD) mit einer festen Schrittweite $\eta$ und einem $\ell_2$ -Regularisierungsterm (Weight Decay) $\lambda$ trainiert. Das Ziel ist der regularisierte mittlere quadratische Fehler:
$L_n(\theta; \lambda) = \frac{1}{2n}\sum_{i=1}^n (N(x_i; \theta) - N^*(x_i))^2 + \frac{\lambda}{2}\|\theta\|_2^2$
Analyse-Strategie: Die Autoren zerlegen den Parametervektor $\theta$ $θ$ in zwei orthogonale Komponenten relativ zum Datenraum:
1. $\theta_{\parallel}$ : Die Komponente im Zeilenraum der Feature-Matrix $\Phi$ (daten-spannender Unterraum).
2. $\theta_{\perp}$ : Die Komponente im Nullraum von $\Phi$ (komplementärer Unterraum).
Theoretischer Ansatz: Der Beweis analysiert die Konvergenzraten des Trainingsfehlers (empirischer Fehler) und des Generalisierungsfehlers (Populationsfehler) separat. Der Kernmechanismus beruht auf dem Nachweis, dass $\theta_{\parallel}$ schnell konvergiert, um die Trainingsdaten anzupassen, während $\theta_{\perp}$ aufgrund von Weight Decay langsam abnimmt, was zu einer langanhaltenden Phase schlechter Generalisierung führt.

Zentrale Beiträge

Erstes End-to-End beweisbares Grokking: Die Arbeit liefert den ersten rigorosen quantitativen Nachweis für die drei distinkten Stadien des Grokkings in einem linearen Setting:
- (i) Schnelles Overfitting der Trainingsdaten.
- (ii) Eine anhaltende Verzögerung, in der der Generalisierungsfehler hoch bleibt, obwohl der Trainingsfehler null ist.
- (iii) Schließliche Konvergenz gegen ein Modell mit beliebig kleinem Generalisierungsfehler.
Quantitative Schranken für die Grokking-Zeit: Die Autoren leiten explizite untere Schranken für die „Grokking-Zeit“ ( $t_2 - t_1$ $t_{2} - t_{1}$ ) her, wobei $t_1$ $t_{1}$ die Zeit zum Overfitting und $t_2$ $t_{2}$ die Zeit zur Generalisierung ist. Diese Schranken sind in Abhängigkeit von den Hyperparametern des Modells ausgedrückt:
- Weight Decay ( $\lambda$ ): Die Grokking-Zeit skaliert invers mit $\lambda$ ( $t_2 \propto 1/\lambda$ ). Ein kleineres $\lambda$ verzögert die Generalisierung signifikant.
- Initialisierungsskala ( $\nu^2$ ): Eine Erhöhung der Initialisierungsskala verstärkt das Grokking logarithmisch ( $t_1, t_2 \propto \ln(\nu^2)$ ).
- Überparametrisierung: Es wird gezeigt, dass das Phänomen ein hochdimensionales Setting ( $m \gg n$ ) erfordert.
Hyperparameter-Kontrolle: Die Arbeit etabliert hinreichende Bedingungen für Hyperparameter (Stichprobengröße $n$ , Feature-Dimension $m$ , Weight Decay $\lambda$ und Initialisierungsskala $\nu^2$ ), um Grokking zu induzieren oder zu eliminieren.
Empirische Validierung an nicht-linearen Modellen: Obwohl die Theorie für die lineare Regression abgeleitet wurde, demonstrieren die Autoren empirisch, dass die quantitativen Abhängigkeiten von Hyperparametern (z. B. der Effekt von $\lambda$ auf die Verzögerung) qualitativ mit dem Verhalten beobachteter nicht-linearer Zwei-Schicht-ReLU-Netze übereinstimmen.

Kernergebnisse

Konvergenzraten: Der Trainingsfehler konvergiert mit einer Rate, die vom kleinsten nicht-null Eigenwert der empirischen Feature-Kovarianz ( $\lambda^+_{\min}(\Phi^\top \Phi)$ ) dominiert wird, was schnell geschieht. Im Gegensatz dazu ist der Generalisierungsfehler durch einen Term untergrenzt, der mit der Rate $(1 - \eta\lambda)^t$ abnimmt, was für kleines $\lambda$ beliebig langsam ist.
Der Grokking-Mechanismus: Die Verzögerung entsteht, weil GD mit kleinem Weight Decay effektiv nur die Projektion der Gewichte auf den Datenraum aktualisiert, um den Trainingsverlust zu minimieren, während die orthogonale Komponente (die zum Generalisierungsfehler beiträgt) nur durch den langsamen Weight-Decay-Term abnimmt.
Theoreme:
- Theorem 4.1: Etabliert Grokking für den Zero-Teacher, mit passenden oberen und unteren Schranken auf die Verlustkonvergenz.
- Theorem 4.2: Generalisiert das Ergebnis auf jeden realisierbaren Teacher und liefert explizite Schranken für $t_1$ und $t_2$ (Gleichungen 6 und 7).
- Theorem 4.4 & 4.5: Beweisen die schnelle Konvergenz des Trainingsverlusts und die Persistenz schlechter Generalisierung, jeweils separat.
- Theorem 4.6: Beweist, dass GD schließlich zu einem globalen Minimum mit guten Generalisierungsgarantien konvergiert.

Bedeutung und Ansprüche

Die Arbeit beansprucht, einen fundamentalen theoretischen Rahmen für das Verständnis von Grokking bereitzustellen. Durch die Isolierung des Phänomens im einfachen, transparenten Setting der linearen Regression argumentieren die Autoren, dass:

Grokking kein inhärenter Fehlermodus von Deep-Learning-Architekturen oder Nicht-Linearitäten ist, sondern eine Folge spezifischer Trainingsbedingungen (insbesondere des Zusammenspiels zwischen Überparametrisierung und kleinem Weight Decay).
Das Phänomen keine grundlegenden Änderungen an der Modellarchitektur oder den Lernalgorithmen erfordert, um vermieden zu werden; es kann über Hyperparameter-Tuning kontrolliert werden.
Die Ergebnisse liefern die ersten rigorosen quantitativen Schranken für die Verzögerung der Generalisierung und gehen damit über empirische Beobachtungen oder heuristische Erklärungen (wie den Übergang zwischen „Lazy-to-Rich“-Regimen) der vorangegangenen Literatur hinaus.
Die Befunde legen nahe, dass das oft in der Klassifikation beobachtete „Test Error Plateau“ (ein Artefakt diskreter Metriken) auch in der Regression existiert, wenn es mittels schwellenwertbasierter Genauigkeitsmetriken evaluiert wird, was die Universalität des Phänomens über verschiedene Verlustarten hinweg bestätigt.

Die Autoren bewahren Bescheidenheit hinsichtlich des Umfangs und merken an, dass während ihre lineare Analyse rigorose Beweise liefert, die Erweiterung dieser Ergebnisse auf nicht-realisierbare Settings oder der Beweis des „Lazy-to-Rich“-Übergangs in tiefen neuronalen Netzen eine offene Herausforderung bleibt, die neue theoretische Werkzeuge erfordert.