🤖 machine learning

Noise-Driven Escape from Metastable Phases explains Grokking in Deep Neural Networks

Diese Arbeit erklärt das Phänomen des Grokkings in tiefen neuronalen Netzen als einen durch Rauschen getriebenen Ausbruch aus metastabilen Zuständen während erster Ordnung von Phasenübergängen, die durch L2-Regularisierung induziert werden, wobei das Rauschen des stochastischen Gradientenabstiegs es dem Modell schließlich ermöglicht, Energiebarrieren zu überwinden und nach lang anhaltendem Overfitting Generalisierung zu erreichen.

Ursprüngliche Autoren: Ibrahim Talha Ersoy, Karoline Wiesner

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ibrahim Talha Ersoy, Karoline Wiesner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Warum KI manchmal plötzlich „schlau wird“

Sie haben vielleicht schon von einem seltsamen Phänomen in der Künstlichen Intelligenz gehört, das man „Grokking“ nennt. Dabei scheint ein neuronales Netz (eine Art KI) sehr lange Zeit zu scheitern – es lernt die Trainingsdaten auswendig, versagt aber dabei, die zugrunde liegenden Regeln zu verstehen. Dann plötzlich, aus dem Nichts, entwickelt es ein perfektes Verständnis und beginnt brillant zu generalisieren.

Dieses Paper schlägt eine neue Erklärung dafür vor, warum das passiert. Die Autoren behaupten, dass Grokking keine Magie ist, sondern Physik. Speziell geht es darum, in einem Tal festzusitzen und darauf zu warten, dass ein Stoß einen herausbefreit.

Die Analogie: Der Wanderer und die Hügel

Stellen Sie sich ein tiefes neuronales Netz wie einen Wanderer vor, der versucht, den tiefsten Punkt in einer Gebirgslandschaft zu finden (welche den „besten“ Lösungsweg für ein Problem darstellt).

1. Die Landschaft der „L2-Regularisierung“
Das Paper konzentriert sich auf eine spezifische Einstellung namens „L2-Regularisierung“. Betrachten Sie dies als eine Regel, die den Wanderer dazu zwingt, nah in der Mitte der Karte zu bleiben.

Die Autoren fanden heraus, dass die Änderung der Stärke dieser Regel die Form der Berge verändert.
Bei bestimmten Stärken erzeugt die Landschaft zwei deutlich unterscheidbare Täler, die durch einen hohen Hügel getrennt sind.
- Tal A (Die Falle): Ein flaches, leicht erreichbares Tal, in dem der Wanderer feststeckt. Der Wanderer hier ist „dumm“ (geringe Genauigkeit).
- Tal B (Das Ziel): Ein viel tieferes, besseres Tal, in dem der Wanderer „schlau“ ist (hohe Genauigkeit/Generalisierung).
- Der Hügel: Ein steiler Grat, der die beiden Täler trennt.

2. Das Problem: Feststecken
Wenn man den Wanderer in Tal A (dem „metastabilen Zustand“) startet, sitzt er fest. Er kann nicht einfach über den Hügel wandern, weil dieser zu hoch ist. In einer perfekten Welt würde er dort für immer verweilen, und die KI würde niemals lernen.

3. Die Lösung: Der „Rausch“-Stoß
Echtzeit-KI-Training nutzt etwas namens SGD (Stochastischer Gradientenabstieg). Dieser Prozess ist ein wenig „verrauscht“ oder unruhig. Stellen Sie sich vor, der Boden bebt leicht, jedes Mal, wenn der Wanderer einen Schritt macht.

Das Paper argumenttiert, dass dieses Zittern wie ein zufälliger Stoß wirkt.
Die meiste Zeit wackelt der Wanderer nur in dem flachen Tal herum.
Aber gelegentlich gibt eine Serie glücklicher Erschütterungen den Wanderer über den Hügel in das tiefe, schlaue Tal.
Sobald er die Grenze überschritten hat, gleitet er nach unten und bleibt dort. Dieser Moment des Überquerens des Hügels ist das „Grokking“.

Was das Paper tatsächlich herausgefunden hat

Die Forscher nutzten eine vereinfachte Version von KI (genannt „lineare Netzwerke“), da sie die Mathematik perfekt lösen können, ähnlich wie in einem Physikexperiment. Hier ist, was sie bewiesen haben:

1. Man kann die Falle konstruieren
Sie zeigten, dass sie durch die Anpassung der „Regularisierung“ gezielt die KI in dem „dummen“ Tal fangen konnten.

Ergebnis: Als sie die KI in dieser Falle starteten, blieb sie über tausende Schritte (Epochen) hinweg dumm.
Der „Grokking“-Moment: Plötzlich entkam die KI der Falle und wurde schlau. Dies ahmt den verzögerten, plötzlichen Erfolg, der bei echter KI beobachtet wird, perfekt nach.

2. Die „Temperatur“ der KI
Das Paper stellt eine Verbindung zum Konzept der Arrhenius-Kinetik aus der Thermodynamik her.

Betrachten Sie das „Zittern“ der KI (verursacht durch die Lernrate und die Batch-Größe) als Temperatur.
Heißer = Mehr Zittern: Wenn Sie die „Temperatur“ erhöhen (durch Änderung der Lerneinstellungen), wird der Wanderer schneller über den Hügel gestoßen.
Kälter = Weniger Zittern: Wenn Sie die Temperatur senken, wartet der Wanderer viel länger auf einen glücklichen Stoß.
Die Mathematik: Sie bewiesen, dass die Zeit, die benötigt wird, um zu entkommen, einem präzisen mathematischen Gesetz folgt: Wenn man das „Zittern“ verdoppelt, sinkt die Wartezeit exponentiell. Sie bestätigten dies mit einer Übereinstimmung von 99,1 % in ihren Daten.

3. Eine Falle pro Merkmal
Das Paper legt nahe, dass für jedes unterscheidbare „Merkmal“ (Feature), das die KI lernen muss (wie das Lernen von Addition, dann Multiplikation), ein neuer Hügel und ein neues Tal existiert.

Die KI könnte beim Lernen des ersten Merkmals feststecken, dann plötzlich das zweite Merkmal „grokken“, dann das dritte.
Dies erklärt, warum komplexe Aufgaben möglicherweise mehrere „Aha!“-Momente statt nur eines einzigen haben können.

4. Die „Trainings- vs. Test-Lücke“
In einigen Experimenten sah es so aus, als würde die KI die Trainingsdaten auswendig lernen (niedriger Fehler beim Training, hoher Fehler beim Testen), während sie in der Falle steckte.

Das Paper erklärt, dass dies nicht liegt, weil die KI im traditionellen Sinne „auswendig lernt“. Es ist lediglich so, dass die KI in einer „partiellen Lösung“ (einem Zustand mit niedrigem Rang) feststeckt.
Sobald sie den Hügel zur „vollen Lösung“ springt, schließt sich die Lücke zwischen Training und Testen sofort.

Das Fazit

Das Paper behauptet, dass Grokking ein physikalischer Entkommensprozess ist.

Die KI bleibt in einem „gut genug“, aber nicht „perfekten“ Zustand stecken.
Sie wartet dort, bis das zufällige Rauschen (aus dem Trainingsprozess) ihr einen ausreichend großen Stoß gibt, um eine Barriere zu überwinden.
Sobald sie diese überquert, wird sie augenblicklich perfekt.

Warum ist das wichtig?
Die Autoren sagen, dass uns dies eine „Fernbedienung“ für Grokking gibt. Da die Entstehungszeit vom „Temperatur“-Niveau (Lernrate und Batch-Größe) abhängt, können wir theoretisch beschleunigen oder verlangsamen, wann eine KI „schlau wird“, indem wir lediglich diese Einstellungen anpassen, ohne die Architektur der KI zu ändern.

Wichtiger Hinweis: Die Autoren betonen ausdrücklich, dass sie dies in linearen Netzwerken bewiesen haben (ein vereinfachtes mathematisches Modell) und Belege dafür geliefert haben, dass dies höchstwahrscheinlich auch in komplexen, nicht-linearen Netzwerken funktioniert, aber sie haben dies nicht an spezifischen realen Anwendungen wie medizinischer Diagnose oder selbstfahrenden Autos getestet. Der Fokus liegt rein auf dem Mechanismus, wie das Lernen stattfindet.

Technisches Resümee: Rauschgetriebener Ausbruch aus metastabilen Phasen erklärt Grokking in tiefen neuronalen Netzen

Problemstellung

Die Arbeit befasst sich mit dem Phänomen des Grokking in tiefen neuronalen Netzen (DNNs), definiert als der abrupte, verzögerte Einbruch der Generalisierung nach einer längeren Periode scheinbarer Überanpassung (Overfitting), in der der Trainingsverlust gesättigt ist. Während vorangegangene Arbeiten Regularisierung als Treiber identifiziert, Grokking mit Entropiebarrieren verknüpft oder eine glasartige Relaxation vorgeschlagen haben, bleibt der präzise mechanistische Ursprung umstritten. Speziell sucht die Arbeit zu erklären, warum Modelle über lange Zeiträume in Zuständen mit geringer Genauigkeit gefangen bleiben können, bevor sie plötzlich in eine hochgenaue Generalisierung übergehen, und ob diese Verzögerung durch spezifische physikalische Prinzipien analog zu Phasenübergängen gesteuert wird.

Methodik

Die Autoren verwenden tiefe lineare Netzwerke als minimales, analytisch handhabbares Modell. Diese Wahl ermöglicht die exakte Lösung der Verlustlandschaft, was die analytische Lokalisierung metastabiler Minima und Energiebarrieren erlaubt.

L2-Regularisierung und Phasenübergänge: Die Studie baut auf vorangegangenen Erkenntnissen auf, dass die Variation der L2-Regularisierungsstärke ( $\beta$ ) erste Ordnung Phasenübergänge in DNNs induziert. In linearen Netzwerken sind diese Übergänge mit den Singulärwerten ( $\eta_i$ ) der Datenkovarianzmatrix verknüpft. Für eine Netzwerktiefe von $L \ge 3$ entkoppelt sich der regularisierte Verlust in unabhängige Terme für jeden Singulärwert, was eine Landschaft schafft, in der Null-Rang- und Nicht-Null-Rang-Lösungen unterhalb einer kritischen Regularisierungsstärke $\beta_c$ koexistieren können.
Konstruktion metastabiler Fallen: Die Autoren nutzen die L2-Regularisierung als Kontrollwerkzeug, um Modelle gezielt in metastabilen, Zuständen mit geringer Genauigkeit (z. B. Rank-1- oder Rank-0-Zustände) einzufangen, indem sie sie von Checkpoints initialisieren, die bei $\beta > \beta_c$ trainiert wurden.
SGD als Langevin-Dynamik: Der Ausbruch aus diesen metastabilen Zuständen wird als thermisch aktivierter Prozess modelliert. Die Stochastizität der SGD-Minibatches wird auf eine Langevin-Dynamik mit einer effektiven Temperatur $T_{eff} \propto \eta_{lr}/B$ abgebildet, wobei $\eta_{lr}$ die Lernrate und $B$ die Batchgröße ist.
Arrhenius-Skalierung: Die Arbeit testet die Hypothese, dass die Ausbruchszeiten ( $\tau$ ) dem Kramers–Arrhenius-Gesetz folgen: $\ln \tau = \ln \tau_0 + \Delta E_{eff}/T_{eff}$ . Dies sagt eine lineare Beziehung zwischen $\ln \tau$ und $B/\eta_{lr}$ voraus.

Zentrale Beiträge und Ergebnisse

1. Hysterese und verzögerte Konvergenz

Die Autoren zeigen, dass erste Ordnung L2-Phasenübergänge metastabile Zustände erzeugen, die durch Energiebarrieren getrennt sind.

Mechanismus der Gefangenschaft: Wenn ein Modell in einer metastabilen Phase initialisiert wird (z. B. ein Rank-1-Zustand, wenn ein Rank-2-Globalminimum existiert), bleibt es über tausende Epochen gefangen.
Reproduktion von Grokking: Durch das gezielte Einfangen von Modellen reproduzieren die Autoren die charakteristischen Merkmale von Grokking:
- Lange Verzögerung: Die Konvergenz wird je nach Tiefe der Falle um Größenordnungen verzögert (z. B. $\tau \approx 5500$ bis $>10.000$ Epochen).
- Abruptheit: Der Übergang von niedriger zu hoher Genauigkeit erfolgt plötzlich, sobald das Rauschen das Modell über die Energiebarriere treibt.
- Sensitivität gegenüber der Initialisierung: Modelle, die außerhalb metastabiler Phasen starten, konvergieren schnell, während solche, die innerhalb starten, Grokking zeigen.
Train/Test-Diskrepanz: Durch sparsames Subsampling (bei dem die Trainingsdaten unzureichend sind, um schwache Merkmale zu bestimmen) reproduzieren die Autoren die kanonische Grokking-Kurve, bei der der Trainingsfehler auf einem suboptimalen Niveau stagniert, während der Testfehler hoch bleibt, gefolgt von einem scharfen Abfall des Testfehlers, sobald das Modell in die höherrangige Lösung ausbricht.

2. Arrhenius-Kinetik und effektive Barrieren

Die Studie bestätigt, dass der Ausbruchsprozess durch Arrhenius-artige Kinetik gesteuert wird.

Lineare Skalierung: Numerische Experimente zeigen eine lineare Beziehung zwischen $\ln \tau$ und $B/\eta_{lr}$ mit einem Bestimmtheitsmaß von $R^2 = 0,991$ .
Effektive Barrierenhöhe: Die extrahierte effektive Barriere ( $\Delta E_{eff} \approx 0,15 \pm 0,05$ ) ist signifikant größer als die minimale Energiebarriere entlang des Verlustpfades ( $\Delta E_{min} \approx 0,003$ ). Die Autoren führen diese Diskrepanz auf entropische und geometrische Korrekturen zurück, die aus dem hochdimensionalen Parameterraum ( $D=170$ ) resultieren, konsistent mit der Kramers–Langer-Formel.

3. Mechanistische Erklärung von Grokking

Die Arbeit schlägt vor, dass Grokking kein singuläres Ereignis ist, sondern eine Folge von Hysterese in Phasenübergängen erster Ordnung.

Feature-Anzahl: Die Anzahl der metastabilen Zustände entspricht der Anzahl der lernbaren Merkmale (Singulärwerte der Datenkovarianzmatrix).
Gestuftes Grokking: In komplexen Aufgaben mit $d$ Merkmalen kann Grokking in bis zu $d$ diskreten Stufen ablaufen, wobei das Modell sequenziell aus metastabilen Phasen ausbricht, die den einzelnen Singulärwerten entsprechen.
Memorisation vs. Generalisierung: Die Autoren argumentieren, dass in linearen stochastischen Aufgaben "Memorisation" keine notwendige Voraussetzung für Grokking ist. Stattdessen entsteht die Train/Test-Lücke dadurch, dass das Modell in einer partiellen Lösung (Rank-1) stagniert, bevor es die vollständige Lösung (Rank-2) abschließt. Memorisation und Generalisierung werden als Beschreibungen des partiellen versus vollständigen Fortschritts durch eine Kaskade von Rang-Transitionen umgedeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, einen Kandidatmechanismus für Grokking geliefert zu haben, der in der statistischen Physik des rauschaktivierten Ausbruchs aus metastabilen Zuständen verwurzelt ist. Ihre Bedeutung liegt in:

Vereinheitlichender Rahmen: Sie verbindet Grokking mit etablierten physikalischen Prinzipien (Hysterese, Arrhenius-Kinetik) anstatt es als ein anomalen Deep-Learning-Artefakt zu behandeln.
Prädiktive Kraft: Der Rahmen bietet falsifizierbare Vorhersagen:
- Grokking sollte in diskreten Stufen erfolgen, die der Anzahl der lernbaren Merkmale entsprechen.
- Tiefere Netzwerke sollten aufgrund höherer Energiebarrieren längere Grokking-Verzögerungen aufweisen.
- Ausbruchszeiten können über Hyperparameter ( $\eta_{lr}$ und $B$ ) gesteuert werden, folgend der Relation $\ln \tau \propto B/\eta_{lr}$ .
Praktische Implikationen: Die Ergebnisse legen nahe, dass Grokking-Verzögerungen rein durch die Auswahl von Hyperparametern ( $\eta_{lr}$ und $B$ ) beschleunigt oder unterdrückt werden können, was einen Weg zu effizienteren Lernverfahren eröffnet.
Generalisierbarkeit: Obwohl in linearen Netzwerken etabliert, liefern die Autoren Belege dafür, dass dasselbe Verhalten der Phasenübergänge erster Ordnung und dieselben qualitativen Mechanismen auch in nichtlinearen Netzwerken mit Sigmoid- und Tanh-Aktivierungen bestehen bleiben.

Die Autoren kommen zu dem Schluss, dass ihre Arbeit eine fundierte Basis bietet, um Grokking von anderen Phänomenen zu unterscheiden, und darauf hindeutet, dass das Potenzial für Hysterese mit der Aufgabenkomplexität natürlich wächst.