🤖 machine learning

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold

Dieses Paper erklärt das Phänomen der verzögerten Generalisierung, bekannt als Grokking, indem es beweist, dass der Gradientenabstieg im Grenzfall kleiner Lernraten und Weight Decay die Gewichtsnorm auf der Zero-Loss-Mannigfaltigkeit minimiert, ein Mechanismus, der durch einen abgeleiteten geschlossenen Ausdruck für die Dynamik nach der Memorierung und experimentelle Simulationen validiert wurde.

Ursprüngliche Autoren: Tiberiu Musat

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tiberiu Musat

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Was ist „Grokking“?

Stellen Sie sich vor, Sie bringen einem Roboter das Rechnen bei. Sie zeigen ihm ein Beispiel: $1 + 1 = 2$ .

Phase 1 (Auswendiglernen): Der Roboter lernt schnell, „2“ zu sagen, wann immer er „1 + 1“ sieht. Er hat die Antwort auswendig gelernt. Wenn Sie ihn bitten, ein neues Problem zu lösen, wie etwa $2 + 2$ , scheitert er. Er ist nur ein Papagei, der das wiederholt, was er gehört hat.
Das lange Warten: Sie trainieren den Roboter weiter. Lange Zeit scheint sich nichts zu ändern. Er kennt immer noch nur das eine Beispiel.
Phase 2 (Grokking): Plötzlich, nach hunderten oder tausenden zusätzlichen Schritten, hat der Roboter einen „Heureka-Moment“. Er versteht die Regel der Addition. Jetzt kann er $2 + 2$ , $5 + 3$ und jedes andere Additionsproblem perfekt lösen.

Diese seltsame Verzögerung – bei der der Roboter erst lange nach dem Beherrschen der Trainingsdaten vom „Auswendiglernen“ zum „Verstehen“ übergeht – wird als Grokking bezeichnet.

Die Kernidee der Arbeit: Das „Zero-Loss“-Mannigfaltigkeits-Konzept

Die Autoren dieser Arbeit wollen erklären, warum das passiert. Sie schlagen eine neue Art vor, die Art und Weise zu betrachten, wie der Roboter während dieser langen Wartezeit lernt.

Stellen Sie sich das Gehirn des Roboters als eine riesige, mehrdimensionale Landschaft vor.

Das Ziel: Der Robot möchte ein Tal erreichen, in dem der „Fehler“ (wie falsch er liegt) null ist.
Das Zero-Loss-Tal: Sobald der Roboter das einzelne Beispiel ( $1 + 1 = 2$ ) auswendig gelernt hat, hat er den Boden eines sehr spezifischen, flachen Tals erreicht. In diesem Tal macht der Roboter null Fehler bei den Trainingsdaten.
Das Problem: Dieses Tal ist riesig. Es gibt Millionen verschiedener Möglichkeiten, die internen Regler (Gewichte) des Roboters so anzuordnen, dass der Fehler null ist. Einige dieser Anordnungen sind „intelligent“ (sie verallgemeinern auf neue Mathematik), und einige sind „dumm“ (sie funktionieren nur für das eine Beispiel).

Der geheime Mechanismus: Normen-Minimierung

Die Arbeit argumentiert, dass sich das Ziel des Trainingsprozesses ändert, sobald der Roboter in diesem „Zero-Loss-Tal“ ist. Er hört auf, den Fehler zu senken (da der Fehler bereits null ist), und beginnt stattd�rüber, sich selbst zu vereinfachen.

Die Analogie: Der Seiltänzer
Stellen Sie sich den Roboter als Seiltänzer auf einem sehr langen, gewundenen Draht vor (dem Zero-Loss-Tal).

Der Draht: Der Draht repräsentiert alle möglichen Wege, wie der Roboter die richtige Antwort erhalten kann.
Der Schub: Der Trainingsprozess beinhaltet eine „Weight Decay“ (eine kleine Kraft, die den Roboter ständig dazu drängt, weniger Energie zu verbrauchen).
Das Ergebnis: Da der Roboter bereits auf dem Draht ist (Null-Fehler), kann er nur noch entlang des Drahtes gleiten. Die „energiesparende“ Kraft drückt ihn in Richtung des Teils des Drahtes, der am kürzesten und einfachsten ist.

Die Autoren beweisen mathematisch, dass der Roboter im Wesentlichen entlang dieses Drahtes gleitet, um nach der einfachsten Lösung zu suchen. Schließlich findet er den „einfachsten“ Pfad, welcher zufällig derjenige ist, der die allgemeine Regel der Addition versteht. Deshalb findet die Verallgemeinerung nach dem Auswendiglernen statt: Der Roboter muss seinen langen, langsamen Schlitten entlang des Drahtes vollenden, um die einfache Lösung zu finden.

Der „Toy Model“-Beweis

Um zu zeigen, dass dies kein Zufall ist, bauten die Autoren einen winzigen, einfachen Roboter (ein lineares Modell) mit nur zwei Reglern.

Sie trainierten ihn auf $1 + 1 = 2$ .
Beobachtung: Der Roboter fand schnell eine Lösung, die für die Trainingsdaten funktionierte, aber seltsam war (z. B. durch die Verwendung einer riesigen positiven und einer riesigen negativen Zahl, die sich gegenseitig aufheben).
Das Gleiten: Dann drängte die „Weight Decay“ (die Regler-Verkleinerung) die Regler langsam zu einer viel einfacheren, ausgewogenen Lösung (1 und 1).
Das Ergebnis: Sobald die Regler diesen einfachen, ausgewogenen Punkt erreichten, wurde der Roboter plötzlich großartig darin, jedes Additionsproblem zu lösen, nicht nur $1 + 1$ .

Die „isolierte“ Sichtweise: Fokus auf die Embedding-Schicht

Die Arbeit befasst sich auch mit einer zweiten Frage: Können wir nur einen Teil des Robotergehirns verstehen, ohne das Ganze modellieren zu müssen?

Im speziellen Fall der modularen Addition (Rechnen mit einem Modulo, wie bei einer Uhr, z. B. $11 + 2 = 1$ ) zeigten frühere Forschungen, dass der Roboter die Zahlen in einem Kreis anordnet.

Die Analogie: Stellen Sie sich vor, die erste Schicht des Roboters ist ein Kartograf. Er nimmt Zahlen und platziert sie auf einer Karte.
Die Entdeckung: Die Autoren entwickelten eine mathematische Abkürzung. Sie zeigten, dass man, wenn man annimmt, dass die zweite Schicht des Roboters immer „perfekt angepasst“ an die erste Schicht ist, eine einfache Formel schreiben kann, die genau vorhersagt, wie sich der Kartograf (die erste Schicht) bewegen wird.
Die Simulation: Als sie diese Formel auf einem Computer ausführten, reproduzierte sie den „Grokking“-Eff Effekt perfekt. Der Kartograf ordnete die Zahlen langsam von einem chaotischen Klumpen zu einem perfekten Kreis um, und dann begann der Roboter, die Mathematik zu verstehen.

Zusammenfassung der Ergebnisse

Grokking ist Geometrie: Die Verzögerung beim Lernen ist kein Fehler, sondern ein Merkmal der Geometrie. Der Roboter muss eine lange Strecke entlang eines „Null-Fehler-Pfades“ zurücklegen, um die einfachste Lösung zu finden.
Weight Decay ist der Motor: Die kleine Kraft, die versucht, die Zahlen des Roboters kleiner zu machen (Weight Decay), ist das, was ihn entlang dieses Pfades drängt. Ohこと Weight Decay würde der Roboter ewig an der Stelle des „Auswendiglernens“ feststecken bleiben.
Vereinfachung funktioniert: Man kann vorhersagen, wie ein komplexes Netzwerk lernt, indem man nur einen Teil davon betrachtet (die Embedding-Schicht) und annimmt, dass sich der Rest des Netzwerks augenblicklich anpasst.

Was die Arbeit nicht behauptet

Sie behauptet nicht, dass dies für jede Art von KI oder jede Art von Daten funktioniert (sie konzentriert sich auf spezifische mathematische Probleme und einfache Netzwerke).
Sie schlägt nicht vor, dies bereits zu nutzen, um bessere medizinische KI oder selbstfahrende Autos zu bauen.
Sie behauptet nicht, das Geheimnis aller neuronalen Netze gelöst zu haben, sondern nur das spezifische „Grokking“-Phänomen in diesen Settings.

Kurz gesagt, die Arbeit sagt uns, dass Grokking der lange, langsame Spaziergang des Roboters auf einer geraden Linie ist, um den einfachsten, elegantesten Weg zu finden, ein Problem zu lösen.

Technische Zusammenfassung: Die Geometrie des Grokkings

Problemstellung
Die Arbeit befasst sich mit dem Phänomen des „Grokkings“ in neuronalen Netzen, bei dem ein Modell erst nach einer erheblichen Verzögerung nach der vollständigen Auswendiglernung (Memorization) des Trainingsdatensatzes eine perfekte Generalisierung auf Testdaten erreicht. Während frühere Forschungsarbeiten diesen verzögerten Generalisierungsprozess mit dem Lernen von Repräsentationen durch Weight Decay (Gewichtsbeschränkung) in Verbindung gebracht haben, bleibt die zugrunde liegende Dynamik unklar. Insbesondere versuchen die Autoren zu beantworten: (1) Welche exakte Rolle spielt Weight Decay beim Lernen nach der Memorization? und (2) Können die Lern-Dynamiken spezifischer Netzwerkkomponenten (wie etwa Embedding-Schichten) vom Rest des Netzwerks isoliert werden?

Methodik und theoretischer Rahmen
Die Autoren nähern sich dem Problem durch die Linse der beschränkten Optimierung und des Gradientenflusses an, wobei sie das System im Grenzfall infinitesimal kleiner Lernraten und Weight-Decay-Koeffizienten ( $\lambda \to 0$ ) analysieren.

Dynamik nach der Memorization: Die Arbeit beweist formal, dass sobald ein Netzwerk einen Trainingsverlust von Null erreicht hat (Memorization), die nachfolgenden Lern-Dynamiken auf der Null-Verlust-Mannigfaltigkeit ( $Z$ ) beschränkt sind. In diesem Regime führt der Gradientenabstieg effektiv die Minimierung der Gewichtsnorm ( $\|\theta\|^2$ ) durch, während er auf $Z$ verbleibt. Die Autoren stellen fest, dass der Verlustgradient orthogonal zum Tangentialraum der Null-Verlust-Mannigfaltigkeit wird, wenn sich die Parameter $Z$ nähern; das bedeutet, dass die Verlustfunktion die Parameter-Updates nicht mehr antreibt, sondern stat unter dem Einfluss von Weight Decay die Parameter in Richtung der Minimum-Norm-Lösung innerhalb der Null-Verlust-Menge bewegt.
Isolierte Komponentendynamik: Um spezifische Schichten zu analysieren, schlagen die Autoren eine Approximation vor, bei der die Dynamik einer Teilmenge von Parametern ( $\theta_1$ ) von der restlichen Menge ( $\theta_2$ ) entkoppelt wird. Durch die Annahme, dass $\theta_2$ sich instantan an den optimalen Wert für ein gegebenes $\theta_1$ anpasst (indem $\theta_2$ effektiv als eine „schnelle Variable“ behandelt wird), leiten sie eine effektive Kostenfunktion $R(\theta_1) = \min_{\theta_2} L_\lambda(\theta_1, \theta_2)$ ab.
Ableitung für zwei Schichten tiefe Netzwerke: Unter Anwendung dieses Rahmens auf ein zweischichtiges Netzwerk mit Mean-Squared-Error-Verlust leiten die Autoren einen geschlossenen Ausdruck für die Lern-Dynamik der ersten Schicht (der Embedding-Schicht) ab. Im überparametrisierten Null-Verlust-Limit wird gezeigt, dass die Dynamik der Gewichte der ersten Schicht $W_1$ dem Gradientenfluss einer spezifischen Kostenfunktion folgt, die Weight Decay gegen die Anpassung der zweiten Schicht abwägt.

Kernergebnisse

Theoretischer Beweis: Die Arbeit beweist, dass für fast jeden Datensatz die Null-Verlust-Menge eine glatte Mannigfaltigkeit ist, die während des Standardtrainings frei von Singularitäten ist. Sie beweist ferner, dass der Verlustgradient nahe der Lösung orthogonal zu dieser Mannigfaltigkeit steht, was bestätigt, dass das Lernen nach der Memorization vollständig durch die Normenminimierung getrieben wird.
Validierung durch ein Toy-Modell: Unter Verwendung linearer Modelle für Additionsaufgaben demonstrieren die Autoren, dass Modelle zunächst zu einer Null-Verlust-Lösung konvergieren (Memorization) und dann langsam entlang der Null-Verlust-Mannigfaltigkeit zur Minimum-Norm-Lösung driften (Generalisierung). Die Geschwindigkeit dieses Drifts ist umgekehrt proportional zum Weight-Decay-Koeffizienten.
Simuliertes Grokking: Die Autoren simulieren die abgeleiteten geschlossenen Dynamiken für die erste Schicht eines Netzwerks, das auf modularer Addition trainiert wurde. Die Simulation reproduziert erfolgreich das charakteristische verzögerte Generalisieren: Das Modell hält den Trainingsverlust bei Null, während die Testgenauigkeit über hunderte Schritte hinweg auf dem Niveau des Zufalls bleibt, bevor sie schließlich zu perfekter Generalisierung springt.
Repräsentationslernen: Die Simulation zeigt, dass sich die Embedding-Vektoren während der Generalisierungsphase im Fourier-Raum in kreisförmigen Strukturen organisieren. Insbesondere gleichen sich die Normen der Fourier-Features an und die Features werden orthogonal, was die „kreisförmigen Repräsentationen“ widerspiegelt, die in früheren Interpretabilitätsstudien zu Grokking beobachtet wurden.

Bedeutung und Ansprüche
Die Arbeit beansprucht, eine formale geometrische Erklärung für Grokking zu liefern, indem sie es als einen zweiphasigen Prozess identifiziert: eine schnelle Phase der Memorization, gefolgt von einer langsamen Phase der Normenminimierung auf der Null-Verlust-Mannigfaltigkeit. Durch die Ableitung eines geschlossenen Ausdrucks für die Dynamik der Embedding-Schicht bieten die Autoren eine theoretische Basis für das Verständnis, wie spezifische Netzwerkkomponenten Repräsentationen lernen.

Die Autoren positionieren diese Arbeit als einen Schritt zur Entmystifizierung der inneren Abläufe neuronaler Netze, was entscheidend für die Entwicklung sichererer und zuverlässigerer KI-Systeme ist. Sie merken an, dass ihre Ergebnisse mit der gleichzeitigen Arbeit von Boursier et al. (2026) bezüglich regularisierten Gradientenflusses übereinstimmen. Die Arbeit räumt bescheiden Einschränkungen ein und weist darauf hin, dass sie sich auf den Mean-Squared-Error-Verlust statt auf Cross-Entropy konzentriert und derzeit auf zweischichtige Netzwerke beschränkt ist, was die Dynamik tieferer Architekturen als offene Herausforderung hinterlässt.