🤖 machine learning

Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking

Dieser Beitrag stellt den Egalitarian Gradient Descent (EGD) vor, eine einfache Modifikation, die Gradienten normalisiert, um eine einheitliche Evolutionsgeschwindigkeit über alle Hauptrichtungen hinweg zu gewährleisten, und dadurch theoretisch und empirisch nachweist, dass sie das „Grokking"-Phänomen, bei dem sich die Generalisierungsleistung nach längerer Stagnation plötzlich verbessert, erheblich beschleunigt oder vollständig eliminiert.

Ursprüngliche Autoren: Ali Saheb Pasand, Elvis Dohmatob

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Saheb Pasand, Elvis Dohmatob

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „Grokking"-Rätsel

Stellen Sie sich vor, Sie unterrichten einen Roboter, ein mathematisches Rätsel zu lösen.

Phase 1 (Auswendiglernen): Der Roboter merkt sich schnell die Antworten auf die spezifischen Übungsprobleme, die Sie ihm geben. Er erreicht 100 % beim Übungstest.
Phase 2 (Die Stagnation): Sie bitten ihn, einen neuen Test mit anderen Zahlen zu machen. Plötzlich scheitert der Roboter. Er bleibt sehr lange im Scheitern stecken, obwohl Sie ihn weiter trainieren. Er scheint festzustecken.
Phase 3 (Das „Grok"): Dann, aus dem Nichts, „versteht" der Roboter plötzlich. Seine Leistung beim neuen Test springt in einem einzigen Moment von 0 % auf fast 100 %.

Dieses Phänomen nennt man Grokking. Das Papier bezeichnet die lange Phase des Scheiterns in Phase 2 als „Plateau". Das Ziel dieser Forschung ist es, den Roboter dazu zu bringen, das lange, langweilige Plateau zu überspringen und viel schneller zum „Aha!"-Moment zu gelangen.

Die Diagnose: Warum bleibt der Roboter stecken?

Die Autoren entdeckten, dass der Roboter stecken bleibt, weil er versucht, verschiedene Teile des Rätsels mit unterschiedlichen Geschwindigkeiten zu lernen.

Stellen Sie sich vor, der Roboter hat ein Team von Arbeitern (genannt „Hauptrichtungen" oder „singuläre Richtungen"), die versuchen, eine defekte Maschine zu reparieren.

Arbeiter A ist sehr stark und schnell. Sie reparieren ihren Teil der Maschine sofort.
Arbeiter B ist sehr schwach und langsam. Sie brauchen ewig, um ihren Teil zu reparieren.

Beim Standardtraining (genannt „Vanilla Gradient Descent") sagt der Chef (der Algorithmus) allen, sie sollen im gleichen Tempo arbeiten. Da Arbeiter A so schnell ist, beendet er seine Arbeit und steht nur herum und wartet. Da Arbeiter B so langsam ist, wird das gesamte Team aufgehalten. Der Roboter kann nicht „grokken" (generalisieren), bis der langsamste Arbeiter endlich aufholt.

Das Papier zeigt, dass dies geschieht, weil der „Gradient" (die Anweisung, wie der Fehler zu beheben ist) schlecht konditioniert ist. Es ist wie der Versuch, eine schwere Kiste zu schieben, bei der eine Seite auf Eis liegt (rutschig/schnell) und die andere auf Schlamm (klebrig/langsam). Die Kiste dreht sich oder bleibt stehen, anstatt sich reibungslos vorwärts zu bewegen.

Die Lösung: Egalitarian Gradient Descent (EGD)

Die Autoren schlagen eine neue Methode namens Egalitarian Gradient Descent (EGD) vor.

Die Analogie:
Anstatt den schnellen Arbeiter früh fertig werden zu lassen und warten zu lassen, greift der Chef (EGD) ein und sagt:

„Niemand bewegt sich schneller als die langsamste Person. Wir alle bewegen uns im exakt gleichen Tempo."

EGD tut dies, indem es die Anweisungen mathematisch normalisiert. Es nimmt die schnellen Anweisungen und verlangsamt sie, und es nimmt die langsamen Anweisungen und beschleunigt sie, sodass jeder „Arbeiter" im Gehirn des Roboters im exakt gleichen Tempo fortschreitet.

Das Ergebnis: Der Roboter wartet nicht mehr auf die langsamen Teile. Alle Teile der Lösung entwickeln sich gemeinsam. Die „Stagnation" verschwindet, und der Roboter erreicht den „Aha!"-Moment fast sofort.

Wie es funktioniert (Der Zaubertrick)

Um dies zu tun, betrachtet die Methode die „Form" der Anweisungen, die der Roboter erhält. Sie verwendet ein mathematisches Werkzeug namens SVD (Singulärwertzerlegung), um die schnellen und die langsamen Richtungen zu finden.

Dann führt sie eine „Whitening"-Operation durch (ähnlich wie ein Fotoeditor, der die Farben ausbalanciert, damit keine einzelne Farbe zu hell oder zu dunkel ist). Sie stellt sicher, dass das „Volumen" der Aktualisierung für jede Richtung gleich ist.

Einfache Version: Das Papier schlägt auch einen Trick namens „Column Normalization" vor. Dies ist eine vereinfachte Version, bei der man die Anweisungen einfach durch ihre Größe teilt. Sie ist nicht so perfekt wie die vollständige Methode, funktioniert aber dennoch viel besser als gar nichts zu tun.

Vergleich mit anderen Methoden

Das Papier vergleicht EGD mit einer früheren Methode namens Grokfast.

Grokfast ist wie ein Filter, der versucht, die „leisen" (langsamen) Stimmen im Raum zu verstärken, damit sie über den „lauten" (schnellen) Stimmen gehört werden können. Es funktioniert, erfordert aber das Erinnern an viele vergangene Gespräche (Speicher) und das Einstellen vieler Regler (Hyperparameter).
EGD ist wie ein Manager, der einfach allen sagt, sie sollen mit der gleichen Lautstärke sprechen. Es muss sich nicht an die Vergangenheit erinnern, benötigt keinen zusätzlichen Speicher und keine komplexen Einstellungen. Es funktioniert einfach.

Was die Experimente zeigten

Die Autoren testeten dies an klassischen „schwierigen" Rätseln, bei denen Grokking häufig vorkommt, wie zum Beispiel:

Modulare Arithmetik: Zahlen addieren oder multiplizieren und den Rest nehmen (z. B. „Was ist 7 + 5 mod 10?").
Sparse Parity: Ein Logikrätsel, bei dem Bits basierend auf einer geheimen Regel umgekippt werden.

Die Ergebnisse:

Standardtraining: Der Roboter trainierte Tausende von Schritten, blieb lange bei 0 % Genauigkeit stecken und sprang dann plötzlich auf 100 %.
EGD-Training: Der Roboter sprang nach nur wenigen Schritten auf 100 % Genauigkeit. Das lange Plateau wurde vollständig entfernt.

Sie testeten dies auch an realistischeren Aufgaben (wie dem Erkennen handschriftlicher Ziffern oder Bilder) und stellten fest, dass EGD den Roboter immer noch schneller und stabiler lernen ließ, ohne zusätzlichen Computerspeicher zu benötigen.

Das Fazit

Das Papier behauptet, dass „Grokking" (der plötzliche Sprung in der Intelligenz) oft nur eine Nebenwirkung eines unausgewogenen Lernprozesses des Roboters ist. Indem wir alle Teile des Lernprozesses zwingen, im gleichen Tempo zu laufen (Egalitarian Gradient Descent), können wir die lange, frustrierende Wartezeit eliminieren und das Modell dazu bringen, die Aufgabe fast sofort zu verstehen.

Technische Zusammenfassung: Egalitärer Gradientenabstieg für beschleunigtes Grokking

Problemstellung

Die Arbeit behandelt Grokking, ein Phänomen im Deep Learning, bei dem die Trainingsleistung eines Modells schnell einen nahezu fehlerfreien Zustand erreicht, während die Testleistung (Generalisierung) über einen beliebig langen Zeitraum auf Zufallsniveau stagniert, bevor sie plötzlich auf nahezu perfekte Genauigkeit springt. Obwohl dieses Phänomen bei verschiedenen Architekturen und Aufgaben beobachtet wurde (z. B. modulare Arithmetik, sparse Parität, formale Sprachen), bleiben die zugrunde liegenden Mechanismen, die diese Verzögerung verursachen, weitgehend unverstanden. Die bestehende Literatur deutet Zusammenhänge mit schlecht konditionierten Verlustlandschaften, der singulären Lerntheorie und dem Übergang von „trägen" Kernel-Regimen zu Merkmalslern-Regimen an, doch es fehlt eine prinzipielle Methode, um diesen Übergang zu steuern oder zu beschleunigen, ohne die finale Generalisierung zu beeinträchtigen.

Methodik: Egalitärer Gradientenabstieg (EGD)

Die Autoren schlagen Egalitären Gradientenabstieg (EGD) vor, eine Modifikation des standardmäßigen (stochastischen) Gradientenabstiegs (SGD), die darauf abzielt, die Optimierungsgeschwindigkeit über alle Hauptrichtungen des Gradienten hinweg zu equalisieren.

Kernmechanismus

Die Methode arbeitet durch Transformation der Gradientenmatrix $G$ in jeder Schicht. Sei $G$ die Gradientenmatrix für eine Schicht mit den Dimensionen $m \times p$ . Die Autoren definieren den transformierten Gradienten $\tilde{G}$ als:
$\tilde{G} = F^{-1/2}G = (GG^\top)^{-1/2}G$
wobei $F = GG^\top$ die empirische Fisher-Information-Matrix (FIM) ist.

Spektrale Interpretation:
Unter Verwendung der Singulärwertzerlegung (SVD) $G = USV^\top$ ergibt die Transformation:
$\tilde{G} = US^{-1}U^\top USV^\top = US^{-1}SV^\top = UV^\top$
Diese Operation bewahrt die linken ( $U$ ) und rechten ( $V$ ) Singulärvektoren (die Hauptrichtungen) des Gradienten, erzwingt jedoch, dass alle Singulärwerte gleich 1 sind. Folglich entwickeln sich die Dynamiken der Parameter mit exakt derselben Geschwindigkeit entlang jeder Hauptrichtung, wodurch die Diskrepanz zwischen „schnellen" und „langsamen" Modi, die schlecht konditionierte Landschaften charakterisiert, eliminiert wird.

Praktische Umsetzung

Berechnung: Die Hauptkosten entstehen durch die Durchführung einer SVD der Gradientenmatrix. Die Arbeit stellt fest, dass eine exakte SVD rechenintensiv ist, schlägt jedoch vor, dass eine Randomisierte SVD (RSVD) oder sogar eine vereinfachte Spaltennormalisierung (Neuskalierung der Spalten nach ihrer $L_2$ -Norm) als effektive Approximationen dienen können.
Wechselstrategie: Um den Rechenaufwand zu minimieren, schlagen die Autoren eine „Warm-up"-Strategie vor, bei der EGD nur angewendet wird, bis ein Schwellenwert für die Validierungsgenauigkeit erreicht ist, woraufhin der Optimierer zum reinen SGD zurückkehrt.
Beziehung zu anderen Methoden:
- Natürlicher Gradientenabstieg (NGD): EGD ist eine „gebleichte" Version von NGD ( $\tilde{G} = F^{1/2} \cdot \text{NGD\_update}$ ). Im Gegensatz zu NGD, das $F^{-1}$ verwendet, nutzt EGD $F^{-1/2}$ .
- Grokfast: EGD teilt eine induktive Verzerrung mit Grokfast (welches niederfrequente Gradientenkomponenten durch Filterung verstärkt), indem es hochfrequente Richtungen heruntergewichtet. EGD erreicht dies jedoch durch spektrale Normalisierung statt durch zeitliche Filterung und benötigt keinen Speicherpuffer vergangener Gradienten.
- Muon: EGD ist geometrisch dem Muon-Optimierer (welche Updates orthogonalisiert) ähnlich, leitet sich jedoch aus einer spektralen Theorie des Grokking ab und nicht aus empirischen Designentscheidungen.

Theoretische Erkenntnisse

Die Arbeit liefert eine theoretische Analyse unter Verwendung eines vereinfachten Spielzeugmodells (lineare Regression auf anisotropen Gaußschen Daten), um Grokking zu erklären:

Schlechte Konditionierung als Ursache: Beim reinen SGD bestimmt die Konditionszahl der empirischen Kovarianzmatrix (angetrieben durch das Verhältnis der Feature-Varianzen) die Konvergenzrate. Ist die Konditionszahl hoch (z. B. $1/\epsilon$ ), konvergiert der Optimierer schnell zu einer Lösung, die Trainingsdaten auswendig lernt (schnelle Richtungen), benötigt jedoch $O(1/\epsilon)$ Zeit, um sich mit der wahren Entscheidungsgrenze auszurichten (langsame Richtungen), was die Plateaubildung verursacht.
Beschleunigung durch Normalisierung: Die modifizierte Update-Regel (9) im Spielzeugmodell entfernt effektiv die Abhängigkeit von der Konditionszahl $\epsilon$ . Durch die Equalisierung der spektralen Radien der Update-Matrix stellt die Methode sicher, dass die Konvergenz zur optimalen Lösung in einer Anzahl von Schritten erfolgt, die unabhängig von der schlechten Konditionierung ist, und garantiert theoretisch die Beseitigung des Plateaus.

Hauptbeiträge

Egalitärer Gradientenabstieg (EGD): Eine einfache, hyperparameterfreie Methode, die Grokking beschleunigt, indem sie Gradienten normalisiert, um eine isotrope Entwicklung entlang der Hauptrichtungen sicherzustellen.
Theoretischer Rahmen: Eine formale Demonstration, dass Grokking-Plateaus in vereinfachten Settings durch schlecht konditionierte Gradienten verursacht werden und dass EGD die mit diesen Bedingungen verbundene Verzögerung nachweislich eliminiert.
Empirische Validierung: Umfassende Experimente, die die Wirksamkeit von EGD belegen bei:
- Spielzeugproblemen: Binärklassifikation mit anisotropen Daten.
- Algorithmischen Aufgaben: Modulare Addition, modulare Multiplikation und sparse Paritätsprobleme.
- Realistischen Datensätzen: MNIST und CIFAR-10 mit MLPs, CNNs und Transformern.
Effizienz und Robustheit: Nachweise, dass EGD (insbesondere mit RSVD) die Wandzeit im Vergleich zu Baselines reduziert, keinen zusätzlichen Speicherbedarf einführt (im Gegensatz zu Grokfast) und die Anpassungsfähigkeit in nicht-stationären Umgebungen (z. B. Label-Shuffling) verbessert.

Experimentelle Ergebnisse

Beschleunigung: Bei Aufgaben der modularen Arithmetik und der sparse Parität erreicht EGD nach nur wenigen Epochen eine hohe Testgenauigkeit, während reiner SGD Plateaus zeigt, die Tausende von Epochen dauern.
Vergleich mit Baselines:
- vs. Reiner SGD: EGD entfernt konsistent das Plateau.
- vs. Grokfast: EGD erzielt vergleichbare oder überlegene Beschleunigung. Entscheidend ist, dass EGD-Varianten mit RSVD Grokfast in der Wandzeit oft übertreffen und keinen Speicherpuffer vergangener Gradienten benötigen, wie es Grokfast erfordert.
- vs. Spaltennormalisierung: Eine vereinfachte Version von EGD (Spaltennormalisierung) beschleunigt Grokking ebenfalls signifikant, wobei der vollständige EGD mit RSVD oft das beste Gleichgewicht aus Geschwindigkeit und Genauigkeit liefert.
Nicht-Stationarität: In Experimenten mit Label-Shuffling auf CIFAR-10 verbesserte die Hinzufügung von EGD zu Optimierern (Adam, RAdam, RMSprop) deren Fähigkeit, sich von Verteilungsverschiebungen zu erholen, erheblich und erhöhte die Fläche unter der Erholungskurve.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass EGD einen prinzipiellen, spektralbewussten Ansatz zur Lösung der Grokking-Verzögerung bietet. Indem die Autoren Grokking als Folge schlecht konditionierter Gradientendynamiken rahmen, stellen sie eine Methode bereit, die:

Lernen beschleunigt: Die Zeit, die Modelle benötigen, um vom Auswendiglernen zur Generalisierung überzugehen, drastisch reduziert.
Generalisierung beibehält: Die finale Generalisierungsleistung nicht beeinträchtigt; in einigen Fällen wird das Plateau vollständig beseitigt.
Praktisch ist: Keine zusätzlichen Hyperparameter erfordert, optimizeragnostisch ist und mit geringem Rechenaufwand unter Verwendung randomisierter Approximationen implementiert werden kann.
Perspektiven vereint: Das Phänomen des Grokking mit klassischen Optimierungskonzepten (Konditionierung, natürliche Gradienten) und jüngsten heuristischen Methoden (Grokfast, Muon) verbindet und nahelegt, dass spektrale Normalisierung ein fundamentales Primitiv zur Beschleunigung des Lernens in tiefen Netzwerken ist.

Die Autoren schließen, dass die theoretische Analyse zwar derzeit auf vereinfachte Modelle beschränkt ist, der empirische Erfolg über diverse Architekturen und Aufgaben hinweg jedoch darauf hindeutet, dass die spektrale Normalisierung von Gradienten eine robuste und effektive Strategie zur Minderung verzögerter Generalisierung ist. Als zukünftige Arbeit wird vorgeschlagen, die theoretische Analyse auf komplexe Modelle wie Transformer auszudehnen und steckdose-fertige Kombinationen mit adaptiven Optimierern zu erforschen.