🤖 machine learning

Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics

Dieser Artikel zeigt, dass Weight Decay als kritischer Steuerparameter fungiert, der den Übergang zwischen Memorization, Generalisierung (Grokking) und Kollaps bei Transformern, die auf modularer Arithmetik trainiert werden, steuert, und führt zwei rechnerisch effiziente Online-Diagnoseverfahren auf Basis von Attention-Aktivierungen ein, um diese Dynamiken über verschiedene Modellgrößen und Architekturen hinweg zu verfolgen.

Ursprüngliche Autoren: Lucky Verma

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lucky Verma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten eine Gruppe von Schülern (die „Aufmerksamkeitsköpfe" innerhalb eines Computerhirns), wie sie ein kniffliges Mathe-Rätsel lösen: modulare Arithmetik (wie zum Beispiel herauszufinden, wie spät es auf einer Uhr ist, die nur 97 Stunden hat).

Lange Zeit scheinen diese Schüler die Antworten einfach auswendig zu lernen. Sie erzielen bei der Übungsklausur perfekte Ergebnisse, scheitern aber an der eigentlichen Prüfung, weil sie die Regeln des Spiels nicht wirklich verstanden haben. Dann geschieht plötzlich etwas Magisches: Sie „begreifen" das Konzept. Sie hören auf auswendig zu lernen und beginnen zu verstehen, was es ihnen ermöglicht, jedes neue Problem sofort zu lösen.

Dieser Artikel ist ein Feldführer zum Verständnis, wann und wie dieser plötzliche „Aha!"-Moment eintritt und was passiert, wenn Sie die Schüler zu stark oder nicht stark genug fordern.

Hier ist die Aufschlüsselung der Erkenntnisse mit einfachen Analogien:

1. Der „Lautstärkeregler" des Lernens (Weight Decay)

Die Forscher entdeckten, dass eine Einstellung namens Weight Decay wie ein Hauptlautstärkeregler für den Lernprozess wirkt. Sie steuert die „Persönlichkeit" des Trainings:

Zu leise (niedriger Weight Decay): Die Schüler sind zu entspannt. Sie lernen die Antworten einfach auswendig und finden nie die zugrunde liegende Logik heraus. Sie bleiben im „Auswendiglern-Modus" stecken.
Genau richtig (mittlerer Weight Decay): Dies ist die „Goldlöckchen"-Zone. Die Schüler durchlaufen einen spezifischen Zwei-Schritte-Tanz:
1. Synchronisationsphase: Zuerst denken alle Schüler exakt gleich (sie synchronisieren sich). Sie einigen sich alle auf die Grundregeln.
2. Differenzierungsphase: Dann beginnen sie zu spezialisieren. Einige Schüler werden Experten für Addition, andere für Multiplikation usw. Sie hören auf, Klone zu sein, und werden zu einem vielfältigen Team. Dies ist der Moment, in dem das „Grokken" stattfindet.
Zu laut (hoher Weight Decay): Wenn Sie den Regler zu weit aufdrehen, werden die Schüler überwältigt. Alle kollabieren in einen einzigen, verwirrten Zustand, in dem sie überhaupt nicht mehr lernen.

2. Die „billigen Thermometer" (Online-Diagnostik)

Normalerweise muss man warten, bis das Semester vorbei ist und eine Abschlussprüfung ablegen, um zu wissen, ob ein Schüler kurz vor einem „Aha!"-Moment steht. Das dauert lange und kostet viel Geld (Rechenleistung).

Die Autoren entwickelten zwei billige, Echtzeit-Thermometer, die Sie alle paar Minuten überprüfen können, während die Schüler noch im Unterricht sind:

Der „Gruppenumarmungs"-Meter (Cosine Similarity): Dies misst, wie sehr die Schüler übereinstimmen. Wenn sie beginnen zu „grokken", umarmen (stimmen) sie sich zunächst fest, und entfernen sich dann langsam voneinander, während sie sich spezialisieren.
Der „Chaos"-Meter (Standardabweichung der Entropie): Dies misst, wie sehr die Schüler nicht übereinstimmen oder ihre Gedanken variieren. Wenn der „Aha!"-Moment kurz bevorsteht, schießt dieser Meter in die Höhe und zeigt, dass die Schüler aus ihrem synchronisierten Zustand ausbrechen, um ihre eigenen einzigartigen Rollen zu finden.

Diese Werkzeuge ermöglichen es den Forschern, den „Phasenübergang" in Echtzeit zu beobachten, ohne auf die Abschlussprüfung warten zu müssen.

3. Der „kritische Wendepunkt"

Der Artikel fand eine sehr spezifische Zahl (einen „Wendepunkt") für den Lautstärkeregler.

Wenn die Einstellung unter 0,0158 liegt, lernen die Schüler die Regeln fast nie; sie lernen nur auswendig.
Wenn die Einstellung über 0,0158 liegt, lernen sie die Regeln fast immer.
Die Zeit, die sie zum Lernen benötigen, wird schneller, je höher Sie den Regler drehen (bis zu einem gewissen Punkt), und folgt einer vorhersagbaren mathematischen Kurve.

4. Der „Spätphasen-Crash" (Anti-Grokken)

Es gibt einen Twist. Wenn Sie diese Schüler viel zu lange trainieren (20.000 Schritte statt der üblichen paar tausend), vergessen einige von ihnen plötzlich alles und beginnen wieder, zufällig zu raten. Der Artikel nennt dies „Anti-Grokken".

Gute Nachricht: Das passiert nicht jedem. Es hängt vom „Seed" (den zufälligen Startbedingungen) ab. Manche Schüler sind zerbrechlich und kollabieren; andere sind hart und bleiben für immer schlau.
Die Ursache: Es scheint dadurch verursacht zu werden, dass die Schüler ihre einzigartigen Rollen verlieren und wieder zu ähnlich werden, aber auf eine kaputte Weise.

5. Funktioniert das bei anderen „Gehirnen"?

Die Forscher testeten, ob diese „Lautstärkeregler"-Regel für verschiedene Arten von Computerhirnen funktioniert, nicht nur für die Standardmodelle (Transformer).

Sie testeten es an MLPs (einfache Feed-Forward-Netzwerke), LSTMs (alte Speicher-Netzwerke) und Mamba (eine neuere, effiziente Architektur).
Ergebnis: Ja! Der „Lautstärkeregler" funktioniert immer noch. Alle haben eine „zu leise", „genau richtig" und „zu laut"-Zone. Allerdings ist die genaue Zahl am Regler, die benötigt wird, um die „genau richtig"-Zone zu erreichen, für jede Art von Gehirn unterschiedlich.

Zusammenfassung dessen, was sie nicht behaupten

Sie behaupten nicht, dass dies bereits auf riesige Sprachmodelle (wie die, die Aufsätze schreiben oder mit Ihnen chatten) zutrifft. Sie testeten nur kleine Mathe-Modelle.
Sie behaupten nicht, das ultimative „Naturgesetz" für alle KI gefunden zu haben. Sie fanden ein spezifisches Muster für dieses spezifische Mathe-Rätsel und sagen sorgfältig, dass es für andere Aufgaben anders sein könnte.
Sie behaupten nicht, dass dies eine medizinische Heilung oder eine biologische Tatsache ist, auch wenn sie Wörter wie „Herzschlag" und „Synchronisation" als Metaphern verwendeten.

Kurz gesagt: Der Artikel zeigt, dass Sie durch das Drehen an einem einzigen Regler (Weight Decay) steuern können, ob ein Computerhirn auswendig lernt, tief lernt oder abstürzt. Sie gaben uns auch zwei einfache Werkzeuge, um diesen Prozess in Echtzeit zu beobachten, und bewiesen, dass Lernen oft in zwei deutlichen Stufen stattfindet: Zuerst stimmen alle überein; zweitens spezialisiert sich jeder.

Technische Zusammenfassung: Gewichtsabbauregime in Grokking-Transformern

Problemstellung
Grokking bezeichnet das Phänomen, bei dem Transformer, die auf algorithmischen Aufgaben (speziell modularer Arithmetik) trainiert werden, lange nachdem der Trainingsverlust gesättigt ist, einen scharfen Übergang von der Memorierung zur Generalisierung aufweisen. Während mechanistische Studien die Bildung interner Schaltkreise (z. B. Fourier-Darstellungen) und Induktionsköpfe als Treiber dieses Übergangs identifiziert haben, fehlt es in der bestehenden Literatur an einer „günstigen Online-Diagnose", um diese Dynamiken in Echtzeit zu verfolgen. Darüber hinaus wurde die Rolle des Gewichtsabbaus ( $\lambda$ ) als Steuerparameter für diese Regime über verschiedene Modellgrößen hinweg nicht systematisch kartiert, noch wurde der spezifische Beitrag der Koordination von Aufmerksamkeitsköpfen von Effekten der Gewichtsmagnitude isoliert.

Methodik
Die Autoren trainieren Decoder-only-Transformer auf Aufgaben der modularen Arithmetik (mod+, mod-, mod $\times$ , mod $\div$ ) unter Verwendung des AdamW-Optimierers. Die Studie führt eine dichte Abtastung von Gewichtsabbauwerten durch und variiert Modellgrößen (von 0,82M bis 85M Parameter) sowie Architekturen (Transformer, MLPs, LSTMs, Mamba).

Zu den wichtigsten methodischen Komponenten gehören:

Online-Ordnungsparameter: Zwei skalare Diagnosen werden bei jedem Trainingsschritt unter Verwendung ausschließlich von Aufmerksamkeitsaktivierungen berechnet:
- Mittlere paarweise Kosinusähnlichkeit der Aufmerksamkeitsköpfe ( $\bar{s}(t)$ ): Misst die Koordination (Synchronisation) zwischen den Aufmerksamkeitsköpfen.
- Standardabweichung der Entropie ( $\sigma_H(t)$ ): Misst die Streuung der Shannon-Entropie über die Köpfe hinweg und verfolgt die Differenzierung.
Finite-Size-Skalierung: Die Autoren passen eine logistische Funktion an die Wahrscheinlichkeit des Grokking ( $P(\text{grok})$ ) in Abhängigkeit vom Gewichtsabbau an, um einen kritischen Schwellenwert $\lambda_c$ zu schätzen. Zudem passen sie ein Potenzgesetz an die „Zeit bis zum Grokking" ( $t_{\text{grok}}$ ) an, um den kritischen Exponenten $\nu$ zu bestimmen.
Kausale Interventionen: Um zwischen Kopf-Muster-Struktur und Gewichtsmagnitude zu unterscheiden, führen die Autoren gepaarte Experimente durch, bei denen Aufmerksamkeitsköpfe neu initialisiert werden, im Vergleich zu Experimenten, bei denen die Gewichtsnormen auf dem Höhepunkt der Differenzierungsphase gekappt werden.
Formale Verifikation: Diagnosed-Identitäten (Schranken und algebraische Eigenschaften) werden in Lean 4 maschinell überprüft, um die mathematische Wohlgestaltetheit sicherzustellen.

Hauptbeiträge

Quantitativer kritischer Schwellenwert: Die Studie identifiziert einen scharfen Gewichtsabbau-kritischen Schwellenwert für den kanonischen 4-Schichten-, 8-Kopf-Transformer bei mod+-Aufgaben: $\lambda_c = 0,0158$ (95% KI [0,0109, 0,0200]).
Regime-Diagramm: Eine zweidimensionale Karte ( $\lambda$ $λ$ , $N$ $N$ ) zeigt drei distincte Regime:
- Memorierung: $\lambda < \lambda_c$ (nahezu kein Grokking).
- Entwicklungsgroking: $\lambda \ge \lambda_c$ (Erreichen einer Grokking-Rate von ~100%, wobei die Zeit bis zum Grokking mit steigendem $\lambda$ abnimmt).
- Kollaps: $\lambda = 10$ (alle Köpfe konvergieren zu identischen Mustern, $\bar{s}=1,0$ ).
Zweiphasen-Dynamik: Die Trainingsbahn ist gekennzeichnet durch:
- Phase 1 (Synchronisation): Köpfe konvergieren ( $\bar{s}$ steigt von ~0,93 auf 0,995), was mit dem Einsetzen des Grokking zusammenfällt.
- Phase 2 (Differenzierung): Köpfe divergieren ( $\bar{s}$ fällt auf ~0,88, $\sigma_H$ steigt), während die Testgenauigkeit hoch bleibt.
Dimension pro Kopf als Amplitudenmodulator: Die Amplitude der Differenzierung ( $\sigma_H$ ) wird empirisch von der Dimension pro Kopf ( $d/H$ ) dominiert und sättigt monoton, wenn $d/H$ zunimmt.
Architekturübergreifender Geltungsbereich: Der durch Gewichtsabbau gesteuerte Übergang wird auch in nicht-Aufmerksamkeits-Architekturen (MLP, LSTM, Mamba) beobachtet, wobei sich der kritische Schwellenwert $\lambda_c$ je nach Architektur signifikant verschiebt (etwa eine Größenordnung umfassend).

Ergebnisse

Skalierungsexponent: Die Zeit bis zum Grokking folgt einem Potenzgesetz $t_{\text{grok}} \propto (\lambda - \lambda_c)^{-\nu}$ mit einem empirischen Exponenten $\nu = 0,757$ (95% KI [0,725, 0,799]). Die Autoren weisen ausdrücklich darauf hin, dass dieser Wert unter ihrer aktuellen Gitterdichte nicht mit Standard-Referenzexponenten (z. B. $\nu=1/2$ oder 3D-Ising $\nu \approx 0,63$ ) übereinstimmt, und überlassen die Identifizierung der Universalitätsklasse zukünftigen Arbeiten.
Langfristige Fragilität: Bei verlängerten Horizonten (20.000 Epochen) wird in einigen Trajektorien ein seed-abhängiger „Anti-Grokking"-Kollaps beobachtet, der durch ein fünfstufiges Muster gekennzeichnet ist, das in einem Genauigkeitsabfall endet. Dies wird als Fragilität und nicht als universeller Zyklus identifiziert.
Kausale Isolierung: Die Neuinitialisierung von Aufmerksamkeitsköpfen reduziert die Amplitude der Phase 2 ( $\sigma_H$ ) im Vergleich zu Kontrollen signifikant, während das Kappen der Gewichtsnorm dies nicht tut. Dies isoliert den Effekt auf die Kopf-Muster-Struktur und nicht auf die Gewichtsmagnitude.
Multi-Task-Replikation: Das durch Gewichtsabbau gesteuerte Muster gilt über vier modulare Operationen und zwei Modellgrößen hinweg und bestätigt die Robustheit der Regime-Karte über die Addition hinaus.

Bedeutung und Behauptungen
Die Arbeit behauptet, ein günstiges, online-berechenbares Diagnoseframework zur Verfolgung von Grokking-Dynamiken unter Verwendung ausschließlich von Aufmerksamkeitsaktivierungen bereitzustellen, das teurere Loss-Landschaft-Diagnosen wie den verfeinerten lokalen Lernkoeffizienten (rLLC) ergänzt. Sie etabliert den Gewichtsabbau als primären empirischen Steuerparameter, der Memorierungs-, Entwicklungs-Grokking- und Kollaps-Regime trennt.

Die Autoren sind in ihrem Geltungsbereich bescheiden:

Sie behaupten keine Universalitätsklasse für den beobachteten Exponenten $\nu \approx 0,76$ , wobei festgehalten wird, dass getestete Referenzexponenten außerhalb ihrer Konfidenzintervalle liegen.
Sie behaupten nicht, dass Gewichtsabbau für die Generalisierung in allen Architekturen notwendig ist, sondern nur, dass er innerhalb standardmäßiger Aufmerksamkeitsarchitekturen als Steuerparameter fungiert.
Sie überlassen ausdrücklich Behauptungen über kausale Mechanismen bezüglich des Warum der Differenzierung Folgearbeiten und konzentrieren sich stattdessen auf das Wann und Wie ihres Auftretens.
Die Ergebnisse sind auf modulare Arithmetik in kleinen Transformer-Aufmerksamkeitsmodellen beschränkt; Behauptungen bezüglich großer Sprachmodelle oder breiterer Universalität fallen nicht in den Geltungsbereich.

Die Arbeit positioniert sich als phänomenologischer und diagnostischer Beitrag, der eine „Regime-Karte" und „Ordnungsparameter" bereitstellt, die parallele theoretische Arbeiten zur Finite-Size-Skalierung, Lyapunov-Kontraktion und Glasrelaxation ergänzen.