Technische Zusammenfassung: Grokking oder Glitching? Wie geringe Präzision Slingshot-Verlustspitzen antreibt

1. Problemstellung

Tiefe neuronale Netze, die ohne explizite Regularisierung trainiert werden, zeigen häufig ein Phänomen, das als „Grokking" bekannt ist: Modelle erreichen eine plötzliche Generalisierung lange nachdem sie eine perfekte Trainingsgenauigkeit erreicht haben. Dieser Prozess geht häufig mit dem Slingshot-Mechanismus einher: periodische Instabilitäten, die durch ein schnelles, nahezu exponentielles Wachstum der Norm der Parameter der letzten Schicht gekennzeichnet sind, gefolgt von abrupten Spitzen im Trainingsverlust.

Während die bestehende Literatur diese Spitzen intrinsischen Optimierungsdynamiken zuschreibt – wie dem „Edge of Stability" (EOS) oder Wechselwirkungen zwischen Gradientenskalen und adaptiven Optimierern – bleibt der genaue Auslösemechanismus unklar. Dieser Beitrag untersucht, ob diese Instabilitäten inhärent zur Optimierungslandschaft gehören oder Artefakte der Arithmetik mit endlicher Präzision sind.

2. Methodik und theoretischer Rahmen

Die Autoren postulieren, dass der Slingshot-Mechanismus kein intrinsisches Optimierungsphänomen ist, sondern das Ergebnis von Grenzen der Gleitkommaarithmetik während der Berechnung des Cross-Entropy (CE)-Verlusts.

2.1 Softmax-Kollaps (SC)

Der Kern des Mechanismus liegt im Absorptionsfehler, der der Gleitkomma-Addition inhärent ist. Während des Trainings und wenn das Modell einen Hochkonfidenzbereich erreicht (perfekte Trainingsgenauigkeit), wird das Logit für die korrekte Klasse ($z_r$) deutlich größer als die Logits für falsche Klassen ($z_k$).

• In der Softmax-Berechnung enthält der Nenner eine Log-Sum-Exp-Operation: $Z = \log(\sum \exp(z_k))$.
• Wenn der Margin $z_r - \max_{k \neq r} z_k$ einen Schwellenwert überschreitet, der durch die Mantissenpräzision bestimmt wird (z. B. $\approx 16$ für float32), werden die kleineren Terme aufgrund der begrenzten Präzision in den größeren Term absorbiert.
• Folglich wird die berechnete Wahrscheinlichkeit für die korrekte Klasse exakt 1, und der Gradient bezüglich des Logits der korrekten Klasse, $\partial L / \partial z_r$, wird auf exakt null gerundet. Dieses Phänomen wird als Softmax-Kollaps (SC) bezeichnet.

2.2 Brechen der Nullsummen-Bedingung

In exakter Arithmetik ist die Summe der Gradienten über alle Klassen für eine einzelne Stichprobe null ($\sum_k \nabla_{W_k} L = 0$), was sicherstellt, dass der globale Mittelwert der Klassifikatorgewichte ($W_G$) statisch bleibt.

• Unter SC verschwindet der Gradient für die korrekte Klasse, während die Gradienten für falsche Klassen nicht null bleiben (wenn auch klein).
• Dies bricht die Nullsummen-Bedingung und führt zu einer Netto-Drift bei der Aktualisierung des globalen Klassifikator-Mittelwerts $W_G$. Spezifisch driftet $W_G$ in Richtung $-\mu_G$, wobei $\mu_G$ der globale Mittelwert der Merkmale der vorletzten Schicht ist.

2.3 Numerische Merkmalsinflation (NFI)

Der Beitrag identifiziert eine positive Rückkopplungsschleife, die als Numerische Merkmalsinflation (NFI) bezeichnet wird:

1. Die Drift in $W_G$ verändert den Gradientenfluss zurück zur Merkmalschicht.
2. Der Merkmalsmittelwert $\mu_G$ erhält eine Drift in Richtung $-W_G$.
3. Dies erzeugt eine gekoppelte Dynamik, bei der $W_G$ und $\mu_G$ antiparallel werden und ihre Normen exponentiell wachsen.
4. Wenn diese Normen wachsen, fällt der Margin für einige Stichproben (insbesondere Ausreißer) schließlich unter den Absorptionsschwellenwert, wodurch der Gradient der korrekten Klasse abrupt wieder auftritt.

2.4 Der Slingshot-Spitzenwert

Das Wiederauftreten des Gradienten der korrekten Klasse löst die Verlustspitze aus:

• Vor der Spitze ist der Gradient der korrekten Klasse null und die Gradienten der falschen Klassen sind winzig. Der Zweitmoment-Akkumulator ($v_t$) des Adam-Optimierers zerfällt, wodurch die effektive Lernrate ($\eta / \sqrt{v_t + \epsilon}$) extrem groß wird.
• Wenn der Gradient plötzlich wieder auftritt, führt diese massive effektive Lernrate zu einer unverhältnismäßig großen Parameteraktualisierung, die den Verlust zurück auf das Niveau des zufälligen Raten treibt (der „Slingshot").

3. Hauptbeiträge

1. Theoretische Erklärung des Slingshot: Der Beitrag liefert einen rigorosen Beweis, dass der Slingshot-Mechanismus ein numerisches Artefakt ist, das durch die Berechnung des CE-Verlusts mit endlicher Präzision verursacht wird, und verknüpft ihn spezifisch mit dem Softmax-Kollaps und dem anschließenden Brechen der Nullsummen-Gradienten-Bedingung.
2. Identifizierung von NFI: Die Autoren definieren die Numerische Merkmalsinflation (NFI), eine Rückkopplungsschleife zwischen dem globalen Klassifikator-Mittelwert und dem globalen Merkmalsmittelwert, die das exponentielle Wachstum der Parameternormen antreibt, das vor Verlustspitzen beobachtet wird.
3. Unterscheidung von intrinsischen Dynamiken: Die Arbeit zeigt, dass Slingshot vom „Edge of Stability" (EOS) unterscheidbar ist. Während EOS Oszillationen aufgrund der Hesse-Krümmung beinhaltet, tritt Slingshot in Regimen auf, in denen die Hesse-Eigenwerte verschwinden (Interpolationsregime), und wird durch Erhöhung der Präzision eliminiert.
4. Praktische Interventionen: Der Beitrag schlägt Methoden zur Unterdrückung von NFI vor und validiert diese, darunter:
   • Verwendung von float64 für die Verlustberechnung (Eliminierung von Absorptionsfehlern).
   • Erzwingen der Nullsummen-Bedingung via Gradientenprojektion.
   • Anwendung von Batch Normalization unmittelbar vor dem finalen Klassifikator, um die globale Mittelwertkomponente zu entfernen.
   • Erhöhung des Adam-$\epsilon$-Parameters, um die effektive Lernrate zu begrenzen.

4. Experimentelle Ergebnisse

Die Autoren validieren ihre Theorie über mehrere Architekturen (MLP, VGG11, ResNet18, ViT, Transformer) und Datensätze (Modulare Arithmetik, CIFAR-10, FineWeb für LLMs).

• Präzisionsempfindlichkeit: Das Umschalten der Verlustberechnung auf float64 eliminiert Slingshot-Spitzen vollständig, selbst wenn die Modellparameter in float32 bleiben. Dies bestätigt, dass die Instabilität aus der Verlustberechnung stammt, nicht aus der Modell-Dynamik.
• Architekturabhängigkeit: Das Phänomen wird in den meisten Architekturen beobachtet, fehlt jedoch bemerkenswerterweise in ResNet18. Die Autoren führen dies auf die Fähigkeit von ResNet18 zurück, die restliche Wahrscheinlichkeitsmasse ($\epsilon$) schnell genug zu reduzieren, um zu verhindern, dass die NFI-Rückkopplungsschleife in das Regime des exponentiellen Wachstums gerät, bevor das Modell stabilisiert ist.
• Minderung:
  • Layer Normalization (LN), die vor dem Klassifikator angewendet wird, versagt bei der Minderung des Effekts und kann Spitzen beschleunigen, indem sie die Merkmalsnormen einschränkt.
  • Batch Normalization (BN), die unmittelbar vor der finalen linearen Schicht angewendet wird, eliminiert Spitzen erfolgreich, indem sie Merkmale zentriert und die Drift-Komponente entfernt.
  • Label Smoothing eliminiert präzisionsbedingte Spitzen, führt jedoch zu einer anderen Instabilität im Zusammenhang mit dem „Edge of Stability" aufgrund nicht-verschwindender Hesse-Eigenwerte.
• LLM-Kontext: Beim Training von Large Language Models sind Slingshot-Spitzen im Vollbatch aufgrund der Mini-Batch-Stochastik selten, dennoch treibt der NFI-Mechanismus ein anomales Logit-Wachstum voran. Die Autoren stellen fest, dass bei der Sprachmodellierung Ungleichgewichte in der Token-Häufigkeit (Zipf'sches Gesetz) einen großen globalen Mittelwert $W_G$ erzeugen können, selbst ohne numerischen Kollaps, was zu einer anderen Dynamik führt, bei der geringe Präzision eine frequenzinduzierte Divergenz teilweise unterdrücken kann.

5. Bedeutung und Behauptungen

Der Beitrag interpretiert den Slingshot-Mechanismus neu, nicht als mysteriöses Optimierungsverhalten, sondern als numerische Dynamik des Trainings mit endlicher Präzision.

• Neuinterpretation des Gradientenflusses: Die Ergebnisse verdeutlichen eine Lücke zwischen theoretischen Gradientenfluss-Analysen (die unendliche Präzision annehmen und oft ein logarithmisches Normwachstum vorhersagen) und dem praktischen Training, bei dem numerische Fehler exponentielles Wachstum antreiben können.
• Stabilität im Training mit geringer Präzision: Da sich das Feld hin zu geringerer Präzision (BF16, FP8, FP4) für das Training in großem Maßstab bewegt, ist das Verständnis von NFI kritisch. Die Autoren argumentieren, dass numerische Fehler in der Berechnung von Log-Wahrscheinlichkeiten einen distincten Ausfallmodus darstellen, der das Training destabilisieren kann, getrennt von Quantisierungsfehlern bei Matrixmultiplikationen oder Attention Sinks.
• Bescheidener Geltungsbereich: Die Autoren räumen Einschränkungen ein und stellen fest, dass ihre Analyse auf der Annahme des Unconstrained Feature Model beruht und primär die Interaktion zwischen der letzten Schicht und den Merkmalen der vorletzten Schicht untersucht. Sie beanspruchen nicht, alle Formen von Trainingsinstabilität zu erklären, sondern zielen spezifisch auf die periodischen Verlustspitzen ab, die bei unreguliertem, langfristigem Training beobachtet werden.

Zusammenfassend behauptet der Beitrag, dass Slingshot ein Glitch und kein Feature ist, angetrieben durch Absorptionsfehler der Gleitkommaarithmetik, und liefert konkrete, überprüfbare Erklärungen und Interventionen für anomales Parameterwachstum im späten Stadium des Trainings.