Technische Samenvatting: Grokking of Glitching? Hoe Lage Precisie Slingshot-Loss-Spikes Aandrijft

1. Probleemstelling

Diepe neurale netwerken die zonder expliciete regularisatie worden getraind, vertonen vaak een fenomeen dat bekendstaat als "Grokking", waarbij modellen plotseling generalisatie bereiken lang nadat ze perfecte trainingsnauwkeurigheid hebben bereikt. Dit proces gaat vaak gepaard met het Slingshot-mechanisme: periodieke instabiliteiten die worden gekenmerkt door een snelle, bijna-exponentiële groei van de norm van de parameters van de laatste laag, gevolgd door abrupte pieken in de trainingsfout.

Hoewel bestaande literatuur deze pieken toeschrijft aan intrinsieke optimalisatiedynamiek—zoals de Edge of Stability (EOS) of interacties tussen gradiënt-schalen en adaptieve optimalisatoren—blijft het precieze triggermechanisme onduidelijk. Dit artikel onderzoekt of deze instabiliteiten inherent zijn aan het optimalisatielandschap of artefacten zijn van rekenen met eindige precisie.

2. Methodologie en Theoretisch Kader

De auteurs stellen dat het Slingshot-mechanisme geen intrinsiek optimalisatiefenomeen is, maar het gevolg is van grenzen aan de precisie van drijvende-kommarekenen tijdens de berekening van de Cross-Entropy (CE) fout.

2.1 Softmax Collapse (SC)

De kern van het mechanisme ligt in de absorptiefout die inherent is aan optellen in drijvende-kommavorm. Naarmate de training vordert en het model een regime met hoge zekerheid binnentreedt (perfecte trainingsnauwkeurigheid), wordt de logit voor de juiste klasse ($z_r$) aanzienlijk groter dan de logits voor de onjuiste klassen ($z_k$).

• Bij de Softmax-berekening bevat de noemer een log-sum-exp-operatie: $Z = \log(\sum \exp(z_k))$.
• Wanneer de marge $z_r - \max_{k \neq r} z_k$ een drempel overschrijdt die wordt bepaald door de precisie van de mantisse (bijvoorbeeld $\approx 16$ voor float32), worden de kleinere termen door de beperkte precisie geabsorbeerd in de grotere term.
• Gevolg: de berekende waarschijnlijkheid voor de juiste klasse wordt exact 1, en de gradiënt met betrekking tot de logit van de juiste klasse, $\partial L / \partial z_r$, wordt afgerond naar exact nul. Dit fenomeen wordt Softmax Collapse (SC) genoemd.

2.2 Breken van de Nul-Som Beperking

Bij exact rekenen is de som van de gradiënten over alle klassen voor een enkel voorbeeld nul ($\sum_k \nabla_{W_k} L = 0$), wat garandeert dat het globale gemiddelde van de classificatorgewichten ($W_G$) statisch blijft.

• Onder SC verdwijnt de gradiënt voor de juiste klasse, terwijl de gradiënten voor de onjuiste klassen niet-nul blijven (hoewel klein).
• Dit breekt de nul-som-beperking en introduceert een netto-drift in de update van het globale classificatorgemiddelde $W_G$. Specifiek, $W_G$ driftt in de richting van $-\mu_G$, waarbij $\mu_G$ het globale gemiddelde is van de features van de voorlaatste laag.

2.3 Numerieke Feature-inflatie (NFI)

Het artikel identificeert een positieve feedbacklus genaamd Numerical Feature Inflation (NFI):

1. De drift in $W_G$ verandert de gradiëntstroom terug naar de feature-laag.
2. Het feature-gemiddelde $\mu_G$ ontvangt een drift in de richting van $-W_G$.
3. Dit creëert een gekoppelde dynamiek waarbij $W_G$ en $\mu_G$ anti-parallel worden en hun normen exponentieel groeien.
4. Naarmate deze normen groeien, valt de marge voor sommige voorbeelden (met name uitschieters) uiteindelijk onder de absorptiedrempel, waardoor de gradiënt voor de juiste klasse abrupt weer verschijnt.

2.4 De Slingshot-piek

Het opnieuw verschijnen van de gradiënt voor de juiste klasse triggert de loss-piek:

• Voor de piek is de gradiënt voor de juiste klasse nul en zijn de gradiënten voor onjuiste klassen miniem. De tweede-moment-accumulator ($v_t$) van de Adam-optimalisator neemt af, waardoor het effectieve leersnelheid ($\eta / \sqrt{v_t + \epsilon}$) extreem groot wordt.
• Wanneer de gradiënt plotseling weer verschijnt, resulteert deze enorme effectieve leersnelheid in een disproportioneel grote parameter-update, waardoor de loss terugduwt naar niveaus van willekeurig gissen (de "Slingshot").

3. Belangrijkste Bijdragen

1. Theoretische Uitleg van Slingshot: Het artikel levert een rigoureus bewijs dat het Slingshot-mechanisme een numeriek artefact is veroorzaakt door CE-loss-berekening met eindige precisie, en koppelt dit specifiek aan Softmax Collapse en de daaropvolgende breuk van de nul-som gradiënt-beperking.
2. Identificatie van NFI: De auteurs definiëren Numerical Feature Inflation (NFI), een feedbacklus tussen het globale classificatorgemiddelde en het globale feature-gemiddelde, die de exponentiële groei van parameternormen aandrijft die voorafgaat aan loss-pieken.
3. Onderscheid van Intrinsieke Dynamiek: Het werk toont aan dat Slingshot verschilt van de Edge of Stability (EOS). Waar EOS oscillaties omvat door kromming van de Hessian, treedt Slingshot op in regimes waar de eigenwaarden van de Hessian verdwijnen (interpolatieregio) en wordt geëlimineerd door de precisie te verhogen.
4. Praktische Interventies: Het artikel stelt methoden voor en valideert deze om NFI te onderdrukken, waaronder:
   • Het gebruik van float64 voor loss-berekening (eliminatie van absorptiefouten).
   • Afdwingen van de nul-som-beperking via gradiëntprojectie.
   • Toepassing van Batch Normalization direct voor de laatste classifier om het globale gemiddelde van de component te verwijderen.
   • Verhogen van de Adam $\epsilon$-parameter om de effectieve leersnelheid te begrenzen.

4. Experimentele Resultaten

De auteurs valideren hun theorie over meerdere architecturen (MLP, VGG11, ResNet18, ViT, Transformers) en datasets (Modulaire Aritmetica, CIFAR-10, FineWeb voor LLM's).

• Precisie-gevoeligheid: Het overschakelen van de loss-berekening naar float64 elimineert Slingshot-pieken volledig, zelfs wanneer modelparameters in float32 blijven. Dit bevestigt dat de instabiliteit zijn oorsprong vindt in de loss-berekening en niet in de modeldynamiek.
• Architectuur-afhankelijkheid: Het fenomeen wordt waargenomen in de meeste architecturen, maar is opvallend afwezig in ResNet18. De auteurs schrijven dit toe aan het vermogen van ResNet18 om de residuale waarschijnlijkheidsmassa ($\epsilon$) snel genoeg te reduceren om te voorkomen dat de NFI-feedbacklus de exponentiële groeiregio binnendringt voordat het model stabiliseert.
• Mitigatie:
  • Layer Normalization (LN) toegepast voor de classifier faalt om het effect te mitigeren en kan pieken versnellen door feature-normen te beperken.
  • Batch Normalization (BN) toegepast direct voor de laatste lineaire laag elimineert pieken succesvol door features te centreren en de drift-component te verwijderen.
  • Label Smoothing elimineert precisie-geïnduceerde pieken, maar introduceert een andere instabiliteit gerelateerd aan de Edge of Stability door niet-verdwijnende eigenwaarden van de Hessian.
• LLM-context: Bij training van Large Language Models zijn volledige-batch Slingshot-pieken zeldzaam vanwege mini-batch-stochasticiteit, maar het NFI-mechanisme drijft nog steeds abnormale logit-groei aan. De auteurs merken op dat bij taalmodelleren token-frequentie-onevenwichtigheden (Zipfs wet) een groot globaal gemiddelde $W_G$ kunnen creëren, zelfs zonder numerieke collapse, wat leidt tot een andere dynamiek waarbij lage precisie frequentie-geïnduceerde divergentie gedeeltelijk kan onderdrukken.

5. Betekenis en Claims

Het artikel herinterpreteert het Slingshot-mechanisme niet als een mysterieus optimalisatiegedrag, maar als een numerieke dynamiek van training met eindige precisie.

• Herinterpretatie van Gradiëntstroom: De resultaten benadrukken een kloof tussen theoretische gradiëntstroom-analyses (die oneindige precisie aannemen en vaak logaritmische norm-groei voorspellen) en praktische training, waarbij numerieke fouten exponentiële groei kunnen aandrijven.
• Stabiliteit bij Training met Lage Precisie: Naarmate het veld verschuift naar lagere precisie (BF16, FP8, FP4) voor grootschalige training, is het begrijpen van NFI cruciaal. De auteurs betogen dat numerieke fouten in de berekening van log-waarschijnlijkheden een onderscheidend faalmechanisme vertegenwoordigen dat training kan destabiliseren, los van quantisatiefouten in matrixvermenigvuldiging of attention sinks.
• Bescheiden Omvang: De auteurs erkennen beperkingen en merken op dat hun analyse steunt op de Unconstrained Feature Model-aanneming en voornamelijk de interactie tussen de laatste laag en features van de voorlaatste laag onderzoekt. Zij claimen niet alle vormen van trainingsinstabiliteit te verklaren, maar richten zich specifiek op de periodieke loss-pieken die worden waargenomen in ongeregulariseerde, langetermijntraining.

Concluderend stelt het artikel dat Slingshot een glitch is, geen feature, aangedreven door absorptiefouten van drijvende-kommarekenen, en biedt concrete, testbare verklaringen en interventies voor abnormale parametergroei in de late fase van training.