Technische Samenvatting: Twee Snelheden van Leren: Een Decompositie van Representatie en Uitlezing voor Grokking en Dubbele Daling

Probleemstelling

Standaardsignalen voor het bewaken van het trainen van diepe neurale netwerken, zoals trainingsverlies en nauwkeurigheid, slagen er vaak niet in de complexe dynamiek van generalisatie vast te leggen. Twee prominente fenomenen verstoren dit beeld:

1. Grokking: Een model bereikt een bijna perfecte prestatie tijdens het trainen, terwijl de testnauwkeurigheid gedurende een langere periode op het niveau van toeval blijft, gevolgd door een plotselinge opkomst van generalisatie.
2. Epoch-weise Dubbele Daling: Het trainingsverlies neemt monotoon af, terwijl het testverlies of de fout een niet-monotoon stijgend en dalend gedrag vertoont.

Bestaande verklaringen zijn vaak taakspecifiek (bijvoorbeeld gebaseerd op algebraïsche structuren in modulaire rekenkunde) of vertrouwen op binaire overgangen tussen regimes (bijvoorbeeld van "lui" naar "rijk" leren). Er ontbreekt een verenigd, taak-onafhankelijk raamwerk dat deze fenomenen kan diagnosticeren over diverse architecturen en taken heen, en dat onderscheid maakt tussen echte generalisatie en schijnbare leereffecten die worden veroorzaakt door niet-standaard trainingsrecepten.

Methodologie: Decompositie van Representatie en Uitlezing

De auteurs stellen een raamwerk voor dat een neuraal netwerk $f(x)$ decomposeert in twee distincte componenten:

1. Encoder ($\phi_\theta$): Een niet-lineaire afbeelding van de inputruimte naar een $N$-dimensionale representatieruimte.
2. Uitlezing (Readout) ($W$): Een lineaire afbeelding van de representatieruimte naar output-logits.

Deze decompositie maakt het mogelijk om representatieleren (veranderingen in $\phi_\theta$) en uitlezingskalibratie (veranderingen in $W$) afzonderlijk te volgen. Om de wisselwerking tussen deze componenten te analyseren, hanteren de auteurs vier taak-onafhankelijke diagnostische maatstaven, afgeleid van representatiegeometrie en de theorie van het Neural Tangent Kernel (NTK):

1. Kritieke Dimensie ($N_{crit}$): Kwantificeert de robuustheid van lineaire scheidbaarheid in de representatieruimte. Het wordt gedefinieerd als de verwachte kleinste projectiedimensie die vereist is om scheidbaarheid te behouden met een waarschijnlijkheid $\geq 0.5$. Een lagere $N_{crit}$ wijst op betere "ontwarde" manifolds en een hogere generaliseerbaarheid.
2. Taak-Relevante Geometrische Maatstaven (GLUE): Een set van vier metrieken ($D, R, \rho_c, \rho_a$) afgeleid van de theorie van Geometry Linked to Untangling Efficiency (GLUE). Deze karakteriseren de effectieve manifold-dimensie, straal, en de uitlijning van centra en assen tussen door labels geconditioneerde manifolds.
3. Nauwkeurigheid van Lineaire Probes: Een geregulariseerde lineaire classifier getraind op bevroren representaties. Het verschil tussen de nauwkeurigheid van de probe en de nauwkeurigheid van het model diagnoseert misalignatie van de uitlezing (overfitting of onderfitting ten opzichte van de mogelijkheden van de encoder).
4. Last-Layer NTK-Label Uitlijning: Meet de uitlijning tussen de feature Gram-matrix (laatste-laag NTK) en de label-kernel. Dit kwantificeert hoe goed de huidige feature-geometrie de gradiëntstroom ondersteunt naar label-discriminerende oplossingen, afzonderlijk geëvalueerd op trainings- en testsets.

Belangrijkste Bijdragen en Resultaten

1. Twee Snelheden van Leren in Grokking

Door de decompositie toe te passen op canonieke grokking-taken (modulaire optelling, permutatiesamenstelling, sparse parity) over MLP- en Transformer-architecturen heen, weerleggen de auteurs het strikte "lui-naar-rijk" verhaal, dat stelt dat representatieleren inactief is totdat grokking begint.

• Continue Representatieleren: $N_{crit}$ neemt gedurende het hele trainingsproces, inclusief de fase voor grokking, geleidelijk en continu af. Representatieleren is traag maar niet afwezig; het verloopt continu in plaats van als een plotselinge fase-overgang.
• Trainings-biased Uitlezing: Voordat grokking begint, is de leerdirection van de uitlezing systematisch bevooroordeeld ten opzichte van de trainingsdata. De NTK-uitlijningssgap (train minus test) is groot en positief, wat aangeeft dat de uitlezing overfit op de trainingsset terwijl de representaties nog niet robuust genoeg zijn om generalisatie te ondersteunen.
• Mechanisme: Grokking ontstaat niet door een plotselinge schakeling tussen leerregimes, maar door de geleidelijke gelijkmaking van de uitlezingsrichting zodra de representatiekwaliteit ($N_{crit}$) uiteindelijk de snelheid van uitlezingskalibratie inhalen.

2. Architecturale Verschillen in Geometrische Mechanismen

Het raamwerk onthult dat verschillende architecturen generalisatie bereiken via distincte geometrische paden.

• MLP's versus Transformers: Bij taken zoals modulaire optelling en permutatiesamenstelling vertonen MLP's en Transformers tegengestelde trends in de uitlijning van centra ($\rho_c$) en de uitlijning van assen ($\rho_a$). Hoewel beide architecturen de manifold-dimensie en straal verminderen, manipuleren ze de inter-klassige geometrie op verschillende manieren om hetzelfde oppervlakkige grokking-gedrag te bereiken.

3. Diagnosticeren van Schijnbaar Leren

Het raamwerk onderscheidt succesvol echte generalisatie van artefacten veroorzaakt door niet-standaard trainingsrecepten.

• MNIST Grokking Artefact: Een eerder gerapporteerd voorbeeld van grokking op MNIST (geïnduceerd door hoge initiële gewichtsnormen en kleine trainingssets) wordt gediagnosticeerd als schijnbaar. Het raamwerk onthult representatie-degradatie (toenemende $N_{crit}$ en afnemende nauwkeurigheid van lineaire probes) en uitlezings-overfitting tijdens de "pre-grokking" fase. De ogenschijnlijke vertraagde generalisatie is een artefact van de uitlezing die uiteindelijk corrigeert voor een degraderende representatie, in plaats van een echte verbetering in feature-leren.
• Epoch-weise Dubbele Daling: In dubbele-daling scenario's geïnduceerd door labelruis, identificeert het raamwerk een tweefasig proces: een initiële fase van representatie-verslechtering, gevolgd door een fase waarin uitlezingsupdates worden gedomineerd door schijnbare signalen (ruisachtige labels). Het verwijderen van de niet-standaard ingrediënten (bijvoorbeeld labelruis) elimineert zowel het patroon van dubbele daling als de diagnostische kenmerken.

4. Top-Down Analyse Raamwerk

De auteurs positioneren deze decompositie als een "top-down" complement aan "bottom-up" mechanistische interpreteerbaarheid (bijvoorbeeld circuitontdekking). Door de globale structuur van representaties te karakteriseren (manifold-geometrie, scheidbaarheid, uitlijning), biedt het raamwerk consistente waarneembare grootheden over train/test-splits en diverse taken heen, en levert het een betrouwbaar signaal voor het bewaken van leerdynamiek waar standaard verliescurves falen.

Betekenis

Het artikel vestigt de decompositie van representatie en uitlezing als een verenigd, taak-onafhankelijk raamwerk voor het begrijpen van leerdynamiek. De primaire betekenis ligt in:

• Verfijning van Theoretische Verklaringen: Het gaat voorbij aan de binaire lui-naar-rijk dichotomie en demonstreert dat representatieleren continu is en dat grokking wordt gedreven door de relatieve snelheden van representatieverbetering versus uitlezingskalibratie.
• Diagnostische Nut: Het biedt specifieke kenmerken om schijnbare leerdynamiek te identificeren (bijvoorbeeld representatie-degradatie of uitlezings-misalignatie) die in niet-standaard trainingsopstellingen kunnen worden verward met echte leerverschijnselen.
• Generaliseerbaarheid: Het raamwerk is consistent toepasbaar op algoritmische taken, real-world datasets (MNIST) en architecturen (MLP, Transformer, ResNet), en biedt een principieel instrument voor interpreteerbaarheidsresearch en monitoring van modellen met veiligheidskritische toepassingen.

De auteurs concluderen dat, hoewel het raamwerk momenteel wordt toegepast op de laatste lineaire laag, het een robuuste basis biedt voor toekomstig onderzoek naar tussenliggende lagen, taakspecifieke structuren en scenario's voor continu leren.