Technische Samenvatting: De Stabiliteit van de Singuliere Distributie (SoSD)

Probleemstelling

Het voortrainen van Large Language Models (LLM) vertoont consequent een karakteristieke "snel-dan-trage" tweefasige traject: een initiële fase van precipitieuze verliesafname, gevolgd door een langdurige periode van asymptotische, zwaarstaartige verbetering. Hoewel dit empirische patroon goed gedocumenteerd is in belangrijke technische rapporten, blijven de onderliggende theoretische mechanismen die de overgang van de snelle-leerfase naar de trage-verzadigingsfase dicteren fundamenteel onderbelicht. Bestaande analyses vertrouwen vaak op beperkte taakformuleringen (bijvoorbeeld contextueel leren of lineaire regressie) of richten zich op specifieke structurele fenomenen zoals rank-collapse, waardoor ze geen verenigd spectraal perspectief bieden op de macroscopische temporele evolutie van het verlieslandschap in algemene voortrainingscenario's.

Methodologie

De auteurs onderzoeken de optimalisatiedynamiek van LLM's door de analytische lens te verschuiven van convergentie van parametermatrices naar de temporele evolutie van hun spectrale eigenschappen.

Empirische Aanpak

De studie voert voortrainingsexperimenten uit op twee decoder-only modelfamilies:

• GPT-2 (Small en Medium) getraind op het FineWeb-dataset.
• LLaMA (0,5B en 2B) getraind op het C4-dataset.

De auteurs monitoren de cosinus-sequentie tussen huidige toestanden en de uiteindelijke getrainde toestanden voor zowel parametermatrices ($W$) als hun singuliere-waardenmatrices ($\Sigma$). Ze definiëren de Singuliere Distributie (SD) als het spoor-genormaliseerde spectrum ($\hat{\Sigma}_t = \Sigma_t / \text{tr}(\Sigma_t)$) en meten de Variatie in Singuliere Distributie (SD-variatie) als de Frobenius-norm van de update naar deze genormaliseerde spectrum ($\Delta \Sigma_t = \|\hat{\Sigma}_{t+1} - \hat{\Sigma}_t\|_F$).

Theoretisch Kader

Om de waargenomen fenomenen te verklaren, analyseren de auteurs een vereenvoudigde Transformer met één laag en één hoofd onder volledige-batch Gradient Descent met kleine initialisatie. Ze stellen een theoretisch kader op gebaseerd op:

1. Strikt toenemende Normen: Gewichtsnormen groeien monotoon tijdens het trainen (bij afwezigheid van gewichtsverval).
2. Niet-degeneratie en Begrensde Gradienten: Parameters blijven vol-rang met begrensde conditiecijfers, en gradienten zijn niet-verdovend maar begrensd.
3. Zachtheid en Marge-voorwaarden: Aannames betreffende lokale zachtheid van het verlieslandschap en positieve marges in attentie- en logit-distributies tijdens het late trainingsregime.

Belangrijkste Bijdragen

1. Identificatie van de Stabiliteit van de Singuliere Distributie (SoSD)

Het paper identificeert een fenomeen dat Stabiliteit van de Singuliere Distributie (SoSD) wordt genoemd. Empirische resultaten tonen aan dat het spoor-genormaliseerde spectrum van singuliere waarden ($\hat{\Sigma}$) aanzienlijk eerder stabiliseert dan de parametermatrices ($W$) zelf.

• Spectrale Ontkoppeling: Terwijl gewichtsinvoer ver verwijderd blijven van hun uiteindelijke configuratie, verzadigt de relatieve vorm van het spectrum van singuliere waarden nabij 1.
• Synchronisatie: Het begin van SoSD (waar SD-variatie daalt tot een metastabiele vloer) valt precies samen met de overgang van de validatieverlies van de snelle-dalingsfase naar het trage-dalende (asymptotische) regime. Deze synchronisatie wordt waargenomen in diverse architecturen (GPT-2, LLaMA), modules (Attention, MLP) en optimalisatie-instellingen.

2. Theoretische Analyse van SoSD en Tweefasige Dynamiek

De auteurs bewijzen dat het ontstaan van SoSD onvermijdelijk is onder standaard trainingsvoorwaarden en dat dit mechanistisch de snelheid van verliesreductie begrenst.

• Stelling 4.5 (Ontstaan van SoSD): Onder de aanname van monotoon toenemende gewichtsnormen, schaalt de stabiliteitsgrens voor de singuliere distributie als $\varepsilon \propto \eta / \|W\|$. Naarmate het trainen vordert en $\|W\|$ groeit, krimpt de toelaatbare variatie in de singuliere distributie, waardoor het systeem in een stabiele toestand wordt gedwongen.
• Stelling 4.9 (Tweefasige Dynamiek):
  • Fase I (Snelle Daling): Voor de SoSD-drempel ($t < T^*$) toestaan matige parameter-normen aanzienlijke spectrale verschuivingen, waardoor een verliesafname van constante orde mogelijk is ($\Delta L(t) = O(1)$).
  • Fase II (Trage Daling): Na de SoSD-drempel ($t > T^*$) stabiliseert de singuliere distributie. De verliesvermindering wordt kinetisch beperkt en is theoretisch begrensd door de grootte van de SD-variatie ($\Delta L(t) \le O(\varepsilon^p)$). De stabilisatie van $\hat{\Sigma}$ fungeert als een bottleneck, waardoor het verlies in een asymptotisch plateau terechtkomt.

3. Interpretatie van Voortrainingsstrategieën

Het paper interpreteert standaard optimalisatiestrategieën door de lens van het moduleren van de SoSD-stabiliteitsgrens ($\varepsilon \propto \eta / \|W\|$):

• Leerplanschema's: Strategieën zoals Stapsgewijze Daling, Warmup-Stable-Decay (WSD) en Cosine Daling functioneren door de leersnelheid $\eta$ te verlagen. Dit verscherpt de stabiliteitsgrens, dwingt het systeem uit zijn huidige kwasi-evenwicht en maakt verdere verliesminimalisatie mogelijk door fijnmazigere kenmerken op te lossen.
• Gewichtsverval: Door de groei van de gewichtsnorm $\|W\|$ te onderdrukken, verlicht gewichtsverval de stabiliteitsbeperking (verhoging van $\varepsilon$). Dit staat grotere updates aan de singuliere distributie toe, wat effectief de theoretische bovengrens voor verliesreductie verhoogt en voortijdige verzadiging voorkomt.
• Optimalisators (Muon vs. Adam): Het SoSD-fenomeen blijft bestaan, zelfs met de Muon-optimalisator, wat bevestigt dat het een fundamenteel kenmerk is van Transformer-voortraining. Muon handhaaft echter een aanzienlijk lagere grootte van SD-variatie in vergelijking met Adam, wat suggereert dat het het spectrale landschap met hogere efficiëntie navigeert.

Resultaten

• Empirische Validatie: Experimenten op GPT-2- en LLaMA-modellen bevestigen dat singuliere distributies vroeg stabiliseren (vaak binnen de eerste 10-20% van trainingsstappen), terwijl parameters blijven evolueren. Deze stabilisatie valt samen met het betreden van het validatieverlies van een zwaarstaartig, trage-dalend regime.
• Correlatie: Er wordt een strakke synchronisatie waargenomen tussen de afname van SD-variatie en de overgang naar de trage-dalende fase van de verliescurve.
• Effectiviteit van Strategieën:
  • Het verlagen van de leersnelheid induceert een scherpe daling in SD-variatie, wat synchroniseert met hernieuwde verliesdaling.
  • Gewichtsvervalmodellen bereiken lagere uiteindelijke verliezen dan niet-geregulariseerde baselines, wat correleert met een hogere aanhoudende SD-variatie (door versoepelde beperkingen op $\|W\|$).
  • De Muon-optimalisator bereikt een lager verlies en snellere convergentie terwijl het lagere SD-variatiemagnitudes handhaaft dan Adam.

Betekenis en Aanspraken

Het paper claimt een nieuw mechanistisch begrip te bieden van Transformer-optimalisatietrajecten door microscopische spectrale gedragingen te koppelen aan macroscopische trainingsdynamiek.

• Verenigd Perspectief: Het biedt een spectrale lens om het alomtegenwoordige "snel-dan-trage" convergentiepatroon te verklaren, en stelt dat de overgang niet louter een artefact is van specifieke lagen, maar een globale kinetische beperking die wordt gekenmerkt door de verzadiging van de singuliere distributie.
• Theoretische Grondslag: Het werk stelt een theoretisch kader op dat bewijst dat de groei van gewichtsnormen onvermijdelijk een vroege SoSD-drempel doet ontstaan, waarna de snelheid van verliesvermindering strikt wordt begrensd door de variatie in de singuliere distributie.
• Praktisch Inzicht: Door leerschema's en gewichtsverval te kaderen als mechanismen om de SoSD-schaal te moduleren, biedt het paper een rationale voor waarom deze strategieën efficiënt voortrainen faciliteren, en suggereert dat het overwinnen van de spectrale barrière de sleutel is tot het bereiken van lagere trainingsverliezen.

De auteurs houden een bescheiden standpunt, waarbij ze noteren dat hoewel SoSD fungeert als een karakterisering van singuliere-waardedynamiek en een indicator voor het trage-dalende regime, een lagere SoSD-waarde niet inherent betere prestaties impliceert (zoals blijkt uit de gewichtsvervalexperimenten waarbij een hogere SoSD samenbestaat met een lager verlies). De primaire bijdrage is de identificatie van de synchronisatie tussen spectrale stabiliteit en optimalisatieverzadiging.