Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

Technische Samenvatting: Evolutie van de Weibull-gewichts-schaalparameter onder AdamW

Probleemstelling
Het begrijpen van de evolutie van neurale netwerkgewichten tijdens de training is centraal voor optimalisatie en generalisatie. Een eerder kader (Ding, 2026) stelde een twee-parameter Weibull-verdeling vast om de grootte van transformer-gewichten te diagnosticeren, waarbij een "Transmission-class" regelmatige vorm werd geïdentificeerd waarbij de vormparameter $k$ vast blijft nabij $k_0 \approx 1,20$, terwijl de schaalparameter $\lambda$ een karakteristiek traject volgt: stijging, overshoot, relaxatie en vloer. Echter, het mechanisme dat dit traject aanstuurt, bleef onverklaard. Hoewel AdamW-dynamica wordt gedefinieerd op het niveau van individuele parameters en optimizer-toestanden, en Weibull-parameters distributie-niveau samenvattingen zijn, ontbrak een brug om uit te leggen waarom $\lambda$ stijgt en vervolgens relaxeert. Specifiek was het onduidelijk welke optimizer-niveau krachten het model langs de $\lambda$-coördinaat bewegen.

Methodologie
Het artikel overbrugt de kloof tussen individuele parameterdynamica en distributie-niveau statistieken via een driestapsbenadering:

1. Drie-krachten Decompositie: Vertrekkend vanuit de gedecoupleerde AdamW-update regel, leiden de auteurs een leidende-orde decompositie af van de gekwadrateerde gewichtsnorm dynamica ($\Delta \Sigma W^2$) naar drie onderscheidende krachten:

   • Alignment Force ($F_{align}$): $-2\eta \langle W, \hat{u} \rangle$, die de correlatie meet tussen de huidige gewichten en de adaptieve update-richting.
   • Injection Force ($F_{inj}$): $+\eta^2 \|\hat{u}\|^2$, die de gekwadrateerde grootte van de adaptieve stap (stochastische ruis) vertegenwoordigt.
   • Decay Force ($F_{decay}$): $-2\eta \lambda_{wd} \Sigma W^2$, de structurele bijdrage van gedecoupleerde weight decay.

2. De $k$-Lock Brug: Om deze gekwadrateerde-norm krachten te verbinden met de Weibull-schaalparameter $\lambda$, maakt het artikel gebruik van de observatie dat $k$ nagenoeg constant blijft ($k \approx 1,20$) voor Transmission-class componenten. Dit maakt het mogelijk dat de RMS ($\sigma$) en $\lambda$ verbonden worden door een bijna vaste multiplicatieve factor ($\sigma = \lambda \sqrt{\Gamma(1+2/k)}$), wat de vertaling mogelijk maakt van krachtdynamica op $\sigma^2$ naar het traject van $\lambda(t)$.

3. Sparse Checkpoint Recovery (Spline Displacement): Omdat publieke modelreleases geen optimizer-momenten ($\hat{m}, \hat{v}$) bevatten, introduceren de auteurs een methode om krachtinformatie te herstellen uit ijle (sparse) checkpoint-gewichten. Door een kubische spline te fitten op opgeslagen gewichtstrajecten, schatten zij de eenheidsstap-verplaatsing in die nodig is om de alignment force te berekenen. Deze methode wordt gevalideerd tegen ground-truth momenten van zelf-getrainde modellen.

Belangrijkste Resultaten

• Dominantie van de Stijgingsfase: Op zelf-getrainde Pythia-70M modellen met ground-truth optimizer-momenten, domineert de alignment force de stijgingsfase, waarbij zij bijdraagt aan 88–94% van het absolute krachtbudget. Deze dominantie is robuust over vier willekeurige seeds en blijft stabiel, zelfs na het verwijderen van "super-weight" uitschieters. De injection force draagt slechts ~4% bij, en decay ~2–7%.
• Transitie naar Relaxatie: De transitie van gewicht-schaalgroei naar relaxatie komt overeen met een verschuiving in de krachtbalans. Naarmate de training vordert richting verzadiging, neemt de alignment force af terwijl de decay force toeneemt. Nabij de piek en in de relaxatiefase benaderen alignment en decay elkaar in balans ($F_{align} \approx |F_{decay}|$), waardoor de netto kracht verdwijnt en de gewichtsschaal stabiliseert of krimpt.
• Architectuur-onafhankelijke Robuustheid: Het alignment-dominantie mechanisme houdt stand voor zowel Pythia-stijl (GPT-NeoX) als Llama-stijl architecturen, waarbij de aandeel van alignment binnen de 88–94% range blijft tijdens de stijgingsfase.
• Herstel-nauwkeurigheid: De voorgestelde spline displacement methode herstelt de alignment force uit ijle checkpoints met een nauwkeurigheid van 92–94%, wat ongeveer het dubbele is van de prestaties van een naïeve twee-punts baseline.
• RMS-naar-Weibull Offset: De gesloten-lus integratie van krachten om $\lambda(t)$ te voorspellen vertoont een systematische offset van ongeveer 5–6% in dicht bemonsterde regio's. Dit is gedecomposeerd in een ~4,6% bridge error (RMS-naar-Weibull reconstructie) en een ~1,9% integratiefout, wat bevestigt dat de krachtdynamica de dominante component van het traject beheerst.
• Data-afhankelijke Modulatie: Een exploratieve observatie suggereert dat de absolute piekwaarde van $\lambda(t)$ varieert met de coherentie van de trainingsdata. Modellen getraind op single-domain data (wikitext-103) bereiken hogere piek $\lambda$ waarden (~0,069–0,076) vergeleken met modellen getraind op multi-domain data (The Pile, ~0,035). Een continue-training interventie op een op de Pile getraind model die overschakelde naar wikitext-103 resulteerde in een 2,6x toename van $\lambda$, wat suggereert dat data-coherentie de alignment force moduleert.

Betekenis en Claims
Het artikel claimt de eerste mechanistische verklaring te bieden voor het geobserveerde traject van de stijging, overshoot en relaxatie van de Weibull-gewichts-schaalparameter $\lambda$ tijdens AdamW-training. De primaire bijdragen zijn:

1. Verbinden van Beschrijvingsniveaus: Het slaagt erin de kloof te overbruggen tussen laag-niveau AdamW update regels en hoog-niveau distributie-diagnostiek, door aan te tonen dat $\lambda(t)$ de gewicht-schaalcomponent van een leidende-orde krachtbudget volgt.
2. Identificeren van de Drijver: Het identificeert de alignment force als de dominante drijfveer van gewicht-schaalgroei tijdens de stijgingsfase van de training, wat de opvatting uitdaagt dat weight decay of ruis de primaire factoren zijn in deze fase.
3. Verklaren van het Traject: Het verklaart de overshoot en relaxatie als een gevolg van de transitie van alignment-dominantie naar een alignment-decay balans nabij verzadiging.
4. Praktische Toepasbaarheid: Het biedt een gevalideerde methode (spline displacement) om krachtdynamica te herstellen uit real-world modellen waar optimizer-toestanden niet beschikbaar zijn, waardoor de analyse verder reikt dan zelf-getrainde omgevingen.

De auteurs merken expliciet op dat de data-coherentie observatie exploratief is en dat een volledige karakterisering van de effecten van data-diversiteit verdere gecontroleerde studies vereist. De primaire bijdrage blijft de kracht-budget verklaring van gewicht-schaaldynamica, waarbij het data-resultaat dient als motivatie voor toekomstige gecontroleerde experimenten.