📊 statistics

Uniform Scaling Limits in AdamW-Trained Transformers

Dit artikel stelt vast dat de gezamenlijke dynamiek van verborgen toestanden en teruggepropageerde variabelen in met AdamW getrainde transformers uniform convergeert naar een voorwaarts-achterwaarts systeem van ODE's (specifiek een McKean-Vlasov ODE bij afwezigheid van causale masking) naarmate de diepte en het aantal attention heads toenemen, waarbij dimensie-onafhankelijke foutgrenzen worden geboden zonder gebruik te maken van overdekkingsargumenten.

Oorspronkelijke auteurs: William Gibson, Christoph Reisinger

Gepubliceerd 2026-05-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: William Gibson, Christoph Reisinger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Van een Chaotische Menigte tot een Stroomende Rivier

Stel je een Transformer (het type AI achter moderne chatbots) voor als een enorm, meerdelig gebouw.

De Verdiepingen: Het gebouw heeft $L$ verdiepingen (lagen).
De Werknemers: Op elke verdieping zijn er $H$ teams van werknemers (attention heads) die kijken naar de informatie die van onderen naar boven komt.
De Data: De informatie is een stroom van "tokens" (woorden of beeldfragmenten) die het gebouw omhoog bewegen.
Het Trainen: Het gebouw wordt "getraind" met een optimalisatiealgoritme genaamd AdamW. Denk aan AdamW als een zeer strenge, slimme bouwheer die de gereedschappen van de werknemers aanpast om fouten te minimaliseren, terwijl hij tegelijkertijd de gereedschapsmaten zachtjes verkleint om te voorkomen dat ze te groot en instabiel worden (dit heet weight decay).

Het Probleem:
Wanneer dit gebouw enorm is (duizenden verdiepingen en miljoenen werknemers), wordt het onmogelijk om de beweging van elke enkele werknemer bij te houden. Het is als proberen het exacte pad van elk zandkorreltje in een enorme zandstorm te voorspellen. Wiskundigen zeggen meestal: "Als we de hele storm willen begrijpen, moeten we elk korreltje tellen," waardoor de wiskunde afhankelijk wordt van het aantal korrels (tokens).

De Doorbraak:
Dit artikel bewijst dat je niet elk korreltje hoeft te tellen. Zelfs als je een miljard tokens hebt, convergeert het gedrag van het hele systeem naar een gladde, voorspelbare stroom die er hetzelfde uitziet, ongeacht hoeveel tokens je hebt.

De Kernanalogie: Het "Interagerend Deeltjesysteem"

De auteurs modelleren de verborgen toestanden (de data die door het netwerk beweegt) als een Interagerend Deeltjesysteem (IPS).

De Oude Manier: Stel je een kamer vol mensen (tokens) voor die proberen met elkaar te praten. Als je wilt weten wat de groep denkt, moet je naar elk gesprek luisteren. Als de kamer groter wordt, wordt de wiskunde moeilijker.
De Nieuwe Manier: De auteurs tonen aan dat als je genoeg mensen hebt, je kunt stoppen met luisteren naar individuen en gewoon luisteren naar de "gemiddelde sfeer" van de kamer.
- In plaats van te volgen hoe Persoon A met Persoon B praat, volg je hoe de "gemiddelde persoon" interageert met de "gemiddelde sfeer".
- Dit verandert een chaotische, discrete rommel van individuele updates in een gladde, continue Stroom van Data.

De "Uniforme" Magie: Waarom het Aantal Tokens Niet Uitmaakt

Het meest verrassende deel van het artikel is het woord "Uniform".

In de wiskunde, wanneer je probeert te bewijzen dat iets werkt voor alle mogelijke invoer, moet je je meestal zorgen maken over het "slechtst mogelijke scenario". Als je 100 tokens hebt, is de wiskunde het ene ding. Als je 1.000.000 tokens hebt, wordt de wiskunde meestal veel rommeliger, en worden de foutgrenzen (hoe ver je voorspelling er naast kan zitten) slechter.

De Claim van het Artikel: De auteurs bewijzen dat de fout tussen de echte, rommelige Transformer en hun gladde, continue "Stroom"-model niet erger wordt naarmate je meer tokens toevoegt.
De Metafoor: Stel je voor dat je het weer probeert te voorspellen. Meestal wordt je voorspellingsmodel complexer en moeilijker op te lossen als je meer weerstations (tokens) toevoegt. Dit artikel zegt: "Nee. Zodra je genoeg stations hebt, wordt het weertype een gladde, voorspelbare curve die net zo makkelijk te berekenen is of je nu 10 stations of 10 miljoen hebt."

Ze bereikten dit door een wiskundige truc genaamd een "covering argument" te vermijden (wat vergelijkbaar is met het in kaart brengen van elke enkele straat in een stad om het verkeer te begrijpen). In plaats daarvan gebruikten ze een techniek genaamd concentratie van maat, wat vergelijkbaar is met het beseffen dat in een enorme menigte het gemiddelde gedrag zo stabiel is dat de uitschieters er niet toe doen.

De Rol van AdamW: De "Gekoppelde" Bouwheer

Het artikel kijkt specifiek naar AdamW, de standaard optimalisatiealgoritme voor het trainen van deze modellen.

Het Probleem: In veel wiskundige modellen kunnen de "gereedschappen" (parameters) die de werknemers gebruiken oneindig groot en wild worden, waardoor de wiskunde explodeert.
De Oplossing: AdamW heeft een speciaal kenmerk genaamd decoupled weight decay. Het is als een bouwheer die zegt: "Je mag je gereedschap aanpassen om fouten te herstellen, maar ik zal je gereedschap elke dag ook zachtjes terugverkleinen naar een veilige maat."
Het Resultaat: Dit houdt de gereedschappen van alle werknemers binnen een vaste, veilige "doos" (een compacte verzameling). Omdat de gereedschappen nooit te wild worden, blijft de wiskunde stabiel, en kunnen de auteurs bewijzen dat het "Stroom"-model perfect werkt, zelfs tijdens lange trainingssessies.

De "Stroomkaart" en de "Terugwaartse Rivier"

Het artikel kijkt niet alleen naar data die vooruit beweegt (Invoer $\to$ Output). Het kijkt ook naar backpropagation (hoe het model leert van zijn fouten).

Voorwaartse Rivier: Data stroomt het gebouw omhoog.
Terugwaartse Rivier: Gradienten (de "lessen geleerd") stromen het gebouw omlaag.
Het Systeem: De auteurs tonen aan dat zowel de voorwaartse data als de terugwaartse lessen convergeren naar een systeem van Gewone Differentiaalvergelijkingen (ODE's).
- Denk hierbij aan een paar gesynchroniseerde rivieren die in tegenovergestelde richtingen stromen.
- Ze bewezen dat de discrete stappen van de echte computer (het springen van verdieping naar verdieping) bijna identiek zijn aan de gladde stroom van deze wiskundige rivieren.

Het Hoofdresultaat (De "Stelling")

Het artikel biedt een specifieke formule voor hoe dicht de echte Transformer bij hun gladde wiskundige model ligt. De fout hangt af van:

$L$ (Diepte): Hoe hoog het gebouw is.
$H$ (Heads): Hoeveel werknemersteams er zijn.

De fout wordt kleiner naarmate het gebouw hoger wordt en meer teams heeft. Cruciaal is dat het aantal tokens ( $N$ ) niet voorkomt in de foutformule.

In gewone taal:
Als je een Transformer bouwt met oneindige diepte en oneindige breedte, getraind met AdamW, wordt zijn gedrag perfect voorspelbaar en glad. Je kunt het hele systeem beschrijven met een eenvoudige set vergelijkingen, en het maakt niet uit of je 10 woorden of 10 miljard woorden verwerkt; de regels van het spel blijven hetzelfde.

Samenvatting van Bijdragen

Gladheid: Ze hebben het chaotische, stap-voor-stap trainen van een Transformer omgezet in een gladde, continue stroom (ODE's).
Token-onafhankelijkheid: Ze bewezen dat deze gladheid geldt, ongeacht hoeveel tokens je het model voert. Dit is een zeldzaam en krachtig resultaat omdat het de "vloek van de dimensionaliteit" met betrekking tot het aantal tokens verwijdert.
AdamW-stabiliteit: Ze lieten zien dat de specifieke manier waarop AdamW gewichten verkleint, het systeem stabiel houdt, waardoor ze deze resultaten kunnen bewijzen zonder dat de wiskunde explodeert.
Dimensionale onafhankelijkheid (Bonus): Als ze een specifieke versie van AdamW gebruiken (Blockwise), maakt de wiskunde zich ook niet meer druk om de grootte van de woordembeddings (de "vocabulairegrootte" van de wiskunde), waardoor het model nog schaalbaarder wordt.

De Kernboodschap:
Dit artikel geeft ons een wiskundige "lens" die ons in staat stelt om het bos te zien in plaats van de bomen. Het vertelt ons dat naarmate deze AI-modellen groter en groter worden, ze niet alleen complexer worden; ze worden eigenlijk simpeler en voorspelbaarder, geregeerd door gladde wetten die onafhankelijk zijn van de enorme hoeveelheid data die ze verwerken.

Technische Samenvatting: Uniforme Schaalbeperkingen in AdamW-getrainde Transformers

Probleemstelling
Het artikel adresseert de theoretische uitdaging om de trainingsdynamiek van Large Language Models (LLMs), specifiek Transformers, te begrijpen naarmate ze schalen in diepte ( $L$ ) en breedte (aantal attention-heads, $H$ ). Hoewel empirische schaalwetten de industrie ertoe aanzetten de modelgrootte te vergroten, blijft een rigoureuze theoretische understanding van hoe ontwerpkeuzes generaliseerbaarheid en robuustheid beïnvloeden in de limiet van oneindige diepte en oneindige breedte onvolledig.

Bestaande literatuur over de convergentie van gradiëntafdaaling naar globale optimaliteit maakt vaak gebruik van limietmodellen (bijvoorbeeld Neural ODE's of Mean-Field limieten). Het overdragen van resultaten uit deze limieten naar praktische modellen vereist echter convergentiegrenzen die uniform gelden over de invoer van het model. Er bestaat een aanzienlijke lacune in de literatuur met betrekking tot Transformers die zijn getraind met de AdamW-optimizer. Vorige werken gaan vaak uit van gradiëntafdaaling of vereisen dat parameters worden gedeeld of afhankelijk zijn over lagen, wat niet overeenkomt met de standaardpraktijk van onafhankelijke en identiek verdeelde (i.i.d.) initialisatie. Bovendien verstoort de kubische groei van gradiënten in softmax self-attention (door $Q, K, O, V$ -matrixproducten) theoretische garanties, wat vaak leidt tot grenzen die exponentieel groeien met de trainingsstappen. Tot slot hangen standaard convergentiegrenzen vaak af van het aantal tokens ( $N$ ) via overdekkingsargumenten (bijvoorbeeld het Entropie-integraaltheorema van Dudley), wat hun toepasbaarheid beperkt tot uniforme convergentie over willekeurige invoerverdelingen.

Methodologie
De auteurs modelleren de dynamiek van de verborgen toestanden van een niet-gemaskerde, alleen-attention Transformer die is getraind met AdamW als een interactief deeltjessysteem (IPS) dat via het attention-mechanisme is gekoppeld. De analyse verloopt via de volgende stappen:

Mean-Field Formulering: De discrete dynamiek van de $N$ tokens en $H$ heads wordt benaderd door een continue-tijd limiet. De verborgen toestanden en teruggepropageerde (geadjungeerde) variabelen blijken te convergeren naar de oplossing van een voorwaarts-achterwaarts systeem van Gewone Differentiaalvergelijkingen (ODE's).
McKean–Vlasov ODE's (MVODE's): Wanneer causale masking afwezig is, wordt het limietsysteem geïdentificeerd als een McKean–Vlasov ODE. Het snelheidsveld van deze ODE wordt gedefinieerd door de verwachting over de parameterverdeling.
Omgaan met AdamW en Non-lineariteit: Een kritiek onderdeel van de methodologie is de behandeling van de AdamW-optimizer. In tegenstelling tot standaard SGD, ontkoppelt AdamW gewichtsverval. De auteurs maken gebruik van deze eigenschap om aan te tonen dat de drager van de parametermaten binnen een compacte verzameling blijft, uniform over alle trainingsstappen. Dit maakt globale Lipschitz-constanten mogelijk voor het attention-mechanisme en zijn afgeleiden, waardoor de exponentiële groei van grenzen die typisch geassocieerd wordt met de kubische gradiëntgroei in self-attention wordt voorkomen.
Uniforme Convergentie zonder Overdekking: Om grenzen te bereiken die onafhankelijk zijn van het aantal tokens ( $N$ $N$ ), vermijden de auteurs traditionele overdekkingsargumenten. In plaats daarvan maken ze gebruik van:
- Concentratie van Maat: Toepassing van technieken om de $L^1$ -norm van martingaleverschillen te begrenzen die geassocieerd zijn met de parameterinitialisatie.
- Bloksgewijze Taylor-benadering: Het splitsen van de lagen in blokken en het benaderen van de stroomkaarten binnen elk blok met behulp van Taylor-ontwikkelingen.
- Tensorstructuur: Het benutten van de specifieke algebraïsche structuur van het attention-mechanisme (uitgedrukt als verhoudingen van lineaire functies van maten) om aan te tonen dat het supremum over beginvoorwaarden kan worden gereduceerd tot een eindig-dimensionale ruimte, waardoor de afhankelijkheid van $N$ wordt geëlimineerd.
Bloksgewijze AdamW: De auteurs introduceren een variant van AdamW (Bloksgewijze AdamW) die blokken van parameters afzonderlijk regulariseert. Deze aanpassing maakt het mogelijk dat de afgeleide grenzen ook onafhankelijk zijn van de token-embeddingsdimensie ( $d$ ).

Belangrijkste Bijdragen

Uniform Convergentiestelling: Het hoofdresultaat (Stelling 7) stelt vast dat de niet-gemaskerde alleen-attention Transformer, met parameters die i.i.d. zijn geïnitieerd vanuit een compact gedragen verdeling, convergeert in $L^2$ uniform over beginvoorwaarden naar een interactief deeltjessysteem van gemiddelde ODE's. De convergentiesnelheid is $O(L^{-1} + L^{-1/3}H^{-1/2})$ .
Onafhankelijkheid van Aantal Tokens: In tegenstelling tot eerdere grenzen die schalen met $\sqrt{\log(N)}$ of afhankelijk zijn van $N$ via overdekkingsargumenten, zijn de afgeleide grenzen onafhankelijk van het aantal tokens $N$ . Dit impliceert dat de resultaten gelden voor beginvoorwaarden die niet in de trainingsdata aanwezig zijn.
AdamW-aanpassing: Het werk breidt convergentieresultaten voor grote diepte uit naar Transformers die zijn getraind met AdamW. Het toont aan dat het ontkoppelde gewichtsverval van AdamW ervoor zorgt dat de parameters binnen een compacte verzameling blijven, wat zorgt voor Lipschitz-continuïteit over de gehele training voor het attention-mechanisme.
Dimensie-onafhankelijkheid: Door gebruik te maken van Bloksgewijze AdamW wordt aangetoond dat de grenzen onafhankelijk zijn van de token-embeddingsdimensie $d$ .
Expliciete Afgeleiden: Het artikel berekent expliciet Lions-afgeleiden voor het attention-mechanisme op de component van de maat, en stelt lokale Lipschitz-continuïteit vast met betrekking tot de $p$ -Wasserstein-afstand voor alle $p \in [1, \infty]$ .

Resultaten
Het artikel bewijst dat onder passende schaling van attention-heads en met parameters die i.i.d. zijn geïnitieerd, de gezamenlijke dynamiek van verborgen toestanden en teruggepropageerde variabelen convergeert naar de oplossing van een voorwaarts-achterwaarts systeem van ODE's.

Convergentiesnelheid: De fout tussen het discrete Transformer-model en de continue mean-field limiet wordt begrensd door $C(L^{-1} + L^{-1/3}H^{-1/2})$ , waarbij $C$ een constante is die onafhankelijk is van $N$ en, onder Bloksgewijze AdamW, onafhankelijk is van $d$ .
Uniformiteit: De convergentie is uniform over compacte verzamelingen van beginvoorwaarden.
Parametergrenzen: De auteurs tonen aan dat AdamW-updates de parameters uniform over alle trainingsstappen beperken tot een compacte verzameling $S(R_\theta)$ , een eigenschap die cruciaal is voor het vaststellen van globale Lipschitz-constanten.

Betekenis en Claims
Het artikel claimt een rigoureuze theoretische basis te bieden voor het begrijpen van het schaalgedrag van Transformers die zijn getraind met de dominante optimizer, AdamW. De betekenis ligt in:

Het Overbruggen van de Kloof: Het verbindt de discrete trainingsdynamiek van praktische, grootschalige Transformers met continue mean-field limieten, en biedt een hanteerbare setting voor analyse.
Robuustheid ten opzichte van Invoergrootte: Door grenzen vast te stellen die onafhankelijk zijn van het aantal tokens, suggereren de resultaten dat het theoretische gedrag van het model intrinsiek is aan zijn architectuur en initialisatie, en niet artefacten zijn van de specifieke datasetgrootte. Dit is bijzonder relevant voor generalisatie naar ongezette data.
Optimalisatiestabiliteit: De analyse benadrukt de stabiliserende rol van het ontkoppelde gewichtsverval van AdamW in het beheersen van parametergroei, wat essentieel is voor de theoretische garanties van Lipschitz-continuïteit in aanwezigheid van niet-lineaire attention-mechanismen.

De auteurs erkennen een afweging: de convergentiesnelheid $O(L^{-1} + L^{-1/3}H^{-1/2})$ is iets trager dan de snelheid $O(L^{-1} + (LH)^{-1/2})$ die wordt gezien in sommige ResNet-studies, een opoffering die is gedaan om uniforme grenzen te bereiken die onafhankelijk zijn van $N$ . Zij merken op dat het uitbreiden van deze resultaten naar causale masking (standaard in taalmodelleren) en SDE-schaalregimes een open gebied blijft voor toekomstig onderzoek.