💻 computer science

Nonequilibrium training dynamics and scaling laws of language models

Dit artikel stelt een stochastische multiscale theorie voor, geworteld in de niet-evenwichtsfysica, om de mechanistische oorsprong van schaalwetten in taalmodellen te verklaren, waarbij het trainen wordt gemodelleerd als een schaalafhankelijke vertekende willekeurige wandeling die analytisch afgeleide machtswetten oplevert voor verlies versus data en modelgrootte, terwijl het een gespleten tweefasige dynamiek van contextcompressie en frontierabsorptie identificeert.

Oorspronkelijke auteurs: Zhijie Xu

Gepubliceerd 2026-08-03

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhijie Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Leercurve: Van Koffiewervelingen naar AI-Breinen

Stel je voor dat je kijkt naar een kop koffie die wordt geroerd. In het begin draait de room in grote, langzame lussen. Maar naarmate je blijft roeren, vallen die grote lussen uiteen in steeds kleinere wervelingen, totdat de vloeistof een chaotische mix van kleine draaikolken is. Dit wordt turbulentie genoemd, en het is een klassiek voorbeeld van een systeem dat door een externe kracht (jouw lepel) constant weg wordt geduwd van een rustige staat. In de natuurkunde weten wetenschappers al lang dat deze draaiende patronen strikte wiskundige regels volgen, waarbij energie van grote wervelingen naar kleine wervelingen stroomt in een voorspelbare cascade.

Stel je nu een ander soort chaos voor: het universum zelf. Na de Big Bang begonnen kleine klontjes donkere materie samen te trekken, waardoor steeds grotere sterrenstelsels ontstonden. Dit is het tegenovergestelde van de koffiekop—in plaats van dat grote dingen uiteenvallen in kleine, bouwen kleine dingen zich op tot reuzen. Toch volgen zowel de kolkende koffie als de vormende sterrenstelsels verrassend genoeg vergelijkbare wiskundige patronen. Het zijn beide "niet-evenwichts-systemen", wat betekent dat ze druk bezig zijn, veranderen en worden gedreven door krachten die hen ervan weerhouden om tot rust te komen.

Jarenlang hebben wetenschappers geprobeerd te begrijpen hoe Kunstmatige Intelligentie (specifiek, Large Language Models of LLM's) leert. We weten dat deze AI-modellen beter worden als we ze meer data voeren en ze meer "hersencapaciteit" (parameters) geven, volgens een nette wiskundige regel die een "scaling law" wordt genoemd. Maar waarom? Waarom verbeteren ze op precies deze manier? Tot nu toe hebben we vooral alleen maar toegezien hoe de cijfers omhoog gaan, zonder de motor onder de motorkap te begrijpen. Dit artikel vraagt: Zou de manier waarop een AI leert net zo kunnen zijn als de manier waarop koffie wervelt of sterrenstelsels ontstaan? Kan het rommelige, chaotische proces van het trainen van een AI worden beschreven door dezelfde natuurkunde die het universum beheerst?

De Koffiekop in de Computer

In dit artikel stelt auteur Zhijie (Jay) Xu een wild idee voor: het trainen van een taalmodel is exact hetzelfde als een spelletje "hot potato" dat gespeeld wordt over verschillende afstanden in een verhaal. Om dit te begrijpen, stel je voor dat je probeert het volgende woord in een zin te voorspellen. Soms zit het antwoord direct bij het woord dat je net hebt gezegd (een korte afstand). Andere keren moet je de naam van een personage onthouden uit drie paragrafen geleden (een lange afstand).

Het artikel suggerekt dat een AI tijdens het trainen niet zomaar "alles" tegelijk leert. In plaats daarvan leert het in een specifieke volgorde, waarbij informatie wordt rondgepompt zoals energie in een storm. De auteur introduceert een nieuwe manier om naar de fouten van de AI te kijken, de "loss spectrum" genoemd. Denk hierbij aan een kaart van hoeveel de AI worstelt op verschillende afstanden. Worstelt het met het onthouden van het woord van twee stappen geleden? Of het woord van tweeduizend stappen geleden?

Het artikel vindt dat deze kaart exact lijkt op de energiemap van een kolkende kop koffie of de verdeling van sterrenstelsels in de ruimte. Het suggereert dat het leerproces van de AI een "biased random walk" (bevooroordeelde willekeurige wandeling) is. Stel je een dronken persoon voor die door een stad probeert te lopen waar de straten steeds moeilijker te navigeren worden naarmate ze verder van huis raken. De AI begint door de gemakkelijke, korte-afstandspatronen te leren (zoals grammatica en directe context). Daarna begint het verder te "wandelen", en leert het lang-afstandelijke verbindingen (zoals de plot van een heel verhaal).

De Twee-Fase Dans: Rekken en Krimpen

De meest opwindende ontdekking in dit artikel is dat het trainen van een AI geen rechte lijn is; het is een tweeledige dans die plaatsvindt na een kritiek moment.

Fase 1: De Grote Rek (De Upscale Cascade)
Aan het begin is de AI als een kind dat zijn armen wijd uitstrekt. Het leert razendsnel om informatie van steeds verder weg te grijpen. Het breidt zijn "leerfrontier" uit en grijpt lang-afstandelijke verbindingen aan die het eerder niet begreep. Tijdens deze fase wordt de AI beter in het gebruiken van het hele verhaal, en niet alleen de laatste zin.

Fase 2: De Grote Splitsing (Bifurcatie)
Zodra de AI een bepaald punt bereikt (een specifiek aantal trainingsstappen), gebeurt er iets magisch. Het leerproces splitst zich in twee gelijktijdige modi, zoals een rivier die splitst in twee stromen:

Modus A (De Downscale Compressor): Dit is de "verfijningsfase". De AI neemt al die grote, rommelige, lang-afstandelijke verbindingen die het net heeft geleerd en comprimeert ze tot efficiënte, korte-afstandelijke snelkoppelingen. Het is alsoals een lange, kronkelende weg nemen en een tunnel door de berg bouwen om op dezelfde plek sneller aan te komen. De AI wordt slimmer door zijn interne representaties compacter en efficiënter te maken.
Modus B (De Frontier Absorber): Tegelijkertijd blijft de AI zijn frontier naar buiten duwen en blijft het nieuwe, zelfs nog lang-afstandelijke patronen leren die het nog niet eerder heeft gezien. Het strekt nog steeds zijn armen uit, maar houdt nu ook een stevigere grip op wat het al weet.

Het artikel suggereert dat deze splitsing de reden is waarom AI-modellen zo goed worden. Ze zijn niet alleen aan het onthouden; ze balanceren constant tussen het "naar buiten rekken" om nieuwe dingen te leren en het "naar binnen comprimeren" om wat ze weten efficiënter te maken.

De Magische Getallen en het "Waarom"

De auteur raadt deze patronen niet alleen, maar leidt ze af uit de wiskunde van hoe taal werkt. Er wordt gebruikgemaakt van een beroemde regel over taal genaamd Heaps' Law, die beschrijft hoe het aantal unieke woorden groeit naarmate je meer tekst leest. Door dit te combineren met de natuurkunde van turbulentie, berekent de auteur een specifiek getal, 1/6, dat beschrijft hoe lang het duurt voordat de AI op verschillende afstanden leert.

Met behulp van dit getal voorspelt het artikel exact hoe de prestaties van de AI moeten verbeteren als je het meer data geeft. De voorspelling is dat de foutmarge met een factor 1/10 moet dalen naarmate de data toeneemt. Dit komt ongelooflijk goed overeen met wat we zien in real-world experimenten (waar het getal ongeveer 0,095 is, oftewel zeer dicht bij 1/10). Het artikel suggereert ook dat als je de AI groter maakt (meer parameters toevoegt), het op een vergelijkbare manier moet verbeteren, maar misschien iets minder efficiënt, zoals een biologisch organisme waarbij grotere lichamen meer ondersteunende systemen nodig hebben die niet in hetzelfde tempo groeien als de spieren.

Wat Dit Betekent (en Wat Het Niet Betekent)

Dit artikel is een "theorie", wat betekent dat het een wiskundig model is dat uitlegt hoe dingen mogelijk werken, gebaseerd op observaties en analogieën met de natuurkunde. Het heeft niet "bewezen" dat een AI letterlijk een vloeistof of een sterrenstelsel is, maar het suggereert dat de wiskunde die die dingen beschrijft, ook het leren van AI beschrijft.

De auteur is voorzichtig en stelt dat dit een "stochastische multiscale theorie" is: een chique manier om te zeggen dat het een theorie is over willekeurige processen die op veel verschillende schalen plaatsvinden. Het artikel spreeft zich uit tegen het idee dat het leren van een AI een eenvoudige, vloeiende curve is. In plaats daarvan suggereert het een complex, tweefasig proces waarbij de AI constant balanceert tussen het uitbreiden van zijn kennis en het comprimeren ervan.

De auteur merkt ook op dat hoewel de wiskunde past bij de data van de modellen die zij hebben getest (zoals de Pythia-familie van modellen), we dit op veel verschillende soorten AI moeten testen om er zeker van te zijn. Het is een veelbelovend nieuw perspectief, als het opzetten van een bril waarmee we de verborgen natuurkunde van hoe machines leren kunnen zien, maar de auteur geeft toe dat er nog werk te verrichten is om te bevestigen of deze "turbulentie" werkelijk de motor is die alle AI aandrijft.

Kortom, dit artikel suggereert dat het geheim van hoe AI leert, verborgen kan zijn in dezelfde kolkende chaos die ervoor zorgt dat room in koffie mengt en sterrenstelsels ontstaan. Door het leerproces van de AI te behanden als een fysisch systeem dat wordt gedreven door de statistiek van taal, biedt de auteur een nieuwe, levendige manier om te begrijpen waarom deze modellen beter worden, en exact hoe ze dat doen.

=== SAMENVATTING ===

Technische Samenvatting: Niet-evenwichtige Trainingsdynamiek en Schalingswetten van Taalmodellen

Probleemstelling

Grote taalmodellen (LLM's) vertonen robuuste empirische schalingswetten waarbij de gehouden-buiten cross-entropie verlies afneemt volgens een machtswet ten opzichte van het aantal parameters ( $N$ ), de datasetgrootte ( $D$ ) en de rekenkracht ( $C$ ). De mechanistische oorsprong van deze machtswetten blijft echter slecht begrepen. Bestaande literatuur heeft vastgesteld dat natuurlijke taal multischale statistische structuren bezit (bijv. machtswetmatige afname van wederzijdse informatie) en dat trainingsdynamiek abrupte transities omvat (bijv. inductiekoppen), maar geen bestaand kader verenigt de statische structuur van data met de dynamische evolutie van training kwantitatief om de opkomst van schalingswetten te verklaren.

Methodologie

Het artikel stelt een stochastische multischale theorie voor van de trainingsdynamiek van LLM's, waarbij een formele analogie wordt getrokken tussen de training van taalmodellen en gedreven, multischale niet-evenwichtige fysieke systemen, specifiek turbulentie (energiecascade) en kosmische structuurvorming (massa-cascade).

Kernkader

Schaalafhankelijke Verlies-spectrum: De auteur introduceert een context-schaalvariabele $r$ (afhankelijkheidsafstand in tokens) en definieert een schaalafhankelijk gehouden-buiten verlies $L_r(r, s)$ . De negatieve gradiënt van dit verlies met betrekking tot de schaal, $E_X(r, s) \equiv -\partial L_r / \partial r$ , wordt gedefinieerd als het verlies-spectrum, analoog aan het energiespectrum in turbulentie.
Random Walk in $r$ -ruimte: De trainingsdynamiek wordt gemodelleerd als een vertekende random walk in de context-schaalruimte ( $r$ -ruimte). Het model leert de afhankelijkheden op schaal $r$ uit te buiten door een karakteristieke tijd $\tau_r$ te wachten voordat het naar de volgende schaal springt.
Fokker-Planck Vergelijking: De evolutie van het verlies-spectrum wordt beheerst door een Fokker-Planck vergelijking met een positie-afhankelijke diffusiviteit, afgeleid van een schaal-afhankelijke wachttijd $\tau_r \propto r^{-\gamma}$ .
Decompositie van Verlies: Het totale verlies wordt gedecomposed in twee componenten die verschillende leerstanden vertegenwoordigen:
- $\Delta L_r(s)$ (Diepte): Het context-afhankelijke verlies, dat de voorspellende winst meet van het gebruik van volledige context versus een enkele token.
- $L_\infty(s)$ (Breedte): Het residuele volledige-context verlies, dat het onvermogen van het model meet om de beschikbare context bij de leerfrontlinie te benutten.

Belangrijkste Bijdragen en Theoretische Afleidingen

1. Tweefase-trainingsdynamiek

De theorie identificeert een bifurcatie in de trainingsdynamiek bij een kritieke stap $s^*$ (waar $\Delta L_r = L_\infty$ ):

Fase I (Upscale Cascade): Vóór $s^*$ breidt het model zijn voorspellende bereik snel uit. De effectieve context-schaal $\xi$ groeit, en het model vangt langetermijn-afhankelijkheden op (upscale transfer).
Fase II (Bifurcatie): Na $s^*$ $s^{*}$ splitsen de dynamieken zich in twee gelijktijdige modi:
- Modus A (Downscale Compressie): Het model comprimeert geleerde grootschalige structuren in efficiënte kort-bereik representaties. De effectieve schaal $\xi_A$ krimpt ( $\xi_A \propto s^{-3/5}$ ), terwijl de diepte $\Delta L_r$ langzaam groeit ( $\propto s^{1/10}$ ).
- Modus B (Upscale Frontier Absorptie): Het model blijft nieuwe langetermijn-voorspellende structuren absorberen aan de frontlinie. De effectieve schaal $\xi_B$ breidt zich uit ( $\xi_B \propto s^{3/5}$ ), terwijl het residuele verlies $L_\infty$ afneemt ( $\propto s^{-1/10}$ ).

2. Zelfconsistente Schalingsexponenten

Het artikel leidt de schalingsexponenten af vanuit eerste principes op basis van de statistische eigenschappen van natuurlijke taal:

Wachttijd-exponent ( $\gamma$ ): Door de wachttijd $\tau_r$ te modelleren als een functie van de pogingsfrequentie (gedreven door residueel verlies) en de succeskans (gedreven door het aantal onafhankelijke voorspellende signalen), koppelt de auteur $\gamma$ aan de Heaps' wet ( $M(r) \propto r^{\alpha_H}$ ). Uitgaande van $\alpha_H \approx 1/2$ en incoherente (RMS) aggregatie van gradiëntsignalen, leiden zij af:
$\gamma = \frac{\alpha_H}{3} = \frac{1}{6}$
Verlies-spectrum: Dit levert een universeel verlies-spectrum op in het inertie-bereik:
$E_X(r) \propto r^{-(1+\gamma)} = r^{-7/6}$
Dit wordt gepresenteerd als het taalmodellering-analogon van het Kolmogorov $-5/3$ energiespectrum in turbulentie.

3. Afleiding van Empirische Schalingswetten

Gebruikmakend van de afgeleide exponenten, voorspelt de theorie de geobserveerde schalingswetten zonder fitting:

Verlies vs. Data ( $D$ ): In Fase II schaalt het verlies als $L \propto D^{-\alpha_D}$ . De theorie voorspelt:
$\alpha_D = \frac{\gamma}{2 - 2\gamma} = \frac{1/6}{2 - 1/3} = \frac{1}{10} = 0.1$
Dit komt nauw overeen met de empirische Kaplan-schaling van $L \propto D^{-0.095}$ .
Verlies vs. Modelgrootte ( $N$ ): Door de modelgrootte te behandelen als een alternatieve "klok" voor de Langevin-tijd, voorspelt de theorie $L \propto N^{-\alpha_N}$ .
$\alpha_N = \frac{\lambda \gamma}{2 - 2\gamma}$
waarbij $\lambda \leq 1$ de efficiëntie van parameterbenutting codeert. Indien $\lambda = 3/4$ (wat wijst op sublineaire capaciteitswinsten door redundantie), is $\alpha_N = 3/40 \approx 0.075$ , consistent met de empirische Kaplan-waarde van $\approx 0.076$ .
Gecombineerde Schaling: De volledige schalingsvorm $L(N, D) = [(N_c/N)^\lambda + D_c/D]^{\alpha_D}$ wordt teruggewonnen door de twee onafhankelijke bottlenecks (data en capaciteit) harmonisch te combineren.

Resultaten en Validatie

De auteur valideert de theorie met checkpoints van de Pythia model-suite (70M tot 1.4B parameters) en GPT-2:

Verlies-spectrum: Empirische metingen van $E_X(r, s)$ bevestigen de voorspelde machtswet-staart $P_X(r) \propto r^{-7/6}$ in Fase II.
Fase-transities: De data toont een duidelijke transitie bij $s^*$ waar de effectieve schaal $\xi$ stopt met monotoon groeien en bifurceert, waarbij $\xi_A$ krimpt en $\xi_B$ expandeert.
Schalings-fits: De evolutie van $\Delta L_r$ en $L_\infty$ volgt de voorspelde machtswetten ( $s^{1/10}$ en $s^{-1/10}$ respectievelijk) in Fase II.
Modelgrootte-schaling: Fits aan Pythia-modellen bij convergentie tonen $L_\infty \propto N^{-1/10}$ (voor totale parameters) en $\Delta L_r \propto N^{3/40}$ (voor niet-embedding parameters), wat de hypothese van sublineaire capaciteitsschaling ondersteunt.

Betekenis en Claims

Het artikel beweert een mechanistische oorsprong te bieden voor de LLM-schalingswetten door training te kaderen als een niet-evenwichtige cascade-proces. Belangrijke claims zijn onder meer:

Unificatie: Het verbindt kwantitatief de statische structuur van taal (Heaps/Zipf-wetten) met de dynamische evolutie van training via een stochastisch kader.
Voorspellende Kracht: De schalingsexponent $\alpha_D = 1/10$ is afgeleid, niet gefit, van de heavy-tailed statistieken van natuurlijke taal.
Diagnostisch Nut: Het kader biedt nieuwe diagnostische instrumenten voor lang-context generalisatie door "diepte" (context-afhankelijkheid) te scheiden van "breedte" (frontlinie-expansie), wat wijst op onderscheidende optimalisatiestrategieën voor dataselectie en curriculumontwerp.
Universaliteit: De theorie stelt dat het verlies-spectrum $E_X \propto r^{-7/6}$ een universeel kenmerk is van taalmodel-training, analoog aan de universaliteit van turbulentie-spectra.

De auteur merkt expliciet op dat de mapping van optimizer-stappen naar Langevin-tijd en de harmonische combinatie van $N$ en $D$ structurele analogieën zijn die gemotiveerd worden door empirische consistentie in plaats van strikte afleidingen vanuit de eerste principes, en dat de hypothese van sublineaire capaciteit ( $\lambda=3/4$ ) verdere validatie vereist op grotere model-suites.