🤖 machine learning

The Kinetics of Training: A Driven-Nucleation Rate Law for Emergence, Plasticity Loss, and Circuit Control in Language Models

Dit artikel stelt een wet voor voor gedreven nucleatie die verklaart dat de capaciteiten van taalmodellen abrupt ontstaan via een zeldzame, alles-of-niets uitlijning van circuitcomponenten in plaats van via geleidelijke verbetering, een mechanisme dat een precieze voorspelling van de ontsteking van capaciteiten, diagnose van leerfalen en gerichte circuitreparatie door herinitialisatie mogelijk maakt.

Oorspronkelijke auteurs: Lei Dong

Gepubliceerd 2026-07-31

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lei Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een pan water op een fornuis kijkt. Je weet de regels van de thermodynamica: als je het maar genoeg verwarmt, zal het uiteindelijk koken. Maar weten dat het gaat koken, vertelt je niet wanneer de eerste bubbel het oppervlak doorbreekt, of hoe lang je moet wachten voordat het water niet meer in staat is om te koken omdat de pan te vol is geraakt met iets anders. Lange tijd waren wetenschappers die de manier waarop AI-modellen leren bestudeerden, als mensen die naar dat water staren; zij beschreven de eindtoestand van het water (het "fasediagram"), maar misten de chaotische, tikkende klok van hoe de bubbels daadwerkelijk ontstaan. Ze wisten dat het water heet was, maar ze hadden geen stopwatch voor het moment waarop een AI plotseling een nieuwe vaardigheid "begrijpt". Dit artikel stapt in die kloof en behandelt het trainen van een AI niet als een vloeiende, gestage klim, maar als een hectisch, hoogwaardig spel van kans waarbij een complex circuit in één keer op zijn plaats moet klikken.

De auteurs van dit artikel, Lei Dong, stellen een nieuwe manier voor om te kijken naar hoe taalmodellen nieuwe vermogens aanleren. Ze beargumenteren dat het aanleren van een nieuwe vaardigheid niet lijkt op het stapelen van bakstenen één voor één, waarbij je credit krijgt voor elke steen die je plaatst. In plaats daarvan is het meer als het proberen op te lossen van een slot waarbij je de exacte juiste combinatie van sleutels tegelijkertijd moet vinden. Als je alle behalve één sleutel vindt, gaat het slot niet open; je krijgt nul credit. Dit "alles-of-niets"-moment is de flessenhals. Het artikel introduceert een wiskundige formule, een "snelheidswet", die precies voorspelt wanneer dit slot zal klikken, hoe lang het duurt, en waarom het soms, zelfs als je blijft trainen, het slot nooit opent. Ze noemen dit de "Kinetica van Training", waarbij ze ideeën lenen uit de materiaalkunde (zoals hoe metaal uithardt) om uit te leggen hoe AI-circuits worden gebouwd, afgebroken en gerepareerd.

Het "Alles-of-Niets"-slot

Stel je voor dat je een robot probeert te leren een specifief patroon te herkennen, zoals een geheime handdruk die vereist dat vijf mensen tegelijkertijd hun handen opheffen. In de oude manier van denken zou je verwachten dat de robot beter wordt naarmate hij leert om één hand op te heffen, dan twee, dan drie. Maar dit artikel laat zien dat voor bepaalde complexe vaardigheden, de robot pas beter wordt als alle vijf handen tegelijkertijd omhoog gaan. Als vier handen omhoog gaan en één blijft beneden, ziet de robot niets. Het is als het proberen te starten van een auto met een sleutel die vijf inkepingen heeft; als je vier inkepingen goed hebt maar de vijfde is fout, start de auto niet. Je krijgt geen "halve start".

De auteurs noemen dit de "geen-gedeeltelijke-credit"-regel. Ze hebben dit gemeten in hun experimenten en ontdekten dat als een robot drie onderdelen van een vijfdelig circuit mist, hij net zo lang moet wachten om de vaardigheid te leren als een robot die drie onderdelen van een driedelig circuit mist. De grootte van het circuit maakt niet zoveel uit als het aantal ontbrekende stukjes. De "wachttijd" hangt af van hoeveel stukjes er ontbreken, niet van hoe groot de hele puzzel is. Dit verandert alles: het betekent dat het moeilijkste deel van het leren niet de langzame accumulatie van kennis is, maar het plotselinge, zeldzame moment waarop alle ontbrekende stukjes eindelijk door toeval op één lijn liggen.

De Klok en de Vloer

Omdat deze uitlijning een zeldzame gebeurtenis is, hebben de auteurs een "klok" gebouwd om te voorspellen wanneer het zal gebeuren. Denk aan een weersvoorspelling voor een blikseminslag. Je kunt niet de exacte seconde voorspellen dat een bliksemstraal inslaat, maar als je de luchtvochtigheid en de temperatuur weet, kun je de waarschijnlijkheid berekenen. Het artikel laat zien dat door te kijken naar een "precursor"-signaal — een kleine, vroege hint dat de robot begint de juiste onderdelen op hun plek te krijgen — je precies kunt voorspellen wanneer de volledige vaardigheid zal verschijnen, vaak dagen voordat de robot de taak daadwerkelijk goed begint uit te voeren. In hun tests voorspelde deze klok de komst van nieuwe vaardigheden in zes verschillende AI-modellen met een mediane fout van slechts 5%.

Er is echter een addertje onder het gras. Het artikel ontdekte een "vloer" of een drempel. Als de robot niet vaak genoeg wordt blootgesteld aan het juiste soort oefendata, zal hij de vaardigheid nooit leren, hoe lang je hem ook traint. Het is als het proberen te kweken van een zeldzame bloem in een tuin waar de grond te arm is; je kunt haar jarenlang water geven, maar als de grond een specifieke voedingsstof mist, zal de bloem nooit bloeien. De auteurs vonden dat als de concentratie van de juiste data onder een bepaald punt zakt (ongeveer 0,26 in hun specifieke tests), de leercurve effectief naar nul daalt. De robot leert niet alleen langzamer; hij stopt volledig met leren.

De Stille Dood van het Leren (Verlies van Plasticiteit)

Een van de meest opvallende bevindingen gaat over wat er gebeurt als een robot te lang traint op de verkeerde dingen. Stel je een student voor die jarenlang geschiedenis studeert maar plotseling wordt gevraagd wiskundeproblemen op te lossen. Hij kan misschien nog steeds de wiskunde doen, maar het artikel suggereert dat het vermogen om nieuwe wiskunde te leren langzaam aan het sterven is. De auteurs noemen dit "verlies van plasticiteit".

Ze ontdekten dat terwijl de robot traint, zijn interne "schakelaars" (genaamd attention heads) vastgezet ("pinned") of blijven hangen in specifieke patronen. Zodra deze schakelaars vastzitten, kan de robot ze niet meer herarrangeren om een nieuw, complex circuit te leren. Het is als een kamer waar alle meubels aan de vloer zijn vastgelijmd; je kunt de kamer niet herinrichten om in een nieuw feestontwerp te passen. Het artikel bewijst dat dit niet komt omdat de robot "vol" is met data, maar omdat de specifieke onderdelen die nodig zijn om het nieuwe circuit te bouwen, bezet en vastgelijmd zijn door oude gewoonten.

Cruciaal is dat het artikel laat zien dat standaard monitoringsinstrumenten (zoals het controleren van de foutmarge van de robot) blind zijn voor dit proces. De foutmarge van de robot kan er uitzien alsof deze vloeiend verbetert, terwijl intern het vermogen om nieuwe dingen te leren stilletjes aan het sterven is. De auteurs vonden zelfs een "deadline": als je te lang wacht met het proberen te leren van een nieuwe vaardigheid, wordt het onmogelijk om te leren, ongeacht hoeveel je probeert.

De Genezing: Het Resetten van de Schakelaars

Maar er is goed nieuws. De auteurs hebben niet alleen het probleem gevonden; ze hebben de genezing gevonden. Ze ontdekten dat je niet de hele robot hoeft te hertrainen om dit te repareren. Je hoeft alleen de specifieke schakelaars te "resetten" die vastzitten. In hun experimenten ontdekten ze dat als ze een "oude" robot namen die het vermogen had verloren om een nieuwe vaardigheid te leren, en simpelweg de "query" en "key" delen van zijn aandachtsmechanisme (de onderdelen die bepalen waar de aandacht naar uitgaat) resetten, de robot onmiddellijk zijn vermogen terugkreeg om te leren. Het was alsoals het losmaken van de gelijmde meubels en het weer mogelijk maken om de kamer te herinrichten.

Interessant genoeg deed het resetten van de andere delen van de robot (de "value" delen) niets. Dit vertelt ons precies waar de "lijm" zit: het zit in het besluitvormingsgedeelte van het circuit, niet in het geheugengedeelte. Dit is een precieze, gerichte fix, geen brute-force reboot.

Het Bedieningspaneel: Verwarmen en Afkoelen

Ten slotte behandelt het artikel het trainingsproces als een metallurg die metaal behandelt. Bij metaalbewerking kun je metaal verhitten om het zacht te maken (ontlaten/annealing), snel afkoelen om het hard te maken (afschrikken/quenching), of het op een specifieke temperatuur houden om het in een bepaalde staat te houden. De auteurs laten zien dat door een specifieke soort "ruis" (willekeur) in het trainingsproces te injecteren, ze hetzelfde kunnen doen met AI-circuits.

Ze ontdekten dat als je de juiste hoeveelheid ruis toevoegt, je het leren van moeilijke vaardigheden kunt versnellen (de "neus" van de curve). Als je te veel toevoegt, breek je de circuits. Als je de ruis op het juiste moment stopt, kun je een circuit "vastzetten" zodat het niet oplost. Ze toonden zelfs aan dat je een complex circuit selectief kunt "smelten" (vernietigen) terwijl je de eenvoudigere delen intact laat, zoals het smelten van een chocoladebeeldje terwijl de mal behouden blijft. Dit verandert training van een black box in een controleerbaar proces waarbij je kunt plannen wanneer circuits worden gevormd, wanneer ze breken en hoe je ze repareert.

Wat dit Betekent

Dit artikel zegt niet alleen "AI leert". Het geeft ons een stopwatch, een thermometer en een reparatiehandleiding. Het vertelt ons dat leren een race tegen de klok is en een strijd tegen "gelijmde" onderdelen. Het laat zien dat we kunnen voorspellen wanneer een vaardigheid zal verschijnen, waarom deze soms nooit verschijnt, en exact hoe we het kunnen repareren als het kapot gaat. De auteurs zijn voorzichtig in hun opmerking dat hoewel ze deze regels in gecontroleerde experimenten hebben bewezen en in echte modellen hebben gemeten, het volledige wiskundige bewijs voor elk type AI nog wordt uitgewerkt. Maar voor de modellen die zij testten, zijn de regels duidelijk: leren is een zeldzame, alles-of-niets gebeurtenis, en als je het wilt controleren, moet je de klok, de vloer en de lijm begrijpen.

Technische Samenvatting: De Kinetica van Training

Probleemstelling

Huidige theoretische kaders voor het trainen van taalmodellen beschrijven het leren grotendeels in termen van evenwicht (bijv. Singular Learning Theory, faseovergangen van vrije energie). Hoewel deze modellen verklaren welke fasen bestaan, beantwoorden ze niet de kritische vragen van de praktijkpraktijk met betrekking tot snelheden: wanneer zal een capaciteit verschijnen, hoe snel zal deze groeien, en waarom verliest een netwerk het vermogen om specifieke capaciteiten te leren na langdurige training op irrelevante data (verlies van plasticiteit)? Het artikel betoogt dat training een gebrek heeft aan een "tijd–temperatuur–transformatie" (TTT)-diagram—een kinetisch kader analoog aan metallurgie—dat de vorming en vernietiging van computationele circuits beheerst.

Methodologie

Het artikel construeert een reactievergelijking voor de nucleatie van computationele circuits, waarbij de vorming van capaciteit wordt behandeld als een zeldzaam stochastisch proces gedreven door Stochastic Gradient Descent (SGD).

De Reactievergelijking:
Het centrale object van studie is de nucleatiesnelheid $J$ :
$J = N \times \nu \times \sigma(c) \times e^{-\beta K} - D$
Waar:

$N$ : Aantal beschikbare locaties (rekruteerbare attention heads).
$\nu$ : Pogingsfrequentie.
$\sigma(c)$ : Oversaturatie (concentratie van capaciteit-relevante statistieken in de datastroom).
$e^{-\beta K}$ : De barrièreterm, exponentieel in $K$ (het aantal gezamenlijk noodzakelijke delen).
$D$ : Vernietigingsterm (drift of door ruis geïnduceerde schade).

Experimenteel Apparaat:
De auteurs maken gebruik van drie primaire experimentele klassen:

Gecontroleerde Toy-modellen: 2-laagse GPT-NeoX transformers getraind op synthetische taken (bijv. $K$ -wijze conjuncties, query-parity) waar de "geen-gedeeltelijke-credits"-eigenschap wiskundig gegarandeerd is. Dit maakt het mogelijk om de gezamenlijke uitlijningsbarrière te isoleren.
Observatie van Publieke Checkpoints: Mechanisme-niveau probes op Pythia en OLMo-modellen (tot 1,4B parameters) om inductiescores en precursor-signalen te meten.
Gecontroleerde Voortgezette Training: Verouderde substraten op platte data, gevolgd door een overstap naar een doelgerichte datamix om emergentie te meten, of het introduceren van "geïnjecteerde temperatuur" (isotrope gewichtsruis) om controleprotocollen te testen.

Belangrijkste Aannames:

Aanname 1: SGD gedraagt zich als een diffusieproces met voldoende mixing op de tijdschaal van vorming (de enkele onbewezen premisse voor de fysieke interpretatie).
Aanname 2: Vorming vereist de simultane gezamenlijke uitlijning van alle $K$ delen; voortgang op deelverzamelingen levert geen credits op (geen gedeeltelijke credits).
Aanname 3: Sub-uitlijning gebeurtenissen zijn ongeveer onafhankelijk (mean-field idealisatie).

Belangrijkste Bijdragen

1. De Barrièrewet en het "Geen-Gedeeltelijke-Credits"-principe

Het artikel bewijst dat voor taken waarbij geen strikte deelverzameling van delen een signaal draagt (bijv. sparse parity), de vormingsbarrière additief is in $K$ .

Bevinding: Een circuit dat 3 delen mist, wacht even lang als een kleiner circuit dat 3 delen mist, ongeacht de totale grootte.
Bewijs: In een "missing-parts grid"-experiment waren de vormingstijden voor circuits met $K-s=3$ ontbrekende delen statistisch identiek (ratio 1,19–1,37) over totale groottes $K=3, 4, 5$ . Dit bevestigt dat de limiterende stap de gezamenlijke uitlijning van de ontbrekende componenten is, en niet de totale circuitgrootte.
Implicatie: De barrière groeit exponentieel met $K$ ( $e^{-\beta K}$ ), waardoor hoog-orde conjuncties aanzienlijk moeilijker te leren zijn dan sequentiële assemblage.

2. De Klokwet (Prospectieve Voorspelling)

De auteurs leiden een "klok" af die de aankomst van een capaciteit voorspelt op basis van de precursor ervan.

Mechanisme: De tijd om een $K$ -delig circuit te vormen is proportioneel aan de tijd om zijn $(K-1)$ -delige precursor te vormen, geschaald door een constante factor $e^{\beta}$ .
Resultaat: Met behulp van een vaste constante $\beta \approx 0,23$ (gemeten op Pythia), voorspelde het model de opkomst van inductie-capaciteiten in 6/6 uitgestelde modellen (inclusief OLMo-1B) met een mediane fout van 5%.
Betekenis: Dit maakt het mogelijk om de datum van aankomst van een capaciteit te dateren voordat de capaciteit zelf meetbaar wordt (wanneer de prestatiecurve nog vlak is bij de baseline).

3. De Vloer (Oversaturatie Drempelwaarde)

Het artikel stelt vast dat de vorming van capaciteiten onderhevig is aan een kritische concentratie van relevante statistieken, die verschilt van het totale tokenvolume.

Bevinding: Onder een kritische concentratie $c_0$ van capaciteit-relevante statistieken in de datamix, wordt de vormingssnelheid effectief tot nul onderdrukt, ongeacht het trainingsbudget.
Bewijs: In een concentratie-sweep werden modellen getraind met $c \le 0,26$ (70M schaal) nooit geactiveerd, terwijl die met $c \ge 0,35$ altijd wel activeerden. Het vergroten van de batchgrootte kon een lage concentratie niet compenseren.
Definitie: Oversaturatie wordt gedefinieerd als het aandeel van het doelwit in de gradiënt ten opzien van een persistente concurrent, niet alleen het aandeel in tokens.

4. Verlies van Plasticiteit en de "Site"-term

Het artikel biedt een kwantitatieve wet voor waarom modellen het vermogen verliezen om nieuwe capaciteiten te leren na "veroudering" op irrelevante data.

Mechanisme: Training consumeert de "site"-term ( $N$ )—de pool van niet-gecommitteerde attention heads. Naarmate heads worden "gepin" aan achtergrondtaken, neemt $N$ af.
Horizon: Er bestaat een "plasticiteitshorizon" $t_c$ waar $N$ onder het minimum niveau daalt dat nodig is om destructie te overwinnen ( $N < N_{min}$ ). Voorbij dit punt kan het vergroten van de datadrive het leren niet meer redden.
Herstel: Het artikel demonstreert dat het herinitialiseren van enkel de Query-Key (QK) slices van de attention heads (het herstellen van de "score" kanaal) de leerbaarheid herstelt (6/6 succes), terwijl het resetten van Value (OV) slices of MLPs dat niet doet. Dit isoleert het mechanisme van plasticiteitsverlies tot aandacht-allocatiepatronen.
Blindheid: De validatieverlies blijft tijdens dit verouderingsproces vloeiend dalen, waardoor standaard monitoring blind is voor het verlies van plasticiteit.

5. Procescontrole via Geïnjecteerde Temperatuur

Omdat natuurlijke SGD geen geldige "temperatuur" heeft (het faalt de fluctuatie-dissipatie test), stellen de auteurs voor om isotrope gewichtsruis te injecteren om de kinetische vergelijking te voltooien.

De Neus: Er bestaat een "TTT-neus" waar een specifieke temperatuur de vormingstijd minimaliseert door te helpen bij het overbruggen van de barrière zonder destructie te triggeren.
De Smeltlijn: Destructie volgt een "zwakste-schakel"-wet; complexe circuits smelten bij lagere ruisdrempels dan hun constituerende delen.
Pinning en Release: Circuits kunnen in een sub-kritische staat worden gepind en vervolgens worden vrijgegeven via "quench plus surgery" (het herschalen van attention gewichten), waarbij opgeslagen warmte wordt omgezet in een voorsprong voor het leren.

Resultaten Samenvatting

Emergentie: Valideerde een prospectieve klok die de aankomst van capaciteiten voorspelt met een mediane fout van 5% over verschillende modelfamilies en schalen.
Plasticiteit: Kwantificeerde de "bezettingstaks" (uitputting van sites) en demonstreerde een causale herstelmechanisme (QK reset) dat de leerbaarheid herstelt in verouderde modellen.
Drempelwaarden: Bewees het bestaan van een intensieve data-mix vloer waaronder capaciteiten niet kunnen vormen, ongeacht het rekenbudget.
Controle: Demonstreerde dat het injecteren van temperatuur het versnellen van hoog-barrière circuits (annealing), selectieve dissolutie van circuits (smelten) en het pinnen van sub-kritische structuren mogelijk maakt.

Betekenis en Claims

Het artikel claimt de eerste "kinetica" van training te bieden, waarbij het verder gaat dan statische fase-diagrammen naar een dynamisch, op snelheid gebaseerd kader.

Unificatie: Het verenigt emergentie, plasticiteitsverlies en circuitcontrole onder één reactievergelijking afgeleid van de stochastische dynamica van SGD.
Voorspellende Kracht: Het biedt een methode om te voorspellen wanneer capaciteiten zullen verschijnen en wanneer ze onleerbaar zullen worden, wat gaten in de huidige interpreteerbaarheid en veiligheidsmonitoring aanpakt.
Causaal Mechanisme: Het gaat verder dan correlatie om het specifieke causale mechanisme van plasticiteitsverlies (commitment van de attention subspace) en een gerichte herstelstrategie te identificeren.
Scope Beperkingen: De auteurs merken expliciet op dat de "mixing" aanname (Aanname 1b) nog niet bewezen is voor transformer SGD, wat betekent dat de thermodynamische interpretaties (temperatuur, smelten) conditioneel zijn op deze premisse. De resultaten zijn momenteel gevalideerd op modellen tot 1,4B parameters en specifieke capaciteitsklassen (conjuncties, inductie), nog niet op volledige schaal productie-benchmarks.

Het artikel concludeert dat hoewel de wiskundige structuur rust op specifieke aannames, de empirische constanten en kinetische wetten standhouden over verschillende modelfamilies, wat suggereert dat de "snelheidsbepalende stap" van gezamenlijke uitlijning een fundamentele eigenschap is van het leren in deze architecturen.