Technische Samenvatting: Vervangingsvervoer van eindige grootte in het vooraf trainen van grote taalmodellen

Probleemstelling

Hoewel neurale schaalwetten robuuste machtswet-afhankelijkheden hebben vastgesteld tussen de verliesfunctie bij het vooraf trainen van grote taalmodellen (LLM) en externe factoren (modelgrootte, datasetgrootte, rekencapaciteit), onthullen ze niet de interne organisatie van het gradiëntveld naarmate het trainen vordert. Scalar prestatiecurves kunnen interne herordeningen maskeren die zich in de loop van de tijd en over schalen heen ontvouwen. Bestaande studies over "grokking" (vertraagde generalisatie) en kritieke signaalpropagatie suggereren dat gedragsmatige overgangen voorafgegaan kunnen worden door soepelere interne veranderingen, maar huidige metrieken missen een schaal-opgeloste sonde om te meten hoe de organisatie van het gradiëntveld evolueert. De auteurs betogen dat een enkele exponent (zoals de exponent voor cascade-grootte $D$) ontoereikend is om echte LLM-trainingsregimes te karakteriseren, wat een multi-kanaal kader vereist om verschillende trainingsdynamieken te onderscheiden die vergelijkbare ruggegronden voor grootte-schaling kunnen delen.

Methodologie

Het artikel introduceert een kader voor vervangingsvervoer van eindige grootte dat is gebaseerd op niet-evenwichtsstatistische mechanica, en specifiek de geactiveerde diffusie-update–Olami-Feder-Christensen (TDU-OFC)-lawinesonde aanpast.

1. De TDU-OFC Sonde

De methode behandelt het gradiëntveld (of het veld van parameterupdates) als een ladingsveld dat onderhevig is aan een gecontroleerde herschikkingsregel op een vast Barabási–Albert (BA)-graf.

• Invoer: Bij elke trainingsstap $t$ wordt een momentopname van het veld $u(t)$ genomen. Voor Pico-LM is dit de ruwe gradiëntvector $g_t$; voor Pythia is het het veld van checkpoint-verschillen $\Delta\theta_t$.
• Drempelwaarde: Een vaste drempel $\tau(t)$ wordt ingesteld op het 90e percentiel van de veldgrootte.
• Relaxatie: Actieve knopen (waar $|u_i| > \tau$) relaxeren synchroon en verdelen getekende waarden naar buren op basis van graden-normalisatie. Dit proces wordt herhaald totdat er geen actieve knopen meer over zijn of een stapplafond (500) wordt bereikt.
• Uitvoer: De sonde levert de cascade-grootte $s(t)$ (totaal aantal actieve gebeurtenissen) en de cascade-duur $n_{steps}(t)$.

2. Karakterisering met vijf grootheden

Het kader breidt de enkele exponent $D(t)$ uit tot een algebraïsche afsluiting van vijf grootheden:

1. $D(t)$ (Exponent voor cascade-grootte): Beschrijft ruimtelijke extensiviteit ($s_{max} \sim N^D$).
2. $z(t)$ (Exponent voor duur): Beschrijft temporele persistentie ($n_{steps} \sim N^z$).
3. $\beta$ (Absoluut vervoerexponent): Afgeleid van $D - z$.
4. $\delta$ (Intensief vervoerexponent): Beschrijft efficiëntie per parameter ($v_{rel} \sim N^\delta$).
5. $v_{rel}$ (Relatieve vervoerefficiëntie): Een direct gemeten waarneembare grootheid gedefinieerd als $s_{max} / (N \cdot n_{steps})$.

Deze grootheden voldoen aan de algebraïsche afsluitingsrelaties: $\beta = D - z$ en $\delta = \beta - 1 = D - z - 1$.

3. Empirische families en nulcontroles

Het kader wordt toegepast op twee complementaire families:

• Pico-LM: Vier schalen (11M–570M) met directe momentopnames van ruwe gradiënten op 125 uitgelijnde stappen.
• Pythia/PolyPythias: Vijf schalen onder 1B (14M–410M) met velden van checkpoint-verschillen (proxy voor updates) op 153 uitgelijnde stappen.

Om vergelijkbaarheid te waarborgen, hanteren de auteurs een hiërarchie voor nulontbinding:

• $N_0/N_1$: Gaussische nullen (standaard of moment-gematcht) om een basislijn te vestigen.
• $N_2$: Een permutatienul die de getekende marginale verdeling behoudt maar de toewijzing van waarde naar knopen randomiseert.
• Dit maakt het mogelijk "verdelingseffecten" te scheiden van "toewijzingseffecten" (de specifieke organisatie van waarden op het graf).

4. Stapsgewijze comprimeerbaarheid

Een nieuwe bijdrage is het behandelen van stapsgewijze comprimeerbaarheid (de $R^2$ van de machtswetfit bij elke stap) als een waarneembare grootheid van interne organisatie, in plaats van een louter voetnoot over fitkwaliteit. Dit meet of een vervoerkanaal op een gegeven trainingsstap een schone, enkele machtswet-helling over schalen toestaat.

Belangrijkste resultaten

1. Gedeelde ruggegronden voor grootte, onderscheidende vervoerregimes

Zowel Pico-LM als Pythia vertonen een ruggegronden voor cascade-grootte die dicht bij eenheid ligt ($D \approx 1$) gedurende het stabiele trainingsvenster. Ze bezetten echter verschillende vervoerregimes:

• Pico-LM: Toont positieve schaling voor duur ($z > 0$) en negatieve schaling voor intensieve efficiëntie ($\delta < 0$). Kleinere modellen vertonen een hogere vervoerefficiëntie per parameter, en cascades duren langer in grotere modellen.
• Pythia: Blijft in een smalle band dicht bij de $D=1$-basislijn met zwakke positieve schaling voor efficiëntie ($\delta > 0$) en bijna nul schaling voor duur ($z \approx 0$). Het nadert een gemeenschappelijke efficiëntieband over schalen heen.

2. Uitlijning met nulbasislijnen

Gerandomiseerde veldcontroles ($N_0$) onthullen dat beide families bijna identieke nulbodems delen in de intensieve ($v_{rel}$) en duur ($z$) kanalen. De waargenomen contrasten worden daarom geïnterpreteerd als verschillende echte afwijkingen van een gedeeld nulskelet in plaats van artefacten van verschillende nulkalibraties. In het kanaal voor duur toont Pico een positieve afwijking van de nul, terwijl Pythia een negatieve afwijking toont.

3. Comprimeerbaarheid als waarneembare grootheid

• Pico-LM: Vertoont hoge stapsgewijze comprimeerbaarheid ($R^2 \approx 0,97-0,99$) over de kanalen voor grootte, duur en efficiëntie, wat wijst op een schone machtswet-organisatie bij elke stap.
• Pythia: Hoewel de ruggegronden voor grootte ($D$) zeer comprimeerbaar blijft ($R^2 \approx 1,0$), tonen de kanalen voor duur en efficiëntie zwakke comprimeerbaarheid met één helling ($R^2 \approx 0,55-0,65$). Dit suggereert dat de interne vervoerkanaalen van Pythia niet goed worden beschreven door een enkele machtswet-helling bij elke stap, zelfs al is het aggregaatgedrag stabiel.

4. Associatie met externe prestaties

Het artikel vindt associaties op kanaalniveau maar geen significante associaties op exponentniveau:

• Kanaalniveau: Externe prestaties (perplexiteit voor Pico, zero-shot nauwkeurigheid voor Pythia) zijn sterk geassocieerd met de waarneembare grootheid voor intensieve efficiëntie ($v_{rel}$) en genormaliseerde duur ($n_{steps}/N$). Betere prestaties correleren met een lagere $v_{rel}$ en een hogere genormaliseerde duur. Deze associaties blijven bestaan na controle voor het leerplan.
• Exponentniveau: De grootte-exponent $D(t)$ fungeert als een gedeelde ruggegronden maar correleert niet significant met exponenten voor externe prestaties ($\beta_{PPL}$ of $\alpha_{acc}$) over de volledige trajecten in beide families.

Betekenis en claims

Het artikel claimt een herbruikbaar meetkader voor vervoer te bieden voor het vergelijken van echte LLM-trainingsregimes zonder een universeel vast punt te bepleiten of een afleiding van neurale schaalwetten uit eerste principes.

• Verschuiving in rol voor $D(t)$: In gecontroleerde "grokking"-benchmarks (vorig werk) fungeerde $D(t)$ als een marker gelokaliseerd bij overgangen (het kruisen van $D=1$ bij generalisatie). Bij echt LLM-vooraftrainen wordt $D(t)$ een stabiele ruggegronden-coördinaat ($D \approx 1$) die geen regimes onderscheidt; het onderscheid ligt in hoe deze ruggegronden wordt ontleed in kanalen voor duur en efficiëntie.
• Observatief karakter: De resultaten zijn observationeel en van eindige schaal. De auteurs stellen expliciet dat ze niet claimen dat LLM-training een klassiek mechanisme voor Zelfgeorganiseerde Kritikaliteit (SOC) realiseert of een volledige universaliteitsklasse van krakend lawaai.
• Methodologische bijdrage: Het werk verheft "stapsgewijze comprimeerbaarheid" tot de status van een primaire waarneembare grootheid, en betoogt dat de mate waarin interne kanalen schone machtswetten toestaan, een fundamentele eigenschap is van de organisatie van trainingsdynamieken.
• Beperkingen: De auteurs waarschuwen dat het contrast tussen Pico en Pythia meerdere variabelen omvat (ruwe gradiënt versus updateveld, verschillende architecturen, optimalizers). Sterke kwantitatieve claims zijn beperkt tot analyses binnen families, terwijl vergelijkingen tussen families beperkt zijn tot structuren op regimniveau.

Samenvattend betoogt het artikel dat echt vooraftrainen beter wordt beschreven door een meervoudig waarneembare vervoerstructuur (grootte, duur, efficiëntie en comprimeerbaarheid) dan door enige enkele kruisstatistiek, en biedt het een taal geïnspireerd door de natuurkunde om interne herordeningen op te lossen die door scalar verliescurves worden verborgen.