💬 NLP

Skaling: Chinchilla's Exponents Meet Kaplan's Coupling

Dit artikel introduceert de Skaling-wet, een gegeneraliseerd schalingskader dat modelcapaciteit en data koppelt via een enkele interactie-exponent om de nauwkeurigheid van verliesvoorspelling aanzienlijk te verbeteren en een efficiënte toewijzing van de rekenbudgetten voor het trainen van grootschalige taalmodellen mogelijk te maken.

Oorspronkelijke auteurs: Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

Gepubliceerd 2026-08-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Balansact: Hoe AI Leert

Stel je voor dat je een gigantisch, digitaal brein probeert te leren om elke taal ter wereld te spreken. Hiervoor heb je twee hoofdingrediënten nodig: een groter brein (meer neuronen, of "parameters") en meer tekstboeken (meer data, of "tokens"). Jarenlang hebben wetenschappers een reeks regels gebruikt die "scaling laws" worden genoemd om te voorspellen hoe goed dit brein zal presteren. Denk aan deze regels als een receptenboek dat je precies vertelt hoeveel van elk ingrediënt je nodig hebt om een perfecte taart te maken.

Het bekendste recept, bekend als de "Chinchilla-wet", suggereerde dat de grootte van het brein en de hoeveelheid data werken als twee afzonderlijke vrienden die in verschillende kamers werken. Het ging ervan uit dat als je de grootte van het brein zou verdubbelen, de verbetering hetzelfde zou zijn, ongeacht hoeveel data je had, en vice versa. Dit maakte de wiskunde eenvoudig en hielp onderzoekers beslissen hoe ze hun enorme budgetten konden besteden. Echter, net als bij een echt recept, kan deze aanname te simpel zijn. Wat als het brein en de data elkaar eigenlijk moeten spreken? Wat als een groter brein anders leert wanneer het meer boeken heeft om te lezen? Als we deze relatie verkeerd begrijpen, verspillen we misschien miljoenen dollars aan het trainen van modellen die ofwel te klein zijn voor hun data, ofwel te groot voor hun breinen, wat leidt tot teleurstellende resultaten.

De Nieuwe "Skaling"-wet: Wanneer Ingrediënten Mengen

In dit paper introduceren de onderzoekers van Meta's FAIR lab een nieuw, verbeterd recept genaamd de Skaling law (uitgesproken als "ske-IH-ling"). Ze ontdekten dat het oude "Chinchilla"-recept een verborgen fout bevatte: het behandelde modelgrootte en data alsof ze volledig onafhankelijk waren, waarbij werd genegeerd dat ze elkaar eigenlijk beïnvloeden.

Om dit te visualiseren, stel je voor dat je probeert te voorspellen hoe snel een auto zal rijden. De oude regel zei: "Snelheid hangt af van de motorinhoud EN de hoeveelheid brandstof, afzonderlijk." Maar het nieuwe onderzoek laat zien dat een grotere motor de efficiëntie waarmee hij brandstof gebruikt, daadwerkelijk verandert. Als je een kleine motor hebt, helpt meer brandstof niet veel. Maar als je een enorme motor hebt, maakt die extra brandstof een enorm verschil. De oude wiskunde miste dit "koppelingseffect", wat leidde tot grote fouten bij het voorspellen van prestaties aan de uitersten—zoals wanneer je een enorm model hebt met heel weinig data, of een klein model met een berg aan data.

De auteurs ontdekten dat ze dit konden oplossen door slechts één enkel getal (een "koppelingsexponent") aan de vergelijking toe te voegen. Dit nieuwe getal werkt als een "mengkraan" die de grootte van het brein en het datavolume met elkaar verbindt. In plaats van hun effecten bij elkaar op te tellen als twee aparte hopen zand, vermenigvuldigt de nieuwe wet hen op een manier die erkent dat ze als een team werken.

Wat Ze Vonden: Slimere Voorspellingen met Minder Werk

De onderzoekers testten deze nieuwe wet met behulp van twee enorme datasets die ze Farseer en SK-Grid noemden. Deze datasets bevatten honderden verschillende experimenten, variërend van kleine modellen met 100 miljoen parameters tot giganten met miljarden, getraind op alles van 1 miljard tot honderden miljarden woorden.

Dit is wat zij ontdekten:

De Oude Wet Was Fout aan de Randen: Wanneer ze naar de fouten keken, was de oude Chinchilla-wet prima in het midden van de data, maar faalde het spectaculair in de hoeken. Het zou de prestaties enorm overschatten of onderschatten wanneer de modelgrootte en de hoeveelheid data uit balans waren. De nieuwe Skaling-wet bleef echter overal accuraat en verminderde de voorspellingsfout met 1,5 tot 3 keer vergeleken met de oude methode.
Een "Sparse" Manier om te Trainen: Een van de coolste bevindingen is dat je niet elke mogelijke combinatie van hersengrootte en data hoeft te trainen om de regels te begrijpen. De oude manier vereiste een "volledig rooster" aan experimenten, wat ongelooflijk duur is. De nieuwe Skaling-wet werkt net zo goed als je alleen traint op de "L-vormige" randen van het rooster—dat wil zeggen, je test alleen kleine modellen met veel data, en grote modellen met heel weinig data. Deze "sparse" strategie stelt onderzoekers in staat om de prestaties van enorme, dure modellen te voorspellen met ongeveer 10 keer minder rekenkracht dan voorheen.
Betere Toewijzing van Middelen: Omdat de nieuwe wet begrijpt hoe het brein en de data interageren, geeft het een nauwkeuriger antwoord op de vraag: "Hoeveel data moet ik mijn model voeren?" De oude wet suggereerde een vaste ratio (zoals 20 woorden per neuron), maar de nieuwe wet suggereert dat deze ratio in werkelijkheid moet veranderen afhankelijk van de schaal. Voor sommige datasets verschuift de optimale ratio aanzienlijk naarmate modellen groter worden, wat betekent dat het oude advies bedrijven ertoe kan leiden geld te verspillen.

Waarom Dit Er Toe Doet

Het paper beweert niet dat het de hele AI heeft opgelost, maar het suggereert wel dat de manier waarop we momenteel onze trainingsbudgetten plannen, er misschien naast zit. Door te beseffen dat modelgrootte en data een gekoppeld team vormen in plaats van onafhankelijke werkers, biedt de Skaling-wet een robuuster en efficiënter kader voor het gebruik van middelen. Het stelt onderzoekers in staat om betere gokken te doen over hoe hun volgende generatie modellen zullen presteren, zonder dat ze duizenden dure experimenten hoeven uit te voeren.

Kortom, de auteurs laten zien dat een eenvoudige aanpassing aan de wiskunde—het toevoegen van één "mengparameter"—de systematische fouten wegneemt die het vakgebied hebben geplaagd. Dit betekent dat we betere modellen kunnen bouwen, sneller en goedkoper, door te begrijpen dat in de wereld van AI de grootte van het brein en de hoeveelheid leesmateriaal onlosmakelijk met elkaar verbonden zijn.

Technische Samenvatting: Skaling – Chinchilla's Exponenten Ontmoeten Kaplan's Koppeling

Probleemstelling
Neurale schalingswetten zijn fundamenteel voor het voorspellen van de prestaties van Large Language Models (LLM's) en het optimaliseren van compute-budgetten. De standaardformulering, de Chinchilla-wet (Hoffmann et al., 2022), berust echter op een structurele aanname dat de modelgrootte ( $N$ ) en de trainingsdatavolume ( $D$ ) onafhankelijk van elkaar impact hebben op de loss. Wiskundig gezien dwingt deze additieve vorm ( $L = A/N^\alpha + B/D^\beta + E$ ) een nul gemengde afgeleide ( $\partial^2 L / \partial N \partial D = 0$ ) af.

De auteurs tonen aan dat deze onafhankelijkheidsaanname leidt tot systematische voorspellingsfouten. Hoewel de Chinchilla-wet goed presteert in het binnenste van het trainingsraster, vertoont deze een "zadelvormige" residu-fout bij de grenzen (extremen van $N$ en $D$ ). Specifiek onderschat het de loss systematisch in bepaalde hoekgevallen en overschat het deze in andere, waardoor het de interactie tussen modelcapaciteit en datavolume niet kan vatten. Dit falen is cruciaal voor de toewijzing van middelen, omdat het leidt tot onnauwkeurige extrapolaties voor frontier-modellen waar $N$ en $D$ vaak uit balans zijn.

Methodologie
Om dit aan te pakken, introduceren de auteurs de Skaling-wet, een gegeneraliseerde functionele vorm die modelgrootte en data koppelt via een enkele interactie-exponent ( $k$ ). De formulering wordt gedefinieerd als:

$L(N, D) = \left( \frac{A}{N^\alpha} + \frac{B}{D^\beta} \right)^k + E$

Koppelingsmechanisme: Wanneer $k=1$ , herstelt de wet de puur additieve Chinchilla-vorm. Wanneer $k \neq 1$ , herintroduceert het de koppeling die aanwezig is in de eerdere Kaplan-vorm (Kaplan et al., 2020), maar behoudt het de interpreteerbare onafhankelijke innerlijke exponenten ( $\alpha, \beta$ ) van Chinchilla.
Theoretische Rechtvaardiging: De auteurs analyseren de oppervlakte-afgeleiden van de loss met behulp van Moving Least Squares (MLS) estimators op de Farseer-dataset. Ze tonen aan dat de gemengde afgeleide $\partial^2 L / \partial N \partial D$ niet nul is en een power-law verval volgt, wat wijst op een synergetisch effect waarbij het gezamenlijk schalen van $N$ en $D$ de loss meer vermindert dan het schalen van één van beide alleen. De Skaling-vorm reproduceert deze niet-nul gemengde afgeleide op natuurlijke wijze.
Sparse Profiling Strategie (L-vorm): De auteurs stellen een efficiënte bemonsteringsstrategie voor om deze wetten te fitten. In plaats van een dicht, vierkant raster, maken zij gebruik van een "L-vormig" raster dat de training beperkt tot de lage-compute randen: het doorlopen van het datavolume ( $D$ ) voor kleine modellen en het doorlopen van de modelgrootte ( $N$ ) voor kleine databudgetten. Theoretische analyse suggereert dat het asymptotische gedrag van de loss-functie deze randruns voldoende in staat stelt om de parameters voor het gehele raster te beperken.

Belangrijkste Bijdragen

Skaling Formulering: Introductie van een enkele koppelingsparameter ( $k$ ) die de bias bij de grenzen van additieve wetten corrigeert, terwijl de interpreteerbaarheid en de gesloten vorm van de compute-optimale toewijzingsregel behouden blijven.
Sparse Profiling Validatie: Demonstratie dat de Skaling-wet een hoge voorspellende nauwkeurigheid behoudt wanneer deze wordt gefit op een L-vormig raster, waarbij ongeveer 10 $\times$ minder compute nodig is dan een volledige grid-sweep, terwijl de nauwkeurigheid gelijk is aan of benadert van de volledige grid Chinchilla-fits op interpolatie en single-axis extrapolatie.
Empirische Validatie: Rigoureuze kruisvalidatie over twee datasets (Farseer en een aangepaste SK-Grid) waarbij Skaling de Mean Absolute Percentage Error (MAPE) met 1,5–3 $\times$ vermindert ten opzichte van Chinchilla, met name in extrapolatie-regimes.

Resultaten

Foutreductie: Op de Farseer-dataset verminderde Skaling de MAPE voor single-axis extrapolatie van 1,48% (Chinchilla) naar 0,47% en voor verre extrapolatie van 2,46% naar 2,31%. Op de SK-Grid waren de verbeteringen nog prominenter, waarbij de fout bij verre extrapolatie daalde van 5,17% naar 0,70% op het volledige grid en van 14,63% naar 1,15% op het L-vormige grid.
Parameterstabiliteit: De gefitte koppelingsparameter $k$ valt consistent in het bereik van 0,31–0,45 (sub-unit), wat een niet-additieve interactie bevestigt. De onherleidbare loss-vloer ( $E$ ) is ook systematisch lager dan in Chinchilla-fits, en nadert vaak nul op de Farseer-data, wat suggereert dat de koppelingsparameter de kromming absorbeert die voorheen aan een loss-vloer werd toegeschreven.
Compute Extrapolatie: In een test die de meest kostbare runs voorspelde op basis van goedkope data (iso-ratio slices), behaalde Skaling een gepoolde MAPE van 0,60%, waarmee het de meer complexe neen-parameter Farseer-wet (0,80%) en de additieve Chinchilla-wet (2,34%) versloeg.
Implicaties voor Toewijzing: De optimale token-naar-parameter ratio ( $D^*/N^*$ ) afgeleid van Skaling verschilt significant van de Chinchilla-voorspelling. Voor de Farseer-dataset voorspelt Skaling een ratio die afneemt met de schaal van de compute, terwijl Chinchilla een bijna vlakke ratio voorspelt. Bij frontier-schalen leidt dit tot een 10 $\times$ verschil in de aanbevolen toewijzing.

Significantie
Het artikel betoogt dat de onafhankelijkheidsaanname in standaard schalingswetten een structurele fout is die systematische fouten veroorzaakt precies daar waar ze het meest relevant zijn: de ongebalanceerde extremen van modeltraining. Door een minimale koppelingsparameter te introduceren, biedt de Skaling-wet een robuuster kader voor prestatievoorspelling.

Cruciaal is dat de auteurs beweren dat betrouwbare schalingsvoorspelling geen massieve, dichte empirische sweeps meer vereist. De combinatie van de Skaling-vorm en de L-vormige bemonsteringsstrategie maakt nauwkeurige full-grid extrapolatie mogelijk met een fractie van het computationele budget. Dit biedt een hulpbron-efficiënt pad voor het toewijzen van compute-budgetten voor de training van volgende generaties modellen, waardoor onderzoekers vertrouwen de beslissingen kunnen nemen op basis van kleinschalige experimenten.

De Grote Balansact: Hoe AI Leert

De Nieuwe "Skaling"-wet: Wanneer Ingrediënten Mengen

Wat Ze Vonden: Slimere Voorspellingen met Minder Werk

Waarom Dit Er Toe Doet

Technische Samenvatting: Skaling – Chinchilla's Exponenten Ontmoeten Kaplan's Koppeling

Meer zoals dit