🤖 machine learning

Unified Neural Scaling Laws

Het artikel introduceert een Unified Neural Scaling Law (UNSL), een functionele vorm die de prestaties van diverse diepe neurale netwerken over meerdere gelijktijdige dimensies – waaronder modelgrootte, data, rekenkracht en hyperparameters – nauwkeurig modelleert en extrapoleert, en die bestaande schalingswetten in nauwkeurigheid overtreft op taken binnen visie, taal, wiskunde en versterkend leren.

Oorspronkelijke auteurs: Ethan Caballero, Priyank Jaini, David Krueger, Irina Rish

Gepubliceerd 2026-05-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ethan Caballero, Priyank Jaini, David Krueger, Irina Rish

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De Toekomst van AI Voorspellen

Stel je voor dat je een kok bent die probeert te voorspellen hoe lekker een soep zal smaken. Je weet dat het toevoegen van meer water, meer zout of het langer koken de smaak verandert. Maar wat gebeurt er als je alle drie tegelijk verandert? Wordt het beter of slechter als je het zout verdubbelt terwijl je het water halveert?

In de wereld van Kunstmatige Intelligentie (AI) staan onderzoekers voor een vergelijkbaar probleem. Ze willen weten hoe een "slim" computerprogramma (een neurale netwerk) zal presteren als ze de grootte ervan veranderen, de hoeveelheid data die het "eet", hoe lang ze het trainen en de specifieke instellingen (hyperparameters) die ze gebruiken.

Momenteel hebben wetenschappers "recepten" (wiskundige formules) om de uitkomst te raden, maar deze recepten falen vaak als je meerdere ingrediënten tegelijk verandert. Ze werken misschien voor een klein potje soep, maar mislukken jammerlijk als je probeert een banket te koken.

Dit artikel introduceert een nieuw, super-recept genaamd UNSL (Unified Neural Scaling Law). Het claimt het meest accurate hulpmiddel tot nu toe te zijn om te voorspellen hoe AI-modellen zich zullen gedragen wanneer je meerdere variabelen tegelijkertijd aanpast.

Het Probleem: Waarom Oude Recepten Falen

Denk aan oude schaalwetten als een kaart die je alleen laat zien hoe je op een rechte snelweg moet rijden. Als je op de snelweg blijft (en maar één ding verandert, zoals de modelgrootte), werkt de kaart prima.

Maar echte AI-training is meer als rijden door een complexe stad met verkeerslichten, omleidingen en eenrichtingsstraten.

Het "Sweet Spot": Soms helpt het verhogen van een instelling (zoals de leersnelheid) het model sneller te leren.
De "Afgrond": Maar als je het te veel verhoogt, crasht het model en leert het niets.
De "Overfitting-val": Als je een model te lang traint op te weinig data, begint het huiswerk uit te leren in plaats van het onderwerp te begrijpen. Het haalt een perfecte score op oefentoetsen maar faalt bij het echte examen.

Oude formules konden deze bochten en omwegen niet aan. Ze gingen ervan uit dat "meer altijd beter is" of dat de relatie een gladde, rechte lijn was. Ze konden de plotselinge dalingen in prestaties of de complexe interacties tussen verschillende instellingen niet voorspellen.

De Oplossing: Het "UNSL"-Recept

De auteurs stellen een nieuwe wiskundige structuur voor genaamd UNSL. In plaats van een simpele rechte lijn, zie UNSL als een meerdere lagen tellend, vormveranderend terrein.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. De "Hyperbreaks" (De Schakelaars van het Terrein)

Stel je voor dat het landschap van AI-prestaties bestaat uit vlakke vlakten die verbonden zijn door zachte hellingen.

De Vlakten: Dit zijn gebieden waar het model voorspelbaar gedraagt (bijvoorbeeld: "meer data = iets betere resultaten").
De Hyperbreaks: Dit zijn de plotselinge overgangen waar de regels veranderen. Misschien bereik je een punt waar het toevoegen van meer data niet meer helpt omdat het model nu beperkt wordt door zijn grootte, niet door de data.
De Analogie: Denk aan een videospelletje. Je loopt over een vlakke vloer (voorspelbaar), dan kom je een helling tegen (een overgang), en plotseling ben je op een andere verdieping met een andere zwaartekracht. UNSL is slim genoeg om precies te in kaart te brengen waar deze hellingen zitten en hoe steil ze zijn, zelfs als je meerdere variabelen tegelijk verandert.

2. De "Gegenkrachten" (Het Touwtrekken)

Het artikel beschrijft twee hoofdkrachten die tegen elkaar vechten:

De "Goed Leren"-Kracht: Dit is het deel waar het model slimmer wordt naarmate je het meer data en parameters geeft.
De "Slecht Leren"-Kracht: Dit omvat dingen zoals overfitting (uit het hoofd leren in plaats van leren) of slechte instellingen (zoals een leersnelheid die te hoog is).
De Analogie: Stel je een touwtrekwedstrijd voor. Aan de ene kant heb je een team dat het model naar perfectie trekt. Aan de andere kant heb je een team dat het naar chaos trekt (overfitting of crashen). UNSL meet niet alleen de winnaar; het berekent de exacte spanning in het touw om te voorspellen waar het evenwicht zal kantelen.

3. De "Knelpunten" (Het Smalle Bruggetje)

Soms wordt het hele systeem, hoe je ook één ding verbetert, tegengehouden door één zwakke schakel.

De Analogie: Stel je een fabriek voor die probeert speelgoed te produceren. Je kunt meer arbeiders (parameters) en meer grondstoffen (data) toevoegen, maar als het transportbandje (trainingsstappen) te traag is, neemt de fabrieksoutput niet toe.
UNSL is ontworpen om deze "knelpunten" op te sporen. Het weet dat als het transportbandje de limiet is, het toevoegen van meer arbeiders niet helpt. Het voorspelt nauwkeurig dat de prestaties zullen afvlakken vanwege dat ene knelpunt.

Wat Hebben Ze Bewezen?

De auteurs hebben hun nieuwe "UNSL"-recept getest tegen de oude met behulp van real-world data van:

Visie: Computers leren afbeeldingen te herkennen (zoals het identificeren van vogels of auto's).
Taal: Computers leren tekst te begrijpen en te genereren (zoals chatbots).

De Resultaten:

Toen ze probeerden de toekomstige prestaties van deze AI-modellen te voorspellen, was UNSL beduidend accurater dan de vorige beste methoden.
Bij de taaltests won UNSL in 88% van de gevallen, terwijl de op één na beste methode slechts 11% won.
Het slaagde erin uitkomsten te voorspellen, zelfs wanneer de data vreemd, niet-rechtlijnig gedrag vertoonde (zoals het "Grokking"-fenomeen waarbij een model plotseling slim wordt na een lange periode van verwarring).

De Conclusie

Dit artikel bedenk geen nieuw type AI of een nieuwe manier om robots te bouwen. In plaats daarvan bedenk het een betere kristallen bol.

Het biedt een wiskundig hulpmiddel dat onderzoekers in staat stelt om naar een kleine hoeveelheid trainingsdata te kijken en met groot vertrouwen te zeggen: "Als we de modelgrootte verdubbelen, de data verdrievoudigen en de leersnelheid aanpassen, dit is precies hoe goed het model zal presteren."

Dit is cruciaal omdat het trainen van gigantische AI-modellen miljoenen dollars kost. Het vermogen om de uitkomst nauwkeurig te voorspellen voordat dat geld wordt uitgegeven, bespaart tijd en middelen en helpt ervoor te zorgen dat de AI veilig en efficiënt wordt ontwikkeld.

Kortom: De auteurs hebben een universele kaart gebouwd die werkt voor elk terrein van AI-training, en die beter omgaat met de rechte wegen, de steile afgronden en de lastige omleidingen dan welke kaart we eerder hadden.

Technische Samenvatting: Gecombineerde Neuronale Schalingswetten (UNSL)

Probleemstelling
Het trainen van state-of-the-art neurale netwerken vereist enorme rekenkracht en data. Het selecteren van optimale architecturen en trainingsconfiguraties op grote schaal is uitdagend, omdat methoden die goed presteren op kleinere schaal vaak falen om hun prestaties te behouden naarmate ze opschalen. Bovendien is een nauwkeurige voorspelling van modelgedrag niet alleen cruciaal voor prestatieoptimalisatie, maar ook voor AI-veiligheid, met name bij het voorspellen van het ontstaan van nieuwe capaciteiten. Bestaande neuronale schalingswetten worstelen vaak met het modelleren van complexe, multivariate schalingsgedragingen waarbij meerdere dimensies (bijvoorbeeld modelparameters, datasetgrootte, trainingsstappen, hyperparameters) gelijktijdig variëren. Specifiek falen eerdere functionele vormen vaak om niet-monotone overgangen (zoals die veroorzaakt door overfitting of suboptimale hyperparameters) en de complexe interacties tussen "tegenstrijdige krachten" zoals overfitting en hyperparameterbeperkingen vast te leggen.

Methodologie
De auteurs stellen een nieuwe functionele vorm voor, de Gecombineerde Neuronale Schalingswet (UNSL), ontworpen om de schalingsgedragingen van diepe neurale netwerken te modelleren en te extrapoleren over meerdere variërende dimensies tegelijkertijd.

Structuur van de Functionele Vorm: De UNSL is opgebouwd door meerdere wiskundige componenten te combineren om specifieke "wensen" te vervullen die zijn afgeleid van empirische observaties van schalingsgedrag.
- Multivariate Gebroken Neuronale Schalingswet (MBNSL): De kerncomponent (Vergelijking 4) breidt de univariate Gebroken Neuronale Schalingswet (BNSL) uit naar multivariate settings. Het modelleert schalingsgedrag als een reeks glad verbonden hypervlakken in "multi-log-ruimte" (de ruimte verkregen door logaritmische transformaties toe te passen op alle input- en outputdimensies). Dit maakt "hyperbreuken" (overgangen) tussen verschillende schalingsregimes mogelijk.
- Additieve Symmetrie: Om niet-monotone gedragingen te modelleren (bijvoorbeeld prestatiedegradatie door overfitting of slechte hyperparameters), hanteert de UNSL een "additieve symmetrie" (Vergelijking 5). Deze structuur somt twee MBNSL-componenten op, waardoor het model overgangen kan vastleggen waarbij de gradiënt op een manier verandert die niet strikt monotoon is.
- Bottleneck- en Non-Bottleneck-componenten: Het model onderscheidt tussen "non-bottleneck"-componenten (gladde overgangen) en "bottleneck"-componenten (prestatielimieten die worden opgelegd door specifieke dimensies, zoals datasetgrootte).
- Tegenstrijdige Krachten: De functionele vorm modelleert expliciet "tegenstrijdige krachten".
  - Overfitting: Gemodelleerd als een inwendige reciproke term die significant wordt wanneer trainingsstappen een bepaalde drempel overschrijden.
  - Hyperparameters: Gemodelleerd als termen die "goed leren" (niet-overfitting) en "slecht leren" (overfitting) tegenwerken, waarbij fenomenen worden vastgelegd waarbij leersnelheden of standaardafwijkingen van gewichtsinitialisatie leiden tot prestatiedegradatie als ze te groot of te klein zijn.
- Prestatielimieten: De vorm bevat constanten die irreducibele fout (Bayes-fout) en misprestatielimieten (bijvoorbeeld fout door willekeurig gissen) vertegenwoordigen, die worden benaderd wanneer inputs naar globale optima of worst-case scenario's gaan.
Fitten en Extrapolatie: De UNSL wordt gefit op datapunten $(x_1, \dots, x_m, y)$ met behulp van KFAC-JAX om de Mean Squared Log Error (MSLE) te minimaliseren. De auteurs gebruiken een validatiestrategie waarbij de validatieset punten bevat die niet gelijktijdig groter zijn dan trainingspunten in alle dimensies, om robuuste extrapolatie te waarborgen.

Belangrijkste Bijdragen

Gecombineerde Functionele Vorm: Het artikel presenteert een enkele functionele vorm die in staat is schalingsgedragingen te modelleren over diverse architecturen (Transformers, MLP's, ViT's, BiT) en taken (visie, taal, versterkend leren) terwijl meerdere dimensies gelijktijdig variëren.
Omgaan met Niet-monotonie: In tegenstelling tot eerdere vormen (bijvoorbeeld CF, DC) behandelt UNSL expliciet niet-monotone overgangen veroorzaakt door overfitting en hypergevoeligheid via zijn structuur van additieve symmetrie.
Multivariate Extrapolatie: De vorm extrapoleert nauwkeurig naar schalen die aanzienlijk groter zijn (een orde van grootte) in meerdere dimensies tegelijkertijd, een taak waarbij andere vormen vaak falen.
Voldoen aan Wensen: De auteurs definiëren een set van 8 wensen waaraan een gecombineerde schalingswet moet voldoen (bijvoorbeeld het herstellen van univariate BNSL, het hanteren van bottlenecklimieten, het vastleggen van niet-monotone overgangen) en tonen aan dat UNSL aan al deze voldoet.

Resultaten
De auteurs evalueren UNSL tegenover verschillende baseline functionele vormen (CF, DC, en geablateerde versies A1, A2, A3) over de domeinen visie en taal.

Visie-taken: Op downstream beeldclassificatietaken (Birds 200, Cars 196, ImageNet) met bivariate en trivariate schalingsgedragingen behaalde UNSL de laagste Root Mean Squared Log Error (RMSLE) in 60,87% van de taken, wat een significant betere prestatie is dan de volgende beste vorm (A3 met 21,74%).
Taal-taken: Op downstream en upstream taal-taken (inclusief LLM-schalingsmet parameters, verwerkte tokens en datasetgrootte) behaalde UNSL de laagste RMSLE in 88,89% van de taken, vergeleken met 11,11% voor de volgende beste vorm.
Ablatiestudies: De resultaten geven aan dat de verbeterde prestaties te wijten zijn aan de specifieke structurele beperkingen (additieve symmetrieën en tegenstrijdige krachten) en niet alleen aan verhoogde expressiviteit, aangezien de geablateerde vormen (A1, A2, A3) dezelfde supremale expressiviteit delen maar slechter presteren bij extrapolatie.
Grens van Voorspelbaarheid: Het artikel toont aan dat UNSL schalingsgedragingen nauwkeurig kan extrapoleren, zelfs voor taken met "fase-overgangen" (bijvoorbeeld sparse parity-taken) waarbij de loss honderden stappen lang niet daalt, mits de trainingsdata het gebied voldoende dicht bij de hyperbreuken bestrijkt.

Betekenis
Het artikel beweert dat UNSL een nauwkeuriger en gecombineerd kader biedt voor het voorspellen van de prestaties van neurale netwerken op grote schaal. Door het samenspel tussen modelgrootte, data, rekenkracht en hyperparameters nauwkeurig te modelleren – inclusief niet-monotone effecten – maakt UNSL een betere selectie van trainingsconfiguraties en architecturen mogelijk. De auteurs suggereren dat deze capaciteit essentieel is voor verantwoord AI-ontwikkeling, aangezien het helpt bij het voorspellen van het ontstaan van capaciteiten en het waarborgen van veiligheid door de limieten en overgangen van modelgedrag te begrijpen naarmate resources toenemen. Het werk benadrukt dat het opnemen van meer relevante voorspellers en het modelleren van hun complexe interacties (via de gecombineerde vorm) de conditionele entropie in prestatievoorspelling verlaagt, wat leidt tot betrouwbaardere extrapolaties.