🤖 machine learning

Bridging Compute- and Data-Optimal Pretraining

Dit artikel introduceert de Compute-Data (CD) schaalwetten, een verenigd kader dat de afnemende meeropbrengst van afgeleide data modelleert via een token-effectiviteitsfunctie om de compute-optimale en data-optimale pretraining-regimes te overbruggen, waarbij wordt onthuld dat klassieke compute-optimale allocatie suboptimaal is voor de meeste praktische instellingen.

Oorspronkelijke auteurs: Tian Qin, Kimia Hamidieh, David Alvarez-Melis

Gepubliceerd 2026-07-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tian Qin, Kimia Hamidieh, David Alvarez-Melis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente robot probeert te leren hoe hij menselijke taal spreekt. Jarenlang dachten wetenschappers dat het geheime ingrediënt simpel was: voer de robot gewoon steeds meer nieuwe verhalen, feiten en boeken. Hoe groter het brein van de robot (de "modelgrootte") en hoe meer verse boeken je de robot gaf, hoe slimmer hij zou worden. Dit idee, bekend als "scaling laws" (schaalwetten), suggereerde dat als je maar genoeg computerkracht had, je gewoon meer data kon kopen en de robot voor eeuwig beter zou blijven worden.

Maar er is een addertje onder het gras. We raken door verse, hoogwaardige boeken heen. Het internet is eindig, en het schrijven van nieuwe, perfecte verhalen kost tijd en geld. Ondertussen worden onze computers wel steeds sneller en goedkoper. Dit creëert een vreemd probleem: we hebben een superkrachtige motor (compute), maar een bijna lege brandstoftank (data). De grote vraag voor wetenschappers werd: als we geen meer verse boeken kunnen krijgen, kunnen we de robot dan ook gewoon dezelfde boeken keer op keer laten lezen, of ze op verschillende manieren laten herschrijven, om hem slimmer te maken? Helpt het net zo goed om een verhaal een tweede keer te lezen als een gloednieuw verhaal te lezen?

Dit is het puzzelstuk waar onderzoekers Tian Qin, Kimia Hamidieh en David Alvarez-Melis zich in hun nieuwe paper mee bezighielden. Ze wilden de perfecte receptuur ontdekken voor het trainen van deze AI-modellen wanneer verse data schaars is. Ze ontwikkelden een nieuwe set regels genaamd "Compute-Data (CD) scaling laws". Denk aan het als een nieuwe kaart voor een reis waarbij de oude kaart zei "blijf rechtdoor rijden", maar de nieuwe kaart zegt: "Hé, de weg loopt ten einde! Hier is hoe je de omwegen navigeert."

Het team kwam erachter dat simpelweg het herlezen van oude data geen magische oplossing is. Ze ontdekten dat "afgeleide tokens"—wat vergelijkbaar is met het herlezen van een boek of het herschrijven van een zin in je eigen woorden—minder waard zijn dan verse, originele tekst. Hoe meer je herhaalt of parafraseert, hoe minder waarde elk nieuw woord toevoegt. Het is als het eten van een heerlijke taart: de eerste hap is geweldig, de tweede is goed, maar bij de tiende hap ben je gewoon vol en geniet je er niet meer echt van.

Om dit te bewijzen, trainden ze tientallen AI-modellen, variërend van piepkleine modellen met 14 miljoen "neuronen" tot middelgrote modellen met 600 miljoen, met behulp van een enorme bibliotheek aan tekst genaamd Dolma-3. Ze testten twee hoofdstrategieën: Multi-epoch repetitie (hetzelfde boek keer op keer lezen) en Paraphraseren (het boek in verschillende stijlen herschrijven, zoals een nieuwsartikel veranderen in een wiskundeprobleem of een FAQ).

Hun resultaten waren verrassend en zeer specifiek. Ze ontdekten dat de "waarde" van het herlezen of herschrijven sterk afhangt van hoe groot het brein van de robot is en hoeveel verse data hij al heeft gezien.

Voor kleine robots (onder de 600 miljoen parameters) met beperkte verse data, is paraphraseren een slimme truc. Het is alsof je de robot een nieuw perspectief op hetzelfde verhaal geeft, wat helpt bij het leren.
Voor grote robots (boven de 7 miljard parameters) of wanneer je al veel verse data hebt, stopt het effect van paraphraseren. Het is alsoals proberen een PhD-student iets te leren door een kinderboek te herschrijven; ze hebben de basis al geleerd en de nieuwe versie voegt niets toe.
Repetitie (hetzelfde boek opnieuw lezen) werkt beter voor grotere modellen, maar zelfs dan is er een limiet. Je kunt niet zoma-zomaar een boek eeuwig blijven lezen en verwachten dat de robot oneindig veel slimmer wordt.

Het paper introduceert een speciale getal, dat ze $\eta$ (eta) noemen, om precies te meten hoeveel een "afgeleid" woord waard is vergeleken met een "vers" woord. Als $\eta$ gelijk is aan 1, is het nieuwe woord even goed als een vers woord. Als het 0 is, is het nutteloos. Ze ontdekten dat $\eta$ geen vast getal is; het daalt naarmate het model groter wordt en naarmate je meer afgeleide data gebruikt.

Dit leidt tot drie duidelijke "zones" van training, die ingenieurs helpen beslissen wat ze nu moeten doen:

Compute-Bound (Computergestuurd): Je hebt genoeg verse data, maar niet genoeg computerkracht. Hier moet je gewoon doorgaan met het trainen op verse data.
Data-Bound (Datagestuurd): Je bent door de verse data heen. Hier kun je meer computerkracht besteden aan repetitie of het herschrijven, maar je moet voorzichtig zijn omdat de rendementen snel dalen.
Model-Bound (Modelgestuurd): Je hebt alle data gebruikt die je kunt, en de computer zit aan zijn maximum. De enige manier om nu slimmer te worden, is door een groter brein te bouwen (een groter model).

Een van de meest praktische inzichten gaat over hoe vaak je een boek moet lezen. Een populaire vuistregel in het verleden was om een dataset 4 keer te lezen (4 epochs). De auteurs vonden dat dit alleen een goed idee is voor middelgrote modellen met een specifieke hoeveelheid data. Als je een enorm groot model of een enorme dataset hebt, is het 4 keer lezen van de data een verspilling van tijd en geld; je moet dan veel eerder stoppen. Omgekeerd, voor zeer kleine modellen met heel weinig data, moet je het misschien juist veel vaker lezen.

Ze vergeleken de twee strategieën ook zij aan zij. Ze vonden een "kantelpunt". Als je model klein is (onder de 600 miljoen) en je hebt niet veel data, dan is paraphraseren de winnaar. Maar zodra je model groter wordt (over 7 miljard) of je een enorme dataset hebt, wordt repetitie de betere keuze, en wordt paraphraseren zelfs ineffectief.

Kortom, dit paper vertelt ons dat het tijdperk van "gewoon meer data kopen" voorbij is. We gaan een nieuw tijdperk binnen waarin we slim moeten zijn over hoe we de data die we hebben gebruiken. We kunnen niet alleen meer computerkracht op het probleem gooien en verwachten dat het werkt; we moeten precies weten wanneer we moeten stoppen met herhalen, wanneer we moeten proberen te herschrijven, en wanneer we moeten toegeven dat we een groter brein nodig hebben. De auteurs suggereren dat voor de meeste praktische situaties de oude "Chinchilla"-regel (die ervan uitging dat data eindeloos was) niet langer de beste gids is. In plaats daarvan moeten we onze computerkracht, onze modelgrootte en ons databudget zorgvuldig in balans brengen, gebruikmakend van deze nieuwe regels om verspilling van tijd aan trucs die niet werken te voorkomen.

De onderzoekers zijn erg overtuigd van deze bevindingen omdat ze deze getest hebben over vele verschillende modelgroottes en hoeveelheden data, en de wiskunde klopte. Ze hebben zelfs gecontroleerd of de modellen die met deze trucs getraind waren, ook echt beter presteerden op echte taken (zoals vragen beantwoorden of wiskundeproblemen oplossen), en ja, dat deden ze. Een lagere "loss" (een maatstaf voor hoe verward de robot is), betekende een betere prestatie van de robot.

Dus, de volgende keer dat je over een nieuw AI-model hoort, onthoud dan: het gaat niet alleen om hoeveel het gelezen heeft, maar om hoe het gelezen heeft. En als jij degene bent die de AI traint, blijf dan niet alleen maar "repeat" drukken op dezelfde afspeellijst; soms heb je een remix nodig, en soms moet je gewoon stoppen en een groter brein zoeken.

Technische Samenvatting: Het overbruggen van Compute- en Data-optimale Pretraining

1. Probleemstelling

Klassieke scaling laws voor pretraining (bijv. Kaplan et al., 2020; Hoffmann et al., 2022) opereren onder de aanname dat verse pretraining-data onbegrensd is en vrij schaalt met compute. De sector beweegt zich echter naar een regime waarin de compute-capaciteit exponentieel groeit terwijl hoogwaardige pretraining-data eindig en kostbaar is om te cureren. In dit "data-beperkte" regime moeten beoefenaars extra compute besteden aan afgeleide tokens ( $D'$ ) die gegenereerd zijn uit een vaste corpus ( $D$ ) via strategieën zoals multi-epoch repetitie, parafrasering of distillatie.

De centrale vraag die door dit werk wordt geadresseerd is: Hoeveel kan extra compute (besteed aan afgeleide tokens $D'$ ) de pretraining loss verminderen voor een model van grootte $N$ getraind op een vaste corpus $D$ ? Bestaande wetten beschrijven de trade-off tussen compute en data niet adequaat wanneer de datavoorraad begrensd is.

2. Methodologie

De Compute-Data (CD) Scaling Framework

De auteurs stellen een verenigd framework voor, CD-scaling laws, dat de kloof overbrugt tussen:

Compute-optimale scaling ( $L_{Chin}$ ): Waarbij data onbegrensd is ( $D' = 0$ ).
Data-optimale scaling ( $L_D$ ): Waarbij compute onbegrensd is op een vaste corpus ( $D' \to \infty$ ).

De kern van het framework is een token effectiviteitsfunctie, $\eta_{strat} \in [0, 1]$ , die de waarde van een afgeleide token kwantificeert ten opzichte van een verse token. De voorgestelde scaling law is:

$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$

Waar:

$N$ : Modelparameters.
$D$ : Verse tokens (één keer gezien).
$D'$ : Afgeleide tokens.
$\eta_{strat}$ : Effectiviteitscoëfficiënt afhankelijk van de expansiestrategie (repetitie of parafrasering), modelgrootte $N$ , en beschikbaarheid van data.

Experimentele Opzet

Architectuur: OLMo3 (Olmo et al., 2025).
Modelgroottes: 14M tot 600M parameters.
Data: Dolma-3 corpus (150B tokens).
Strategieën:
1. Multi-epoch repetitie: Het corpus herhalen voor extra epochs.
2. Parafrasering: Documenten herformuleren met behulp van SmolLM2-1.7B-Instruct met specifieke stijl-mengsels (vraag, wiskunde, FAQ, tabel).
Fitting: De auteurs passen de parameters van de scaling law aan door sweeps te doen op verse datagrootte ( $D$ ), afgeleide token-budgetten ( $D'$ ), en hyperparameters (learning rate, weight decay). Ze leiden $\eta_{emp}$ empirisch af door de waarde te vinden die de geobserveerde losses reproduceert, gegeven de vaste 1-epoch scaling constanten.

Parametrische Vorm van $\eta$

Empirische analyse laat zien dat $\eta$ niet constant is maar afneemt als functie van:

Expansieratio ( $r = D'/D$ ): $\eta$ neemt af naarmate er meer afgeleide data wordt toegevoegd.
**Tokens-Per-Parameter ($TPP = D/N $):**$ \eta$ neemt sneller af wanneer verse data schaars is ten opzichte van de modelgrootte.
Modelgrootte ( $N$ ): Grotere modellen verzadigen sneller.

De auteurs modelleren de effectieve afgeleide data ( $\eta \cdot D'$ ) als verzadigend naar een plafond $R^*$ . De gehanteerde functionele vorm is:
$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$
Waar het verzadigingsplafond $R^*$ een power law volgt die afhankelijk is van $N$ en $TPP$:
$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$

3. Belangrijkste Resultaten

1. Niet-constante Effectiviteit

De effectiviteit van afgeleide tokens is verre van constant. Het hangt gezamenlijk af van de modelgrootte, de $TPP$-ratio en de hoeveelheid afgeleide data. Naarmate de corpus expandeert ( $D' \to \infty$ ), verzadigt de effectieve tokencount $D_{eff} = D + \eta D'$ .

2. Drie Operationele Regimes

De CD-scaling law verdeelt de training in drie verschillende regimes gebaseerd op de beperkende factor:

Compute-bound: Tussen de compute-optimale frontier ( $L_{Chin}$ ) en de data-optimale frontier ( $L_D$ ). Hier vermindert extra compute op $D'$ de loss aanzienlijk.
Data-bound: Tussen $L_D$ en de model-gebonden vloer ( $L_N$ ). Afgeleide tokens zijn verzadigd; alleen verse data kan de loss verder verlagen.
Model-bound: De asymptotische limiet waarbij zowel compute als data verzadigd zijn; alleen het vergroten van $N$ helpt.

De "compute-bound" regio krimpt naarmate de modelgrootte ( $N$ ) en $TPP$ toenemen, wat wijst op afnemende meeropbrengsten voor extra compute bij grotere modellen of modellen met overvloedige data.

3. Strategieke Selectie en Optimalisatie

Kleine Modellen ( $N \lesssim 600M$ ) & Lage Data-budgetten: Parafrasering is aanzienlijk effectiever dan repetitie.
Grote Modellen ( $N \gtrsim 190M$ ) & Hoge Data-budgetten: Repetitie presteert beter dan parafrasering.
Epoch Aanbevelingen: De "4-epoch regel" (vaak aangehaald voor Chinchilla) geldt alleen voor middelgrote modellen ( $\sim 3B$ ) nabij de $1\times$ Chinchilla data-schaal. Voor grotere modellen en hogere $TPP$ neemt het aanbevolen aantal epochs af.
Pareto Frontier: Het framework identificeert de optimale allocatie van compute en data, waarbij de compute-only optimalisatie van Chinchilla wordt gegeneraliseerd naar een gezamenlijke compute-data Pareto frontier.

4. Downstream Transfer

De validatie loss blijft een voldoende statistiek voor downstream capaciteiten (gemeten via BPB op LM taken en nauwkeurigheid op benchmarks zoals LAMBADA en SQuAD), ongeacht of het model is getraind met 1-epoch, repetitie of parafrasering. Alle strategieën vallen samen op één curve wanneer ze worden uitgezet tegen de validatie loss.

4. Betekenis en Claims

Het papier claimt een verenigd framework te bieden dat bestaande wetten als speciale gevallen herstelt:

Compute-optimale scaling wordt hersteld wanneer $D' = 0$ .
Data-beperkte scaling (Muennighoff et al., 2025) wordt hersteld als een speciaal geval waar de verzadigingsplafond $R^*$ constant is.
Data-optimale scaling (Kim et al., 2025) wordt hersteld als de limiet waar $D' \to \infty$ .

Praktische Implicaties:

Resource Identificatie: Beoefenaars kunnen bepalen of hun training run beperkt wordt door compute, data of modelcapaciteit.
Allocatiestrategie: De wet schrijft de optimale splitsing van compute tussen verse data en afgeleide data voor, waarmee men verder gaat dan de "Chinchilla" heuristiek.
Strategische Begeleiding: Het biedt datagedreven aanbevelingen over wanneer men moet overschakelen van repetitie naar parafrasering en hoeveel epochs of parafraseringsrondes optimaal zijn voordat de rendementen verzadigen.

5. Beperkingen

De auteurs noemen enkele beperkingen:

Empirische Fitting: De functie $\eta$ absorbeert residuen van de 1-epoch fit, wat potentieel $\eta_{emp} > 1$ kan veroorzaken.
Hyperparameter Gevoeligheid: Alleen learning rate en weight decay zijn gesweept; andere hyperparameters (batch size, sequentielengte) werden gefixeerd.
Compute Kosten: Het vaststellen van deze wetten vereiste meer dan 250k H100-uren.
Scope: De studie richt zich op repetitie en parafrasering; andere strategieën zoals zelf-distillatie of synthetische gestructureerde data blijven onverkend.
Schaal: Experimenten werden uitgevoerd op kleine- tot middelgrote modellen (tot 600M), hoewel de wet werd gevalideerd om naar grotere maten te extrapoleren.