🤖 machine learning

Test-Time Scaling Makes Overtraining Compute-Optimal

Dit paper introduceert Train-to-Test ( $T^2$ ) schalingswetten die, door inferencekosten mee te nemen, aantonen dat de optimale pretrainingstrategie verschuift naar een overtrainingsregime dat aanzienlijk betere prestaties levert dan traditionele schalingswetten.

Oorspronkelijke auteurs: Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kok bent die een enorme maaltijd voorbereidt voor een feest. Je hebt een vast budget voor ingrediënten en tijd.

De oude manier (Chinchilla):
Vroeger zeiden de experts: "Gebruik precies de juiste hoeveelheid ingrediënten voor het juiste aantal gasten." Als je een klein gerecht maakt, gebruik je weinig ingrediënten. Als je een groot gerecht maakt, gebruik je veel. Ze geloofden dat je het beste resultaat kreeg als je het gerecht niet te lang kookte, maar precies op het moment dat het "perfect" was. Dit noemen ze de "Chinchilla-regel".

Het nieuwe probleem:
Maar stel je nu voor dat je weet dat je gasten niet alleen maar één hap nemen. Ze willen proeven, proeven, en nog eens proeven totdat ze het perfecte gerecht hebben gevonden. Ze laten de kok 100 keer hetzelfde gerecht maken, maar dan in kleinere porties, en kiezen de beste.

De oude regels zeiden niets over dit "proeven en herhalen". Ze dachten alleen aan het eerste gerecht.

De nieuwe ontdekking (Train-to-Test of T2):
De auteurs van dit papier zeggen: "Wacht even! Als we weten dat onze gasten 100 keer gaan proeven, moeten we onze strategie volledig veranderen."

Hier is de simpele uitleg van hun ontdekking, met een paar creatieve vergelijkingen:

1. De "Grote, Traag Kookende Pot" vs. De "Snelle, Kleine Pan"

Volgens de oude regels (Chinchilla) zou je een enorme, zware pan (een groot model) moeten gebruiken die je precies lang genoeg kookt.

Maar de nieuwe regels (T2) zeggen: "Maak een heel klein, licht pannetje!"
Waarom? Omdat een klein pannetje heel snel en goedkoop is om te gebruiken. Als je weet dat je 100 keer kunt koken met hetzelfde budget, kun je 100 keer een klein pannetje gebruiken in plaats van 1 keer een enorme pot.

2. De Kunst van het "Overkoken" (Overtraining)

Dit is het meest verrassende deel. De oude regels zeiden: "Kook je gerecht niet te lang, anders wordt het droog."

De nieuwe regels zeggen: "Kook je kleine pannetje juist heel lang!"
Omdat je het zo vaak kunt proberen (100 keer), maakt het niet uit als het eerste gerecht nog een beetje rauw is. Als je het ingrediënt (het model) heel lang en intensief kookt (overtraining), wordt het zo goed dat het zelfs beter smaakt dan die ene grote, perfect gekookte pot.

Vergelijking: Stel je voor dat je een leerling hebt.
- Oude manier: Je geeft de leerling een dik boek en laat hem precies genoeg studeren om het examen te halen.
- Nieuwe manier: Je geeft de leerling een heel dun boekje, maar laat hem dat boekje 1000 keer herlezen en oefenen. Omdat hij het zo vaak doet, wordt hij een expert, terwijl de leerling met het dikke boek maar één keer heeft gelezen.

3. De "Gokker" Strategie

Stel je voor dat je een gokker bent die 100 munten mag gooien.

Als je een enorme, zware munt (groot model) hebt, kost het veel geld om hem te gooien. Je kunt maar 1 keer gooien. Als je fout zit, ben je je geld kwijt.
Als je een kleine, lichte munt (klein model) hebt, kun je 100 keer gooien voor hetzelfde geld. Zelfs als je 99 keer fout zit, is de kans groot dat je op de 100e keer wint.

De auteurs zeggen: "Kies voor de kleine munt en gooi 100 keer, in plaats van de grote munt en 1 keer."

Wat betekent dit voor de toekomst?

Deze paper zegt eigenlijk: "Stop met het maken van gigantische, dure modellen die je maar één keer gebruikt. Maak liever kleinere, goedkopere modellen die je heel intensief hebt getraind, en laat ze 100 keer proberen."

Dit werkt zelfs als je de modellen later nog wat "bijstelt" (zoals het leren van een specifieke taal of een chatbot-functie). De kleine, overgetrainde modellen blijven de winnaars.

Kort samengevat:
Als je weet dat je veel mag proberen (test-time scaling), moet je stoppen met het bouwen van enorme, dure robots. Bouw in plaats daarvan een legertje van slimme, goedkope robots die je heel lang hebt getraind. Samen zijn ze veel slimmer en goedkoper dan één enkele super-robot.

Titel: Test-Time Scaling Makes Overtraining Compute-Optimal

Auteurs: Nicholas Roberts et al. (Universiteit van Wisconsin-Madison & Stanford University)

1. Het Probleem

Bestaande schaalwetten voor Large Language Models (LLMs) opereren in twee gescheiden domeinen die fundamenteel aan elkaar gekoppeld zijn, maar tot nu toe apart worden geoptimaliseerd:

Pretraining-schaalwetten (bijv. Chinchilla): Deze geven aan hoe modelgrootte ( $N$ ) en het aantal trainingstokens ( $D$ ) moeten worden verdeeld onder een vast trainingsbudget om de verliesfunctie (NLL) te minimaliseren. Ze veronderstellen echter vaak dat het model slechts één keer wordt geïnfereerd (single-pass).
Test-time scaling: Moderne toepassingen (zoals redeneringstaken) gebruiken vaak herhaaldelijke sampling (bijv. pass@k), waarbij een model $k$ keer wordt aangeroepen om de kans op een correct antwoord te maximaliseren. Bestaande werken (zoals Snell et al., 2024) tonen aan dat het toewijzen van meer inferentie-rekenkracht aan kleinere modellen via herhaald sampling de prestaties kan verbeteren, maar ze behandelen het getrainde model als een gegeven en optimaliseren niet de pretraining.

De kernvraag: Moeten de keuzes tijdens pretraining (modelgrootte en datasetgrootte) veranderen als we weten dat het model tijdens de inferentie via herhaald sampling zal worden gebruikt? Het paper stelt dat de huidige "Chinchilla"-optima (ongeveer 20 tokens per parameter) niet meer geldig zijn wanneer de kosten van herhaald sampling worden meegenomen.

2. Methodologie: Train-to-Test (T2) Schaalwetten

De auteurs introduceren Train-to-Test (T2) schaalwetten die pretraining en inferentie gezamenlijk optimaliseren onder een totaal rekenbudget dat zowel training ( $C_{train}$ ) als inferentie ( $C_{inf}$ ) omvat.

Het Optimisatieprobleem:
Het doel is om de prestaties te maximaliseren (of het verlies te minimaliseren) door $N$ (modelgrootte), $D$ (aantal tokens) en $k$ (aantal samples) te variëren, onder de beperkingen:

$C_{train} \approx 6ND$ (trainingskosten)
$C_{inf} \approx 2Nk$ (inferentiekosten voor $k$ forward passes)

De auteurs presenteren twee complementaire modelleringbenaderingen:

Benadering 1: Parametrisch Model van het Taakverlies (NLL)

Concept: Ze herschrijven het negatieve log-likelihood (NLL) doel voor herhaald sampling. In plaats van $p$ (kans op correct antwoord in één keer), gebruiken ze de kans op succes in $k$ pogingen: $pass@k = 1 - (1-p)^k$ .
Model: Ze voegen een machtswet-term toe aan de Chinchilla-verliesformule:
$\hat{L}(N, D, k) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{G}{k^\gamma}$
Correctie: Voor een vast inferentiebudget $C_{inf}$ geldt $k = C_{inf} / (2N)$ . Dit betekent dat kleinere modellen meer samples krijgen. Deze relatie wordt ingepluimd in de verliesfunctie, wat leidt tot een gecorrigeerd verliesmodel dat afhangt van $N$ en $D$ .

Benadering 2: Parametrisch Model van de Taaknauwkeurigheid (Pass@k)

Concept: In plaats van verlies te modelleren, modelleren ze de nauwkeurigheid direct. Ze erkennen dat een simpele transformatie van NLL naar nauwkeurigheid de prestaties kan overschatten vanwege de convexiteit/concaviteit van de $pass@k$-functie.
Model: Ze modelleren de per-vraag succeskans als een Beta-verdeling ($Beta(a, b)$), waarvan de parameters afhangen van de NLL.
- De gemiddelde nauwkeurigheid wordt geschat via een sigmoid-functie op de NLL.
- De spreiding van de moeilijkheidsgraad wordt gemodelleerd via de Beta-verdeling.
- De verwachte $pass@k$ wordt exact berekend via eigenschappen van de Beta-verdeling:
  $\widehat{Acc}(N, D, k) = 1 - \frac{B(a, b+k)}{B(a, b)}$
- Ook hier wordt $k$ vervangen door $C_{inf}/(2N)$ .

Data: De modellen worden getraind op een dataset van meer dan 100 checkpoints (van 5M tot 901M parameters) getraind op RefinedWeb, inclusief nieuwe "overtrained" checkpoints die buiten het standaard Chinchilla-bereik vallen.

3. Belangrijkste Resultaten

RQ1: Moet pretraining veranderen?

Ja. Wanneer het inferentiebudget wordt meegenomen, verschuiven de optimale pretraining-beslissingen radicaal naar het overtraining-regime.

In plaats van de Chinchilla-ratio van ~20 tokens per parameter, voorspellen T2-wetten extreme overtraining (veel meer tokens per parameter).
De optimale strategie is een kleiner model dat veel langer wordt getraind, omdat de lagere inferentiekosten per sample van het kleinere model meer herhaalde sampling toelaten binnen hetzelfde budget, wat de totale nauwkeurigheid sterk verhoogt.

RQ2: Extrapoleren de wetten naar overtrained checkpoints?

Ja. De auteurs trainden modellen van scratch in het voorspelde overtrained-regime.

De T2-wetten voorspelden nauwkeurig dat deze modellen beter zouden presteren dan Chinchilla-geoptimaliseerde modellen.
Empirische tests op 8 taken (waaronder LAMBADA, ARC-Easy, SciQ) toonden aan dat de kleine, overtrained modellen (bijv. 37M parameters) met herhaald sampling significant beter presteerden dan grote Chinchilla-geoptimaliseerde modellen (bijv. 901M parameters) onder hetzelfde totale budget.
De relatieve fout bij extrapolatie was laag (2.8% voor Benadering 1).

RQ3: Overleven de bevindingen post-training?

Ja. De auteurs toonden aan dat de voordelen van overtraining behouden blijven na Supervised Fine-Tuning (SFT) en standaard Fine-Tuning (FT).

Hoewel overtrained modellen iets moeilijker te fine-tunen zijn (wat de optimale overtraining iets dempt), blijft de strategie van "kleinere, overtrained modellen" superieur aan de Chinchilla-benadering zelfs na post-training.

4. Kernbijdragen

End-to-End Scaling: Formalisatie van "Train-to-Test" als een gezamenlijke optimalisatie van modelgrootte, datasetgrootte en inferentie-rekenkracht.
Twee Modelleringbenaderingen: Introductie van zowel een verlies-gebaseerde als een nauwkeurigheids-gebaseerde (Beta-regressie) methode die beide tot dezelfde conclusies leiden.
Validatie van Overtraining: Empirisch bewijs dat modellen die specifiek zijn getraind voor herhaald sampling (extreem overtrained) aanzienlijk beter presteren dan modellen die alleen op pretraining-verlies zijn geoptimaliseerd.
Robuustheid: De bevindingen zijn consistent over acht verschillende taken en blijven geldig na post-training.

5. Betekenis en Conclusie

Dit paper daagt de huidige industriestandaard uit die zich richt op Chinchilla-geoptimaliseerde modelgroottes. De auteurs concluderen dat voor moderne LLM-deployments, waarbij herhaald sampling (zoals bij redeneringstaken) gebruikelijk is, de optimale strategie is om kleinere modellen te trainen met veel meer tokens dan nu gebruikelijk is.

Dit biedt een blauwdruk voor praktici: als je weet dat je een inferentiebudget hebt voor herhaald sampling, moet je investeren in een kleiner model dat langer wordt getraind, in plaats van een groter model dat korter wordt getraind. Dit maximaliseert de totale compute-efficiëntie en de uiteindelijke taaknauwkeurigheid.