💬 NLP

Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training

Dit artikel stelt een model-agnostisch framework voor dat gebruikmaakt van voorspelbare schaalwetten ontdekt uit kleinschalige proxy-modellen en de equivalente pre-training rekenkracht van een gegeven checkpoint om optimaal hyperparameters voor LLM continued pre-training kwantitatief te voorspellen, waardoor de zoekoverhead met wel 90% wordt verminderd terwijl de prestaties gelijk blijven of verbeteren.

Oorspronkelijke auteurs: Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

Gepubliceerd 2026-06-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, breed opgeleide student hebt (een Large Language Model) die al jarenlang een algemene school heeft doorlopen. Nu wil je deze student naar een gespecialiseerde bootcamp sturen om een nieuwe, specifieke vaardigheid te leren, zoals geavanceerde wiskunde of programmeren. Dit proces wordt Continued Pre-training genoemd.

Het grote probleem is: Hoe leer je hen dit?

In het verleden moesten leraren (onderzoekers) raden naar de juiste leersnelheid (Learning Rate) en klassengrootte (Batch Size). Ze probeerden een hele reeks combinaties uit, in de hoop dat er één zou werken. Dit was als het zoeken naar een speld in een hooiberg door de hele hooiberg in brand te steken om hem te vinden. Het was duur, traag, en vaak raakte de student in de war of vergat wat hij al wist.

Dit artikel stelt een nieuwe, slimmere manier voor om de perfecte instellingen voor het onderwijs te vinden zonder al dat gegok. Zo werkt het, uitgelegd aan de hand van eenvoudige concepten:

1. De Ontdekking: Er is een "Vuistregel"

De onderzoekers merkten eerst iets cools op. Wanneer ze kleine "oefendelen" (kleine modellen) trainden op dit nieuwe materiaal, ontdekten ze een voorspelbaar patroon.

De Analogie: Stel je voor dat je een auto bestuurt. Als je een korte rit hebt (laag rekenbudget), rijd je misschien snel maar maak je kleine, frequente bochten. Als je een lange rit hebt (hoog rekenbudget), rijd je langzamer maar maak je bredere, vloeiendere bochten.
De Bevinding: Ze ontdekten dat naarmate je van plan bent om meer "rekenkracht" (tijd en energie) aan de training te besteden, de beste klassengrootte groter wordt en de beste leersnelheid langzamer wordt. Dit is niet willekeurig; het volgt een strikte wiskundige wet, net als de zwaartekracht.

2. Het Probleem: De "Black Box" Checkpoint

Normaal gesproken, wanneer je een nieuw model vanaf nul traint, begin je bij nul. Maar bij Continued Pre-training begin je met een model dat al veel weet.

De Analogie: Stel je voor dat je een student halverwege zijn opleiding oppikt. Je weet niet precies hoeveel hij weet of hoe snel hij leert. Als je hem behandelt als een pasgeboren baby (vanaf nul beginnen), leer je hem misschien te snel en zal hij crashen. Als je doet alsof hij niets weet, verspil je tijd.
De Uitdaging: Hoe meet je precies waar deze student zich bevindt op de "leercurve" zodat je de juiste snelheid kunt kiezen?

3. De Oplossing: "Equivalent Training"

De auteurs hebben een slimme truc uitgevonden die ze Equivalent Pre-training Compute noemen.

De Analogie: In plaats van te vragen: "Hoeveel jaar heeft deze student al op school gezeten?", vragen ze: "Als deze student vanaf nul zou zijn begonnen en alleen het nieuwe materiaal dat we ons gaan aanleren, hoeveel werk zou hij dan moeten hebben verricht om zijn huidige niveau van begrip te bereiken?"
Hoe het werkt: Ze kijken naar de huidige testscore van de student (validation loss). Ze gebruiken een formule om te berekenen: "Oké, om deze score vanaf nul te halen, had je X uur moeten studeren."
Het Resultaat: Nu kunnen ze de nieuwe studie-uren die ze van plan zijn te besteden, optellen bij die oude hypothetische uren. Dit geeft hen een Totale Effectieve Studietijd.

4. De Voorspelling: Geen Gegok Meer

Zodra ze de "Totale Effectieve Studietijd" weten, gebruiken ze de "Vuistregel" (de scaling law) die ze in Stap 1 hebben ontdekt.

De Magie: Ze stoppen de totale tijd in een formule, en die spuugt direct de perfecte klassengrootte en leersnelheid uit.
Het Voordeel: Ze hoeven geen dure experimenten uit te voeren op de grote, slimme student. Ze hoeven alleen maar wat wiskunde te doen op basis van kleine oefenmodellen.

De Resultaten

Het artikel testte dit op modellen tot 8 miljard parameters groot.

Snelheid: Ze bespaarden tot wel 90% van de rekenkosten vergeleken met de oude "raad en controle"-methode.
Prestaties: De modellen die met deze voorspelde instellingen werden getraind, presteerden net zo goed, of zelfs beter, dan modellen die getraind werden met de best handmatig geraden instellingen.
Stabiliteit: De training was veel stabieler, wat betekent dat de modellen niet "crashten" of vergaten wat ze al wisten.

Samenvatting

Beschouw dit artikel als het maken van een GPS voor AI-training.

Oude Manier: Doelloos rondrijden, brandstof verbruiken, in de hoop de juiste route te vinden.
Nieuwe Manier: Kijk naar je huidige locatie (de huidige staat van het model), bereken de totale afstand die je moet afleggen (Equivalent Compute), en de GPS vertelt je direct de exacte snelheid en de rijstrook waarin je moet blijven om daar efficiënt aan te komen.

Dit stelt onderzoekers in staat om gespecialiseerde AI-modellen veel sneller, goedkoper en betrouwbaarder te trainen, zonder dat ze een superdeskundige gokker hoeven te zijn.

Technische Samenvatting: Voorspelbare Schalingswetten van Optimale Hyperparameters voor LLM Continued Pre-training

Probleemstelling

Continued Pre-training (CPT) is een cruciale mechanisme voor het aanpassen van Large Language Models (LLMs) aan domeinspecifieke toepassingen, wat een rekenefficiënt alternatief biedt voor training vanaf nul. De effectiviteit van CPT is echter zeer gevoelig voor hyperparameterconfiguraties, met name de leersnelheid (learning rate, LR) en de batchgrootte (B). Huidige praktijken vertrouwen sterk op heuristieken of uitgebreide grid searches, wat rekenintensief is, gevoelig is voor instabiliteit tijdens de training en een gebrek aan principiële sturing vertoont.

Twee fundamentele uitdagingen belemmeren de toepassing van schalingswetten op CPT:

Bestaan en Karakterisering: Het is nog niet geverifieerd of er voorspelbare, monotone relaties bestaan tussen het rekenbudget en optimale hyperparameters wanneer de training niet begint vanuit een willekeurige initialisatie.
Kwantificering van de Initiële Toestand: In tegenstelling tot training vanaf nul, begint CPT vanuit een niet-nul optimalisatietoestand. De "black box"-aard van de voortgang van een pre-trained checkpoint op een nieuwe, verschoven datadistributie maakt het moeilijk om de effectieve bijdrage aan het trainingsproces te kwantificeren.

Methodologie

De auteurs stellen een tweefasig, model-agnostisch framework voor om kwantitatieve relaties tussen het rekenbudget en optimale hyperparameters vast te stellen, wat zero-shot voorspelling voor elk gegeven checkpoint mogelijk maakt.

Fase 1: Empirische Wet Ontdekking

De auteurs karakteriseren eerst het schalingsgedrag door kleine proxy-modellen (100M en 500M parameters) te trainen over diverse hyperparameterconfiguraties op de doelgerichte CPT-data.

Iso-Loss Curven: Ze construeren curven in het (Batch Size, Learning Rate) vlak om de minimale rekenkracht te identificeren die nodig is om een specifieke validatieverlies te bereiken. De hoekpunten van deze curven definiëren de optimale hyperparameterparen $(B_{opt}, LR_{opt})$ voor een bepaald verliesniveau.
Functionele Fitting: Ze observeren dat optimale hyperparameters machtswet-trends volgen ten opzichte van het validatieverlies. Ze passen functies toe: $B_{opt} = f(L)$ en $LR_{opt} = g(L)$ .
Compute-naar-Hyperparameter Mapping: Door deze te combineren met standaard loss-compute schalingswetten ( $L(C) = L_0 + \alpha C^{-\gamma}$ ), leiden ze directe mapping af van het totale rekenbudget $C$ naar optimale hyperparameters:
$B_{opt}(C) = f(L_0 + \alpha \cdot C^{-\gamma})$
$LR_{opt}(C) = g(L_0 + \alpha \cdot C^{-\gamma})$

Fase 2: Toestandsbewuste Hyperparameter Voorspelling

Om deze wetten toe te passen op willekeurige checkpoints, introduceren de auteurs het concept van Equivalent Pre-training Compute ( $C_{pre}$ ).

Definitie: $C_{pre}$ vertegenwoordigt de theoretische rekenkracht die nodig zou zijn om het huidige validatieverlies van een checkpoint te bereiken als het vanaf willekeurige initialisatie zou zijn getraind op de doelgerichte domein.
Berekening: Door de loss-compute schalingswet te inverteren, wordt $C_{pre}$ berekend vanuit het initiële validatieverlies ( $L_{init}$ ):
$C_{pre} = \left( \frac{\alpha}{L_{init} - L_0} \right)^{1/\gamma}$
Totale Effectieve Compute: Het totale rekenbudget voor de CPT-run wordt gedefinieerd als de som van de geërfde staat en het geplande budget: $C_{total} = C_{pre} + C_{cpt}$ .
Voorspelling: De optimale hyperparameters voor de doelgerichte run worden voorspeld door de afgeleide schalingsfuncties te evalueren bij $C_{total}$ .

Belangrijkste Bijdragen

Schalingswetten voor CPT: Het artikel stelt empirisch vast dat optimale hyperparameters in continued pre-training stabiele, voorspelbare schalingswetten volgen. Specifiek neemt de optimale batchgrootte monotoon toe met het rekenbudget, terwijl de optimale leersnelheid afneemt.
Equivalent Pre-training Compute ( $C_{pre}$ ): Een nieuw concept wordt voorgesteld om de trainingsstaat die wordt geërfd van initiële checkpoints formeel te kwantificeren. Dit transformeert een willekeurig startpunt in een meetbare coördinaat op een continue optimalisatietraject, wat de uitdaging van de niet-nul initialisatie aanpakt.
Efficiënt Framework: De auteurs valideren een framework dat optimale hyperparameters voorspelt zonder trial runs op doelmodellen, waardoor de overhead voor hyperparameterzoekopdrachten met wel 90% wordt verminderd vergeleken met traditionele grid searches.

Experimentele Resultaten

Het framework werd geëvalueerd op Dense-8B en MoE-3B modellen met behulp van een corpus van 55B tokens bestaande uit algemene kennis, wiskunde en code.

Prestaties: Modellen getraind met voorspelde hyperparameters bereikten piek gemiddelde scores (51.3 voor Dense-8B en 57.9 voor MoE-3B) over diverse benchmarks (MMLU, GSM8K, HumanEval, etc.), waarbij ze beter presteerden dan off-target settings.
Ablatie Studies:
- Leersnelheid (Learning Rate): Excessief hoge LRs veroorzaakten prestatiecollaps (catastrofale vergetelheid), terwijl lage LRs de efficiëntie van kennisverwerving beperkten. De voorspelde LR balanceerde deze factoren.
- Batchgrootte (Batch Size): Kleine batches leidden tot instabiele optimalisatie, terwijl excessief grote batches de frequentie van gradiëntupdates verminderden, wat convergentie hinderde. De voorspelde batchgrootte optimaliseerde deze trade-off.
Efficiëntie: Vergeleken met grid searches op doelmodellen, reduceerde de voorgestelde methode de computationele kosten met 92.0% voor Dense-8B en 73.1% voor MoE-3B door gebruik te maken van kleine schaal proxy-modellen.
Geldigheid van $C_{pre}$ : Ablatie studies toonden aan dat het negeren van de initiële staat (Variant A) of het gebruiken van ruwe pre-training token aantallen (Variant B) resulteerde in suboptimale hyperparameters en lagere prestaties, wat bevestigt dat $C_{pre}$ effectief kalibreert voor domeinverschuivingen.

Betekenis en Claims

Het artikel claimt een geprincipierde en efficiënte methodologie te bieden voor diverse continued pre-training scenario's. Door aan te tonen dat optimale hyperparameters voorspelbare schalingswetten volgen, zelfs wanneer ze starten vanaf een niet-willekeurige initialisatie, biedt het werk een levensvatbaar alternatief voor kostbare heuristieken en grid searches. De introductie van $C_{pre}$ stelt gebruikers in staat om CPT te behandelen als een voortzetting van een enkele optimalisatiepad, wat betrouwbare hyperparameter voorspelling mogelijk maakt voor modellen in elke fase van hun levenscyclus. De auteurs merken op dat hoewel het framework generaliseert over architecturen, verificatie op ultra-grote schaal (70B+ parameters) en zeer gespecialiseerde domeinen een richting is voor toekomstig onderzoek.