Technische Samenvatting: Prescriptieve Schalingswetten voor Data-Gelimiteerde Training

Probleemstelling

De training van grote taalmodellen (LLMs) wordt steeds meer beperkt door de beschikbaarheid van hoogwaardige data in plaats van rekenkracht. Hoewel ruwe tekst overvloedig aanwezig is, vertrouwen state-of-the-art pipelines op agressieve kwaliteitsfiltering, samengestelde subsets en domeinspecifieke corpora. Dit creëert een knelpunt waarbij het rekenkrachtbudget vaak de beschikbare unieke data overtreft. In dit regime grijpen practitioners vaak terug op het trainen van modellen voor meerdere epoches over dezelfde data.

Bestaande schalingswetten, met name de wijdverspreide Chinchilla-wet (Hoffmann et al., 2022), gaan ervan uit dat elk trainings-token uniek is. Uitbreidingen om data-repetitie te behandelen, zoals de effectieve-data-formulering van Muennighoff et al. (2023), modelleren afnemende meeropbrengsten, maar slagen er niet in het regime te vangen waarbij de loss toeneemt door overfitting. Cruciaal is dat deze bestaande modellen de interactie tussen modelgrootte en repetitie niet expliciet in rekening brengen: grotere modellen overfitten sneller op herhaalde data dan kleinere modellen. Zonder deze interactie te modelleren, kunnen schalingswetten het gedrag niet nauwkeurig voorspellen of de compute-optimalisatie in data-gelimiteerde situaties sturen.

Methodologie

De auteurs stellen een nieuwe schalingswetsformulering voor die de kosten van data-repetitie expliciet modelleert via een addatieve overfittingstraf.

Experimentele Opstelling

• Modellen: Meer dan 300 decoder-only taalmodellen gebaseerd op de Llama 2-architectuur, variërend van 15M tot 1B parameters.
• Data: Getraind op het FineWeb-dataset (Penedo et al., 2024).
• Grid: De studie varieert over unieke databudgetten ($U_D$) van 50M tot 6B tokens en herhalingsaantallen ($R_D$) van 0 tot 15 epoches.
• Regularisatie: Twee weight decay-strengths werden getest: standaard ($\lambda = 0.1$) en sterk ($\lambda = 1.0$), waarbij alle andere hyperparameters constant werden gehouden.
• Evaluatie: Eindvalidatie-loss, perplexiteit en downstream-prestaties via de OLMES-evaluatiesuite (Gu et al., 2025) over 19 taken.

Voorgestelde Schalingswet

De auteurs leiden een familie van schalingswetten af die de Chinchilla-vorm aanvullen met een additieve strafterm. De algemene vorm is:
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Straf}(N, U_D, R_D)$$

Waar de strafterm de extra loss door repetitie vastlegt. De auteurs presenteren een "complexiteitsladder" van vormen:

1. 1-Parameter Vorm: Een lineaire straf in het herhalingsaantal, geschaald naar de verhouding van modelgrootte tot unieke data: $P \cdot R_D \cdot \frac{N}{U_D}$.
2. 2-Parameter Vorm: Introduceert een niet-lineaire exponent $\kappa$ op de capaciteitsverhouding: $P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$.
3. 4-Parameter Vorm: Voegt een superlineaire exponent $\delta$ toe aan het herhalingsaantal en ontkoppelt de databudget-exponent $\gamma$: $P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$.

Deze formulering stelt dat herhaalde tokens een dubbele rol vervullen: ze blijven de data-toereikendheidsterm verlagen (als nuttige data fungerend) terwijl ze tegelijkertijd een groeiende overfittingkost incurren die afhankelijk is van modelgrootte en data-schaarste.

Belangrijkste Resultaten

1. Superieure Kwaliteit van de Fit

De voorgestelde additieve strafwetten presteren aanzienlijk beter dan bestaande formuleringen (Chinchilla-baseline en Muennighoff et al., 2023) bij het voorspellen van de validatieloss onder repetitie.

• Beschrijvende Fit: Zelfs de eenvoudigste 1-parameter additieve vorm presteert aanzienlijk beter dan de exponentiële afname-baselines ($R^2_{multi} \approx 0,95$ versus $0,58$ voor de baseline in de standaardstudie). De 4-parameter vorm bereikt een bijna perfecte fit ($R^2 \approx 0,997$).
• Generalisatie: De additieve strafvormen generaliseren naar het buitengehouden Muennighoff et al. (2023) C4-dataset, waarbij ze hun eigen effectieve-data-formuleringen op die data overtreffen. Dit bevestigt dat de verbetering geen artefact is van de specifieke trainingsopstelling.

2. Compute-Optimale Allocatie

De nieuwe schalingswet levert kwalitatief ander advies op voor het toewijzen van rekenkracht in data-gelimiteerde regimes in vergelijking met eerdere werken:

• Eerdere Werken: De Chinchilla-wet (die overfitting negeert) raadt altijd meer repetitie aan naarmate de rekenkracht toeneemt. De wet van Muennighoff et al. (2023) raadt afnemende meeropbrengsten aan, maar suggereert nooit om met repetitie te stoppen.
• Deze Werk: De voorgestelde wet identificeert een rekenkrachtdrempel waarboven verdere repetitie contraproductief is. Voorbij dit punt is de optimale strategie om extra rekenkracht toe te wijzen aan modelcapaciteit (grotere $N$) terwijl het aantal epoches ($R_D$) wordt verminderd. Dit creëert een "terugdraaiing" van de allocatiegrens.

3. Prescriptieve Validatie

De auteurs hebben de aanbevelingen van de wet gevalideerd door de specifieke configuraties (modelgrootte en aantal epoches) te trainen die door elke wet worden aanbevolen voor vaste rekenkracht- en databudgetten.

• De configuraties die door de voorgestelde wet worden aanbevolen, behaalden consequent de laagste perplexiteit en de beste downstream-prestaties (OLMES BPB) over alle geteste budgetten.
• Bijvoorbeeld, bij een rekenkrachtbudget van $2 \times 10^{19}$ FLOPs en 500M unieke tokens, raadde de voorgestelde wet een model van 2,2B parameters aan dat voor 3 epoches werd getraind. Dit presteerde beter dan de Chinchilla-aanbeveling (670M parameters, 10 epoches) en de Muennighoff-aanbeveling (950M parameters, 7 epoches).

4. Casestudie: Weight Decay

De enkele coëfficiënt $P$ in de strafterm kwantificeert de robuustheid van een configuratie tegenover data-repetitie.

• Reductie van Overfitting: Sterke weight decay ($\lambda = 1,0$) vermindert de overfitting-coëfficiënt $P$ met ongeveer 70% in vergelijking met standaard weight decay ($\lambda = 0,1$).
• Kruispunt: Hoewel sterke weight decay een "loss-premium" oplevert in het regime van één epoch, creëert de verminderde overfittingstraf een kruispunt bij hoge rekenkrachtbudgetten ($C \approx 3,2 \times 10^{18}$ FLOPs voor $U_D=250M$). Voorbij dit punt stelt sterke weight decay het productief gebruik van extra rekenkracht mogelijk, en presteert het beter dan standaard instellingen. Dit biedt een schalingswetsverklaring voor recente empirische bevindingen (Kim et al., 2026) dat de optimale weight decay in data-gelimiteerde regimes een orde van grootte groter is dan de standaardpraktijk.

Betekenis en Claims

Het artikel claimt een prescriptief kader te bieden voor data-gelimiteerde training dat voorbijgaat aan de "oneindige data"-aannames van Chinchilla.

• Nieuw Allocatieadvies: De primaire bijdrage is de identificatie van een regime waarin repetitie schadelijk wordt, waardoor de optimale strategie verschuift van "meer epoches" naar "grotere modellen".
• Kwantificeerbare Robuustheid: Door overfitting te isoleren in een enkele coëfficiënt, maakt de wet directe vergelijking van trainingsconfiguraties mogelijk (bijvoorbeeld verschillende regularisatiesterktes) zonder uitgebreide hyperparameter-zoektochten.
• Praktische Richtlijnen: De auteurs betogen dat voor practitioners met vaste databudgetten er een specifiek niveau van rekenkracht is waarboven het herhalen van data contraproductief is. Zij bieden een concrete methode om deze drempel en de bijbehorende optimale modelgrootte te bepalen.
• Bescheidenheid: De auteurs erkennen beperkingen, met name dat de gefitte exponenten gevalideerd zijn tot 1B parameters en 16 epoches, en dat de wet fenomenen zoals "double descent" niet omvat. Zij merken ook op dat de heranalyse van Muennighoff et al. (2023) suggereert dat hun meningsverschil over allocatiestrategieën voortkomt uit een verkeerd gespecificeerde baseline in het eerdere werk, en niet uit een fundamentele tegenstrijdigheid in de fysica van schaling.