Technische Samenvatting: Schalen van Domeindata-repetitie in LLM Pretraining

Probleemstelling

Naarmate Large Language Models (LLM's) schalen, vereist het handhaven van een passende ratio tussen tokens en parameters (tokens-per-parameter, TPP) een verhoging van het totale trainings-tokenbudget. Terwijl algemene webdata relatief eenvoudig kan worden opgeschaald, is hoogwaardige domeinspecifieke data (bijv. code, wiskunde, medische teksten) schaars en moeilijk op dezelfde snelheid op te schalen. Als gevolg hiervan neigt de mengverhouding van hoogwaardige domeindata af te nemen naarmate de modelgrootte en het totale tokenbudget groeien, wat potentieel kan leiden tot een falen in het verwerven van de doelgerichte kennis als de ratio onder een kritieke drempelwaarde valt.

Om deze verdunning tegen te gaan, herhalen praktijkgebruikers vaak beschikbare hoogwaardige data. Dit introduceert echter een trade-off: repetitie helpt de noodzakelijke fractie aan data te behouden voor kennisverwerving, maar verhoogt het risico op overfitting. Bestaande literatuur suggereert dat grotere modellen gevoeliger zijn voor overfitting door herhaalde data, wat impliceert dat repetitie moet worden geminimaliseerd. Echter, deze conclusies worden vaak getrokken onder experimentele opstellingen waarbij de totale omvang van de trainingsdata vaststaat over verschillende modelgroottes, in plaats van het behoud van de TPP. Dit paper onderzoekt het optimale aantal repetities onder een meer praktisch schalingsregime waarbij het trainings-tokenbudget proportioneel meegroeit met de modelgrootte (vaste TPP).

Methodologie

De auteurs voerden een systematische empirische studie uit over vier hoogwaardige domeinen: Code, Wiskunde, Wikipedia en Medische data.

• Schaalingsregime: De studie houdt een vaste TPP ($D/N$) aan, waarbij $D$ de totale trainings-tokens zijn en $N$ de modelgrootte. Het tokenbudget $D_N$ schaalt lineair met de modelgrootte ($D_N = \text{TPP} \cdot N$).
• Experimentele Opstelling: Voor elke modelgrootte en elk domein varieerden de auteurs twee parameters:
  1. Unieke Data Fractie ($\alpha$): De proportie unieke hoogwaardige tokens binnen het totale budget (getest bij 1/40, 1/20, 1/10).
  2. Repetitie Aantal ($e$): Het aantal keren dat een vaste subset van unieke hoogwaardige tokens wordt herhaald (getest van 1 tot 7).
• Evaluatie: Modellen werden geëvalueerd met behulp van in-distributie validatieverlies (op gehouden data uit hetzelfde domein) en out-of-distribution (OOD) pretraining validatieverlies (op algemene webdata zoals ArXiv en Nieuws).
• Theoretische Analyse: Om de empirische bevindingen te verklaren, gebruikten de auteurs een one-hot lineaire regressie in $\mathbb{R}^\infty$ met power-law verdeelde kennisunits. Ze analyseerden de decompositie van risico in "kennisverwervingsfout" (knowledge-acquisition error) en "ruis-fittingfout" (noise-fitting error) om stop-tijden (optimale repetitietellingen) af te leiden onder verschillende schalingscondities.

Belangrijkste Bevindingen

1. Correlatie met Validatieverlies

Het optimale aantal repetities is sterk negatief gecorreleerd met het uiteindelijke validatieverlies van een domein (Pearson correlatie van -0,944).

• Domeinen die een lager validatieverlies bereiken (wat aangeeft dat het model het domein goed leert) kunnen meer repetities verdragen en er baat bij hebben.
• Domeinen met een hoger validatieverlies hebben de neiging eerder te overfitten, waardoor minder repetities nodig zijn.
• Dit suggereert dat validatieverlies dient als een praktische proxy voor het bepalen van veilige repetielimieten.

2. Impact van Modelgrootte onder Vaste TPP

In tegenstelling tot bevindingen in settings met een vaste data-budget (waar het optimale aantal repetities afneemt naarmate modellen groeien), vindt dit onderzoek onder een vaste TPP dat het optimale aantal repetities licht toeneemt met de modelgrootte.

• Grotere modellen die getraind worden met proportioneel grotere tokenbudgetten profiteren van iets meer repetities voordat overfitting optreedt.
• Dit ondersteunt een conservatieve transferstrategie: een aantal repetities dat geen overfitting veroorzaakt in een kleiner proxy-model (getraind bij dezelfde TPP), zal naar alle waarschijnlijkheid ook geen overfitting veroorzaken in een groter doelmodel.

3. Gevoeligheid voor Unieke Data Fractie

Het optimale aantal repetities is grotende grofweg ongevoelig voor de fractie van unieke hoogwaardige data ($\alpha$) binnen het geteste bereik.

• Hoewel het verhogen van $\alpha$ consistent een lager absoluut validatieverlies oplevert, blijft de locatie van het optimale aantal repetities (de $e$ die het verlies minimaliseert) vrijwel ongewijzigd.
• Dit impliceert dat bij het afstemmen van repetitie op een proxy-model, de specifieke fractie van unieke data die wordt gebruikt, niet exact overeen hoeft te komen met de doelstelling; elke representatieve fractie binnen het geteste bereik volstaat.

4. Domeinafhankelijkheid en OOD-effecten

• Domeinspecificiteit: De effectiviteit van repetitie is sterk domeinafhankelijk. Zo is bijvoorbeeld de wiskundedata robuust tegen repetitie (tot 4-5 keer), terwijl Wikipedia-data scherp degradeert na 2 repetities.
• OOD-prestaties: Wanneer de totale fractie van hoogwaardige tokens vaststaat, heeft het vervangen van unieke tokens door herhaalde tokens een beperkt effect op out-of-distribution (OOD) prestaties. De degradatie is primair beperkt tot het in-domein validatieverlies.

5. Invloed van het Learning Rate Schema

Het optimale aantal repetities hangt af van het learning rate schema. Schema's met een vroege decay (bijv. startend met decay bij 0% van de training) leiden tot degradatie na minder repetities. Daarentegen zorgt het uitstellen van de decay of het gebruik van een constante learning rate ervoor dat het model meer repetities kan verdragen, waarschijnlijk door sterkere optimalisatie-ruis die fungeert als impliciete regularisatie tegen memorisatie.

Theoretische Verklaring

De auteurs bieden een theoretisch kader dat deze observaties verklaart via de trade-off tussen kennisverwerving en ruis-fitting:

• Ruis-fitting: Herhaalde optimalisatie vermindert de kennisverwervingsfout maar verhoogt de ruis-fittingfout. Het optimale stoppunt is waar het marginale voordeel van het leren van het signaal wordt ingehaald door de kosten van het fitten van de ruis.
• Validatieverlies: Een lager validatieverlies impliceert een lager ruisniveau ($\sigma^2$) ten opzien van het signaal. Theoretisch vertraagt een lagere ruis het begin van overfitting, wat meer repetities mogelijk maakt (Theorem 4.2).
• Schaling: Onder vaste TPP groeit het databudget mee met de modelgrootte. Dit maakt het mogelijk dat de reductie in kennisverwervingsfout gedurende een langere duur domineert naarmate het model schaalt, wat de toename van het optimale aantal repetities rechtvaardigt (Theorem 4.4).

Betekenis en Praktische Implicaties

Het paper concludeert dat aantal repetities die zijn afgestemd op kleinere proxy-modellen, mits deze dezelfde TPP delen als het doelmodel, kunnen dienen als een praktische en conservatieve schatting voor grotere modellen.

De voorgestelde workflow voor het configureren van hoogwaardige domeindata in grootschalige pretraining is:

1. Train een kleiner proxy-model met dezelfde TPP.
2. Voer een sweep uit op de aantal repetities voor het doeldomein met gebruik van een willekeurige representatieve fractie van unieke data.
3. Identificeer het aantal repetities dat het validatieverlies minimaliseert (of net stopt voordat degradatie optreedt).
4. Pas dit aantal toe op het grotere doelmodel, aangezien de trend suggereert dat grotere modellen niet eerder zullen overfitten dan het proxy-model onder hetzelfde schalingsregime.

Deze aanpak biedt een data-efficiënte strategie om de representatie van hoogwaardige domeinen te behouden in LLM pretraining zonder dat daarvoor enorme hoeveelheden unieke datasets nodig zijn die vaak niet beschikbaar zijn.