Technische Samenvatting: Repetitie-mismatch in Data Mix-experimenten

Probleemstelling

Bij de pre-training van taalmodellen (LM's) is het bepalen van de optimale samenstelling van datamengsels uit meerdere bronnen cruciaal voor de prestaties in downstream-taken. Een veelgebruikte strategie is het uitvoeren van kleinschalige experimenten en het extrapoleren van de resultaten naar het beoogde trainingsbudget. In de praktijk observeren beoefenaars echter regelmatig dat mengsels die geoptimaliseerd zijn op kleine schaal, niet effectief overgaan naar grotere regimes.

Dit artikel identificeert repetitie-mismatch als de primaire oorzaak van dit falen bij extrapolatie. Wanneer hoogwaardige data schaars is ten opzichte van het trainingsbudget, moet deze meerdere keren tijdens de training worden herhaald. Cruciaal is dat het aantal herhalingen dat vereist is voor een vaste dataset verandert naarmate het totale trainingsbudget groeit. Standaard schaalgebaseerde methoden voor het selecteren van mengsels gaan ervan uit dat de relatie tussen de verhoudingen in het mengsel en de prestaties invariant is aan de schaal. De auteurs stellen dat deze aanname gebrekkig is, omdat kleinschalige proxy-experimenten een fundamenteel ander repetitie-regime opleggen aan hoogwaardige data vergeleken met de beoogde run. Deze discrepantie vervormt het verlieslandschap (loss landscape), waardoor het schijnbaar optimale mengsel verschuift op manieren die kleinschalige experimenten niet kunnen voorzien.

Methodologie

De auteurs stellen een repetitie-bewuste subsampling-procedure voor om repetitie te isoleren als een variabele in de voorspelling van het mengsel. Deze aanpak, voortbouwend op werk van Li et al. (2025), houdt in dat alle databronnen worden gedownsampled zodat de hoogwaardige data exact hetzelfde aantal herhalingen ondergaat in het kleinschalige experiment als in de volledige, beoogde run op grote schaal, terwijl er slechts een fractie van de totale tokens wordt gebruikt.

Experimentele Opzet:

• Datasets: De studie combineert beperkte hoogwaardige datasets (WikiText of PubMed) met een grootschalige web crawl corpus (FineWeb).
• Modellen: Experimenten beslaan vier modelgroottes (30M, 124M, 345M en 757M parameters) met behulp van een aangepaste NanoGPT-architectuur met Muon-optimizer en Rotary Positional Embeddings.
• Vergelijking: De voorgestelde repetitie-gecontroleerde aanpak wordt vergeleken met een standaard scaling-law baseline die de optimale mengverhoudingen extrapoleert vanuit kortere trainingsruns zonder de herhalingsfrequenties af te stemmen.
• Metrieken: Prestaties worden gemeten aan de hand van de afstand van het voorspelde mengsel tot het werkelijke optimale mengsel (gemeten in mengverhoudingsfout) en de validatieverlies op vastgehouden hoogwaardige domeinen.

Belangrijkste Bijdragen en Resultaten

1. Repetitie-mismatch is een dominante confounder

Het artikel demonstreert dat het afstemmen van de herhalingsfrequentie van de beoogde run voldoende is om nauwkeurige mengselvoorspellingen te verkrijgen uit kleinschalige experimenten.

• Resultaten met twee bronnen: In een setting met één hoogwaardige bron en FineWeb, herstelt een enkel repetitie-gecontroleerd experiment met slechts 1/16 van de doel-tokens een mengsel binnen 0,05 van het optimum voor een 757M parameter model. In tegenstelling hiermee levert de standaard scaling-law aanpak zonder repetitiecontrole een fout op van 0,75.
• Kostenefficiëntie: Het bereiken van vergelijkbare nauwkeurigheid zonder controle op repetitie vereist drie tot vier trainingshorizonten, wat 44% tot 94% van het doel-tokenbudget consumeert. De repetitie-gecontroleerde methode bereikt dit met een enkele horizon.
• Interactie met modelcapaciteit: Het voordeel van repetitiecontrole schaalt met de modelgrootte. De foutreductie is het meest uitgesproken bij grotere modellen (757M), terwijl kleinere modellen (30M) minder voordeel laten zien of zelfs beter presteren dan de repetitie-gecontroleerde methode met standaard scaling laws, wat suggereert dat er een ondergrens is aan de modelgrootte waarbij deze methode het meest effectief is.

2. Effectiviteit in settings met meerdere bronnen

De auteurs breiden de bevindingen uit naar een setting met drie bronnen (WikiText, PubMed en FineWeb).

• Hoewel de grotere mengselruimte meer experimenten vereist om te beperken, blijft de repetiecontrole zeer effectief.
• Bij de 757M schaal zijn twee repetitie-gecontroleerde horizonten voldoende om het doel-optimale mengsel te herstellen, waarmee zij de baselines overtreffen die volledige twee-bron-experimenten vereisen om dit te construeren.
• Bij de 124M schaal convergeren multi-horizon repetiecontrole-voorspellingen (tot vier horizonten) naar het optimum, waarbij ze effectief de werkelijke loss matchen (2,91950 vs. 2,91820), terwijl de computationele kosten aanzienlijk lager zijn dan bij niet-gecontroleerde baselines.

3. Repetitie als een 'First-Class Variable'

De resultaten wijzen erop dat niet alleen de schaal, maar ook de dynamiek van datarepetitie bepaalt of kleinschalige mengselexperimenten generaliseren. Het artikel betoogt dat repetitie behandeld moet worden als een expliciete variabele in de optimalisatie van het mengsel, in plaats van een incidenteel bijeffect van beperkte data.

Betekenis en Claims

Het artikel claimt dat het controleren voor repetitie-mismatch het extrapolatieprobleem oplost in scenario's met beperkte data. Door de repetitiedynamiek van de beoogde run te behouden via subsampling, kunnen onderzoekers het optimale datamengsel met hoge nauwkeurigheid voorspellen met een fractie van het computationele budget.

De auteurs positioneren dit als een eenvoudige, orthogonale interventie die geen parametrische modellering of proxy-trainingsruns vereist, waardoor het toepasbaar is op elke bestaande methode voor het voorspellen van mengsels. Zij stellen dat naarmate beoefenaars steeds vaker vertrouwen op kleinere ablatie-runs om beslissingen over mengsels voor miljarden-parameter modellen te informeren, het rekening houden met repetitie-mismatch cruciaal zal worden om systematische voorspellingsfouten te voorkomen die toenemen met de modelcapaciteit en het gat tussen de proxy- en de doel-schaal.

De studie is bescheiden in haar reikwijdte, waarbij wordt opgemerkt dat de experimenten werden uitgevoerd tot 757M parameters en ~3,8B tokens, wat kleiner is dan moderne LLM pre-training. Echter, de consistente trend dat repetiecontrole effectiever wordt met de modelgrootte suggereert dat deze bevindingen waarschijnlijk ook op grotere schalen zullen standhouden. De auteurs merken ook op dat hun evaluatie zich richt op de validatieverlies over hoogwaardige domeinen, en dat het bevestigen van de transfer naar downstream benchmarks een richting is voor toekomstig werk.