Technische Samenvatting: Mixturen in plaats van Tunen: Tweetalige Pre-training Presteert Beter dan Hyperparameterzoektocht in Data-beperkte Settings

Probleemstelling

Naarmate de rekenkrachtbudgetten sneller groeien dan de beschikbare tekstdata, opereert pre-training van taalmodellen steeds vaker in een data-beperkt regime. In dit regime moeten modellen hun trainingsdata vele malen herhalen om de beschikbare rekenkracht te benutten, een praktijk die generalisatie actief verslechtert door modelcapaciteit te verschuiven van inductie naar memorisatie. Dit probleem is met name acuut voor talen met weinig bronnen (LRLs), waar hoogwaardige corpora te klein zijn om rekenkrachtbudgetten te vullen.

Beoefenaars staan momenteel voor twee primaire hefbomen om deze verslechtering te mitigeren:

1. Agressieve Hyperparameter (HP) Tuning: Verhogen van regularisatie (bijvoorbeeld weight decay) om gewichten te verkleinen en netwerkcapaciteit te beperken, waardoor overfitting op het herhaalde doelcorpus wordt tegengegaan.
2. Mixturen van Auxiliaire Data: Inbrengen van data uit een taal met veel bronnen (HRL) om het trainingssignaal te diversifiëren en de trainingsverdeling uit te breiden.

Hoewel beide strategieën principiële manieren bieden om training te verbeteren, blijven hun relatieve effectiviteit, interactie en impact op downstream-prestaties versus validatieverlies onduidelijk. Specifiek is onbekend of het mixen van auxiliaire data een groter voordeel biedt dan agressieve HP-tuning, hoeveel mixen data-schaarste compenseert, en of validatieverlies op de doeltaal deze winsten nauwkeurig weerspiegelt.

Methodologie

De auteurs voerden een systematische vergelijking uit over vier modelgroottes (150M, 380M, 600M en 1,43B parameters) met Arabisch als doeltaal met weinig bronnen en Engels als auxiliaire taal met veel bronnen. De studie omvatte ongeveer 1.000 pre-training runs.

Experimentele Opstelling

• Data: Het Arabische corpus werd gesubsampled naar 200M unieke tokens ($D_{LR}$) uit FineWeb2, herhaald tot 100 keer ($R_{max}=100$). Het Engelse corpus was effectief onbeperkt.
• Trainingsbudget: Vastgesteld op $D = 100 \times N_{nonemb}$ tokens. In tweetalige settings splitst het budget zich in een Arabisch deel ($\alpha D$) en een Engels deel ($(1-\alpha)D$), waarbij $\alpha$ de mixratio is.
• Hyperparameter-regimes:
  • Basis HP: Hyperparameters (weight decay $\lambda$, learning rate $\eta$) werden getuned op het 150M proxy-model en overgedragen naar grotere schalen met Maximal Update Parametrization ($\mu$P).
  • Getuned HP: Een volledige gridzoektocht ($5 \times 5$ voor $\lambda, \eta$) werd uitgevoerd bij elke schaal om de optimale configuratie te vinden.
• Vier Paradigma's: De studie doorliep datastrategieën (Monolinguaal vs. Tweetalig) en HP-regimes (Basis vs. Getuned) om effecten te isoleren.
• Evaluatie:
  • Primaire Metriek: Arabisch Validatieverlies (VL).
  • Downstream Metriek: ARC Easy (5-shot) nauwkeurigheid in zowel Arabisch als Engels.
  • Analyse: Variantiedecompositie (ANOVA) werd gebruikt om de bijdrage van mixratio's versus hyperparameters aan prestatievariatie te kwantificeren.

Belangrijkste Bijdragen en Resultaten

1. Data-mixing Dominant boven Hyperparameter-tuning

De studie concludeert dat het mixen van een taal met veel bronnen aanzienlijk grotere verbeteringen oplevert dan hyperparameter-tuning alleen.

• Validatieverlies: Bij 1,43B parameters verbeterde tweetalige training het Arabische validatieverlies met 12,9% ten opzichte van de monolinguale baseline, terwijl HP-tuning alleen slechts 3,1% opleverde.
• Schaling: De prestatiekloof tussen mixen en tunen wordt breder naarmate de modelgrootte toeneemt. Bij 1,43B presteerde een tweetalig model met basis $\mu$P-hyperparameters beter dan een monolinguale model met per-schaal getuned hyperparameters, ondanks dat het 2,4$\times$ kleiner was.
• Afnemende Opbrengsten van Tuning: Zodra diverse data via mixen wordt geïntroduceerd, is de marginale winst van verdere HP-tuning verwaarloosbaar (<1% op validatieverlies).

2. Kwantificering van de Waarde van Mixen (De Data-multiplicator)

De auteurs kwantificeren hoeveel unieke doeltaal-data mixen effectief vervangt.

• Validatieverlies: Mixen biedt een multiplicator van 2–3$\times$ (bijvoorbeeld: 200M Arabische tokens gemixt met Engels presteert op VL alsof het 500M–600M unieke Arabische tokens zijn).
• Downstream Nauwkeurigheid: De multiplicator is veel aanzienlijker op benchmarks, variërend van 2$\times$ tot 13$\times$. Bij 1,43B kwam tweetalige training op 200M Arabische tokens overeen met de nauwkeurigheid van een monolinguale model getraind op 2,7B unieke Arabische tokens (een 13,4$\times$ multiplicator).
• Divergentie: Er is een systematische divergentie waarbij validatieverlies de waarde van mixen onderschat. Validatieverlies vangt het regularisatie-effect (diversifiëren van het signaal) maar faalt in het vastleggen van kennisoverdracht (feitelijke capaciteiten) die de auxiliaire taal biedt, wat cruciaal is voor downstream-benchmarks.

3. Hyperparameter-sensitiviteit en $\mu$P-overdracht

• Sensitiviteit: De optimale mixratio ($\alpha$) verschuift naar meer Engels naarmate de modelgrootte groeit (bijvoorbeeld van $\alpha=0,33$ bij 380M naar $\alpha=0,10$ bij 1,43B).
• $\mu$P-effectiviteit: Het overdragen van hyperparameters van een klein proxy-model (150M) via $\mu$P is zeer effectief. De kloof tussen via $\mu$P-overgedragen HP's en per-schaal getuned HP's blijft onder 0,6% op validatieverlies voor tweetalige modellen tot 1,43B.
• Verscherping van het Landschap: Bij 1,43B wordt het hyperparameterlandschap scherper en interactiever (specifiek tussen learning rate en weight decay), waardoor brede gridzoektochten riskant worden. Echter, $\mu$P blijft een robuuste "veilige standaard" die de pathologische hoeken van de HP-ruimte vermijdt.

4. Validatieverlies als Proxy

Hoewel validatieverlies een betrouwbare proxy is voor het selecteren van checkpoints binnen een enkele run (correlatie $r \approx 0,97$ met pieknauwkeurigheid), is het niet een betrouwbare metriek voor het vergelijken van monolinguale en tweetalige strategieën. Uitsluitend vertrouwen op validatieverlies zou beoefenaars ertoe brengen tweetalig mixen te onderschatten, aangezien de metriek geen rekening houdt met de downstream-kenniswinsten die door de auxiliaire taal worden geleverd.

Betekenis en Praktische Aanbevelingen

Het paper concludeert dat in data-beperkte settings mixen de primaire hefboom voor verbetering is, terwijl hyperparameter-tuning secundair is. De auteurs bieden een praktisch recept voor beoefenaars:

1. Mix een taal met veel bronnen: Prioriteer het vinden van de optimale mixratio boven agressieve hyperparameter-tuning.
2. Gebruik $\mu$P voor overdracht: Transfer hyperparameters van een klein proxy-model naar grotere schalen om zoekkosten te minimaliseren.
3. Evalueer metrieken opnieuw: Gebruik niet alleen validatieverlies op de doeltaal om monolinguale en tweetalige strategieën te vergelijken, omdat dit systematisch de waarde van auxiliaire data onderschat.

De studie demonstreert dat de rekenkosten van mixen gerechtvaardigd zijn omdat het verspilde herhalingen bij overfitting vervangt door waardevolle, diverse kennis, en effectief fungeert als een data-multiplicator die steil toeneemt met de modelgrootte.