💬 NLP

$M^3$ Scaling Law: Optimizing Multi-Epoch, Multi-Lingual, and Multi-Stage Training for Low-Resource Language Models

Dit artikel introduceert de $M^3$ Scaling Law, een verenigd predictief model dat de pretraining van LLM's met beperkte middelen optimaliseert door multi-epoch, multi-lingual en multi-stage strategieën te vergelijken onder vaste reken- en corpusrestricties, waarbij wordt onthuld dat multi-linguale twee-fasen training optimaal is voor schaarse data en een precieze methode wordt geboden om het ideale aantal trainingsepochs te bepalen.

Oorspronkelijke auteurs: Kosuke Akimoto, Taiki Miyagawa, Masafumi Oyamada

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kosuke Akimoto, Taiki Miyagawa, Masafumi Oyamada

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert een wereldklasse gerecht (een Large Language Model, of LLM) te creëren met behulp van een zeer specifiek, zeldzaam ingrediënt (een taal met weinig middelen zoals Swahili of Indonesisch) waarvan je slechts een heel klein beetje hebt. Je hebt ook een enorme voorraad van een veelvoorkomend ingrediënt (Engels) en een strikte limiet aan hoeveel tijd en geld (rekenkrachtbudget) je kunt besteden aan het koken.

De grote vraag is: Wat is het perfecte recept?

Moet je:

Alleen met het zeldzame ingrediënt koken, maar de kleine batch steeds opnieuw proeven en opnieuw koken (Multi-epoch)?
Het zeldzame ingrediënt vanaf het begin mengen met het veelvoorkomende ingrediënt (Multi-lingual)?
Eerst vooral met het veelvoorkomende ingrediënt beginnen en later overschakelen naar voornamelijk het zeldzame ingrediënt (Multi-stage)?

Lama tijd lang hadden wetenschappers geen enkel regelboek dat deze verschillende kookstijlen kon vergelijken. Ze hadden aparte handleidingen voor "opnieuw koken" en "mengen", maar geen manier om te zeggen welke stijl het beste was wanneer je een kleine hoeveelheid zeldzame ingrediënten had en een vast budget.

De Oplossing: Het "M3" Receptenboek

De auteurs van dit artikel hebben een nieuw, verenigd "receptenboek" gemaakt genaamd de M3 Scaling Law. Denk aan dit als een magische kristallen bol die precies voorspelt hoe goed je gerecht zal smaken (gemeten aan de hand van "validation loss", wat in essentie is hoe verward het model is) op basis van vier belangrijke knoppen die je kunt draaien:

Modelgrootte: Hoe groot je pan is.
Epochs (k): Hoe vaak je het zeldzame ingrediënt opnieuw kookt.
Mengverhouding (r): Hoeveel zeldzaam versus veelvoorkomend ingrediënt je gemiddeld gebruikt.
Verhouding laatste fase (rf): Hoeveel zeldzaam ingrediënt je gebruikt in de laatste stap van het koken.

De Grote Ontdekkingen

Door deze nieuwe kristallen bol te gebruiken, ontdekten de auteurs twee verrassende "Gouden Regels" voor het koken met zeldzame ingrediënten:

1. De "Twee-fasen" Wisseleling is de Winnaar
Als je veel van het zeldzame ingrediënt hebt, is de beste strategie simpel: kook alleen met dat ingrediënt (Monolingual Single-Stage).
Echter, zodra je voorraad van het zeldzame ingrediënt klein wordt, schakelt de beste strategie onmiddellijk over naar een Twee-fasen aanpak:

Fase 1: Kook voornamelijk met het veelvoorkomende ingrediënt (Engels) om een sterke basis te bouwen.
Fase 2: Schakel over naar het koken met bijna uitsluitend het zeldzame ingrediënt om de smaak te verfijnen.

Het Verrassende Deel: De "alles-vanaf-het-begin-mengen" aanpak (Multi-lingual Single-Stage) is in hun experimenten nooit de beste keuze. Het is alsof je probeert een perfecte Franse saus te maken door vanaf de allereerste seconde sojasaus toe te voegen; dat werkt niet zo goed als eerst een basis bouwen en dan de sojasaus aan het einde toe te voegen.

2. De "Schaarsheid" Regel voor het Opnieuw Koken
Hoe vaak moet je het zeldzame ingrediënt opnieuw koken (epochs)? Het papier vond dat dit aantal niet afhangt van de specifieke taal of de exacte hoeveelheid geld die je hebt. In plaats daarvan hangt het af van één enkele "Schaarsheidsscore".

Als je een enorme hoeveelheid zeldzame data hebt, hoef je het slechts één keer te koken.
Als je een piepkleine hoeveelheid hebt, moet je het veel vaker opnieuw koken.
Het papier laat zien dat als je deze "Schaarsheidsscore" uitzet tegen het aantal keren dat je het opnieuw kookt (epochs), alle datapunten voor verschillende talen en budgetten samenvallen op één enkele curve. Het is als een universele wet van het koken: "Hoe schaarser het ingrediënt, hoe vaker je het moet opnieuw koken."

Waarom Dit Belangrijk Is

Vóór dit artikel, als je een model wilde trainen voor een taal met weinig middelen, was je in feite aan het gokken. Je zou misschien ingrediënten mengen, of opnieuw koken, of een tweestaps-proces doen, zonder te weten welke methode de beste resultaten zou geven voor jouw specifieke budget.

De M3 Scaling Law geeft je een nauwkeurige kaart. Het vertelt je precies wanneer je overschakelt van een eenvoudig recept naar een complex tweefasen-recept en precies hoeveel keer je je zeldzame data moet herhalen om de beste prestaties te behalen zonder je computerbudget te verspillen.

Kortom: Meng je zeldzame en veelvoorkomende ingrediënten niet willekeurig vanaf het begin. Als je heel weinig van het zeldzame spul hebt, bouw dan eerst een sterke basis met het veelvoorkomende spul, en schakel dan over naar het zeldzame spul voor de laatste afwerking. En als je heel weinig zeldzame data hebt, zul je het veel vaker moeten oefenen (opnieuw koken) dan wanneer je er veel van hebt.

Technische Samenvatting: M3 Scaling Law

Probleemstelling

Het artikel behandelt een fundamentele ontwerpuitdaging bij het voortrainen van Large Language Models (LLMs) in regimes met beperkte middelen voor specifieke talen (low-resource). Praktijkgebruikers die werken onder een vastgesteld computerbudget ( $C$ ) en een vaste omvang van de doeltaal-corpus ( $D_T$ ), worden geconfronteerd met een complex ontwerpplan dat drie gevestigde trainingsbenaderingen omvat:

Multi-epoch training: Het herhalen van de doelcorpus $k$ keer.
Multi-lingual training: Het mengen van hoog-resource data met de doeltaal tegen een gemiddelde ratio $r$ .
Multi-stage training: Het variëren van de doeltaal-ratio over verschillende trainingsstadia (bijv. beginnen met een lage ratio $r_1$ en verhogen naar een uiteindelijke ratio $r_f$ ).

Bestaande scaling laws slagen er niet in om een verenigd kader te bieden om deze benaderingen te vergelijken onder dezelfde $(C, D_T)$ restricties. Eerdere werken dekken doorgaans beperkte segmenten van deze ruimte (bijv. alleen single-stage, of alleen multi-epoch) en missen een gemeenschappelijke objectieffunctie die een directe vergelijking mogelijk maakt tussen recepten die over meerdere assen tegelijkertijd verschillen. Bijgevolg blijft de optimale trainingsopstelling voor low-resource scenario's onduidelijk.

Methodologie

De auteurs stellen de M3 Scaling Law voor, een verenigd predictief model voor de validatieverlies van de doeltaal. Het model wordt geparametriseerd door de modelschaal ( $M$ ), het aantal epochs van de doelcorpus ( $k$ ), de gemiddelde doeltaal-ratio ( $r$ ), en de uiteindelijke doeltaal-ratio in de laatste fase ( $r_f$ ).

De methodologie omvat drie belangrijke empirische modelleringsextensies die geïntegreerd zijn in één enkele loss-oppervlakte:

k-Afhankelijke Effectieve Modelschaal (Multi-epoch):
Voortbouwend op Muennighoff et al. (2023), observeren de auteurs dat de verzadiging van de effectieve modelschaal ( $M'$ ) ten opzichte van het aantal epochs $k$ niet constant is. Ze introduceren een $k$ -afhankelijke verzadigingsparameter $R^*_M(k)$ , gemodelleerd als $a/(k-1)^b + c$ . Deze formulering herstelt de Chinchilla scaling law bij $k=1$ en legt accuraat de sterkere verzadiging vast die bij hogere $k$ wordt waargenomen.
Dual Power Law voor Multi-Stage Training:
Ter uitbreiding van He et al. (2024), analyseren de auteurs de impact van stadium-gewijze taalratio's. Ze stellen vast dat de toename in loss geassocieerd met lage doeltaal-ratio's wordt getemperd in multi-stage training vergeleken met single-stage training. Ze stellen een dual power law voor voor de taalratio-factor $R_{dual}(r, r_f)$ :
$R_{dual}(r, r_f) = \begin{cases} r^{-\gamma} & \text{(single-stage)} \\ r_f^{-\gamma} \cdot (r/r_f)^{-\gamma_2} & \text{(multi-stage)} \end{cases}$
Empirische resultaten tonen aan dat de loss primair afhangt van de gemiddelde ratio $r$ en de uiteindelijke ratio $r_f$ , met een verwaarloosbare sensitiviteit voor tussenliggende ratio's. De exponent $\gamma_2$ blijkt kleiner te zijn dan $\gamma, wat de effectiviteit aangeeft van het concentreren van doeltaal-data in de laatste fase.
Interactie tussen Multi-Epoch en Multi-Lingual Training:
Voor multi-epoch, multi-lingual instellingen modelleren de auteurs de interactie tussen het aantal epochs $k$ en de taalratio $r$ door het gewicht $g$ op hoog-resource tokens ( $D_{high}$ ) te bevorderen als een functie van $(r, R_D)$ , waarbij $R_D = k-1$ . Deze functie neemt af naarmate de epochs toenemen, wat de afnemende marginale bruikbaarheid van hoog-resource tokens reflecteert wanneer de doeltaal-data wordt herhaald.

De uiteindelijke M3 Scaling Law combineert deze componenten:
$L_{M3} = \left( \frac{A}{M'^\alpha} + \frac{B}{D'^\beta} + E \right) \cdot R_{dual}(r, r_f)$
waarbij $M'$ en $D'$ de effectieve model- en datagrootte zijn die de verzadigingsfuncties en de dynamische gewicht $g$ bevatten.

Experimentele Opzet

De studie werd uitgevoerd over drie taalparen: (Japans, Engels), (Indonesisch, Engels) en (Swahili, Engels). Japans en Indonesisch werden gedownsampled om low-resource regimes te simuleren, terwijl Swahili een natuurlijk low-resource geval vormde.

Modellen: Decoder-only LLaMA architecturen met variërende schalen.
Data: C4 (Engels) en mC4 (doeltalen).
Zoekruimte: Een grid search over computerbudgetten ( $C$ ), modelschalen ( $M$ ), doelcorpus groottes ( $D_T$ ), aantal epochs ( $k$ ), en taalratio's ( $r, r_f$ ).
Metriek: Validatieverlies van de doeltaal, waarvan de auteurs aantonen dat dit een goede proxy is voor downstream prestaties via een voorlopige correlatieanalyse op Japanse benchmarks.

Belangrijkste Resultaten

1. Voorspellende Nauwkeurigheid

De M3 Scaling Law presteert beter dan bestaande baselines (Chinchilla, He, Muennighoff, ATLAS, Sedova, en diverse continual pretraining laws) wat betreft extrapolatie-nauwkeurigheid ( $R^2$ ) in alle geteste instellingen:

Verenigde Prestaties: Het bereikt de hoogste gemiddelde $R^2$ wanneer het wordt geëvalueerd op gecombineerde single-stage en two-stage data.
Dubbele Capaciteit: Het extrapaleert succesvol naar zowel single-stage als two-stage regimes tegelijkertijd, een capaciteit waar modellen zonder de dual power law (zoals standaard He of Muennighoff) falen.
Monolinguale Multi-epoch: Een variant van M3 die de $k$ -afhankelijke $R^*_M(k)$ bevat, bereikt een state-of-the-art nauwkeurigheid specifiek voor monolinguale multi-epoch instellingen.

2. Optimale Trainingsrichtlijnen

Gebruikmakend van M3 als een surrogaat-objectief, leiden de auteurs twee praktische richtlijnen af voor low-resource LLM pretraining:

Selectie van de Optimale Benadering: Naarmate de doelcorpus grootte $D_T$ afneemt ten opzichte van het computerbudget, verschuift de optimale strategie direct van monolinguale single-stage naar multi-lingual two-stage training. Cruciaal is dat multi-lingual single-stage training nooit optimaal is binnen het experimentele grid. De transitie vindt plaats bij een computerbudget-afhankelijke drempelwaarde.
Optimale Epochs: Het optimale aantal epochs ( $k^*$ ) clustert op een enkele curve wanneer dit wordt uitgezet tegen de schaarste-variabele $D_T / D^*(C)$ , waarbij $D^*(C)$ de monolinguale computer-optimale corpusgrootte is. In het kleine- $k$ regime volgt dit de benadering $k^* \approx D^*(C) / D_T$ .

Betekenis en Claims

Het artikel claimt de eerste verenigde scaling law te bieden die gezamenlijk multi-epoch, multi-lingual en multi-stage training dekt, waardoor de vergelijking van diverse trainingsrecepten mogelijk wordt onder een enkel computer- en databudget.

Theoretisch Inzicht: Het werk identificeert dat de voordelen van multi-stage training kunnen worden gevangen door een dual power law die enkel afhankelijk is van gemiddelde en uiteindelijke ratio's, wat de optimalisatie van complexe trainingsschema's vereenvoudigt.
Praktisch Nut: De afgeleide richtlijnen bieden een duidelijke beslissingsgrens voor praktijkgebruikers: als de doelcorpus schaars is, moet men onmiddellijk een multi-lingual two-stage benadering adopteren in plaats van te proberen single-stage mixing of monolinguale herhaling.
Beperkingen: De auteurs merken bescheiden op dat hun evaluatie beperkt is tot validatieverlies, hoewel ze bewijs leveren voor de correlatie met downstream taken. Ze erkennen ook dat hun experimenten vaste defaults gebruikten voor hyperparameters zoals learning rate schedules (geoptimaliseerd voor single-stage) en dat ze variaties in corpuskwaliteit of synthetische data niet hebben verkend, wat openstaande gebieden blijven voor toekomstig onderzoek.

Samenvattend overbrugt de M3 Scaling Law de kloof tussen uiteenlopende trainingsstrategieën en biedt het een predictief model dat de prestaties van low-resource taal LLM's accuraat voorspelt en optimale trainingsrecepten voorschrijft.