💬 NLP

$M^3$ Scaling Law: Optimizing Multi-Epoch, Multi-Lingual, and Multi-Stage Training for Low-Resource Language Models

Dieses Paper führt das $M^3$ Scaling Law ein, ein vereinheitlichtes prädiktives Modell, das das Low-Resource-LLM-Pretraining optimiert, indem es Multi-Epoch-, Multi-Lingual- und Multi-Stage-Strategien unter festen Rechen- und Korpusbeschränkungen vergleicht, wobei aufgezeigt wird, dass ein mehrsprachiges Zwei-Stufen-Training für knappe Daten optimal ist und eine präzise Methode zur Bestimmung der idealen Anzahl an Trainingsepochen bereitstellt.

Ursprüngliche Autoren: Kosuke Akimoto, Taiki Miyagawa, Masafumi Oyamada

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kosuke Akimoto, Taiki Miyagawa, Masafumi Oyamada

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der versucht, ein Weltklasse-Gericht (ein Large Language Model oder LLM) mit einer sehr spezifischen, seltenen Zutat (einer ressourcenarmen Sprache wie Swahili oder Indonesisch) zu kreieren, von der Sie nur eine winzige Menge haben. Zudem verfügen Sie über einen riesigen Vorrat einer gängigen Zutat (Englisch) und ein striktes Limit an Zeit und Geld (Rechenbudget).

Die große Frage ist: Was ist das perfekte Rezept?

Sollten Sie:

Nur mit der seltenen Zutat kochen, aber dieselbe kleine Charge immer wieder probieren und nachkochen (Multi-Epoch)?
Die seltene Zutat von Anfang an mit der gängigen Zutat mischen (Mehrsprachig)?
Zuerst hauptsächlich mit der gängigen Zutat beginnen und dann später zu überwiegend der seltenen Zutat wechseln (Mehrstufig)?

Lange Zeit hatten Wissenschaftler kein einheitliches Regelwerk, um diese verschiedenen Kochstile zu vergleichen: Sie hatten separate Leitfäden für das „Nachkochen“ und das „Mischen“, aber keinen Weg, um zu bestimmen, welcher Stil am besten ist, wenn man nur eine winzige Menge an seltenen Zutaten und ein festes Budget hat.

Die Lösung: Das „M3“-Rezeptbuch

Die Autoren dieser Arbeit haben ein neues, einheitliches „Rezeptbuch“ namens M3 Scaling Law erstellt. Denken Sie an dieses als eine magische Kristallkugel, die genau vorhersagt, wie gut Ihr Gericht schmecken wird (gemessen am „Validation Loss“, was im Grunde beschreibt, wie verwirrt das Modell ist) basierend auf vier Hauptreglern, an denen Sie drehen können:

Modellgröße: Wie groß Ihr Topf ist.
Epochen (k): Wie oft Sie die seltene Zutat nachkochen.
Mischverhältnis (r): Wie viel seltene vs. gängige Zutat Sie im Durchschnitt verwenden.
Verhältnis der Endphase (rf): Wie viel der seltenen Zutat Sie im letzten Schritt des Kochens verwenden.

Die großen Entdeckungen

Durch die Verwendung dieser neuen Kristallkugel fanden die Autoren zwei überraschende „Goldene Regeln“ für das Kochen mit seltenen Zutaten:

1. Der „Zweistufen“-Wechsel ist der Gewinner
Wenn Sie viel von der seltenen Zutat haben, ist die beste Strategie einfach: Kochen Sie nur mit dieser Zutat (Monolingual Single-Stage).
Sobald Ihr Vorrat an der seltenen Zutat jedoch klein wird, wechselt die beste Strategie sofort zu einem Zweistufen-Ansatz:

Stufe 1: Kochen Sie hauptsächlich mit der gängigen Zutat (Englisch), um ein starkes Fundament aufzubauen.
Stufe 2: Wechseln Sie dazu, fast ausschließlich mit der seltenen Zutat zu kochen, um den Geschmack zu verfeinern.

Der überraschende Teil: Der „Alles-von-Anfang-an-mischen“-Ansatz (Multi-lingual Single-Stage) ist in ihren Experimenten niemals die beste Wahl. Es ist, als würde man versuchen, eine perfekte französische Sauce zuzubereiten, indem man von der ersten Sekunde an Sojasauce beimischt; das funktioniert nicht so gut wie ein Fundament zu bauen und die Sojasauce erst am Ende hinzuzufügen.

2. Die „Knappheits“-Regel für das Nachkochen
Wie oft sollten Sie die seltene Zutat nachkochen (Epochen)? Die Arbeit fand heraus, dass diese Zahl nicht von der spezifischen Sprache oder der exakten Menge an Geld abhängt. Stattdessen hängt sie von einem einzigen „Knappheits-Score“ ab.

Wenn Sie eine riesige Menge an seltener Zutat haben, müssen Sie sie nur einmal kochen.
Wenn Sie eine winzige Menge haben, müssen Sie sie viele Male nachkochen.
Die Arbeit zeigt, dass, wenn man diesen „Knappheits-Score“ gegen die Anzahl der Nachkochvorgänge aufträgt, alle Datenpunkte für verschiedene Sprachen und Budgets auf einer einzigen Kurve zusammenfallen. Es ist wie ein universelles Kochgesetz: „Je knapper die Zutat, desto öfter müssen Sie sie nachkochen.“

Warum das wichtig ist

Vor dieser Arbeit, wenn Sie ein Modell für eine ressourcenarme Sprache trainieren wollten, waren Sie im Grunde am Raten. Sie könnten versuchen, Zutaten zu mischen, oder nachzukochen, oder einen zweistufigen Prozess anzuwenden, ohne zu wissen, welches Vorgehen für Ihr spezifisches Budget das beste Ergebnis liefern würde.

Das M3 Scaling Law gibt Ihnen eine präzise Karte. Es sagt Ihnen genau, wann Sie von einem einfachen Rezept zu einem komplexen zweistufigen Rezept wechseln sollten, und genau, wie oft Sie Ihre seltene Datenmenge wiederholen müssen, um die beste Leistung ohne Verschwendung Ihres Rechenbudgets zu erzielen.

Kurz gesagt: Mischen Sie Ihre seltenen und gängigen Zutaten nicht wahllos von Anfang an. Wenn Sie sehr wenig von dem seltenen Zeug haben, bauen Sie zuerst eine starke Basis mit den gängigen Zutaten auf und wechseln Sie dann für den letzten Schliff zur seltenen Zutat. Und wenn Sie sehr wenig seltene Daten haben, müssen Sie sie viel öfter üben (nachkochen), als wenn Sie viel davon hätten.

Technisches Resümee: M3 Scaling Law

Problemstellung

Die Arbeit adressiert eine grundlegende Design-Herausforderung beim Pretraining von Large Language Models (LLMs) in Low-Resource-Sprachregimen. Praktiker, die unter einem festen Rechenbudget ( $C$ ) und einer festen Zielkorpusgröße ( $D_T$ ) operieren, stehen vor einem komplexen Designraum, der drei etablierte Trainingsansätze umfasst:

Multi-Epoch-Training: Wiederholung des Zielkorpus $k$ -mal.
Mehrsprachiges Training: Mischung von High-Resource-Daten mit der Zielsprache zu einem durchschnittlichen Verhältnis $r$ .
Multi-Stage-Training: Variation des Zielsprachen-Anteils über verschiedene Trainingsphasen hinweg (z. B. Beginn mit einem niedrigen Verhältnis $r_1$ und Steigerung auf ein finales Verhältnis $r_f$ ).

Bestehende Scaling Laws versäumen es, einen vereinheitlichten Rahmen bereitzustellen, um diese Ansätze unter denselben $(C, D_T)$ -Beschränkungen zu vergleichen. Vorherige Arbeiten decken typischerweise nur eingeschränkte Teilbereiche dieses Raums ab (z. B. nur Single-Stage oder nur Multi-Epoch) und lassen eine gemeinsame Zielfunktion vermissen, die einen direkten Vergleich von Rezepturen ermöglicht, die sich gleichzeitig über mehrere Achsen unterscheiden. Folglich bleibt das optimale Trainingssetup für Low-Resource-Szenarien unklar.

Methodik

Die Autoren schlagen das M3 Scaling Law vor, ein vereinheitlichtes prädiktives Modell für den Validierungsverlust der Zielsprache. Das Modell ist parametrisiert durch die Modellskala ( $M$ ), die Anzahl der Zielkorpus-Epochen ( $k$ ), das durchschnittliche Zielsprachen-Verhältnis ( $r$ ) und das Zielsprachen-Verhältnis der finalen Phase ( $r_f$ ).

Die Methodik umfasst drei zentrale empirische Modellierungserweiterungen, die in eine einzige Verlustoberfläche integriert sind:

k-abhängige effektive Modellgröße (Multi-Epoch):
Aufbauend auf Muennighoff et al. (2023) beobachten die Autoren, dass die Sättigung der effektiven Modellgröße ( $M'$ ) in Bezug auf die Epochenanzahl $k$ nicht konstant ist. Sie führen einen $k$ -abhängigen Sättigungsparameter $R^*_M(k)$ ein, der als $a/(k-1)^b + c$ modelliert wird. Diese Formulierung stellt das Chinchilla Scaling Law bei $k=1$ wieder her und erfasst gleichzeitig präzise die stärkere Sättigung, die bei höheren $k$ -Werten beobachtet wird.
Dualer Power Law für Multi-Stage-Training:
In Erweiterung zu He et al. (2024) analysieren die Autoren den Einfluss von phasenweisen Sprachverhältnissen. Sie stellen fest, dass der mit niedrigen Zielsprachen-Verhältnissen verbundene Anstieg des Verlusts im Multi-Stage-Training im Vergleich zum Single-Stage-Training gemildert wird. Sie schlagen einen dualen Power Law für den Sprachverhältnis-Faktor $R_{dual}(r, r_f)$ vor:
$R_{dual}(r, r_f) = \begin{cases} r^{-\gamma} & \text{(Single-Stage)} \\ r_f^{-\gamma} \cdot (r/r_f)^{-\gamma_2} & \text{(Multi-Stage)} \end{cases}$
Empirische Ergebnisse zeigen, dass der Verlust primär vom durchschnittlichen Verhältnis $r$ und dem finalen Verhältnis $r_f$ abhängt, mit vernachlässigbarer Sensitivität gegenüber intermediären Phasen-Verhältnissen. Der Exponent $\gamma_2$ ist kleiner als $\gamma$ , was die Effektivität der Konzentration von Zielsprachen-Daten in der finalen Phase verdeutlicht.
Interaktion von Multi-Epoch und Multi-Lingual Training:
Für Multi-Epoch-, Multi-Lingual-Settings modellieren die Autoren die Interaktion zwischen der Epochenanzahl $k$ und dem Sprachverhältnis $r$ , indem sie das Gewicht $g$ auf High-Resource-Token ( $D_{high}$ ) als Funktion von $(r, R_D)$ definieren, wobei $R_D = k-1$ . Diese Funktion sinkt mit zunehmender Anzahl an Epochen, was den abnehmenden Grenznutzen von High-Resource-Token widerspiegelt, während der Zielkorpus wiederholt wird.

Das finale M3 Scaling Law kombiniert diese Komponenten:
$L_{M3} = \left( \frac{A}{M'^\alpha} + \frac{B}{D'^\beta} + E \right) \cdot R_{dual}(r, r_f)$
wobei $M'$ und $D'$ die effektiven Modell- und Datengrößen unter Berücksichtigung der Sättigungsfunktionen und des dynamischen Gewichts $g$ sind.

Experimentelles Setup

Die Studie wurde über drei Sprachpaare durchgeführt: (Japanisch, Englisch), (Indonesisch, Englisch) und (Swahili, Englisch). Japanisch und Indonesisch wurden downsampled, um Low-Resource-Regime zu simulieren, während Swahili als natürlicher Low-Resource-Fall diente.

Modelle: Decoder-only LLaMA-Architekturen in variierenden Skalen.
Daten: C4 (Englisch) und mC4 (Zielsprachen).
Suchraum: Eine Grid-Suche über Rechenbudgets ( $C$ ), Modellskalen ( $M$ ), Zielkorpusgrößen ( $D_T$ ), Epochenzahlen ( $k$ ) und Sprachverhältnisse ( $r, r_f$ ).
Metrik: Validierungsverlust der Zielsprache, den die Autoren durch eine vorläufige Korrelationsanalyse auf japanischen Benchmarks als Proxy für die Downstream-Performance validieren.

Kernergebnisse

1. Prädiktive Genauigkeit

Das M3 Scaling Law übertrifft bestehende Baselines (Chinchilla, He, Muennighoff, ATLAS, Sedova und verschiedene Continual-Pretraining-Laws) in der Extrapolationsgenauigkeit ( $R^2$ ) über alle getesteten Settings hinweg:

Vereinte Performance: Es erreicht das höchste durchschnittliche $R^2$ , wenn es auf kombinierten Single-Stage- und Two-Stage-Daten evaluiert wird.
Duale Fähigkeit: Es extrapoliert erfolgreich sowohl auf Single-Stage- als auch auf Two-Stage-Regime gleichzeitig – eine Fähigkeit, bei der Modelle ohne den dualen Power Law (z. B. Standard He oder Muennighoff) versagen.
Monolingual Multi-epoch: Eine Variante von M3, die das $k$ -abhängige $R^*_M(k)$ enthält, erreicht eine State-of-the-Art-Genauigkeit spezifisch für monolinguale Multi-Epoch-Settings.

2. Optimale Trainings-Leitlinien

Unter Verwendung von M3 als Surrogat-Zielfunktion leiten die Autoren zwei praktische Leitlinien für das Low-Resource LLM Pretraining ab:

Auswahl des optimalen Ansatzes: Wenn die Größe des Zielkorpus $D_T$ im Verhältnis zum Rechenbudget sinkt, verschiebt sich die optimale Strategie direkt von monolingualem Single-Stage zu mehrsprachigem Two-Stage Training. Entscheidend ist, dass mehrsprachiges Single-Stage-Training niemals optimal innerhalb des experimentellen Grids ist. Der Übergang erfolgt an einer vom Rechenbudget abhängigen Schwelle.
Optimale Epochen: Die optimale Anzahl an Epochen ( $k^*$ ) kollabiert auf eine einzige Kurve, wenn sie gegen die Knappheitsvariable $D_T / D^*(C)$ aufgetragen wird, wobei $D^*(C)$ die monolinguale rechenoptimale Korpusgröße ist. Im Bereich kleiner $k$ folgt dies der Approximation $k^* \approx D^*(C) / D_T$ .

Bedeutung und Ansprüche

Die Arbeit beansprucht, das erste vereinheitlichte Scaling Law bereitzustellen, das Multi-Epoch, Multi-Lingual und Multi-Stage Training gemeinsam abdeckt und somit den Vergleich diverser Trainingsrezepte unter einem einzigen Rechen- und Datenbudget ermöglicht.

Theoretische Erkenntnis: Die Arbeit identifiziert, dass die Vorteile des Multi-Stage-Trainings durch einen dualen Power Law erfasst werden können, der nur von den durchschnittlichen und finalen Verhältnissen abhängt, was die Optimierung komplexer Trainingspläne vereinfacht.
Praktischer Nutzen: Die abgeleiteten Leitlinien bieten eine klare Entscheidungsgrenze für Praktiker: Wenn der Zielkorpus knapp ist, sollte man unmittelbar zu einem mehrsprachigen Two-Stage-Ansatz übergehen, anstatt ein Single-Stage-Mixing oder eine monolinguale Repetition zu versuchen.
Limitierungen: Die Autoren merken bescheiden an, dass ihre Evaluierung auf den Validierungsverlust beschränkt ist, liefern jedoch Belege für dessen Korrelation mit Downstream-Tasks. Zudem geben sie an, dass ihre Experimente feste Defaults für Hyperparameter wie Learning-Rate-Schedules (optimiert für Single-Stage) verwendeten und Variationen in der Korpusqualität oder synthetische Daten nicht untersuchten, was offene Forschungsfelder bleiben.

Zusammenfassend schließt das M3 Scaling Law die Lücke zwischen disparaten Trainingsstrategien, indem es ein prädiktives Modell bietet, das die Performance präzise vorhersagt und optimale Trainingsrezepte für Low-Resource-Sprach-LLMs vorschreibt.