🤖 machine learning

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

Diese Arbeit befasst sich mit dem datenbeschränkten Regime des Vortrainings von Sprachmodellen durch die Einführung von Masked-Input Regularization (MIR) zur Verbesserung der Validierungs- und Downstream-Leistung sowie durch den Vorschlag von SoftQ, einem neuen Skalierungsgesetz, das die Interaktion zwischen Modell- und Datengröße unter wiederholten Trainingsepochen, bei denen klassische Gesetze versagen, präzise erfasst.

Ursprüngliche Autoren: Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

Veröffentlicht 2026-06-08

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Schüler (das KI-Modell) darin zu unterrichten, Geschichten zu schreiben. In der Vergangenheit lautete die Regel: „Gib dem Schüler eine riesige Bibliothek mit einzigartigen Büchern und lass ihn jedes Buch genau einmal lesen.“ Das funktionierte gut, weil die Bibliothek riesig war und der Schüler genügend Zeit hatte, alles einmal zu lesen.

Doch nun hat sich die Situation geändert. Wir haben superschnelle Computer (Rechenleistung), die Millionen von Büchern in einer Sekunde lesen können, aber das Angebot an neuen, einzigartigen Büchern (natürlicher Sprachdaten) geht zur Neige. Wir befinden uns in einer „datenbeschränkten, rechenreichen“ Welt. Der Schüler muss nun dieselbe kleine Bibliothek immer und immer wieder lesen, um sein Gehirn zu füllen.

Das Problem? Wenn man den Schüler einfach dieselben Bücher immer wieder lesen lässt, fängt er an, die Bücher auswendig zu lernen, anstatt zu lernen, wie man schreibt. Er wird zu einem Papagei, der exakte Phrasen wiederholt, die er gesehen hat, anstatt die Regeln der Sprache zu verstehen. Dies nennt man „Overfitting“ (Überanpassung).

Dieses Paper befasst sich mit zwei Hauptfragen:

Wie verhindern wir, dass der Schüler einfach nur auswendig lernt? (Regularisierung)
Was ist der beste Weg, um die Größe des Gehirns des Schülers gegen die Größe der Bibliothek abzuwägen? (Scaling Laws / Skalierungsgesetze)

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien.

1. Der „verschwommene Brille“-Trick (Masked-Input Regularization)

Das Problem:
Wenn ein Schüler dasselbe Buch zum 10. Mal liest, fängt er vielleicht an, sich an die exakte Schriftart oder einen seltsamen Tippfehler auf Seite 5 zu erinnern, anstatt die Geschichte zu lernen. Er braucht eine Möglichkeit, sich darauf zu konzentrieren, die Bedeutung zu erfassen, anstatt den exakten Text.

Die Lösung (MIR):
Die Autoren probierten eine Technik namens Masked-Input Regularization (MIR) aus. Stellen Sie sich vor, Sie geben dem Schüler eine „verschwommene Brille“ oder einen „Scrambler“ (Verstüppler), während er liest.

Jedes Mal, wenn er einen Satz liest, versteckt der Computer zufällig einige Wörter (maskiert sie) und verwandelt sie in [MASK].
Der Schüler muss die fehlenden Wörter basierend auf dem Kontext erraten, genau wie bei einem Lückentext-Spiel.
Er macht dies nebenbei zu seinem normalen Lesen.

Das Ergebnis:
Denken Sie an das Training im Sport. Wenn Sie nur auf einem perfekten, flachen Feld trainieren, scheitern Sie vielleicht, wenn der Wind weht. Aber wenn Sie mit einer „Windmaschine“ (dem zufälligen Maskieren) trainieren, die Ihnen entgegenweht, lernen Sie, sich anzupassen.

Das Paper fand heraus, dass der Schüler sogar noch besser wurde, wenn er bereits diszipliniert wurde (durch die Verwendung von „starker Weight Decay“, was wie ein strenger Trainer ist, der ihm sagt, nicht auswendig zu lernen), indem man diesen „verschwommene Brille“-Trick hinzufügte.
Es half dem Modell, auch in schwierigen Situationen wie seltsamen Namen, gemischten Sprachen oder kaputtem Text viel besser zurechtzukommen als ein Modell, das einfach nur den sauberen Text immer wieder liest.
Der Ertrag: Sie berechneten, dass die Verwendung dieses Tricks mathematisch äquivalent dazu ist, dem Schüler 1,3-mal mehr einzigartige Bücher zum Lesen zu geben. Es ist ein Weg, mehr Wert aus der begrenzten Bibliothek zu ziehen, die wir zur Verfügung haben.

2. Die „gekoppelte“ Wachstumsregel (SoftQ Scaling Law)

Die alte Regel (Chinchilla):
Früher hatten Experten eine Formel (das Chinchilla-Gesetz), um zu entscheiden, wie groß das Gehirn eines Schülers basierend auf der Anzahl seiner Bücher sein sollte.

Die alte Idee: „Wenn du die Anzahl der Bücher verdoppelst, solltest du auch die Gehirngröße verdoppeln.“ Es behandelte die Gehirngröße und die Buchanzahl als zwei separate Dinge, die addiert werden.
Der Fehler: Diese Formel setzte voraus, dass man immer neue Bücher bekommen kann. Aber in unserer Welt mit begrenzten Büchern versagt diese Formel. Sie sagte voraus, dass die Strafe für weniger Bücher dieselbe wäre, egal ob der Schüler ein winziges Gehirn oder ein riesiges hatte.

Die neue Regel (SoftQ):
Die Autoren erkannten, dass in einer Welt mit begrenzten Büchern die Gehirngröße und die Buchanzahl eng miteinander verknüpft sind.

Die Analogie: Stellen Sie sich einen Eimer (das Gehirn) und einen Schlauch (die Daten) vor.
- Wenn der Eimer winzig ist, spielt es keine Rolle, ob der Schlauch riesig ist; der Eimer füllt sich schnell und das überschüssige Wasser läuft einfach über (verschwendete Daten).
- Wenn der Eimer riesig ist, aber der Schlauch winzig, bleibt der Eimer größtenteils leer (verschwendete Gehirnleistung).
- Die „Strafe“ für einen kleinen Schlauch wird viel schlimmer, wenn der Eimer größer wird. Ein riesiger Eimer mit einem winzigen Schlauch ist eine Katastrophe.

Das Ergebnis:
Sie schlugen eine neue Formel namens SoftQ vor.

Im Gegensatz zur alten Formel versteht SoftQ, dass mit zunehmender Größe des Modells der Bedarf an einzigartigen Daten schneller wächst. Es „koppelt“ die beiden zusammen.
Als sie es testeten, sagte SoftQ die Leistung des Modells viel genauer voraus als die alte Chinchilla-Formel, insbesondere wenn die Daten begrenzt waren und das Modell dieselben Daten viele Male las.

Zusammenfassung der „Erkenntnisse“

Nicht nur wiederholen, sondern verstümpeln: Wenn man gezwungen ist, auf einem begrenzten Datensatz zu trainieren, zwingt das zufällige Verbergen von Textteilen (MIR) die KI dazu, allgemeine Regeln zu lernen, anstatt spezifische Sätze auswendig zu lernen. Es ist wie das Lernen für eine Prüfung durch Übungsquizze, bei denen die Antworten abgedeckt sind, anstatt nur das Lehrbuch zu lesen.
Größe zählt mehr, wenn Daten knapp sind: Die alten Regeln für den Bau von KI besagten: „Größeres Modell = besser, unabhängig von den Daten.“ Die neuen Regeln (SoftQ) sagen: „Wenn du das Modell größer machst, brauchst du unverhältnismäßig mehr einzigartige Daten, sonst wird das Modell scheitern.“
Effizienz: Durch die Verwendung des „Verstüppler“-Tricks (MIR) und der neuen „gekoppelten“ Formel (SoftQ) können wir bessere KI-Modelle bauen, selbst wenn uns die neuen Texte zum Trainieren ausgehen.

Was das Paper nicht gesagt hat:
Das Paper behauptet nicht, dass dies sofort die medizinische Diagnose lösen, perfekte Chatbots für den Kundenservice erschaffen oder den Klimawandel lösen wird. Es konzentriert sich strikt auf die Mathematik, wie man diese Modelle effizienter trainiert, wenn Daten knapp sind. Die Ergebnisse basieren auf Experimenten mit Modellen bis zu 1,4 Milliarden Parametern (was klein im Vergleich zu den massiven Modellen ist, die heute von Big-Tech-Unternehmen verwendet werden), aber die Prinzipien sollen auf größere Skalen anwendbar sein.

Technisches Resümee: Datenbeschränktes Vortraining von Sprachmodellen

Problemstellung

Klassische Skalierungsgesetze für das LLM-Vortraining, wie etwa Chinchilla, operieren unter der Annahme eines „datenreichen“ Regimes, in dem einzigartige Trainingsdaten frei mit der Rechenleistung skalieren können. Diese Gesetze optimieren die Allokation eines festen Rechenbudgets zwischen Modellparametern und Trainings-Token, wobei üblicherweise von einem einzigen Durchlauf über den Korpus ausgegangen wird.

Das Paper argumentiert jedoch, dass sich das Feld zu einem datenbeschränkten, rechenreichen Regime verschiebt. In diesem Setting ist das Angebot an hochwertigen natürlichen Sprachdaten fix oder begrenzt, während die Rechenleistung für das Training weiter wächst. Folglich müssen Trainingsstrategien angepasst werden, um größere Modelle und mehrere Epochen (wiederholte Durchläufe) über einen endlichen Datensatz zu nutzen. Die Autoren identifizieren zwei kritische Lücken im aktuellen Verständnis dieses Regimes:

Regularisierung: Wie können Modelle Überanpassung (Overfitting) vermeiden, wenn die Rechenleistung steigt, die Menge an einzigartigen Daten jedoch konstant bleibt? Während eine starke Gewichtszunahme (Weight Decay) bekanntlich hilft, ist unklar, ob andere Mechanismen, wie das zufällige Maskieren in Diffusion-Sprachmodellen (dLLMs), komplementäre Vorteile bieten.
Skalierungsgesetze: Beschreiben die klassischen additiven Skalierungsgesetze (die Modellgröße und Datenmenge entkoppeln) die Verlustoberfläche in diesem Regime korrekt? Die Autoren hypothetisieren, dass diese Gesetze fehl spezifiziert sind, da sie die Interaktion zwischen Modellkapazität und begrenzten einzigartigen Daten nicht erfassen.

Methodik

1. Regularisierung: Masked-Input Regularization (MIR)

Um die Regularisierung zu untersuchen, führen die Autoren die Masked-Input Regularization (MIR) ein. Dies ist eine minimale Modifikation des standardmäßigen autoregressiven (AR) Vortrainings, die weder die Modellarchitektur noch das Inferenzverfahren verändert.

Mechanismus: Aus einer sauberen Eingabesequenz $x$ wird eine zufällig maskierte Version $\hat{x}$ generiert, indem Token basierend auf einer Stichprobe eines Maskierungsverhältnisses durch ein [MASK]-Token ersetzt werden.
Zielsetzung: Der Trainingsverlust wird durch einen zusätzlichen Next-Token-Prediction-Verlust auf der maskierten Sequenz ergänzt:
$L = L_{NTP}(x) + \lambda L_{NTP}(\hat{x})$
Begründung: Die Autoren hypothetisieren, dass zufälliges Maskieren als Regularisierer wirkt, der das Modell dazu zwingt, generalisierbare prädiktive Merkmale zu lernen, anstatt kontextspezifisches Rauschen auswendig zu lernen. Dies wird gegen eine Baseline von „stark regularisierten“ AR-Modellen (unter Verwendung von hohem Weight Decay) getestet und mit Diffusion-Sprachmodellen (dLLMs) verglichen.

2. Skalierung: Das SoftQ-Gesetz

Um die Skalierungsfrage zu adressieren, konstruieren die Autoren ein Experiment-Gitter, das die Modellgröße ( $N \in \{72M, \dots, 1.4B\}$ ) und das Budget an einzigartigen Daten ( $U \in \{100M, \dots, 400M\}$ ) variiert. Sie evaluieren mehrere Skalierungsgesetze:

Chinchilla: Eine additive Form $L = E + A N^{-\alpha} + B U^{-\beta}$ , die davon ausgeht, dass die Verlustdifferenz zwischen Datenbudgets unabhängig von der Modellgröße ist.
Muennighoff-Stil: Verwendet effektive Ressourcen, die mit der Repetition sättigen.
Quanta: Ein gekoppeltes Gesetz, das aus der Sicht des Skill-Learnings abgeleitet wurde.
SoftQ (Vorgeschlagen): Ein fünfparameteriges Skalierungsgesetz, das Modellgröße und Datenmenge durch einen „weichen Engpass“ (soft bottleneck) koppelt:
$L_{SoftQ}(N, U) = E + \left( \frac{A}{N^\rho} + \frac{B}{U^{\rho/(1+\alpha)}} \right)^{\alpha/\rho}$
Hierbei steuert $\rho$ die Schärfe des Übergangs zwischen parameterlimitierten und datenlimitierten Regimes. Wenn $U \to \infty$ , stellt es die Parameterskalierung wieder her; wenn $N \to \infty$ , stellt es die Datenskalierung wieder her.

Zentrale Beiträge und Ergebnisse

1. Erkenntnisse zur Regularisierung

Weight Decay Transfer: Die Autoren zeigen, dass ein starkes Weight Decay (optimiert für AR) die Performance von dLLMs erheblich verbessert und die Differenz des Validierungsverlusts zwischen AR- und dLLM-Modellen reduziert. Wenn beide stark regularisiert sind, wird ihre Performance vergleichbar.
Effektivität von MIR: MIR bietet eine komplementäre Regularisierung zusätzlich zu starkem Weight Decay. Über verschiedene Modellgrößen hinweg (72M bis 1.4B), trainiert auf dem DCLM-Datensatz (100M einzigartige Token), senkt MIR den Validierungsverlust konsistent im Vergleich zur Baseline mit nur starkem Weight Decay.
- Der Gewinn steigt mit der Modellgröße (von einer Reduktion des Verlusts um ~0,006 bei 72M auf ~0,03 bei 1.4B), was die theoretische Intuition stützt, dass überparametrisierte Modelle stärker von Maskierungs-basierter Regularisierung profitieren.
- Downstream-Gewinne: Bei 1,4 Milliarden Parametern liefert MIR signifikante Verbesserungen in Downstream-Aufgaben, einschließlich +10,2 Punkten bei BoolQ und +2,2 Punkten bei SciQ.
- Generalisierung: Die Vorteile übertragen sich auf datenreiche Code-Inhalte (Stack-V2), selbst wenn die Hyperparameter ausschließlich auf natürlichen Sprachdaten abgestimmt wurden.
Mechanismus-Analyse: Eine Analyse auf Token-Ebene zeigt, dass MIR am meisten bei „schwierigen“ Token hilft, bei denen der Kontext verrauscht ist, gemischte Skripte enthält oder seltene Namen aufweist. Dies deutet darauf hin, dass MIR die Robustheit gegenüber lokalem Präfix-Kontext verbessert und nicht nur die frequenzbasierte Vorhersage.

2. Erkenntnisse zu den Skalierungsgesetzen

Chinchilla ist fehl spezifiziert: Empirische Ergebnisse zeigen, dass die Differenz des Validierungsverlusts zwischen verschiedenen Budgets an einzigartigen Daten mit der Modellgröße wächst. Das additive Chinchilla-Gesetz, das eine modellgrößeninvariante Differenz vorhersagt, kann dieses „Fan-out“-Verhalten nicht erfassen.
Überlegenheit von SoftQ: Das vorgeschlagene SoftQ-Gesetz, das Modellgröße und Datenmenge explizit koppelt, passt signifikant besser zu den datenbeschränkten Experimenten als Chinchilla, Quanta oder Muennighoff-Stil-Gesetze. Es erreicht einen niedrigeren RMSE und MAE sowohl bei In-Sample-Fits als auch bei Held-out-Extrapolation (Vorhersage der Performance eines 400M-Budgets aus kleineren Budgets).
Quantifizierung der Dateneffizienz: Unter Verwendung von SoftQ als Baseline schätzen die Autoren, dass der Performance-Gewinn von MIR etwa dem 1,3-fachen der Menge an einzigartigen Trainingsdaten entspricht (speziell im Bereich des 200M–400M Token-Budgets).

Bedeutung und Behauptungen

Das Paper beansprucht, ein grundlegendes Verständnis des datenbeschränkten, rechenreichen Regimes zu liefern, das immer relevanter wird, da die Rechenleistung schneller skaliert als die Verfügbarkeit von Daten.

Praktisches Rezept: Die Autoren schlagen ein praktisches, geringen Overheads bietendes Rezept (MIR) vor, das die Dateneffizienz des autoregressiven Vortrainings verbessert, ohne die Architektur zu ändern oder den Inferenzaufwand zu erhöhen.
Theoretische Korrektur: Sie demonstrieren, dass klassische additive Skalierungsgesetze für das datenbeschränkte Regime unzureichend sind, und schlagen SoftQ als ein genaueres Modell für die Vorhersage von Verlustoberflächen vor, wenn einzigartige Daten die limitierende Ressource sind.
Zusammenspiel von Regularisierung und Skalierung: Die Arbeit hebt hervor, dass Regularisierungsstrategien (wie Weight Decay und Maskierung) und Skalierungsgesetze in diesem Regime tief miteinander verwoben sind; effektives Skalieren erfordert Modelle, die angemessen regularisiert sind, um eine Überanpassung an repetitive Daten zu verhindern.

Die Autoren bleiben bescheiden und merken an, dass ihre Experimente auf 1,4 Milliarden Parameter und 400 Millionen einzigartige Token begrenzt sind, was im Vergleich zum Pretraining an der Frontier klein ist. Sie schlagen vor, dass zukünftige Arbeiten Rezepte für den Hyperparameter-Transfer und variierende Modellarchitekturen untersuchen sollten.