🤖 machine learning

Bridging Compute- and Data-Optimal Pretraining

Dieses Paper führt die Compute-Data (CD) Scaling Laws ein, ein einheitliches Framework, das die abnehmenden Erträge abgeleiteter Daten durch eine Token-Effektivitätsfunktion modelliert, um die compute- und datenoptimalen Pretraining-Regime zu überbrücken, wobei aufgezeigt wird, dass die klassische compute-optimale Allokation für die meisten praktischen Szenarien suboptimal ist.

Ursprüngliche Autoren: Tian Qin, Kimia Hamidieh, David Alvarez-Melis

Veröffentlicht 2026-07-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tian Qin, Kimia Hamidieh, David Alvarez-Melis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, superintelligenten Roboter beizubringen, die menschliche Sprache zu sprechen. Jahrelang glaubten Wissenschaftler, das Geheimrezept sei simpel: Füttern Sie den Roboter einfach immer mehr mit neuen Geschichten, Fakten und Büchern. Je größer das Gehirn des Roboters (seine „Modellgröße“) und je mehr frische Bücher Sie ihm gaben, desto klüger würde er werden. Diese Idee, bekannt als „Scaling Laws“ (Skalierungsgesetze), legte nahe, dass man mit genügend Rechenleistung einfach mehr Daten kaufen konnte und der Roboter dadurch immer besser werden würde.

Aber es gibt einen Haken. Wir gehen die frischen, hochwertigen Bücher aus. Das Internet ist endlich, und das Schreiben neuer, perfekter Geschichten kostet Zeit und Geld. Währenddessen werden unsere Computer jedoch immer schneller und billiger. Dies erzeugt ein seltsames Problem: Wir haben einen superstarken Motor (Rechenleistung/Compute), aber einen fast leeren Tank (Daten). Die große Frage für Wissenschaftler lautete: Wenn wir keine neuen frischen Bücher mehr bekommen können, können wir den Roboter dann einfach dieselben Bücher immer wieder lesen lassen oder sie auf verschiedene Arten umschreiben, um ihn klüger zu machen? Hilft es dem Roboter genauso viel, eine Geschichte ein zweites Mal zu lesen, wie eine brandneue zu lesen?

Dies ist das Rätsel, das die Forscher Tian Qin, Kimia Hamidieh und David Alvarez-Melis in ihrem neuen Paper angegangen sind. Sie wollten das perfekte Rezept für das Training dieser KI-Modelle finden, wenn frische Daten knapp werden. Sie entwickelten einen neuen Satz von Regeln namens „Compute-Data (CD) Scaling Laws“. Denken Sie an eine neue Karte für eine Reise, auf der die alte Karte sagte: „Fahren Sie einfach geradeaus“, während die neue Karte sagt: „Hey, die Straße endet! Hier ist, wie man die Umwege navigiert.“

Das Team fand heraus, dass das bloße wiederholte Lesen alter Daten kein magischer Fix ist. Sie entdeckten, dass „abgeleitete Token“ – was so etwas wie das mehrmalige Lesen eines Buches oder das Umschreiben eines Satzes in den eigenen Worten ist – weniger wert sind als frischer, origineller Text. Je mehr man wiederholt oder paraphrasiert, desto weniger Wert fügt jedes neue Wort hinzu. Es ist wie beim Essen eines köstlichen Kuchens: Das erste Stück ist fantastisch, das zweite ist gut, aber beim zehnten Stück ist man einfach satt und genießt es nicht mehr wirklich.

Um dies zu beweisen, trainierten sie Dutzende von KI-Modellen, die von winzigen Modellen mit 14 Millionen „Neuronen“ bis hin zu mittelgroßen mit 600 Millionen reichen, unter Verwendung einer massiven Textbibliothek namens Dolma-3. Sie testeten zwei Hauptstrategien: Multi-Epoch-Repetition (das mehrfache Lesen desselben Buches) und Paraphrasierung (das Umschreiben des Buches in verschiedene Stile, wie etwa einen Nachrichtenartikel in ein mathematisches Problem oder eine FAQ zu verwandeln).

Ihre Ergebnisse waren überraschend und sehr spezifisch. Sie fanden heraus, dass der „Wert“ des wiederholten Lesens oder Umschreibens stark davon abhängt, wie groß das Gehirn des Roboters ist und wie viele frische Daten er bereits gesehen hat.

Für kleine Roboter (unter 600 Millionen Parametern) mit begrenzten frischen Daten ist Paraphrasierung ein großartiger Trick. Es ist, als würde man dem Roboter eine neue Perspektive auf dieselbe Geschichte geben, was ihm hilft zu lernen.
Für große Roboter (über 7 Milliarden Parameter) oder wenn man bereits sehr viele frische Daten hat, funktioniert Paraphrasierung nicht mehr. Es ist, als würde man versuchen, einem Doktoranden ein Kinderbuch in verschiedenen Versionen vorzulesen; er hat die Grundlagen bereits gelernt, und die neue Version fügt nichts Neues hinzu.
Repetition (das wiederholte Lesen desselben Buches) funktioniert besser für größere Modelle, aber selbst dann gibt es eine Grenze. Man kann nicht einfach dasselbe Buch immer und immer wieder lesen und erwarten, dass der Roboter unendlich klüger wird.

Das Paper führt eine spezielle Zahl ein, die sie $\eta$ (eta) nennen, um genau zu messen, wie viel ein „abgeleitetes“ Wort im Vergleich zu einem „frischen“ Wort wert ist. Wenn $\eta$ gleich 1 ist, ist das neue Wort so gut wie ein frisches. Wenn es 0 ist, ist es nutzlos. Sie fanden heraus, dass $\eta$ kein fester Wert ist; es sinkt, wenn das Modell größer wird und wenn man mehr abgeleitete Daten verwendet.

Dies führt zu drei unterschiedlichen „Zonen“ des Trainings, die Ingenieuren helfen sollen zu entscheiden, was als Nächstes zu tun ist:

Compute-Bound (Rechenleistung begrenzt): Sie haben reichlich frische Daten, aber nicht genug Rechenleistung. Hier sollten Sie einfach mit dem Training auf frischen Daten fortfahren.
Data-Bound (Daten begrenzt): Sie haben keine frischen Daten mehr. Hier können Sie mehr Rechenleistung für Repetition oder Paraphrasierung aufwenden, aber Sie müssen vorsichtig sein, da die Erträge schnell sinken.
Model-Bound (Modell begrenzt): Sie haben alle verfügbaren Daten genutzt und die Rechenleistung ist am Limit. Der einzige Weg, jetzt klüger zu werden, ist, ein größeres Gehirn (ein größeres Modell) zu bauen.

Eines der praktischsten Ergebnisse betrifft die Frage, wie oft ein Buch gelesen werden sollte. Eine populäre Faustregel in der Vergangenheit war, einen Datensatz 4 Mal zu lesen (4 Epochen). Die Autoren fanden heraus, dass dies nur für mittelgroße Modelle mit einer spezifischen Menge an Daten eine gute Idee ist. Wenn Sie ein riesiges Modell oder einen massiven Datensatz haben, ist das 4-malige Lesen eine Verschwendung von Zeit und Geld; Sie sollten viel früher damit aufhören. Umgekehrt könnten Sie für sehr kleine Modelle mit sehr wenig Daten vielleicht viel öfter lesen müssen.

Sie verglichen auch die beiden Strategien direkt miteinander. Sie fanden einen „Wendepunkt“. Wenn Ihr Modell klein ist (unter 600 Millionen) und Sie nicht viel Daten haben, ist Paraphrasierung der Gewinner. Aber sobald Ihr Modell größer wird (über 7 Milliarden) oder Sie einen riesigen Datensatz haben, wird Repetition zur besseren Wahl, und Paraphrasierung wird tatsächlich ineffektiv.

Kurz gesagt: Dieses Paper sagt uns, dass die Ära von „kauf einfach mehr Daten“ vorbei ist. Wir treten in eine neue Ära ein, in der wir klug mit den Daten umgehen müssen, die wir haben. Wir können nicht einfach mehr Rechenleistung auf das Problem werfen und erwarten, dass es funktioniert; wir müssen genau wissen, wann wir mit dem Wiederholen aufhören müssen, wann wir das Umschreiben versuchen sollten und wann wir zugeben müssen, dass wir ein größeres Gehirn brauchen. Die Autoren legen nahe, dass für die meisten praktischen Situationen die alte „Chinchilla“-Regel (die davon ausging, dass Daten unendlich vorhanden sind) nicht länger der beste Leitfaden ist. Stattdessen müssen wir unsere Rechenleistung, unsere Modellgröße und unser Datenbudget sorgfältig abwägen und diese neuen Regeln nutzen, um Zeit mit Tricks zu vermeiden, die nicht funktionieren.

Die Forscher sind sehr zuversichtlich in ihre Ergebnisse, da sie diese über viele verschiedene Modellgrößen und Datenmengen hinweg getestet haben, und die Mathematik hielt stand. Sie prüften sogar, ob die mit diesen Tricks trainierten Modelle bei realen Aufgaben (wie dem Beantworten von Fragen oder dem Lösen von Matheaufgaben) tatsächlich besser wurden, und ja, das taten sie. Ein niedrigerer „Loss“ (ein Maß dafür, wie verwirrt der Roboter ist) korrelierte mit einer besseren Leistung des Roboters.

Wenn Sie also das nächste Mal von einem neuen KI-Modell hören, denken Sie daran: Es geht nicht nur darum, wie viel es gelesen hat, sondern wie es gelesen hat. Und wenn Sie derjenige sind, der die KI trainiert, drücken Sie nicht einfach immer wieder auf „Repeat“ bei derselben Playlist; manchmal brauchen Sie einen Remix, und manchmal müssen Sie einfach aufhören und sich ein größeres Gehirn holen.

Technisches Resümee: Überbrückung von compute- und datenoptimalem Pretraining

1. Problemstellung

Klassische Skalierungsgesetze für das Pretraining (z. B. Kaplan et al., 2020; Hoffmann et al., 2022) operieren unter der Annahme, dass frische Pretraining-Daten unbegrenzt verfügbar sind und frei mit der Rechenkapazität skalieren. Das Feld geht jedoch in ein Regime über, in dem die Rechenkapazität exponentiell wächst, während hochwertige Pretraining-Daten jedoch endlich und kostspielig in der Kuratierung sind. In diesem „datenbeschränkten“ Regime müssen Praktiker zusätzliche Rechenleistung für abgeleitete Token ( $D'$ ) aufwenden, die aus einem festen Korpus ( $D$ ) durch Strategien wie Multi-Epoch-Repetition, Paraphrasierung oder Destillation generiert wurden.

Die zentrale Frage dieser Arbeit lautet: Wie stark kann zusätzliche Rechenleistung (die für abgeleitete Token $D'$ aufgewendet wird) den Pretraining-Loss für ein Modell der Größe $N$ bei einem festen Korpus $D$ reduzieren? Bestehende Gesetze beschreiben den Trade-off zwischen Rechenleistung und Daten nicht ausreichend, wenn das Datenangebot begrenzt ist.

2. Methodik

Das Compute-Data (CD) Skalierungs-Framework

Die Autoren schlagen ein vereinheitlichtes Framework vor, die CD-Skalierungsgesetze, welche die Lücke zwischen folgenden Punkten schließen:

Compute-optimale Skalierung ( $L_{Chin}$ ): Wo Daten unbegrenzt sind ( $D' = 0$ ).
Daten-optimale Skalierung ( $L_D$ ): Wo die Rechenleistung auf einem festen Korpus unbegrenzt ist ( $D' \to \infty$ ).

Der Kern des Frameworks ist eine Token-Effektivitätsfunktion, $\eta_{strat} \in [0, 1]$ , welche den Wert eines abgeleiteten Tokens im Verhältnis zu einem frischen Token quantifiziert. Das vorgeschlagene Skalierungsgesetz lautet:

$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$

Wobei:

$N$ : Modellparameter.
$D$ : Frische Token (einmal gesehen).
$D'$ : Abgeleitete Token.
$\eta_{strat}$ : Effektivitätskoeffizient, abhängig von der Expansionsstrategie (Repetition oder Paraphrasierung), der Modellgröße $N$ und der Datenverfügbarkeit.

Experimenteller Aufbau

Architektur: OLMo3 (Olmo et al., 2025).
Modellgrößen: 14M bis 600M Parameter.
Daten: Dolma-3 Korpus (150B Token).
Strategien:
1. Multi-epoch Repetition: Wiederholung des Korpus für zusätzliche Epochen.
2. Paraphrasierung: Umformulierung von Dokumenten mittels SmolLM2-1.7B-Instruct mit spezifischen Stil-Mischungen (Frage, Mathe, FAQ, Tabelle).
Fitting: Die Autoren passen die Parameter der Skalierungsgesetze an, indem sie Sweeps über die Größen frischer Daten ( $D$ ), Budgets für abgeleitete Token ( $D'$ ) und Hyperparameter (Lernrate, Weight Decay) durchführen. Sie leiten $\eta_{emp}$ empirisch ab, indem sie den Wert finden, der die beobachteten Losses unter Berücksichtigung der fixen 1-Epoch-Skalierungskonstanten reproduziert.

Parametrische Form von $\eta$

Die empirische Analyse zeigt, dass $\eta$ nicht konstant ist, sondern als Funktion folgender Faktoren abnimmt:

Expansionsverhältnis ( $r = D'/D$ ): $\eta$ sinkt, wenn mehr abgeleitete Daten hinzugefügt werden.
**Tokens-pro-Parameter ($TPP = D/N $):**$ \eta$ sinkt schneller, wenn frische Daten im Verhältnis zur Modellgröße knapp sind.
Modellgröße ( $N$ ): Größere Modelle sättigen schneller.

Die Autoren modellieren die effektiven abgeleiteten Daten ( $\eta \cdot D'$ ) als Sättigung gegen eine Obergrenze $R^*$ . Die verwendete Funktionsform ist:
$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$
Wobei die Sättigungsobergrenze $R^*$ einem Potenzgesetz folgt, das von $N$ und $TPP$ abhängt:
$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$

3. Kernergebnisse

1. Nicht-konstante Effektivität

Die Effektivität abgeleiteter Token ist keineswegs konstant. Sie hängt gemeinsam von der Modellgröße, dem $TPP$-Verhältnis und der Menge der abgeleiteten Daten ab. Wenn der Korpus expandiert ( $D' \to \infty$ ), sättigt die effektive Token-Anzahl $D_{eff} = D + \eta D'$ .

2. Drei operative Regime

Das CD-Skalierungsgesetz unterteilt das Training in drei distinkte Regime basierend auf der bindenden Beschränkung:

Compute-bound (Rechenleistung gebunden): Zwischen der compute-optimalen Frontier ( $L_{Chin}$ ) und der daten-optimalen Frontier ( $L_D$ ). Hier reduziert zusätzliche Rechenleistung auf $D'$ den Loss signifikant.
Data-bound (Daten gebunden): Zwischen $L_D$ und dem modell-gebundenen Floor ( $L_N$ ). Abgeleitete Token sind gesättigt; nur frische Daten können den Loss weiter senken.
Model-bound (Modell gebunden): Das asymptotische Limit, in dem sowohl Rechenleistung als auch Daten gesättigt sind; nur eine Erhöhung von $N$ hilft weiter.

Die „compute-bound“ Region schrumpft, wenn die Modellgröße ( $N$ ) und das $TPP$ steigen, was darauf hindeutet, dass zusätzliche Rechenleistung für größere Modelle oder solche mit reichlich vorhandenen Daten einen abnehmenden Grenznutzen hat.

3. Strategiewahl und Optimierung

Kleine Modelle ( $N \lesssim 600M$ ) & geringe Datenbudgets: Paraphrasierung ist signifikant effektiver als Repetition.
Große Modelle ( $N \gtrsim 190M$ ) & hohe Datenbudgets: Repetition übertrifft Paraphrasierung.
Epochen-Empfehlungen: Die „4-Epoch-Regel“ (oft für Chinchilla zitiert) gilt nur für mittelgroße Modelle ( $\sim 3B$ ) nahe der $1\times$ Chinchilla-Daten-Skala. Für größere Modelle und höheres $TPP$ sinkt die empfohlene Anzahl der Epochen.
Pare Pareto-Frontier: Das Framework identifiziert die optimale Zuteilung von Compute und Daten und generalisiert Chinchillas reine Compute-Optimierung zu einer gemeinsamen Compute-Data Pareto-Frontier.

4. Downstream-Transfer

Der Validierungs-Loss bleibt eine hinreichende Statistik für die Downstream-Fähigkeiten (gemessen an BPB für LM-Aufgaben und Genauigkeit auf Benchmarks wie LAMBADA und SQuAD), unabhängig davon, ob das Modell mit 1-Epoch, Repetition oder Paraphrasierung trainiert wurde. Alle Strategien kollabieren auf eine einzige Kurve, wenn sie gegen den Validierungs-Loss aufgetragen werden.

4. Bedeutung und Ansprüche

Das Paper beansprucht, ein vereinheitlichtes Framework bereitzustellen, das bestehende Gesetze als Spezialfälle wiederherstellt:

Compute-optimale Skalierung wird wiederhergestellt, wenn $D' = 0$ .
Daten-beschränktes Skalieren (Muennighoff et al., 2025) wird als Spezialfall wiederhergestellt, in dem die Sättigungsobergrenze $R^*$ konstant ist.
Daten-optimale Skalierung (Kim et al., 2025) wird als der Grenzwert wiederhergestellt, in dem $D' \to \infty$ .

Praktische Implikationen:

Ressourcenidentifikation: Praktiker können bestimmen, ob ihr Trainingslauf durch Rechenleistung, Daten oder Modellkapazität begrenzt ist.
Allokationsstrategie: Das Gesetz schreibt die optimale Aufteilung der Rechenleistung zwischen frischen Daten und abgeleiteten Daten vor und geht damit über die „Chinchilla“-Heuristik hinaus.
Strategie-Leitfaden: Es bietet datengestützte Empfehlungen dazu, wann man von Repetition zu Paraphrasierung wechseln sollte und wie viele Epochen oder Paraphrasierungs-Durchläufe optimal sind, bevor der Nutzen stagniert.

5. Limitationen

Die Autoren führen mehrere Limitationen an:

Empirisches Fitting: Die Funktion $\eta$ absorbiert Residuen aus dem 1-Epoch-Fit, was potenziell zu einem $\eta_{emp} > 1$ führen kann.
Hyperparameter-Sensitivität: Nur Lernrate und Weight Decay wurden untersucht; andere Hyperparameter (Batch-Größe, Sequenzlänge) wurden fixiert.
Rechenaufwand: Die Etablierung dieser Gesetze erforderte über 250.000 H100-Stunden.
Umfang: Die Studie konzentriert sich auf Repetition und Paraphrasierung; andere Strategien wie Selbst-Destillation oder synthetische strukturierte Daten bleiben unerforscht.
Skalierung: Die Experimente wurden an kleinen bis mittleren Modellen (bis zu 600M) durchgeführt, obwohl das Gesetz zur Extrapolation auf größere Größen validiert wurde.