Technische Zusammenfassung: Präskriptive Skalierungsgesetze für datenbeschränktes Training

Problemstellung

Das Training großer Sprachmodelle (LLMs) wird zunehmend durch die Verfügbarkeit hochwertiger Daten und nicht durch Rechenleistung eingeschränkt. Während roher Text im Überfluss vorhanden ist, verlassen sich state-of-the-art-Pipelines auf aggressive Qualitätsfilterung, kuratierte Teilmengen und domänenspezifische Korpora, was zu einem Engpass führt, bei dem das Rechenbudget oft die verfügbaren einzigartigen Daten übersteigt. In diesem Regime greifen Praktiker häufig darauf zurück, Modelle über mehrere Epochen hinweg auf denselben Daten zu trainieren.

Bestehende Skalierungsgesetze, insbesondere das weit verbreitete Chinchilla-Gesetz (Hoffmann et al., 2022), gehen davon aus, dass jedes Trainings-Token einzigartig ist. Erweiterungen zur Behandlung von Datenwiederholungen, wie die effektive-Daten-Formulierung von Muennighoff et al. (2023), modellieren abnehmende Grenzerträge, erfassen jedoch nicht das Regime, in dem der Verlust aufgrund von Overfitting ansteigt. Entscheidend ist, dass diese bestehenden Modelle die Interaktion zwischen Modellgröße und Wiederholung nicht explizit berücksichtigen: Größere Modelle overfitten auf wiederholten Daten schneller als kleinere. Ohne diese Interaktion zu modellieren, können Skalierungsgesetze das Verhalten in datenbeschränkten Szenarien nicht genau vorhersagen oder eine rechenoptimale Allokation leiten.

Methodik

Die Autoren schlagen eine neue Formulierung von Skalierungsgesetzen vor, die die Kosten von Datenwiederholungen durch einen additiven Overfitting-Strafterm explizit modelliert.

Experimenteller Aufbau

• Modelle: Über 300 decoder-only-Sprachmodelle basierend auf der Llama-2-Architektur, mit Parametern von 15 Millionen bis 1 Milliarde.
• Daten: Trainiert auf dem FineWeb-Datensatz (Penedo et al., 2024).
• Gitter: Die Studie durchläuft einzigartige Datenbudgets ($U_D$) von 50 Millionen bis 6 Milliarden Tokens und Wiederholungszahlen ($R_D$) von 0 bis 15 Epochen.
• Regularisierung: Zwei Stärken des Weight Decay wurden getestet: Standard ($\lambda = 0.1$) und stark ($\lambda = 1.0$), wobei alle anderen Hyperparameter konstant gehalten wurden.
• Evaluation: Finale Validierungsverluste, Perplexität und Downstream-Leistung mittels der OLMES-Evaluierungssuite (Gu et al., 2025) über 19 Aufgaben hinweg.

Vorgeschlagenes Skalierungsgesetz

Die Autoren leiten eine Familie von Skalierungsgesetzen ab, die die Chinchilla-Form um einen additiven Strafterm erweitern. Die allgemeine Form lautet:
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Penalty}(N, U_D, R_D)$$

Wobei der Strafterm den zusätzlichen Verlust durch Wiederholung erfasst. Die Autoren präsentieren eine „Komplexitätsleiter" von Formen:

1. 1-Parameter-Form: Ein linearer Strafterm in der Wiederholungszahl, skaliert mit dem Verhältnis von Modellgröße zu einzigartigen Daten: $P \cdot R_D \cdot \frac{N}{U_D}$.
2. 2-Parameter-Form: Führt einen nichtlinearen Exponenten $\kappa$ für das Kapazitätsverhältnis ein: $P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$.
3. 4-Parameter-Form: Fügt einen superlinearen Exponenten $\delta$ für die Wiederholungszahl hinzu und entkoppelt den Datenbudget-Exponenten $\gamma$: $P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$.

Diese Formulierung geht davon aus, dass wiederholte Token eine doppelte Rolle spielen: Sie verringern weiterhin den Daten-Genügsamkeits-Term (wirken als nützliche Daten), während sie gleichzeitig einen wachsenden Overfitting-Kostenfaktor verursachen, der von der Modellgröße und der Datenknappheit abhängt.

Wichtige Ergebnisse

1. Überlegene Anpassungsqualität

Die vorgeschlagenen additiven Strafgesetze übertreffen bestehende Formulierungen (Chinchilla-Baseline und Muennighoff et al., 2023) bei der Vorhersage des Validierungsverlusts unter Wiederholung signifikant.

• Deskriptive Anpassung: Selbst die einfachste 1-Parameter-additive Form übertrifft die Baselines mit exponentiellem Abfall deutlich ($R^2_{multi} \approx 0.95$ vs. $0.58$ für die Baseline in der Standardstudie). Die 4-Parameter-Form erreicht eine nahezu perfekte Anpassung ($R^2 \approx 0.997$).
• Generalisierung: Die additiven Strafformen generalisieren auf den zurückgehaltenen Muennighoff-et-al.-(2023)-C4-Datensatz und übertreffen dort ihre eigenen effektiven-Daten-Formulierungen, was bestätigt, dass die Verbesserung kein Artefakt des spezifischen Trainingsaufbaus ist.

2. Rechenoptimale Allokation

Das neue Skalierungsgesetz liefert im Vergleich zu früheren Arbeiten qualitativ unterschiedliche Ratschläge für die Allokation von Rechenleistung in datenbeschränkten Regimen:

• Frühere Arbeiten: Das Chinchilla-Gesetz (ohne Berücksichtigung von Overfitting) empfiehlt bei steigender Rechenleistung immer mehr Wiederholungen. Das Gesetz von Muennighoff et al. (2023) empfiehlt abnehmende Grenzerträge, schlägt jedoch niemals vor, die Wiederholung zu beenden.
• Diese Arbeit: Das vorgeschlagene Gesetz identifiziert einen Rechenschwellenwert, jenseits dessen weitere Wiederholungen kontraproduktiv sind. Jenseits dieses Punkts besteht die optimale Strategie darin, zusätzliche Rechenleistung in die Modellkapazität (größeres $N$) zu investieren und gleichzeitig die Anzahl der Epochen ($R_D$) zu reduzieren. Dies erzeugt ein „Zurückbiegen" der Allokationsfront.

3. Präskriptive Validierung

Die Autoren validierten die Empfehlungen des Gesetzes, indem sie die spezifischen Konfigurationen (Modellgröße und Epochenanzahl) trainierten, die von jedem Gesetz für feste Rechen- und Datenbudgets empfohlen wurden.

• Die vom vorgeschlagenen Gesetz empfohlenen Konfigurationen erzielten konsistent die niedrigste Perplexität und die beste Downstream-Leistung (OLMES BPB) über alle getesteten Budgets hinweg.
• Beispielsweise empfahl das vorgeschlagene Gesetz bei einem Rechenbudget von $2 \times 10^{19}$ FLOPs und 500 Millionen einzigartigen Tokens ein 2,2-Milliarden-Parameter-Modell, das für 3 Epochen trainiert wurde, und übertraf damit die Chinchilla-Empfehlung (670 Millionen Parameter, 10 Epochen) sowie die Muennighoff-Empfehlung (950 Millionen Parameter, 7 Epochen).

4. Fallstudie: Weight Decay

Der einzelne Koeffizient $P$ im Strafterm quantifiziert die Robustheit einer Konfiguration gegenüber Datenwiederholungen.

• Reduktion von Overfitting: Starker Weight Decay ($\lambda = 1.0$) reduziert den Overfitting-Koeffizienten $P$ um etwa 70 % im Vergleich zum Standard-Weight Decay ($\lambda = 0.1$).
• Kreuzungspunkt: Während starker Weight Decay im Ein-Epochen-Regime einen „Verlustaufschlag" verursacht, erzeugt der reduzierte Overfitting-Strafterm einen Kreuzungspunkt bei hohen Rechenbudgets ($C \approx 3.2 \times 10^{18}$ FLOPs für $U_D=250M$). Jenseits dieses Punkts ermöglicht starker Weight Decay die produktive Nutzung zusätzlicher Rechenleistung und übertrifft Standard-Einstellungen. Dies liefert eine skalierungsgesetzliche Erklärung für neuere empirische Befunde (Kim et al., 2026), wonach der optimale Weight Decay in datenbeschränkten Regimen eine Größenordnung höher ist als die gängige Praxis.

Bedeutung und Behauptungen

Die Arbeit behauptet, ein präskriptives Framework für datenbeschränktes Training zu liefern, das über die „unendliche Daten"-Annahmen von Chinchilla hinausgeht.

• Neue Allokationsratschläge: Der Hauptbeitrag ist die Identifizierung eines Regimes, in dem Wiederholungen nachteilig werden, wodurch sich die optimale Strategie von „mehr Epochen" zu „größeren Modellen" verschiebt.
• Quantifizierbare Robustheit: Durch die Isolierung von Overfitting in einen einzigen Koeffizienten ermöglicht das Gesetz einen direkten Vergleich von Trainingskonfigurationen (z. B. unterschiedliche Regularisierungsstärken) ohne exhaustive Hyperparametersuchen.
• Praktische Anleitung: Die Autoren argumentieren, dass für Praktiker mit festen Datenbudgets ein spezifisches Rechenlevel existiert, jenseits dessen die Wiederholung von Daten kontraproduktiv ist. Sie stellen eine konkrete Methode bereit, um diesen Schwellenwert und die entsprechende optimale Modellgröße zu bestimmen.
• Bescheidenheit: Die Autoren räumen Einschränkungen ein und stellen fest, dass die angepassten Exponenten bis zu 1 Milliarde Parametern und 16 Epochen validiert sind und das Gesetz Phänomene wie „Double Descent" nicht umfasst. Sie weisen zudem darauf hin, dass die Neubewertung von Muennighoff et al. (2023) nahelegt, dass ihre Meinungsverschiedenheit bezüglich Allokationsstrategien auf einer falsch spezifizierten Baseline in der früheren Arbeit beruht und nicht auf einem fundamentalen Widerspruch in der Physik des Skalierens.