How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size

Technische Zusammenfassung: Skalierungsgesetze mit Trainingsschritten und Batch-Größe

Problemstellung
Bestehende Skalierungsgesetze für Large Language Models (LLMs), wie etwa das Chinchilla-Gesetz, modellieren den Testverlust als Funktion der Modellgröße ($N$) und der gesamten Trainingsdatenmenge ($D$). Während diese Gesetze effektiv sind, um die optimale Zuweisung von Rechenleistung zwischen $N$ und $D$ zu bestimmen, berücksichtigen sie Trainingshyperparameter, insbesondere die Batch-Größe ($b$) und die Anzahl der Trainingsschritte ($K$), nicht explizit. Frühere Versuche, Hyperparameter-Skalierungen zu modellieren, scheitern oft daran, sich in verlustbasierte Skalierungsgesetze zu integrieren, oder verlassen sich auf das Konzept der „kritischen Batch-Größe“, was in einigen theoretischen Formulierungen eine optimale Batch-Größe von eins impliziert – ein Widerspruch zu empirischen Befunden, wonach optimale Batch-Größen mit dem Token-Budget skalieren. Darüber hinaus erfordert das Anpassen von Skalierungsgesetzen für optimale Hyperparameter meist erschöpfende Sweeps über verschiedene Batch-Größen für verschiedene Token-Budgets, was enorme Rechenkosten verursacht.

Methodik
Die Autoren schlagen ein Drei-Term-Skalierungsgesetz (3TL) vor, das das Trainingsdaten-Budget $D$ explizit in die Batch-Größe in Tokens ($M = b \times s$, wobei $s$ die Sequenzlänge ist) und die Trainingsschritte ($K$) zerlegt, sodass $D = MK$. Die vorgeschlagene funktionale Form für den Verlust $L$ lautet:

$$L(N, M, K) = E + \frac{A}{N^\alpha} + \frac{B}{M^\beta} + \frac{C}{K^\gamma}$$

wobei $(E, A, B, C, \alpha, \beta, \gamma)$ Parameter sind, die aus Trainingsläufen angepasst wurden.

Die Autoren vergleichen dieses 3TL mit einem Zwei-Term-Gesetz (2TL)-Ansatz, bei dem die Modellgröße $N$ fixiert ist und das Gesetz unabhängig für jedes $N$ unter Verwendung der Form $L(M, K) = E + B/M^\beta + C/K^\gamma$ angepasst wird.

Zu den wesentlichen methodischen Schritten gehören:

1. Ableitung der optimalen Batch-Größe: Durch Minimierung des 3TL bezüglich $M$ unter der Nebenbedingung $D=MK$ leiten die Autoren eine optimale Batch-Größe $M^\star$ ab, die als Potenzgesetz von $D$ skaliert: $M^\star \propto D^{\frac{\gamma}{\beta+\gamma}}$.
2. Datennutzung: Im Gegensatz zu bisherigen Methoden, die die Identifizierung einer einzelnen optimalen Batch-Größe für jede Konfiguration erfordern (via vollständiger Sweeps), wird das 3TL unter Verwendung von suboptimalen Batch-Größen angepasst. Dies ermöglicht es, das Gesetz mit signifikant weniger Trainingsläufen robust anzupassen.
3. Modellierung des suboptimalen Regimes: Um Hardware-Beschränkungen zu begegnen, bei denen die theoretisch optimale Batch-Größe nicht praktikabel ist, schlagen die Autoren ein zweistufiges Anpassungsverfahren vor. Zuerst nutzen sie das 3TL, um eine vereinfachte funktionale Form $L(b) = \tilde{E} + \tilde{A}b^{-\tilde{\alpha}} + \tilde{B}b^{\tilde{\alpha}}$ zu bestimmen (unter der Annahme von $\gamma \approx \beta$). Zweitens passen sie ein Potenzgesetz an das Intervall $\epsilon$-suboptimaler Batch-Größen an (wobei $\epsilon$ einen Schwellenwert von 5 % Rechenverschwendung darstellt).
4. Analyse der kritischen Batch-Größe: Die Autoren analysieren das Verhalten der Anzahl der Schritte $K_{\bar{L}}(b)$, die erforderlich sind, um einen Zielverlust $\bar{L}$ als Funktion der Batch-Größe zu erreichen, und vergleichen die 3TL-Vorhersagen mit empirischen Befunden bezüglich der kritischen Batch-Größe.

Wichtigste Ergebnisse
Die Autoren evaluierten ihren Ansatz auf zwei Datensätzen: Li (Li et al., 2025a) und OpenEuroLLM.

• Skalierung der optimalen Batch-Größe: Das 3TL rekonstruiert erfolgreich die Skalierung der optimalen Batch-Größe $M^\star$. Auf dem Li-Datensatz stimmt die abgeleitete Skalierung $M^\star \approx 0.667 \cdot D^{0.566}$ eng mit dem „Step-Law“ ($M^\star \approx 0.58 \cdot D^{0.571}$) von Li et al. (2025a) überein, welcher aus einem vollständigen Batch-Größen-Sweep abgeleitet wurde.
• Recheneffizienz: Ein zentrales Ergebnis ist, dass das 3TL mit nur 28 % der für traditionelle Methoden erforderlichen Trainingsläufe angepasst werden kann. Durch das Maskieren des Datensatzes, um nur 2 Batch-Größen pro $(N, D)$-Kombination einzubeziehen (anstatt eines vollständigen Sweeps), rekonstruiert das 3TL immer noch das korrekte Skalierungsgesetz für $M^\star$. Im Gegensatz dazu führt das direkte Anpassen eines Potenzgesetzes an die wenigen verfügbaren „besten“ Batch-Größen (ohne Modellierung der Verlustoberfläche) zu hochgradig instabilen und ungenauen Skalierungsgesetzen.
• Suboptimale Batch-Größen: Das zweistufige Anpassungsverfahren modelliert erfolgreich das Intervall suboptimaler Batch-Größen, die höchstens 5 % Rechenverschwendung verursachen. Die Autoren stellen fest, dass dieses Intervall eine Breite von etwa $2^2$ (einem Faktor 4) in der Batch-Größe hat und sein Skalierungsverhalten über verschiedene Modellgrößen und Datensätze hinweg konsistent ist.
• Kritische Batch-Größe: Das 3TL modelliert korrekt das Phänomen, dass die Anzahl der Schritte bis zum Erreichen eines Zielverlusts gegenüber einer Erhöhung der Batch-Größe über einen kritischen Punkt hinaus weniger sensitiv wird. Entscheidend ist, dass das Modell zeigt, dass dieses kritische Verhalten mit dem Token-Budget $D$ skaliert, aber weitgehend invariant gegenüber der Modellgröße $N$ ist, was die Beobachtungen von Zhang et al. (2025) bestätigt.
• Vergleich mit Chinchilla: Wenn das 3TL auf eine Standard-Chinchilla-Form reduziert wird (indem die optimale $M^\star$ zurück in die Verlustgleichung eingesetzt wird), unterscheidet sich die implizierte rechenoptimale Skalierung für die Modellgröße $N$ von einem direkten Fit des Chinchilla-Gesetzes. Das 3TL legt einen kleineren Skalierungsexponenten für $D$ nahe, was verdeutlicht, dass die Wahl der Formulierung des Skalierungsgesetzes die abgeleiteten optimalen Konfigurationen beeinflusst.

Bedeutung und Ansprüche
Das Paper behauptet, dass das Drei-Term-Gesetz einen einheitlichen Rahmen bietet, der die Lücke zwischen Chinchilla-artigen Skalierungsgesetzen (Modellgröße vs. Daten) und Hyperparameter-Skalierungsgesetzen (Batch-Größe) schließt. Seine Bedeutung liegt in drei Hauptbereichen:

1. Robustheit bei spärlichen Daten: Die Fähigkeit, das Gesetz unter Verwendung suboptimaler Batch-Größen anzupassen, reduziert die Rechenkosten zur Ableitung von Skalierungsgesetzen drastisch und macht es praktikabel, optimale Batch-Größen ohne erschöpfende Sweeps zu bestimmen.
2. Theoretische Konsistenz: Die Formulierung ist strukturell ähnlich zu Konvergenzschranken in der stochastischen Optimierung und bietet somit eine theoretische Brücke zwischen empirischer Skalierungsanalyse und Optimierungstheorie.
3. Praktische Anwendbarkeit: Im Gegensatz zu früheren Modellen, die eine optimale Batch-Größe von eins implizieren oder das Verhalten in suboptimalen Regimes nicht beschreiben können, liefert das 3TL eine nicht-triviale optimale Batch-Größe und modelliert explizit die Leistung in suboptimalen Regimes, was unter Hardware-Beschränkungen entscheidend ist.

Die Autoren weisen auf Limitationen hin, darunter potenzielle Inkonsistenzen in den Parameterwerten über verschiedene Datensätze hinweg (z. B. den irreduziblen Verlustterm $E$) und die Tatsache, dass das Gesetz immer noch optimale Lernraten für jede Konfiguration erfordert. Sie räumen auch ein, dass die durch das 3TL implizierte rechenoptimale Skalierung von direkten Chinchilla-Fits abweicht, was darauf hindeutet, dass es möglicherweise nicht das alleinige Instrument zur Bestimmung optimaler Modellgrößen ist, aber überlegen ist, wenn es darum geht, das Zusammenspiel von Schritten, Batch-Größe und Daten zu verstehen.