Test-Time Scaling Makes Overtraining Compute-Optimal

1. Problemstellung

Moderne Large Language Models (LLMs) skalieren nicht nur während des Trainings (Pretraining), sondern auch zur Laufzeit (Test-Time), beispielsweise durch wiederholtes Sampling (z. B. pass@k Strategien). Dies schafft einen neuen Zielkonflikt, den etablierte Skalierungsgesetze wie Chinchilla nicht berücksichtigen:

• Chinchilla-Gesetz: Optimiert die Aufteilung von Rechenleistung zwischen Modellgröße ($N$) und Trainingsdatenmenge ($D$) für das Pretraining, unter der Annahme einer einmaligen Inferenz ($k=1$). Es empfiehlt ein Verhältnis von ca. 20 Tokens pro Parameter.
• Test-Time Scaling: Zeigt, dass kleinere Modelle durch wiederholtes Sampling (mehr Inferenz-Rechenleistung pro Abfrage) die Leistung größerer Modelle übertreffen können.
• Das Problem: Es gibt keine einheitliche Skalierungsregel, die Pretraining-Entscheidungen (Größe $N$, Tokens $D$) mit Inferenz-Entscheidungen (Anzahl der Samples $k$) unter einem gesamten Rechenbudget (Training + Inferenz) jointly optimiert. Bestehende Arbeiten behandeln diese Bereiche isoliert oder betrachten nur die Gesamtkosten bei einmaliger Inferenz, nicht die nichtlinearen Gewinnkurven durch wiederholtes Sampling.

2. Methodik: Train-to-Test (T2) Scaling Laws

Die Autoren führen Train-to-Test (T2) Skalierungsgesetze ein, die Pretraining und Test-Time-Sampling in einem gemeinsamen Optimierungsrahmen vereinen.

Optimierungsproblem:
Gegeben ein Gesamtbudget für Training ($C_{train} \approx 6ND$) und Inferenz ($C_{inf} \approx 2Nk$), sollen $N$, $D$ und $k$ so gewählt werden, dass die Leistung maximiert wird.

Die Autoren entwickeln zwei komplementäre Modellierungsansätze:

• Ansatz 1: Parametrisches Modell des Task-Loss (NLL)

  • Das Ziel ist die Minimierung des erwarteten negativen Log-Likelihoods (NLL) unter wiederholtem Sampling.
  • Die Autoren erweitern das Chinchilla-Loss-Modell $L(N, D)$ um einen Term für die Anzahl der Samples $k$:
    $$\hat{L}(N, D, k) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{G}{k^\gamma}$$
  • Der Term $G/k^\gamma$ modelliert den Gewinn durch wiederholtes Sampling als Potenzgesetz.
  • Unter einem festen Inferenzbudget $C_{inf}$ wird $k$ als $k = C_{inf} / (2N)$ substituiert, was bedeutet, dass kleinere Modelle mehr Samples erhalten.

• Ansatz 2: Parametrisches Modell der Task-Accuracy (Pass@k)

  • Dieser Ansatz modelliert direkt die Wahrscheinlichkeit, mindestens eine korrekte Antwort in $k$ Versuchen zu finden (pass@k).
  • Statt einer einfachen Sigmoid-Transformation des NLL (was zu Überschätzungen führt), modellieren die Autoren die Verteilung der Erfolgswahrscheinlichkeit pro Frage als Beta-Verteilung $Beta(a_{N,D}, b_{N,D})$.
  • Die Parameter der Beta-Verteilung werden über den Chinchilla-Loss geschätzt.
  • Der erwartete pass@k wird analytisch über die Eigenschaften der Beta-Verteilung berechnet:
    $$\widehat{Acc}(N, D, k) = 1 - \frac{B(a_{N,D}, b_{N,D} + k)}{B(a_{N,D}, b_{N,D})}$$

Inferenz-Korrektur:
Ein zentraler Schritt ist die Standardisierung des Inferenzbudgets. Für ein festes $C_{inf}$ erhält ein kleineres Modell mehr Samples ($k$), während ein größeres Modell weniger Samples erhält. Dies ermöglicht den fairen Vergleich verschiedener Pretraining-Konfigurationen unter Berücksichtigung der Inferenzkosten.

3. Experimentelles Setup

• Datenbasis: Erweiterung des Checkpoint-Sets von Porian et al. (2024). Die Autoren trainierten über 100 Modelle über 12 Rechenstufen (von $10^{16}$ bis $10^{19}$ FLOPs) und Größen (5M bis 901M Parameter).
• Overtraining-Bereich: Sie trainierten explizit Modelle im „übertrainierten" Bereich (weit über dem Chinchilla-Verhältnis von 20 Tokens/Parameter), um die Vorhersagen zu validieren.
• Aufgaben: Evaluation auf 8 Aufgaben (4 reale Benchmarks wie LAMBADA, ARC-Easy, SciQ, OpenBookQA und 4 synthetische Aufgaben wie mathematisches und räumliches Reasoning).
• Post-Training: Die Ergebnisse wurden auch nach Fine-Tuning (FT) und Supervised Fine-Tuning (SFT) überprüft.

4. Wichtige Ergebnisse

RQ1: Sollten Pretraining-Entscheidungen bei bekanntem Test-Time-Budget geändert werden?

• Ja. T2 sagt eine drastische Verschiebung hin zu kleineren, stark übertrainierten Modellen voraus.
• Im Gegensatz zu Chinchilla (das große Modelle mit wenig Daten bevorzugt), empfiehlt T2 bei Berücksichtigung von Inferenzkosten Modelle, die deutlich kleiner sind, aber mit einem Vielfachen an Trainingsdaten (Tokens pro Parameter) trainiert wurden.
• Beide Modellierungsansätze (NLL und Accuracy) kommen zu diesem übereinstimmenden Ergebnis.

RQ2: Extrapolieren T2-Gesetze auf übertrainierte Checkpoints?

• Ja. Die Autoren trainierten Modelle im vorhergesagten optimalen Bereich (stark übertrainiert).
• Ergebnis: Die empirisch trainierten, kleinen und übertrainierten Modelle übertrafen konsistent die „Chinchilla-optimalen" Modelle (die größer und weniger trainiert waren), wenn beide unter demselben Inferenzbudget ($C_{inf}$) verglichen wurden.
• Die Vorhersagegenauigkeit war hoch (relativer Fehler von 2,8% für Ansatz 1).

RQ3: Bestehen die T2-Ergebnisse nach dem Post-Training?

• Ja. Auch nach Fine-Tuning und SFT bleibt das Optimum im Bereich der übertrainierten, kleineren Modelle erhalten.
• Zwar ist der Vorteil gegenüber Chinchilla-Modellen nach dem Fine-Tuning etwas geringer (da übertrainierte Modelle schwerer zu fine-tunen sind, wie Springer et al. 2025 feststellten), aber die übertrainierten Modelle bleiben dennoch überlegen.

5. Signifikanz und Beiträge

• Paradigmenwechsel: Die Arbeit widerlegt die strikte Anwendung der Chinchilla-Regel für alle Szenarien. Sie zeigt, dass „Overtraining" (Training kleinerer Modelle mit mehr Daten) nicht nur ein Kompromiss für Inferenzkosten ist, sondern unter Berücksichtigung von Test-Time-Scaling rechnerisch optimal ist.
• Einheitliche Theorie: Sie schließt die Lücke zwischen Pretraining-Scaling und Test-Time-Scaling, indem sie beide als Teile eines einzigen Optimierungsproblems behandelt.
• Praktische Empfehlung: Für Entwickler, die ein festes Gesamtbudget (Training + Inferenz) haben, lautet die Empfehlung: Trainieren Sie ein kleineres Modell für eine längere Zeit (mehr Tokens), um es für wiederholtes Sampling (z. B. bei Reasoning-Aufgaben) zu optimieren.
• Robustheit: Die Ergebnisse gelten über verschiedene Aufgabenarten (Wissen vs. Reasoning) und bleiben auch nach dem Fine-Tuning stabil.

Fazit:
Das Paper demonstriert, dass die Trennung von Trainings- und Inferenz-Optimierung ineffizient ist. Durch die Integration von Test-Time-Scaling-Gesetzen in die Pretraining-Planung verschiebt sich das globale Optimum massiv in Richtung kleinerer, übertrainierter Modelle, die durch wiederholtes Sampling ihre volle Leistung entfalten können. Dies bietet einen theoretischen Fundament für die aktuellen Trends in der Entwicklung von LLM-Familien, die oft über das Chinchilla-Verhältnis hinaus trainiert werden.