💬 NLP

Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training

Dieses Paper schlägt ein modellagnostisches Framework vor, das die durch kleine Proxy-Modelle entdeckten vorhersehbaren Skalierungsgesetze sowie die äquivalente Pre-Training-Rechenleistung eines gegebenen Checkpoints nutzt, um optimalen Hyperparametern für das fortgesetzte Pre-Training von LLMs quantitativ vorherzusagen, wodurch der Suchaufwand um bis zu 90 % reduziert wird, während die Leistung beibehalten oder verbessert wird.

Ursprüngliche Autoren: Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, belesenen Schüler (ein Large Language Model), der bereits jahrelang eine allgemeine Schule besucht hat. Nun möchten Sie ihn in ein spezialisiertes Bootcamp schicken, um eine neue, spezifische Fähigkeit zu erlernen, wie zum Beispiel fortgeschrittene Mathematik oder Programmierung. Dieser Prozess wird Continued Pre-training genannt.

Das große Problem ist: Wie lehrt man ihn?

In der Vergangenheit mussten Lehrer (Forscher) die richtige Lehrgeschwindigkeit (Learning Rate) und die Klassengröße (Batch Size) erraten. Sie probierten eine Vielzahl von Kombinationen aus, in der Hoffnung, dass eine davon funktionieren würde. Das war, als würde man versuchen, eine Nadel im Heuhaufen zu finden, indem man den gesamten Heuhaufen niederbrennt, um nach ihr zu suchen. Es war teuer, langsam und oft wurde der Schüler verwirrt oder vergaß das, was er bereits wusste.

Dieses Paper schlägt einen neuen, klügeren Weg vor, um die perfekten Einstellungen für den Unterricht zu finden, ohne all das Raten. So funktioniert es, unterteilt in einfache Konzepte:

1. Die Entdeckung: Es gibt eine „Faustregel“

Die Forscher bemerkten zuerst etwas Interessantes. Als sie winzige „Übungsschüler“ (kleine Modelle) mit diesem neuen Material trainierten, fanden sie ein vorhersagbares Muster.

Die Analogie: Stellen Sie sich vor, Sie fahren ein Auto. Wenn Sie eine kurze Strecke haben (geringes Rechenbudget), fahren Sie vielleicht schnell, machen aber kleine, häufige Kurven. Wenn Sie eine lange Strecke haben (hohes Rechenbudget), fahren Sie langsamer, aber machen breitere, sanftere Kurven.
Die Erkenntnis: Sie entdeckten, dass, wenn man plant, mehr „Rechenleistung“ (Zeit und Energie) in das Training zu investieren, die beste Klassengröße größer wird und die beste Lehrgeschwindigkeit langsamer wird. Dies ist nicht zufällig; es folgt einem strengen mathematischen Gesetz, genau wie die Schwerkraft.

2. Das Problem: Der „Black Box“-Checkpunkt

Normalerweise beginnt man beim Training eines neuen Modells von Grund auf bei Null. Aber beim Continued Pre-training startet man mit einem Modell, das bereits viel weiß.

Die Analogie: Stellen Sie sich vor, Sie holen einen Schüler mitten in seiner Ausbildung ab. Sie wissen nicht genau, wie viel er weiß oder wie schnell er lernt. Wenn Sie ihn wie ein neugeborenes Baby behandeln (von Grund auf neu), werden Sie ihn vielleicht zu schnell unterrichten, und er wird abstürzen. Wenn Sie ihn so behandeln, als wüsste er nichts, verschwenden Sie Zeit.
Die Herausforderung: Wie misst man genau, wo sich dieser Schüler auf der „Lernkurve“ befindet, damit man die richtige Geschwindigkeit wählen kann?

3. Die Lösung: „Äquivalentes Training“

Die Autoren erfanden einen cleveren Trick namens Equivalent Pre-training Compute.

Die Analogie: Anstatt zu fragen: „Wie viele Jahre war dieser Schüler schon in der Schule?“, fragen sie: „Wenn dieser Schüler bei Null gestartet wäre und nur das neue Material gelernt hätte, das wir ihm jetzt beibringen wollen, wie viel Arbeit hätte er leisten müssen, um sein aktuelles Verständnisniveau zu erreichen?“
Wie es funktioniert: Sie schauen sich die aktuelle Testnote des Schülers (Validation Loss) an. Sie nutzen eine Formel, um zu berechnen: „Okay, um diese Punktzahl von Null aus zu erreichen, hättest du X Stunden studieren müssen.“
Das Ergebnis: Nun können sie die neuen geplanten Studienstunden zu diesen hypothetischen alten Stunden hinzufügen. Dies ergibt eine Gesamt effektive Studienzeit (Total Effective Study Time).

4. Die Vorhersage: Kein Raten mehr

Sob: Sie kennen die „Gesamt effektive Studienzeit“, nutzen Sie die „Faustregel“ (das Scaling Law), die Sie in Schritt 1 entdeckt haben.

Die Magie: Sie setzen die Gesamtzeit in eine Formel ein, und sie spuckt sofort die perfekte Klassengröße und Lehrgeschwindigkeit aus.
Der Vorteil: Sie müssen keine teuren Experimente mit dem großen, klugen Schüler durchführen. Sie müssen nur ein wenig Mathematik basierend auf kleinen Übungsmodellen anwenden.

Die Ergebnisse

Das Paper testete dies an Modellen mit bis zu 8 Milliarden Parametern.

Geschwindigkeit: Sie sparten bis zu 90 % der Rechenkosten im Vergleich zur alten „Rate-und-Prüfe“-Methode.
Leistung: Die Modelle, die mit diesen vorhergesagten Einstellungen trainiert wurden, schnitten genauso gut oder sogar besser ab als Modelle, die mit den besten manuell geratenen Einstellungen trainiert wurden.
Stabilität: Das Training war viel stabiler, was bedeutet, dass die Modelle nicht „abstürzten“ oder das, was sie bereits wussten, vergaßen.

Zusammenfassung

Betrachten Sie dieses Paper als einen GPS für das KI-Training.

Alter Weg: Sie fahren ziellos umher, verbrennen Treibstoff und hoffen, die richtige Route zu finden.
Neuer Weg: Sie schauen sich Ihren aktuellen Standort an (den aktuellen Zustand des Modells), berechnen die gesamte Distanz, die Sie zurücklegen müssen (Equivalent Compute), und das GPS sagt Ihnen sofort die exakte Geschwindigkeit und Spur, in der Sie bleiben müssen, um effizient ans Ziel zu kommen.

Dies ermöglicht es Forschern, spezialisierte KI-Modelle viel schneller, günstiger und zuverlässiger zu trainieren, ohne ein Super-Experte im Raten sein zu müssen.

Technisches Resümee: Vorhersehbare Skalierungsgesetze optimaler Hyperparameter für das Continued Pre-training von LLMs

Problemstellung

Continued Pre-training (CPT) ist ein entscheidender Mechanismus zur Anpassung von Large Language Models (LLMs) an domänenspezifische Anwendungen und bietet eine recheneffiziente Alternative zum Training von Grund auf. Die Effektivität von CPT reagiert jedoch äußerst sensibel auf Hyperparameter-Konfigurationen, insbesondere auf die Lernrate (LR) und die Batch-Größe (B). Die aktuelle Praxis stützt sich stark auf Heuristiken oder erschöpfende Grid-Searches, was rechenintensiv, anfällig für Trainingsinstabilitäten ist und es an einer fundierten Anleitung mangelt.

Zwei grundlegende Herausforderungen behindern die Anwendung von Skalierungsgesetzen auf CPT:

Existenz und Charakterisierung: Es ist bisher nicht verifiziert worden, ob vorhersagbare, monotone Beziehungen zwischen dem Rechenbudget und optimalen Hyperparametern existieren, wenn das Training nicht mit einer zufälligen Initialisierung beginnt.
Quantifizierung des Ausgangszustands: Im Gegensatz zum Training von Grund auf beginnt CPT aus einem Nicht-Null-Optimierungszustand. Die „Black-Box“-Natur eines vortrainierten Checkpoints hinsichtlich seines Fortschritts auf einer neuen, verschobenen Datenverteilung macht es schwierig, dessen effektiven Beitrag zum Trainingsprozess zu quantifizieren.

Methodik

Die Autoren schlagen ein zweistufiges, modellagnostisches Framework vor, um quantitative Beziehungen zwischen Rechenbudget und optimalen Hyperparametern zu etablieren, was eine Zero-Shot-Vorhersage für jeden beliebigen Checkpoint ermöglicht.

Stufe 1: Entdeckung empirischer Gesetze

Die Autoren charakterisieren zunächst das Skalierungsverhalten, indem sie kleine Proxy-Modelle (100M und 500M Parameter) über verschiedene Hyperparameter-Konfigurationen hinweg auf den Ziel-CPT-Daten trainieren.

Iso-Loss-Kurven: Sie konstruieren Kurven in der (Batch-Größe, Lernrate)-Ebene, um den minimalen Rechenaufwand zu identifizieren, der erforderlich ist, um einen spezifischen Validierungsverlust zu erreichen. Die Scheitelpunkte dieser Kurven definieren die optimalen Hyperparameter-Paare $(B_{opt}, LR_{opt})$ für ein gegebenes Verlustniveau.
Funktionelle Anpassung: Sie beobachten, dass optimale Hyperparameter Potenzgesetz-Trends in Bezug auf den Validierungsverlust folgen. Sie passen Funktionen $B_{opt} = f(L)$ und $LR_{opt} = g(L)$ an.
Compute-zu-Hyperparameter-Mapping: Durch die Kombination dieser mit Standard-Loss-Compute-Skalierungsgesetzen ( $L(C) = L_0 + \alpha C^{-\gamma}$ ) leiten sie direkte Abbildungen vom gesamten Rechenbudget $C$ auf optimale Hyperparameter ab:
$B_{opt}(C) = f(L_0 + \alpha \cdot C^{-\gamma})$
$LR_{opt}(C) = g(L_0 + \alpha \cdot C^{-\gamma})$

Stufe 2: Zustandsbewusste Hyperparameter-Vorhersage

Um diese Gesetze auf beliebige Checkpoints anzuwenden, führen die Autoren das Konzept der Äquivalenten Pre-training-Rechenleistung ( $C_{pre}$ ) ein.

Definition: $C_{pre}$ repräsentiert das theoretische Rechenbudget, das erforderlich wäre, um den aktuellen Validierungsverlust eines Checkpoints zu erreichen, wenn dieser von einer zufälligen Initialierung aus auf der Zieldomäne trainiert worden wäre.
Berechnung: Durch Invertierung des Loss-Compute-Skalierungsgesetzes wird $C_{pre}$ aus dem initialen Validierungsverlust ( $L_{init}$ ) berechnet:
$C_{pre} = \left( \frac{\alpha}{L_{init} - L_0} \right)^{1/\gamma}$
Gesamte effektive Rechenleistung: Das gesamte Rechenbudget für den CPT-Lauf wird als Summe des geerbten Zustands und des geplanten Budgets definiert: $C_{total} = C_{pre} + C_{cpt}$ .
Vorhersage: Die optimalen Hyperparameter für den Ziel-Lauf werden durch die Auswertung der abgeleiteten Skalierungsfunktionen bei $C_{total}$ vorhergesagt.

Zentrale Beiträge

Skalierungsgesetze für CPT: Die Arbeit stellt empirisch fest, dass optimale Hyperparameter beim Continued Pre-training stabilen, vorhersagbaren Skalierungsgesetzen folgen. Insbesondere steigt die optimale Batch-Größe monoton mit dem Rechenbudget, während die optimale Lernrate sinkt.
Äquivalente Pre-training-Rechenleistung ( $C_{pre}$ ): Ein neuartiger Metrik wird vorgeschlagen, um den aus initialen Checkpoints geerbten Trainingszustand formal zu quantifizieren. Dies transformiert einen beliebigen Startpunkt in eine messbare Koordinate auf einer kontinuierlichen Optimierungstrajektorie und adresst damit die Herausforderung der Nicht-Null-Initialisierung.
Effizientes Framework: Die Autoren validieren ein Framework, das optimale Hyperparameter ohne Testläufe auf Zielmodellen vorhersagt, wodurch der Overhead für die Hyperparameter-Suche im Vergleich zu traditionellen Grid-Searches um bis zu 90 % reduziert wird.

Experimentelle Ergebnisse

Das Framework wurde auf Dense-8B und MoE-3B Modellen unter Verwendung eines Korpus von 55B Token verwendet, der allgemeines Wissen, Mathematik und Code umfasst.

Performance: Modelle, die mit den vorhergesagten Hyperparametern trainiert wurden, erreichten Spitzenwerte in den Durchschnitts-Scores (51,3 für Dense-8B und 57,9 für MoE-3B) über diverse Benchmarks hinweg (MMLU, GSM8K, HumanEval, etc.) und übertrafen dabei Off-Target-Einstellungen.
Ablationsstudien:
- Lernrate: Übermäßig hohe LRs verursachten einen Performance-Kollaps (katastrophales Vergessen), während zu niedrige LRs die Effizienz der Wissenserwerbs beschränkten. Die vorhergesagte LR balancierte diese Faktoren aus.
- Batch-Größe: Kleine Batches führten zu instabiler Optimierung, während übermäßig große Batches die Frequenz der Gradienten-Updates reduzierten und somit die Konvergenz behinderten. Die vorhergesagte Batch-Größe optimierte diesen Trade-off.
Effizienz: Im Vergleich zu Grid-Searches auf Zielmodellen reduzierte die vorgeschlagene Methode die Rechenkosten für Dense-8B um 92,0 % und für MoE-3B um 73,1 %, indem sie kleine Scale-Proxy-Modelle nutzte.
Validität von $C_{pre}$ : Ablationsstudien zeigten, dass das Ignorieren des Ausgangszustands (Variante A) oder die Verwendung der rohen Pre-training-Token-Anzahl (Variante B) zu suboptimalen Hyperparametern und geringerer Performance führte, was bestätigt, dass $C_{pre}$ effektiv für Domänenverschiebungen kalibriert.

Bedeutung und Ansprüche

Die Arbeit beansprucht, eine fundierte und effiziente Methodik für diverse Continued-Pre-training-Szenarien bereitzustellen. Durch den Nachweis, dass optimale Hyperparameter selbst beim Start von einer Nicht-Zufalls-Initialisierung stabilen, vorhersagbaren Skalierungsgesetzen folgen, bietet die Arbeit eine praktikable Alternative zu kostspieligen Heuristiken und Grid-Searches. Die Einführung von $C_{pre}$ ermöglicht es Praktikern, CPT als Fortsetzung eines einzigen Optimierungspfades zu behandeln, was eine zuverlässige Hyperparameter-Vorhersage für Modelle in jeder Phase ihres Lebenszyklus ermöglicht. Die Autoren merken an, dass die Verallgemeinerbarkeit des Frameworks über Architekturen hinweg gegeben ist, die Verifizierung auf ultra-großen Skalen (70B+ Parameter) und in hochspezialisierten Domänen jedoch eine Richtung für zukünftige Untersuchungen bleibt.