🤖 machine learning

On the Nonlinearity of Learning Rate Scaling for LLM Training

Dieses Paper stellt die Annahme einer log-linearen Skalierung der Lernrate beim Training von LLMs infrage, indem es zeigt, dass optimale Lernraten bei größeren Skalen eine Aufwärtskrümmung aufweisen – eine Nichtlinearität, die durch die Verwendung effektiver Lernraten und datenbasierter Extrapolation aufgelöst wird und somit ein präziseres sowie kosteneffizienteres Transfer Learning ermöglicht.

Ursprüngliche Autoren: Zaiwen Yang, Huaqing Zhang, Jing Xu, Jingzhao Zhang

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zaiwen Yang, Huaqing Zhang, Jing Xu, Jingzhao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen Roboter das Schreiben von Gedichten beizubringen. Um dies zu tun, müssen Sie die perfekte „Lehrgeschwindigkeit“ (die sogenannte Lernrate) finden. Wenn Sie zu schnell lehren, wird der Roboter verwirrt; wenn Sie zu langsam lehren, lernt er nie.

Normalerweise ist das Finden dieser perfekten Geschwindigkeit für einen riesigen Roboter unglaublich teuer und zeitaufwendig. Also versuchen Wissenschaftler eine Abkürzung: Sie lehren zuerst einen winzigen Roboter, finden die beste Geschwindigkeit für ihn heraus und raten dann, was die Geschwindigkeit für den riesigen Roboter sein sollte. Sie nehmen an, dass die Beziehung einfach und geradlinig ist, wie ein Lineal: „Wenn der Roboter doppelt so groß ist, passen wir die Geschwindigkeit einfach um diesen festen Betrag an.“

Dieses Paper, geschrieben von Forschern der Tsinghua University, sagt: „Dieses Lineal ist eigentlich verbogen.“

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Das verbogene Lineal (Das Problem)

Die Forscher testeten diesen „Shortcut“, indem sie Roboter (KI-Modelle) verschiedener Größen trainierten, von klein bis sehr groß. Sie fanden heraus, dass Ihre geradlinige Schätzung fehlschlägt, wenn Sie versuchen, die perfekte Geschwindigkeit für einen riesigen Roboter basierend auf kleinen Modellen vorherzusagen.

Die Analogie: Stellen Sie sich vor, Sie fahren ein Auto. Sie wissen, dass Sie auf 10 Meilen etwa 1 Gallone Benzin verbrauchen. Sie könnten raten, dass Sie für 100 Meilen 10 Gallonen benötigen. Aber was ist, wenn der Motor weniger effizient wird, wenn das Auto größer und schwerer wird? Sie bräuchten möglicherweise tatsächlich mehr als 10 Gallonen.
Das Ergebnis: Die „Lernrate“ folgt keiner geraden Linie. Wenn das Modell riesig wird, krümmt sich die optimale Geschwindigkeit nach oben. Wenn Sie die alte geradlinige Schätzung verwenden, wählen Sie eine Geschwindigkeit, die zu langsam ist, und der riesige Roboter wird schlecht lernen.

2. Der geheime Kompass: „Effektive Lernrate“

Die Forscher erkannten, dass das Problem nicht mit der Geschwindigkeit selbst liegt, sondern damit, wie wir sie messen. Sie führten ein neues Konzept namens Effektive Lernrate ein.

Die Analogie: Betrachten Sie die „Lernrate“ als den Tachometer auf dem Armaturenbrett Ihres Autos. Aber die „Effektive Lernrate“ ist die tatsächliche Distanz, die Ihr Auto zurücklegt.
- Manchmal können Sie zwar das Gaspedal durchdrücken (eine hohe Lernrate einstellen), aber wenn das Auto schwer ist oder die Räder durchdrehen (aufgrund der Art und Weise, wie sich die internen Gewichte der KI verändern), bewegt sich das Auto nicht so weit, wie der Tachometer suggeriert.
- Die Forscher fanden heraus, dass die Beziehung wieder eine perfekte, gerade Linie wird, wenn man die tatsächliche zurückgelegte Distanz (die effektive Rate) misst, anstatt nur die Tachometeranzeige. Es ist, als würde man von einem kaputten Tachometer zu einem GPS wechseln, das einem genau sagt, wie weit man tatsächlich gefahren ist.

3. Der beste Shortcut: Schauen Sie auf die Daten, nicht auf die Größe

Das Paper testete auch zwei Wege, um die Vorhersage zu treffen:

Modellgrößen-Skalierung (Model-Size Scaling): Die Geschwindigkeit basierend darauf zu raten, wie groß der Roboter ist.
Daten-Skalierung (Data-Scaling): Die Geschwindigkeit basierend darauf zu raten, wie viel „Text“ (Daten) der Roboter lesen muss.

Das Ergebnis: Die „Data-Scaling“-Methode ist viel besser.
Die Analogie: Stellen Sie sich vor, Sie unterrichten einen Schüler.
- Methode A (Größe): Sie raten, wie schnell Sie ihn unterrichten müssen, basierend darauf, wie groß er ist. (Dies ist unzuverlässig; ein großer Schüler könnte genauso schnell lernen wie ein kleiner).
- Methode B (Daten): Sie raten, wie schnell Sie ihn unterrichten müssen, basierend darauf, wie viele Seiten das Lehrbuch hat, das er lesen muss. (Dies ist viel genauer).
- Das Paper zeigt, dass die Vorhersage basierend auf der Menge der Daten weitaus zuverlässiger ist als die Vorhersage basierend auf der Größe des Modells.

4. Warum tritt die Kurve auf? (Die „Einschwingphase“)

Die Autoren erklären, warum die gerade Linie sich verbiegt. Sie fanden heraus, dass bei einer sehr langsamen Lernrate die internen „Muskeln“ (Gewichtsnormen) des Roboters lange brauchen, um sich zu entspannen und in eine komfortable Position einzupendeln.

Die Analogie: Stellen Sie sich eine schwere Tür an einer Feder vor.
- Wenn Sie hart drücken (schnelle Lernrate), schwingt sie schnell auf und pendelt sich ein.
- Wenn Sie sehr sanft drücken (langsame Lernrate), dauert es lange, bis sie überhaupt in Bewegung kommt. Sie bleibt in einer „transienten“ Phase stecken, in der sie wackelt, aber nicht wirklich vorankommt.
- Um die Tür effektiv zu bewegen, wenn Sie sanft drücken, müssen Sie tatsächlich stärker drücken, als die einfache Mathematik vorhersagt, um das anfängliche Wackeln zu überwinden. Dieser „zusätzliche Stoß“ ist der Grund, warum die Kurve für große Modelle nach oben gebogen ist.

Das Fazit

Das Paper kommt zu dem Schluss, dass man beim Training massiver KIs, um Geld und Zeit zu sparen:

Vertrauen Sie nicht der alten „geraden Linie“-Mathematik für Lernraten; sie unterschätzt die benötigte Geschwindigkeit für große Modelle.
Konzentrieren Sie sich auf die Effektive Lernrate (die echte Bewegung, nicht nur die Einstellung).
Sagen Sie die Geschwindigkeit basierend darauf voraus, wie viele Daten das Modell sieht, und nicht nur darauf, wie groß das Modell ist.

Indem Sie dies tun, können Sie die perfekte Trainingsgeschwindigkeit mit viel höherer Genauigkeit vorhersagen und so eine enorme Menge an Rechenleistung einsparen.

Technisches Resümee: Über die Nichtlinearität der Skalierung der Lernrate beim Training von LLMs

Problemstellung

Das effiziente Training großer Sprachmodelle (LLMs) erfordert eine sorgfältige Hyperparameter-Abstimmung, doch das direkte Durchsuchen von Lernraten bei Zielskalen ist oft prohibitiv teils teuer. Folglich verlassen sich Praktiker auf Hyperparameter-Transfer, indem sie optimale Einstellungen für großskalige Modelle basierend auf kleineren Modellen vorhersagen. Eine vorherrschende Annahme in diesem Bereich ist, dass die optimale Lernrate ( $\eta^*$ ) einer log-linearen (Potenzgesetz-) Skalierungsbeziehung in Bezug auf die Datengröße ( $D$ ) und die Modellgröße ( $N$ ) folgt:
$\log \eta^*(D, N) = a \log D + b \log N + c$
Bestehende Studien versäumen es jedoch häufig, rigoros zu evaluieren, ob diese log-lineare Annahme global gilt oder nur lokal, und sie lassen oft die Rechenkosten offen, die für das Anpassen dieser Skalierungsgesetze erforderlich sind. Diese Arbeit untersucht die Gültigkeit dieses Skalierungsgesetzes sowie die Effizienz verschiedener Extrapolationsstrategien (Daten-Achse vs. Modell-Achse) und Parameterisierungen (Lernrate vs. effektive Lernrate).

Methodik

Die Autoren führten eine systematische empirische Studie unter Verwendung von GPT-2-ähnlichen Architekturen (von 22 Mio. bis 707 Mio. Parametern) durch, die auf dem FineWeb-100B-Datensatz mit Token-Budgets von 5B bis 100B trainiert wurden.

Experimentelles Design:
- Die Modelle wurden unter Verwendung von AdamW mit einer festen Batch-Größe (0,52 Mio. Token) und einem Warmup-Steady-Decay-Schema (WSD) trainiert.
- Die Lernraten wurden über ein logarithmisches Gitter ( $\log_2 \eta \in [-16, -7]$ ) untersucht.
- Optimale Lernrate ( $\eta^*$ ): Geschätzt durch das Anpassen eines kubischen Polynoms an den Validierungsverlust als Funktion von $\log \eta$ .
- Effektive Lernrate ( $\eta_{eff}$ ): Definiert als die Schrittweite im normierten Gewichtsraum: $\eta_{eff}(t) = \|\hat{w}_{t+1} - \hat{w}_t\|_2$ , wobei $\hat{w} = w/\|w\|_2$ . Die optimale effektive Lernrate ( $\eta^*_{eff}$ ) wurde analog geschätzt.
Evaluationsmetriken:
- Out-of-Distribution $R^2$ ( $R^2_{OOD}$ ): Misst die Vorhersagegenauigkeit von Skalierungsgesetzen auf ungesehenen Skalen.
- Extra Compute Ratio (ECR): Quantifiziert die zusätzlichen Rechenkosten, die entstehen, wenn eine vorhergesagte Lernrate anstelle der wahren optimalen Lernrate verwendet wird, um denselben Validierungsverlust zu erreichen.
- Rechenbeschränkte Extrapolation: Die Autoren verglichen die Extrapolation entlang der Daten-Achse (Variieren von $D$ bei festem großen $N$ ) mit der Modell-Achse (Variieren von $N$ bei festem großen $D$ ) unter identischen Rechenbudgets.
Theoretische Analyse:
- Das Paper analysiert die impliziten Dynamiken von AdamW, insbesondere die Beziehung zwischen der rohen Lernrate $\eta$ und der effektiven Lernrate $\eta_{eff}$ , unter Berücksichtigung des transienten Verhaltens der Gewichtsnormen.
- Die Experimente wurden mit AdamH wiederholt, einem Optimierer, der $\eta_{eff}$ explizit steuert, um die Effekte der Gewichtsnorm-Dynamik zu isolieren.

Kernergebnisse

1. Nichtlinearität der optimalen Lernrate

Die Studie stellt fest, dass die optimale Lernrate $\eta^*$ nicht einem globalen log-linearen Skalierungsgesetz folgt.

Aufwärtskrümmung: Mit zunehmender Datengröße $D$ und Modellgröße $N$ zeigt $\eta^*$ eine systematische Aufwärtskrümmung. Eine log-lineare Extrapolation von kleineren Skalen unterschätzt die optimale Lernrate für größere Skalen konsequent.
Linearität der effektiven Lernrate: Im Gegensatz dazu zeigt die optimale effektive Lernrate ( $\eta^*_{eff}$ ) über dieselben Bereiche hinweg ein wesentlich lineareres Skalierungsverhalten mit höheren Pearson-Korrelationskoeffizienten.

2. Überlegenheit der Daten-Achsen-Extrapolation

Beim Vergleich von Extrapolationsstrategien unter festen Rechenbudgets:

Daten-Achse vs. Modell-Achse: Das Anpassen von Skalierungsgesetzen entlang der Datengrößen-Achse ( $D$ ) liefert signifikant genauere Vorhersagen als entlang der Modellgrößen-Achse ( $N$ ).
Recheneffizienz: Die Verwendung der Daten-Achsen-Extrapolation mit der effektiven Lernrate verursacht nur etwa 2 % zusätzliche Rechenleistung im Vergleich zur Verwendung der wahren optimalen Lernrate. Dies ist weniger als 20 % der Rechenleistung, die für ein vollständiges Hyperparameter-Sweeping auf der Zielskala erforderlich wäre.

3. Mechanistische Erklärung

Das Paper führt die Nichtlinearität in $\eta^*$ auf die transienten Dynamiken der Gewichtsnormen in AdamW zurück:

Zwei Regime: Die Beziehung zwischen $\eta$ $η$ und $\eta_{eff}$ $η_{e f f}$ hängt davon ab, ob die Gewichtsnorm $\|w_t\|$ $∥ w_{t} ∥$ das Gleichgewicht erreicht hat.
- Gleichgewichts-Regime: $\eta_{eff} \propto \sqrt{\eta}$ (Steigung 2 im Log-Log-Raum).
- Pre-Gleichgewichts-Regime: $\eta_{eff} \propto \eta$ (Steigung 1 im Log-Log-Raum).
Einfluss der Skalierung: Da die optimale Lernrate für größere Modelle/Daten sinkt, verbleibt der Trainingshorizont oft im Pre-Gleichgewichts-Regime (in dem die Gewichtsnormen noch nicht relaxiert sind). Dies verschiebt die Dynamik der effektiven Schrittweite, was die beobachtete Aufwärtskrümmung in $\eta^*$ verursacht.
Validierung via AdamH: Wenn AdamH verwendet wird, um $\eta_{eff}$ explizit zu steuern, wird das Skalierungsgesetz strikt log-linear, was bestätigt, dass die Nichtlinearität im Standard-AdamW aus der impliziten, zeitvarianten Abbildung zwischen $\eta$ und $\eta_{eff}$ resultiert.

Bedeutung und Ansprüche

Das Paper beansprucht drei primäre Beiträge:

Empirische Korrektur: Es zeigt, dass das Standard-log-lineare Skalierungsgesetz für Lernraten nur eine lokale Eigenschaft ist und aufgrund der Aufwärtskrümmung bei größeren Skalen versagt, was zu ungenauer Extrapolation führt.
Praktische Transferstrategien: Es identifiziert zwei spezifische Entscheidungen, die den Hyperparameter-Transfer erheblich verbessern:
- Die Parameterisierung des Skalierungsgesetzes mittels der effektiven Lernrate ( $\eta_{eff}$ ) anstatt der rohen Lernrate.
- Die Extrapolation entlang der Daten-Achse ( $D$ ) anstatt der Modellgröße ( $N$ ).
Theoretische Einsicht: Es liefert eine mechanistische Erklärung für die beobachtete Nichtlinearität, indem es diese mit dem transienten Verhalten der Gewichtsnormen in AdamW verknüpft. Die Autoren argumentieren, dass $\eta_{eff}$ die fundamentalere Größe ist, welche die Optimierungsdynamik in skaleninvarianten Architekturen steuert.

Die Autoren weisen auf Limitationen hin, einschließlich des Fokus auf GPT-2-Architekturen und AdamW, der Abhängigkeit von der kubischen Anpassung zur Schätzung von $\eta^*$ sowie der Tatsache, dass die Analyse auf Skalen bis zu 100B Tokens und 707M Parametern begrenzt ist. Sie behaupten nicht, dass diese Ergebnisse automatisch auf alle Architekturen oder Optimierer ohne weitere Verifizierung generalisierbar sind.