📊 statistics

A Proof of Learning Rate Transfer under $μ$ P

Diese Arbeit liefert den ersten Beweis dafür, dass bei der $μ$ P-Parametrisierung eines linearen mehrschichtigen Perzeptrons die optimale Lernrate im Grenzwert unendlicher Breite gegen eine von Null verschiedene Konstante konvergiert, was die Übertragbarkeit der Lernrate theoretisch erklärt und im Gegensatz zu Standard- sowie NTP-Parametrisierungen steht.

Ursprüngliche Autoren: Soufiane Hayou

Veröffentlicht 2026-02-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Soufiane Hayou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der "Goldene Mittelwert" ist schwer zu finden

Stell dir vor, du bist ein Koch, der ein riesiges, komplexes Gericht kochen möchte (ein künstliches neuronales Netz). Du hast zwei wichtige Zutaten:

Die Größe des Topfes (die Breite des Netzwerks): Je mehr Zutaten du hast, desto größer kann dein Topf sein.
Die Hitze des Herds (die Lernrate): Das ist die Geschwindigkeit, mit der du kochst.

Das Problem ist: Wenn du einen kleinen Topf (ein kleines Netzwerk) benutzt, brauchst du eine bestimmte Hitze, damit das Essen nicht anbrennt oder gar nicht kocht. Aber wenn du plötzlich einen riesigen, industriellen Topf (ein sehr großes Netzwerk) benutzt, funktioniert diese Hitze oft nicht mehr. Du musst die Hitze neu justieren.

In der Welt der KI bedeutet das: Wenn Forscher ein kleines Modell testen und die perfekte Lernrate finden, müssen sie diese Rate oft komplett neu berechnen, wenn sie das Modell auf die Größe eines Giganten skalieren. Das ist teuer, zeitaufwendig und nervig.

Die Lösung: µP (das "perfekte" Rezept)

Vor einiger Zeit haben Forscher (Yang und Hu) eine spezielle Art, ihre Modelle aufzubauen, entwickelt, die sie µP (Maximal Update Parametrization) nennen. Sie sagten im Grunde: "Wenn wir die Zutaten (die Gewichte) und die Hitze (die Lernrate) ganz genau nach einem bestimmten mathemischen Rezept mischen, dann passiert etwas Magisches: Die perfekte Hitze bleibt gleich, egal wie groß der Topf wird!"

Das nennt man Lernraten-Transfer. Man könnte das perfekte Rezept für einen kleinen Topf finden und es einfach 1:1 auf einen riesigen Topf übertragen, ohne neu zu experimentieren.

Aber: Niemand konnte beweisen, warum das funktioniert. Es war nur eine Beobachtung. Bis jetzt.

Was diese neue Arbeit beweist

Soufiane Hayou hat jetzt den ersten mathematischen Beweis geliefert, dass dieses µP-Rezept wirklich funktioniert. Er hat gezeigt, dass unter bestimmten Bedingungen die optimale Lernrate nicht verschwindet, sondern sich stabilisiert, wenn das Netzwerk unendlich groß wird.

Hier ist die Erklärung mit einer Analogie:

1. Die zwei Arten, einen Topf zu füllen (µP vs. SP)

Stell dir vor, du füllst deinen Topf mit Wasser (Daten) und Zutaten (Gewichte). Es gibt zwei Hauptmethoden:

Die alte Methode (Standard-Parametrisierung / SP):
Stell dir vor, du füllst den Topf einfach so, wie es üblich ist. Wenn der Topf riesig wird, verdünnen sich die Zutaten. Um das gleiche Geschmacksprofil zu bekommen, musst du die Hitze (Lernrate) immer weiter herunterdrehen, fast bis auf Null.
- Das Ergebnis: Je größer der Topf, desto kleiner muss die Hitze sein. Es gibt keinen festen "Goldenen Mittelwert". Du musst jedes Mal neu justieren. Das ist wie wenn du bei einem kleinen Topf bei Stufe 5 kochst, bei einem mittelgroßen bei Stufe 2 und bei einem riesigen bei Stufe 0,1.
Die neue Methode (µP):
Hier passt du die Menge der Zutaten so an, dass sie sich perfekt ausbalancieren, egal wie groß der Topf ist. Die Zutaten sind so gewichtet, dass sie sich gegenseitig aufheben oder verstärken, genau richtig für die Größe des Topfes.
- Das Ergebnis: Die perfekte Hitze bleibt konstant. Wenn du bei einem kleinen Topf bei Stufe 5 kochst, kochst du auch bei einem riesigen Topf bei Stufe 5. Das ist der "Transfer".

2. Der Beweis: Warum bleibt die Hitze gleich?

Hayou hat sich das mathematisch genau angesehen. Er hat das Kochen (das Training) als eine Art Polynom (eine komplexe mathematische Formel) betrachtet, die von der Hitze abhängt.

Bei der alten Methode (SP): Wenn der Topf (die Breite $n$ ) riesig wird, verschwinden alle wichtigen Terme in der Formel, außer einem, der gegen Null geht. Das bedeutet, die optimale Hitze muss auch gegen Null gehen.
Bei µP: Durch die spezielle Art, wie die Zutaten gewichtet sind, bleibt der wichtigste Term in der Formel stabil. Er wird nicht kleiner, egal wie groß $n$ wird. Deshalb bleibt die optimale Hitze ein fester, nicht-null Wert.

Stell dir vor, du hast eine Waage. Bei der alten Methode wird eine Seite der Waage so schwer, dass die andere Seite (die Lernrate) komplett hochschnellt oder runterfällt. Bei µP ist die Waage so konstruiert, dass sie immer im Gleichgewicht bleibt, egal wie viele Zutaten du hinzufügst.

Was bedeutet das für die Zukunft?

Dieser Beweis ist wie der "Heilige Gral" für KI-Ingenieure.

Vorher: Man musste riesige Supercomputer anwerfen, um herauszufinden, welche Lernrate für ein riesiges KI-Modell gut ist. Das kostet Millionen.
Nachher: Man kann ein kleines, schnelles Modell auf einem Laptop trainieren, die perfekte Lernrate finden und diese Rate dann direkt auf das riesige Modell übertragen. Man spart Zeit, Geld und Energie.

Zusammenfassung in einem Satz

Dieses Papier beweist mathematisch, dass es eine spezielle Art gibt, KI-Modelle zu bauen (µP), bei der man die "perfekte Lerngeschwindigkeit" einmal für ein kleines Modell herausfinden kann und sie dann für unendlich große Modelle verwenden darf, ohne sie neu justieren zu müssen – im Gegensatz zu den alten Methoden, bei denen man bei jedem Größenwechsel neu raten muss.

Es ist der Unterschied zwischen einem Koch, der für jede Topfgröße neu messen muss, und einem Koch, der ein universelles Rezept hat, das immer funktioniert.

1. Problemstellung

Das Paper adressiert ein zentrales Problem im Training großer neuronaler Netze: die Skalierung von Hyperparametern (insbesondere der Lernrate $\eta$ ) mit der Netzwerkbreite ( $n$ ).

Herausforderung: Beim Skalieren von Modellen (Erhöhung der Breite) müssen Hyperparameter oft neu justiert werden, um numerische Stabilität und optimale Leistung zu gewährleisten. In der Praxis ist dies teuer und zeitaufwendig.
Phänomen: Es wurde empirisch beobachtet, dass unter der sogenannten Maximal Update Parametrization (µP) die optimale Lernrate bei wachsender Breite gegen einen konstanten, von Null verschiedenen Wert konvergiert. Dies ermöglicht das „Zero-Shot Transfer" von Hyperparametern: Man kann die optimale Lernrate auf einem kleinen Modell finden und direkt auf viel größere Modelle anwenden.
Lücke: Bisher gab es keine rigorose mathematische Beweisführung für dieses Phänomen. Die existierende Intuition besagte lediglich, dass µP „maximales Feature-Learning" im unendlich breiten Limit ermöglicht, im Gegensatz zu anderen Parametrisierungen wie der Standard-Parametrisierung (SP) oder der Neural Tangent Parametrization (NTP), bei denen die optimale Lernrate gegen Null geht oder divergiert.

2. Methodik

Der Autor betrachtet ein lineares Multi-Layer Perceptron (MLP) mit $L$ Schichten und Breite $n$ . Das Modell wird durch Gradientenabstieg (GD) trainiert, um den quadratischen Verlust zu minimieren.

Kernidee des Beweises:
Die Verlustfunktion $L_n^{(t)}(\eta)$ nach $t$ TrainingsSchritten kann als Polynomfunktion der Lernrate $\eta$ ausgedrückt werden.
$f^{(t)}(x) = f^{(0)}(x) + \sum_{k} \phi_k \eta^k$
Der Beweis analysiert das asymptotische Verhalten der Koeffizienten $\phi_k$ dieses Polynoms, wenn die Breite $n \to \infty$ geht.

Untersuchte Parametrisierungen:

µP (Maximal Update Parametrization):
- Initialisierung: $W_\ell \sim \mathcal{N}(0, n^{-1})$ , $V \sim \mathcal{N}(0, n^{-2})$ .
- Lernrate: $\eta$ (konstant, keine Skalierung mit $n$ für GD).
SP (Standard Parametrization):
- Initialisierung: $W_\ell \sim \mathcal{N}(0, n^{-1})$ , $V \sim \mathcal{N}(0, n^{-1})$ .
- Lernrate: $\eta$ (konstant).
NTP (Neural Tangent Parametrization): Führt zu einem Kernel-Regime ohne Feature-Learning.

Der Beweis nutzt Werkzeuge aus der Theorie der Tensor-Programme (Tensor Programs), um die Konvergenz der Koeffizienten fast sicher (almost surely) gegen deterministische Konstanten zu zeigen.

3. Wichtige Beiträge und Ergebnisse

A. Theoretischer Beweis für µP (Satz 1 & 3)

Der Hauptbeitrag ist der erste strenge Beweis, dass unter µP die optimale Lernrate $\eta_n^*$ bei wachsender Breite $n$ gegen einen nicht-null deterministischen Grenzwert $\eta_\infty^*$ konvergiert.

Schritt $t=1$ :
- Der Verlust ist asymptotisch quadratisch in $\eta$ .
- Der Koeffizient des linearen Terms ( $\phi_1$ ) konvergiert gegen eine deterministische Konstante (basierend auf dem Gram-Matrix der Eingaben).
- Alle höheren Terme ( $\phi_k$ für $k \ge 2$ ) konvergieren gegen Null mit der Rate $O(n^{-(k-1)/2})$ .
- Ergebnis: Die optimale Lernrate konvergiert mit der Rate $O(n^{-1/2})$ gegen $\eta_\infty^* = \frac{m}{L} \frac{y^\top K y}{\|Ky\|^2}$ , wobei $K$ die normalisierte Eingabe-Gram-Matrix ist.
Allgemeine Schritte $t \ge 2$ :
- Die Analyse wird komplexer, da höhere Ordnungen von $\eta$ nicht mehr vernachlässigbar sind (der führende Term kann Grad $3L-1$ haben).
- Dennoch wird gezeigt, dass die Koeffizienten des Polynoms gegen deterministische Grenzwerte konvergieren.
- Unter der Annahme, dass der Grenzverlust eine eindeutige Minimierung besitzt, konvergiert $\eta_n^*$ fast sicher gegen $\eta_\infty^* > 0$ .

B. Scheitern des Transfers bei SP und NTP

Standard Parametrisierung (SP):
- Aufgrund der Initialisierung von $V$ mit Varianz $n^{-1}$ (statt $n^{-2}$ bei µP) werden alle Koeffizienten des Verlustpolynoms um einen Faktor $\sqrt{n}$ verstärkt.
- Um den Verlust zu minimieren, muss die Lernrate $\eta_n$ diesen Anstieg kompensieren, indem sie gegen Null konvergiert ( $\eta_n \to 0$ ).
- Fazit: Kein LR-Transfer; die optimale Lernrate verschiebt sich drastisch mit der Breite.
NTP: Führt zu einem ähnlichen Versagen des Transfers, da das System in ein Kernel-Regime übergeht, in dem keine Feature-Updates stattfinden.

C. Empirische Validierung

Die theoretischen Ergebnisse wurden durch umfangreiche Experimente untermauert:

Lineare MLPs: Bestätigung der Konvergenz von $\eta_n$ gegen $\eta_\infty$ für verschiedene Breiten ( $n=128$ bis $8192$) und Tiefe.
Nicht-lineare Szenarien: Tests mit ReLU-Aktivierungsfunktionen, Adam-Optimierer und verschiedenen Tiefen ( $L=3, 9, 27$ ) zeigten, dass der LR-Transfer auch in diesen komplexeren Settings empirisch robust ist, obwohl der strenge Beweis nur für lineare Netze mit GD gilt.
Konvergenzrate: Die empirische Konvergenzrate von $O(n^{-1/2})$ wurde bestätigt.

4. Signifikanz und Implikationen

Theoretische Fundierung: Das Paper schließt eine wichtige Lücke in der Theorie des Deep Learning, indem es das empirisch beobachtete Phänomen des „Hyperparameter Transfers" unter µP mathematisch rigoros beweist.
Praktische Relevanz: Es liefert eine theoretische Begründung dafür, warum µP in der Praxis so erfolgreich ist: Es ermöglicht das Tuning von Hyperparametern auf kleinen Modellen und die direkte Übertragung auf riesige Modelle (z. B. LLMs), was enorme Rechenkosten spart.
Unterscheidung von NTK: Es unterstreicht den fundamentalen Unterschied zwischen dem NTK-Regime (kein Feature-Learning, keine LR-Transfer-Eigenschaft) und dem µP-Regime (maximales Feature-Learning, stabile LR).
Richtungsweisend: Die Methode, die Verlustfunktion als Polynom in der Lernrate zu analysieren, bietet einen neuen Ansatz für die Untersuchung von Skalierungsgesetzen in neuronalen Netzen.

Zusammenfassend beweist das Paper, dass µP die einzige bekannte Parametrisierung ist, die eine stabile, nicht-triviale Lernrate im unendlich breiten Limit garantiert, und liefert damit die theoretische Basis für effizientes Scaling von KI-Modellen.