📊 statistics

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

Dieser Beitrag stellt ScheduleFree+ vor, eine lernratenfreie und planungsfreie Methode, die das Schedule-Free Learning erfolgreich auf große Sprachmodelle überträgt und dabei bestehende Trainingspläne wie Warmup-Stable-Decay, insbesondere in Langzeit-Trainingszenarien, deutlich übertrifft.

Ursprüngliche Autoren: Aaron Defazio

Veröffentlicht 2026-05-20

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aaron Defazio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, superintelligenten Roboter (ein Large Language Model) beizubringen, menschliche Sprache zu sprechen. Um dies zu tun, zeigen Sie ihm Milliarden von Sätzen und lassen ihn das nächste Wort erraten, wobei Sie seine Fehler immer wieder korrigieren.

Lange Zeit war der Standardweg, diesen Roboter zu unterrichten, die Verwendung eines Learning Rate Schedule (Lernraten-Plan). Stellen Sie sich dies wie einen strengen Lehrer vor, der den Unterricht mit einer sehr lauten, energischen Stimme (hohe Lernrate) beginnt, um die Aufmerksamkeit des Roboters zu erregen, aber dann langsam flüstert und ausklingt (niedrige Lernrate), wenn der Unterricht zu Ende geht. Das Problem? Sie müssen genau raten, wann Sie mit dem Flüstern beginnen und wie schnell Sie ausklingen sollen. Wenn Sie falsch raten, lernt der Roboter schlecht.

Diese Arbeit stellt eine neue Methode namens ScheduleFree+ vor. Anstatt eines Lehrers, der seine Lautstärke im Laufe der Zeit ändert, verwendet diese Methode eine Technik des „intelligenten Mittelwerts", die es dem Roboter ermöglicht, in einem konstanten, selbstbewussten Tempo zu lernen, ohne einen komplexen Plan zu benötigen.

Hier erklärt die Arbeit die Magie hinter ScheduleFree+ mit einfachen Analogien:

1. Der Trick des „intelligenten Mittelwerts" (Die Kernidee)

Beim traditionellen Training aktualisiert der Roboter sein Gehirn basierend auf dem sehr letzten Ding, das es gesehen hat. Dies ist wie ein Schüler, der sich nur an die letzte Frage im Unterricht erinnert.

Schedule-Free ändert dies. Es hält zwei Versionen des Roboterhirns vor:

Das „Aktive" Gehirn ( $z$ ): Dies ist der Roboter, der sich in Echtzeit aktualisiert und aus den neuesten Fehlern lernt.
Das „Durchschnittliche" Gehirn ( $x$ ): Dies ist eine ruhige, stabile Version, die sich an den Durchschnitt von allem erinnert, was der Roboter bisher gelernt hat.

Die Magie geschieht, weil der Roboter nicht nur auf das „Aktive" Gehirn schaut, um zu entscheiden, was als Nächstes zu tun ist. Es schaut auf eine Mischung aus dem „Aktiven" Gehirn und dem „Durchschnittlichen" Gehirn.

Analogie: Stellen Sie sich vor, Sie navigieren ein Schiff. Das „Aktive" Gehirn ist der Kapitän, der die Wellen gerade jetzt betrachtet (sehr reaktiv). Das „Durchschnittliche" Gehirn ist der Navigator, der die Karte der gesamten bisherigen Reise betrachtet (sehr stabil). Die neue Methode sagt dem Kapitän, er soll basierend auf einer Mischung aus beidem steuern. Dies verhindert, dass das Schiff wild ausbricht, wenn es auf eine kleine Welle trifft, und führt zu einer viel glatteren, schnelleren Reise.

2. Warum es zuvor scheiterte (Das Problem der „großen Batches")

Die Autoren stellten fest, dass diese „intelligente Mittelwertbildung" zwar bei kleinen Robotern hervorragend funktionierte, aber versagte, wenn sie versuchten, riesige Roboter mit enormen Datenmengen (großen „Batches") zu trainieren.

Das Problem: Wenn Sie dem Roboter zu viele Daten auf einmal zuführen (eine große „Batch"), wird das „Aktive" Gehirn verwirrt und beginnt zu wackeln, was zum Absturz des Trainings führt.
Die Lösung: Sie fügten Inner Momentum hinzu. Stellen Sie sich dies vor, als würden Sie dem Roboter ein wenig „Trägheit" oder „Schwung" geben. Genau wie ein schwerer LKW schwerer zu stoppen und zu lenken ist als ein Fahrrad, hilft der Schwung dem Roboter, auf Kurs zu bleiben, selbst wenn die Daten riesig und verrauscht sind. Dies ermöglichte es ihnen, die Methode auf massive Modelle hochzuskalieren.

3. Die „selbstjustierende" Geschwindigkeit (Kein Raten mehr)

Normalerweise müssen Menschen manuell einstellen, wie schnell der Roboter lernt. Die Arbeit führt eine Polyak Step Size ein, die wie ein selbstfahrender Tacho funktioniert.

Wie es funktioniert: Anstatt dass ein Mensch die Geschwindigkeit festlegt, betrachtet der Roboter, wie „verwirrt" er ist (die Größe seiner Fehler), und passt seine Geschwindigkeit automatisch an. Wenn die Fehler groß sind, verlangsamt es sich, um sorgfältig nachzudenken. Wenn die Fehler klein sind, beschleunigt es.
Das Ergebnis: Sie müssen die Lernrate nicht mehr raten. Die Methode ist „lernratenfrei", was bedeutet, dass sie die perfekte Geschwindigkeit selbstständig ermittelt.

4. Behebung der „driftenden" Gewichte

Die Arbeit entdeckte einen seltsamen Nebeneffekt: Bei Verwendung dieser neuen Methode wuchsen die internen „Gewichte" des Roboters (die Stärke seiner Verbindungen) manchmal zu groß oder schrumpften zu klein, was den Roboter instabil machte.

Die Analogie: Stellen Sie sich vor, die Gehirnzellen des Roboters werden zu groß und dehnen die Drähte, bis sie reißen.
Die Lösung: Sie wendeten eine spezielle „inverse-Gradienten"-Korrektur an. Stellen Sie sich dies als einen intelligenten Regler vor, der die Schrauben festzieht, sobald die Gehirnzellen des Roboters versuchen, zu groß zu werden, und alles stabil hält, damit die Drähte nicht reißen. Dies ermöglicht es dem Roboter, viel länger zu trainieren, ohne zu brechen.

5. Die „Warm-Up"- und „Cool-Down"-Anpassungen

Um dies für lange Trainingseinheiten perfekt funktionieren zu lassen, fügten sie zwei letzte Verfeinerungen hinzu:

Warm-Start: Ganz am Anfang ließen sie den Roboter für kurze Zeit normal lernen, ohne den „Mittelwert"-Trick. Dies ist wie ein Läufer, der ein paar Runden joggt, bevor er das Rennen beginnt, damit er nicht an der Startlinie strauchelt.
Beta Annealing: Während das Training fortschreitet, ändern sie langsam die „Mischung" zwischen dem Aktiven und dem Durchschnittlichen Gehirn. Am Anfang hören sie mehr auf das Aktive Gehirn (um schnell zu lernen). Später hören sie mehr auf das Durchschnittliche Gehirn (um präzise zu sein). Dies ist wie ein Schüler, der am Anfang hektisch Notizen macht, aber bis zum Ende des Semesters mehr auf seinen gut organisierten Lernleitfaden vertraut.

Das große Ergebnis

Als sie ScheduleFree+ an massiven Sprachmodellen testeten:

Es war schneller: Um das gleiche Intelligenzniveau zu erreichen, benötigte es 31 % weniger Zeit als die besten bestehenden Methoden.
Es war stabiler: Die Lernkurve war glatt und vorhersehbar, im Gegensatz zu den gezackten, holprigen Kurven älterer Methoden.
Es funktioniert für „Anytime"-Training: Sie können das Training zu jeder Sekunde stoppen, und der Roboter wird sich in seinem bestmöglichen Zustand für diesen Moment befinden. Sie müssen nicht auf ein bestimmtes „Ende des Plans" warten, um ein gutes Modell zu erhalten.

Zusammenfassend: Die Arbeit zeigt, dass wir durch das Mischen der aktuellen Gedanken des Roboters mit seinen durchschnittlichen Gedanken, das Hinzufügen eines wenig Schwungs für Stabilität und das Ermöglichen, dass der Roboter seine eigene Geschwindigkeit anpasst, riesige KI-Modelle schneller, glatter und ohne dass Menschen die Einstellungen ständig anpassen müssen, trainieren können.

Technische Zusammenfassung: ScheduleFree+ Skalierung von lernratenfreiem und planungsfreiem Lernen auf Large Language Models

1. Problemstellung

Das traditionelle maschinelle Lernen zur Optimierung stützt sich stark auf Lernratenpläne (z. B. Linear Decay, Cosine, Warmup-Stable-Decay), um eine Konvergenz sicherzustellen. Obwohl diese Methoden effektiv sind, erfordern sie erhebliches Tuning und führen häufig zu instabilen oder unvorhersehbaren Trainingskurven. Jüngste „Schedule-Free"-Lernmethoden, die Pläne durch aggressives Iterat-Averaging ersetzen, haben auf Benchmarks im kleinen Maßstab vielversprechende Ergebnisse gezeigt, sind jedoch historisch gescheitert, auf das Training von Large Language Models (LLMs) skaliert zu werden. Spezifisch litten frühere Schedule-Free-Implementierungen unter:

Divergenz bei großen Batch-Größen: Die Leistung verschlechterte sich erheblich, wenn die Batch-Größen über die Grenzen des kleinen Maßstabs hinaus erhöht wurden.
Gradient-Norm-Drift: Die Methode erforderte ungewöhnlich kleine Weight-Decay-Werte, um zu funktionieren, was zu instabilen Gewichtsnormen und schlechter Leistung bei langandauerndem Training führte.
Suboptimale Konvergenz bei langen Läufen: Die Methode nutzte die Vorteile des Averaging über ausgedehnte Trainingszeiträume (z. B. 1000 Tokens pro Parameter) nicht vollständig aus.

Der Artikel adressiert die Herausforderung, Schedule-Free-Learning so zu skalieren, dass es die Leistung von State-of-the-Art (SOTA) planungsbasierten Methoden für das LLM-Pretraining erreicht oder übertrifft, mit dem Ziel eines stabilen „Anytime"-Trainingsverfahrens, das kein Tuning der Lernrate erfordert.

2. Methodik: ScheduleFree+

Die Autoren schlagen ScheduleFree+ vor, eine zusammengesetzte Methode, die mehrere spezifische Modifikationen des Basis-Schedule-Free-Algorithmus integriert, um ihn für LLMs robust zu machen. Die Kernkomponenten sind:

A. Wiedereinführung des Inneren Moments

Während die ursprüngliche Schedule-Free-Arbeit das innere Moment (z. B. $\beta_1$ von Adam) entfernt hatte, um Speicher zu sparen, stellten die Autoren fest, dass dies bei großen Batch-Größen nachteilig war.

Fix: Wiedereinführung des inneren Moments (z. B. $\beta_1 = 0,75$ oder $0,9$) in den Basis-Optimierer.
Effekt: Dies stellt die Robustheit gegenüber größeren Batch-Größen wieder her und ermöglicht höhere Lernraten ohne Divergenz, wodurch die bei normalem Schedule-Free AdamW beobachtete „Scaling Cliff" behoben wird.

B. Inverse-Gradient-Norm-Gewichtung (Polyak-Schrittgröße)

Das Standard-Schedule-Free-Learning erforderte oft kleine Weight-Decay-Werte, um gegen zunehmende Gradientennormen zu kompensieren, was zu Instabilität führte. Die Autoren leiten eine theoretische Korrektur basierend auf der Polyak-Schrittgröße ab.

Mechanismus: Die Schrittgröße $\gamma_t$ wird umgekehrt proportional zur L1-Norm des Gradienten skaliert ( $\gamma_t \propto 1/\|g_t\|_1$ ).
Implementierung: Ein Exponentieller Gleitender Durchschnitt (EMA) der Gradienten-L1-Norm wird verwendet, um den Nenner zu schätzen, wodurch die aus konvexen Reue-Schranken abgeleitete optimale Gewichtung angenähert wird.
Ergebnis: Diese Korrektur wirkt dem durch Normalisierungsschichten verursachten effektiven Lernraten-Drift entgegen und ermöglicht die Verwendung von Standard- und größeren Weight-Decay-Werten (z. B. 0,05–0,5), die Gewichtsnormen stabilisieren und das Phänomen des „schrumpfenden Gewichtsnorms" verhindern, das lange Läufe destabilisiert.

C. Lernratenfreies Optimieren via Polyak-Schritt

Aufbauend auf der Inverse-Gradient-Gewichtung implementieren die Autoren eine vollständig lernratenfreie Variante unter Verwendung einer modifizierten Polyak-Schrittgröße:
$\gamma_t = \frac{f(y_t) - f^* + \beta \langle \nabla f(y_t), z_t - x_t \rangle}{\sqrt{\pi/2} \| \nabla f(y_t) \|_1}$

Stabilität: Der Zähler verwendet eine Schätzung der Funktionswertlücke ( $f(z_t) - f^*$ ) anstelle des verrauschten aktuellen Iterats, und der Nenner verwendet die geglättete L1-Norm. Dies vermeidet die bei stochastischen Polyak-Schritten üblichen Probleme mit verschwindenden Nennern.
Adaptivität: Dieser Ansatz skaliert die Lernrate automatisch mit der Batch-Größe (folgend der $\sqrt{b}$ -Skalierung für AdamW) und eliminiert die Notwendigkeit manueller Lernraten-Gittersuche.

D. Warm-Start- und Annealing-Strategien

C-Warmup: Um zu verhindern, dass der Averaging-Puffer frühe Phasen schneller Konvergenz verwässert, verzögern die Autoren das Averaging-Update ( $c_t = 1$ ) für einen initialen Zeitraum (z. B. das 2-fache der Lernraten-Warmup-Dauer).
Beta-Annealing: Der Interpolationsparameter $\beta$ (der das aktuelle Iterat $z_t$ und den Durchschnitt $x_t$ mischt) wird über den Trainingslauf von einem niedrigeren Wert (z. B. 0,9) auf einen höheren Wert (z. B. 0,965) geadaptiert. Dies erfasst eine schnelle initiale Konvergenz und optimiert gleichzeitig die langfristige Verlustreduktion.
Gewichtetes Averaging ( $r=1$ ): Für lange Läufe werden die Averaging-Gewichte auf $r=1$ (linear ansteigende Gewichte) gesetzt, anstatt des Standardwertes $r=0$ , was die Konvergenz für nicht-stark konvexe Probleme beschleunigt.

3. Wichtige Ergebnisse

Die Autoren führten umfangreiche Skalierungsexperimente an LLMs im Bereich von 120M bis 1B Parametern durch, trainiert auf bis zu 1000 Tokens pro Parameter.

Langandauerndes Training (1000 TPP): In diesem Maßstab übertrifft ScheduleFree+ sowohl Warmup-Stable-Decay (WSD) als auch Linear-Decay-Pläne erheblich.
- Effizienz: Es erreicht denselben finalen Verlust wie ein Linear-Decay-Plan in 31 % weniger Trainingszeit (eine Reduktion der benötigten Tokens um 45 %, um den Zielverlust zu erreichen).
- Stabilität: Die Methode erzeugt glatte, vorhersehbare Verlustkurven, die einer theoretischen $1/\sqrt{t}$ -Abklingrate folgen, was eine genaue Vorhersage des finalen Verlusts aus frühen Trainingsdaten ermöglicht.
Kurzandauerndes Training (20–100 TPP): ScheduleFree+ übertrifft WSD-Pläne über alle Modellgrößen hinweg. Gegenüber Linear Decay entspricht es diesem oder untertrifft ihn leicht bei sehr kurzen Zeithorizonten (20 TPP) aufgrund der Zeit, die zum Erreichen eines stationären Zustands benötigt wird, ist jedoch im Allgemeinen wettbewerbsfähig.
Skalierung der Batch-Größe: Mit innerem Moment skaliert ScheduleFree+ robust auf Batch-Größen von 8M und erreicht die Leistung von normalem AdamW mit Linear Decay.
Stabilität der Gewichtsnorm: Durch die Verwendung der Polyak-Schrittgröße und größerer Weight-Decay-Werte behält die Methode stabile Gewichtsnormen bei und vermeidet Divergenz- und Quantisierungsprobleme, die mit den kleinen Weight-Decay-Werten verbunden sind, die von unmodifizierten Schedule-Free-Methoden erforderlich sind.

4. Bedeutung und Behauptungen

Der Artikel behauptet, dass ScheduleFree+ eine theoretische Grundlage für Modell-Averaging und Checkpoint-Merging während des Pretrainings bietet und die Lücke zwischen Online-Optimierung und Offline-Model-Souping schließt.

Anytime-Training: Im Gegensatz zu WSD-Plänen, die eine spezifische Annealing-Phase am Ende des Trainings erfordern, um Gewinne zu realisieren, bietet ScheduleFree+ eine echte „Anytime"-Fähigkeit. Das Modell ist an jedem Stopp-Punkt nutzbar und optimal, ohne eine dedizierte Decay-Phase.
Eliminierung von Tuning: Die Methode beseitigt die Notwendigkeit von Lernraten-Gittersuchen und verlässt sich stattdessen auf die Polyak-Schrittgröße und die Inverse-Gradient-Gewichtung, um sich automatisch an Batch-Größe und Trainingsdauer anzupassen.
Vorhersehbarkeit: Die Autoren argumentieren, dass die Verlustkurven von Schedule-Free-Learning nicht nur empirisch stabil, sondern theoretisch fundiert sind und eng der von der konvexen Optimierungstheorie vorhergesagten $1/\sqrt{t}$ -Konvergenzrate folgen, selbst im nicht-konvexen LLM-Kontext.

Zusammenfassend zeigt der Artikel, dass Schedule-Free-Learning mit spezifischen Modifikationen – inneres Moment, Inverse-Gradient-Gewichtung und adaptives Annealing – so skaliert werden kann, dass es eine überlegene, stabile und tuningfreie Alternative zu traditionellen Lernratenplänen für das Training von Large Language Models wird.