📊 statistics

Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling

Dieses Paper stellt Seesaw vor, ein fundiertes Framework, das das Pretraining großer Sprachmodelle beschleunigt, indem es gleichzeitig die Batch-Größe skaliert und die Lernrate anpasst, um die Verlustdynamik zu bewahren, wodurch die Wanduhr-Trainingszeit im Vergleich zu Standard-Cosine-Decay-Schedules um etwa 36 % reduziert wird, während die Leistung bei gleicher FLOP-Anzahl beibehalten wird.

Ursprüngliche Autoren: Alexandru Meterez, Depen Morwani, Jingfeng Wu, Costin-Andrei Oncescu, Cengiz Pehlevan, Sham Kakade

Veröffentlicht 2026-07-28

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexandru Meterez, Depen Morwani, Jingfeng Wu, Costin-Andrei Oncescu, Cengiz Pehlevan, Sham Kakade

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, superintelligenten Roboter die Welt beizubringen, indem Sie ihn mit einem Berg von Büchern füttern. Dieser Prozess wird als „Training“ bezeichnet und ist das Geheimrezept hinter den KI-Chatbots und Tools, die wir heute sehen. Um gut zu lernen, benötigt der Roboter zwei Hauptdinge: eine „Lernrate“, die wie die Art und Weise ist, wie sehr er seine Meinung nach dem Lesen einer einzelnen Seite ändert, und eine „Batch-Größe“, die angibt, wie viele Seiten er liest, bevor er innehält, um nachzudenken und sich anzupassen.

Lange Zeit dachten Wissenschaftler, dass der beste Weg, dies zu beschleunigen, darin bestünde, dem Roboter einfach mehr Seiten auf einmal zu füttern (eine größere Batch-Größe), damit er Daten schneller verarbeiten kann. Aber es gibt einen Haken: Wenn man ihm zu viele Seiten auf einmal füttert, ohne seine Denkweise zu ändern, wird er verwirrt und hört auf, effizient zu lernen. Es ist so, als würde man versuchen, eine Sprache zu lernen, indem man eine ganze Enzyklopädie in einem Sitzen liest; man erfasst vielleicht die Fakten, aber man versteht die Grammatik nicht. Die große Frage, die sich Forscher gestellt haben, lautet: Wie balancieren wir das Lesen von mehr Seiten mit dem sorgfältigen Nachdenken aus, um schneller zu lernen, ohne dass der Roboter sich verirrt?

Dieses Paper stellt eine clevere neue Strategie namens Seesaw vor, um diesen Balanceakt zu lösen. Die Forscher entdeckten eine mathematische Regel, die wie eine perfekte Wippe funktioniert: Wann immer man die Anzahl der Seiten, die der Roboter auf einmal liest (die Batch-Größe), verdoppelt, sollte man die Lernrate nicht einfach gleich lassen oder halbieren. Stattdessen sollte man die Lernrate um einen ganz spezifischen Betrag anpassen – nämlich sie durch die Quadratwurzel aus zwei (etwa 1,41) teilen.

Denken Sie an Folgendes: Wenn Sie die Größe Ihrer Lerngruppe (Batch-Größe) verdoppeln, müssen Sie Ihre Gesprächsgeschwindigkeit (Lernrate) nicht so stark drosseln, wie Sie vielleicht denken. Durch den Gebrauch dieses spezifischen „Seesaw“-Rhythmus kann der Roboter die gleiche Menge an Informationen in weniger Schritten verarbeiten. Die Autoren haben dies mathematisch für einfache Lernaufgaben bewiesen und es dann an massiven Sprachmodellen mit 150 Millionen, 300 Millionen und 600 Millionen Parametern getestet. Sie fanden heraus, dass sie durch die Verwendung von Seesaw diese Modelle etwa 36 % schneller in realer Zeit (Wall-Clock-Time) trainieren konnten, während sie exakt das gleiche Maß an Intelligenz erreichten.

Das Paper warnt zudem ausdrücklich davor, zu gierig zu sein. Wenn man versucht, die Batch-Größe zu aggressiv zu erhöhen, ohne die Lernrate korrekt anzupassen, wird der Lernprozess des Roboters instabil und er hört auf, sich zu verbessern. Die Autoren zeigten, dass es einen „Kipppunkt“ gibt, an dem die Mathematik versagt, und ihre Seesaw-Methode bleibt sicher auf der richtigen Seite dieser Linie. Kurz gesagt: Seesaw ist nicht nur eine Vermutung; es ist ein mathematisch fundiertes Rezept, das es KI-Modellen ermöglicht, dieselben Lektionen in deutlich kürzerer Zeit zu lernen, was uns näher an den Bau smarterer KI bringt, ohne Monate auf den Abschluss des Trainings warten zu müssen.

Technisches Resümee: Seesaw: Beschleunigung des Trainings durch die Balance von Lernraten- und Batch-Size-Scheduling

Problemstellung

Das Pretraining von Large Language Models (LLMs) wird zunehmend durch die Wanduhrzeit (Wall-Clock Time) begrenzt, die sich oft über mehrere Monate für State-of-the-Art-Modelle erstreckt. Eine primäre Strategie zur Reduzierung dieser Dauer ist die Erhöhung der Batch-Größe (Batch Size), welche die parallele Berechnung nutzt, um die Gesamtzahl der sequentiellen Optimierungsschritte zu verringern. Das einfache, unbegrenzte Erhöhen der Batch-Größe führt jedoch über eine „kritische Batch-Größe“ (Critical Batch Size, CBS) hinaus zu abnehmenden Grenzerträgen, bei der die Stichprobeneffizienz sinkt.

Während jüngste groß angelegte Trainingsläufe (z. B. LLaMA, Nemotron, OLMo) „Batch-Ramp“-Schedules eingesetzt haben – also eine schrittweise Erhöhung der Batch-Größe im Verlauf des Trainings –, werden diese Strategien derzeit noch heuristisch abgestimmt. Es mangelt an einer theoretischen Rechtfertigung dafür, wie die Abnahme der Lernrate (Learning Rate Decay) und der Anstieg der Batch-Größe (Batch Size Ramp-up) optimal auszubalancieren sind, insbesondere für adaptive Optimierer wie Adam. Die zentrale Frage lautet: Was ist das optimale Batch-Größen-Schema, um die serielle Laufzeit zu minimieren, ohne die Modellleistung zu beeinträchtigen?

Methodik

Theoretischer Rahmen

Die Autoren entwickeln einen fundierten Rahmen basierend auf der verrauschten linearen Regression, um eine Äquivalenz zwischen der Lernraten-Abnahme und dem Batch-Größen-Anstieg herzustellen.

SGD-Äquivalenz: Die Arbeit liefert den ersten endlichen-Stichproben-Beweis (nicht- asymptotisch), der zeigt, dass für den stochastischen Gradientenabstieg (SGD) bei verrauschter linearer Regression ein Prozess, bei dem sich die Batch-Größe in jeder Phase verdoppelt, während die Lernrate konstant bleibt, äquivalent zu einem Prozess ist, bei dem die Batch-Größe fix bleibt und die Lernrate in jeder Phase halbiert wird (bis auf einen konstanten Faktor im Excess Risk), sofern beide Prozesse die gleiche Gesamtzahl an Datenpunkten konsumieren.
Erweiterung auf Normalisierten SGD (NSGD): Um die Lücke zu adaptiven Optimierern wie Adam zu schließen, analysieren die Autoren den Normalisierten SGD, einen handhabbaren analytischen Proxy für Adam. Sie führen die Annahme 2 ein, die postuliert, dass im in der Praxis beobachteten varianzdominierten Regime die erwarteten quadrierten Gradientennormen von additivem Rauschen dominiert werden (skaliert als $O(1/B)$ ). Unter dieser Annahme reduziert sich NSGD effektiv zu SGD mit einer reskalierten Lernrate.
Die Äquivalenzbedingung: Die Analyse leitet eine spezifische Beziehung ab, die erforderlich ist, um die Verlustdynamik bei der Anpassung beider Parameter aufrechtzuerhalten. Für einen Lernraten-Abnahmefaktor $\alpha$ und einen Batch-Größen-Steigerungsfaktor $\beta$ bleiben die Prozesse äquivalent, wenn das Produkt $\alpha\sqrt{\beta}$ konstant gehalten wird.

Der Seesaw-Algorithmus

Basierend auf der theoretischen Äquivalenz schlagen die Autoren Seesaw vor, einen Scheduler, der die Lernrate und die Batch-Größe dynamisch ausbalanciert:

Mechanismus: Wann immer ein Standard-Scheduler (z. B. Cosine Decay) die Lernrate um einen Faktor $\alpha$ reduzieren würde, reduziert Seesaw stattdessen die Lernrate um $\sqrt{\alpha}$ und erhöht die Batch-Größe um $\alpha$ .
Beschränkung: Die Autoren identifizieren eine theoretische Grenze, um Divergenz zu verhindern. Das aggressivste stabile Ramp-up-Schema wird durch $\alpha = \sqrt{\beta}$ definiert. Ein Überschreiten dieses Wertes (d. h. eine zu aggressive Erhöhung der Batch-Größe relativ zur Lernraten-Abnahme) führt zur Divergenz.
Implementierung: Seesaw ist als direkter Ersatz (Drop-in Replacement) für bestehende Lernraten-Scheduler konzipiert. In der Praxis approximiert es den Cosine Decay mittels Step Decay und löst die Erhöhungen der Batch-Größe an den spezifischen Token-Anzahlen aus, bei denen die Lernrate andernfalls gesenkt worden wäre.

Zentrale Beiträge

Theoretische Äquivalenz: Die Arbeit etabliert die erste nicht- asymptotische Äquivalenz zwischen Lernraten-Abnahme und Batch-Größen-Anstieg für SGD und erweitert dies auf Normalisierten SGD unter einem varianzdominierten Regime.
Der Seesaw-Scheduler: Einführung eines fundierten Algorithmus, der den Standard-Lernraten-Decay durch ein gekoppeltes Lernraten- und Batch-Größen-Schema ersetzt, welches theoretisch begründet die Verlustdynamik bewahrt.
Speedup-Analyse: Die Autoren leiten eine theoretische obere Schranke für die Reduktion der seriellen Laufzeit ab. Durch Nutzung des aggressivsten stabilen Ramp-up-Schemas ( $\alpha = \sqrt{\beta}$ ) gegenüber einem Cosine-Decay-Baseline wird der maximale theoretische Speedup als $(1 - 2/\pi) \approx 36,3\%$ berechnet.

Empirische Ergebnisse

Die Autoren evaluierten Seesaw an Modellen mit 150M, 300M und 600M Parametern, die im Chinchilla-Maßstab ( $D=20N$ ) unter Verwendung des OLMo-Codebase trainiert wurden.

Leistungs-Parität: Seesaw erreicht die Validierungsverlust-Dynamik von Standard-Cosine-Annealing-Schedules über alle Modellgrößen hinweg, wenn es auf der kritischen Batch-Größe trainiert wird.
Laufzeitreduktion: Seesaw erzielt eine signifikante Reduktion der seriellen Laufzeit und senkt die Wanduhrzeit um etwa 36%, womit es das in der Analyse abgeleitete theoretische Limit eng erreicht.
Robustheit: Die Methode funktioniert effektiv mit AdamW und verschiedenen Weight-Decay-Einstellungen.
Grenzen der Aggressivität: Experimente zur Variation der $\alpha$ - und $\beta$ -Parameter bestätigen die theoretische Beschränkung. Schemata, die aggressiver als $\alpha = \sqrt{\beta}$ sind (z. B. Verdoppelung der Batch-Größe bei gleichbleibender oder zu langsam sinkender Lernrate), führen zu Divergenz oder suboptimaler Leistung.
Kritische Batch-Größen-Grenze: Die Autoren beobachten, dass die Seesaw-Strategie bis zur kritischen Batch-Größe effektiv ist. Sob^{on dies Punkt, an dem der Rauschterm den Gradienten nicht mehr dominiert, bricht die Äquivalenz zusammen und Seesaw schneidet schlechter ab als der Standard-Cosine-Decay.

Bedeutung und Ansprüche

Die Arbeit beansprucht, eine rigorose theoretische Grundlage für die Praxis des „Batch-Ramp“ zu liefern und diese so von der heuristischen Abstimmung zu einer fundierten Optimierungsstrategie zu bewegen. Durch den Nachweis, dass Lernraten-Abnahme und Batch-Größen-Anstieg unter bestimmten Bedingungen austauschbar sind, bietet Seesaw eine praktische Methode, um das LLM-Pretraining zu beschleunigen, ohne die Modellqualität zu gefährden.

Die Autoren betonen, dass Seesaw als direkter Ersatz (Drop-in Replacement) für bestehende Scheduler in adaptiven Optimierern dient. Die primäre Bedeutung liegt in der Fähigkeit, die Wanduhrzeit beim Training großer Modelle um etwa ein Drittel zu reduzieren und damit den Hardware-Engpass zu adressieren, bei dem die Trainingsanforderungen die Hardware-Verbesserungen überholen. Die Arbeit klärt zudem die Grenzen dieser Strategie auf und stellt fest, dass sie auf das varianzdominierte Regime angewiesen ist und möglicherweise nicht anwendbar ist, sobald die Batch-Größen den Schwellenwert überschreiten, an dem die Mittelwert-Gradiententerme dominieren.