🤖 machine learning

Cosine-Gated Adam-Decay: Drop-In Staleness-Aware Outer Optimization for Decoupled DiLoCo

Dieser Artikel schlägt Cosine-Gated Adam-Decay (CGAD) vor, einen sofort einsetzbaren, altersbewussten äußeren Optimierer für asynchrones DiLoCo, der Pseudo-Gradienten durch eine Abklingfunktion und eine Cosinus-Abschneidung skaliert, um Staleness zu mindern, und der im Vergleich zu Standard-Nesterov- und Adam-basierten Baselines über verschiedene Llama-Modellskalen hinweg eine verbesserte Stabilität sowie eine theoretische Konvergenzschranke unabhängig von der maximalen Verzögerung bietet.

Ursprüngliche Autoren: Vatsal Shah, Jiahao Sun

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vatsal Shah, Jiahao Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen Team von Studierenden (ein Computermodell) beizubringen, eine Geschichte zu schreiben. In einer perfekten Welt arbeiten alle im selben Raum zusammen und rufen sich sofort Updates zu. In der realen Welt jedoch, besonders bei riesigen Teams, sind einige Studierende langsam, einige sind weit entfernt und einige haben einfach einen schlechten Tag.

Dies ist das Problem des asynchronen Trainings. Der „Lehrer" (der zentrale Computer) erhält Ratschläge (Gradienten) von den Studierenden, aber bis die Ratschläge ankommen, sind sie möglicherweise veraltet. Der Studierende, der den Rat gegeben hat, ist vielleicht bereits zu einer anderen Seite des Buches übergegangen.

Das Problem: Die Falle des „veralteten" Rats

Die derzeitige Standardmethode zum Umgang damit ist wie ein Lehrer, der blind jedem Ratschlag vertraut, egal wie alt er ist.

Das Szenario: Ein Studierende sendet eine Notiz mit der Aufschrift „Links abbiegen!", basierend auf dem Ort, an dem sie vor 10 Minuten waren.
Die Realität: Der Studierende befindet sich nun 100 Meter weiter auf der Straße. Wenn der Lehrer basierend auf dieser alten Notiz links abbiegt, kracht die ganze Klasse gegen eine Wand.
Die Erkenntnis der Arbeit: Die Standardmethode (genannt Nesterov-Momentum) gerät in Verwirrung, wenn der Rat zu alt ist. Sie häuft „Momentum" (Geschwindigkeit) in die falsche Richtung an, was dazu führt, dass das Training außer Kontrolle gerät, insbesondere wenn die Modelle größer werden (von 25 Millionen Parametern auf 7 Milliarden).

Die Lösung: CGAD (Cosine-Gated Adam-Decay)

Die Autoren schlagen eine neue Methode namens CGAD vor. Stellen Sie sich dies als einen intelligenten Filter oder einen „Verkehrspolizisten" für den eintreffenden Rat vor.

So funktioniert es, mit einer einfachen Analogie:

Der „Frische"-Abschlag (Exponentieller Zerfall):
Stellen Sie sich vor, der Rat kommt mit einem Zeitstempel. Je älter der Rat ist, desto weniger wertvoll ist er. CGAD wendet einen Abschlag auf den Rat an, basierend darauf, wie alt er ist. Wenn der Rat 10 Minuten alt ist, ist er nur noch halb so viel wert. Wenn er 20 Minuten alt ist, ist er fast nichts mehr wert. Dies verhindert, dass der Lehrer auf alte Nachrichten überreagiert.
Die „harte Abschaltschwelle" (Das Cosinus-Gatter):
Dies ist das Geheimnis der Arbeit. Manchmal ist ein Ratschlag so alt (wie ein Studierende, der seit einer Stunde nicht gesprochen hat), dass er nicht nur „weniger wertvoll" ist – er ist gefährlich.
- Der alte Weg: Selbst sehr alter Rat erhält ein winziges Gewicht. Im Laufe der Zeit häufen sich diese winzigen Mengen Müll an und verwirren das System.
- Der CGAD-Weg: Er hat eine „Abschaltschwelle". Wenn der Rat älter als ein bestimmter Punkt ist (z. B. 32 Runden), sagt das System: „Nein, das ist zu veraltet. Ignorieren Sie es vollständig." Es setzt den Wert auf null.

Warum dies wichtig ist: Die „Skalierungsversicherung"

Die Arbeit testete dies an drei Modellgrößen:

Klein (25 Millionen): Die neue Methode funktioniert gut, aber die alte Methode stürzt nicht sofort ab. Es ist wie das Fahren eines Go-Karts; selbst wenn Sie falsch lenken, drehen Sie sich vielleicht nur herum.
Mittel (1 Milliarde): Die alte Methode stürzt hart ab. Die neue Methode fährt reibungslos.
Riesig (7 Milliarden): Hier macht die Arbeit ihre größte Behauptung. Wenn das Modell so groß ist, wird das Problem des „veralteten Rats" zu einer Katastrophe.
- Die alte Methode (Nesterov) versagt so sehr, dass das Modell nichts lernt (sie performs schlechter als zufälliges Raten).
- Die „nur-Abschlag"-Methode (Adam-Decay) funktioniert okay, wird aber sehr unvorhersehbar. Ein Lauf könnte funktionieren, der nächste könnte scheitern.
- CGAD ist der einzige, der stabil bleibt. Die „harte Abschaltschwelle" fungiert als Skalierungsversicherung. Sie garantiert, dass der Lehrer, selbst wenn das Netzwerk unordentlich und langsam ist, niemals den gefährlich alten Rat hört, der das gesamte Projekt ruinieren würde.

Das Fazit

Die Arbeit behauptet, dass Sie durch das einfache Hinzufügen eines „Frische-Filters", der zu alten Ratschlägen ignoriert, riesige KI-Modelle auf unordentlichen, langsamen oder unzuverlässigen Netzwerken trainieren können, ohne dass das Training zusammenbricht. Es verwandelt ein zerbrechliches System in ein robustes und stellt sicher, dass das Modell, wenn Sie es schließlich ausliefern, tatsächlich funktioniert.

Kurz gesagt: Hören Sie nicht auf Ratschläge, die zu alt sind. Wenn sie wirklich alt sind, werfen Sie sie vollständig weg. Diese einfache Regel rettet das Training riesiger KI-Modelle vor dem Absturz.

Technische Zusammenfassung: Cosine-Gated Adam-Decay (CGAD) für Decoupled DiLoCo

1. Problemstellung

In asynchronen Decoupled DiLoCo (DDiLoCo)-Systemen führen Worker mehrere lokale Optimierungsschritte durch, bevor sie Pseudo-Gradienten mit einem globalen Parameter-Server austauschen. Eine kritische Herausforderung in dieser Architektur ist Veraltetheit (Staleness): Die bei äußerer Runde $t$ angewendeten Pseudo-Gradienten wurden möglicherweise bereits $\tau$ Runden zuvor aufgrund von Netzwerklatenz, verzögerten Worker-Prozessen (Straggler) oder asynchronen Budgets berechnet.

Der Standard-Outer-Optimizer für DiLoCo ist SGD mit Nesterov-Momentum. Diese Methode wendet einen einheitlichen Aktualisierungsschritt auf jeden eingehenden Pseudo-Gradienten an, ohne dessen Alter ( $\tau$ ) zu berücksichtigen. Mit zunehmendem $\tau$ akkumuliert der Momentum-Puffer eine veraltete Sicht auf die Verlustlandschaft. Folglich unternimmt der Optimierer Schritte, die Richtungen übersteuern, die den aktuellen Verlust nicht mehr verringern, was zu Instabilität oder Divergenz führt, insbesondere mit zunehmender Modellgröße. Bestehende theoretische Analysen asynchroner Momentum-SGD deuten darauf hin, dass die Konvergenzraten mit einem Faktor verschlechtern, der proportional zu $\tau_{max}^2$ ist (dem Quadrat der maximalen Verzögerung).

2. Methodik: Cosine-Gated Adam-Decay (CGAD)

Die Autoren schlagen Cosine-Gated Adam-Decay (CGAD) vor, einen direkten Ersatz für den Nesterov-Outer-Optimizer, der Aktualisierungen explizit auf das Alter des Pseudo-Gradienten konditioniert.

Kernmechanismus

CGAD modifiziert den Standard-Adam-Update, indem jeder eingehende Pseudo-Gradient $g_f$ für Fragment $f$ vor dem Eintritt in die ersten und zweiten Moment-Puffer von Adam mit einem Faktor $\sigma(\tau)$ skaliert wird:
$\sigma(\tau) = \gamma(\tau) e^{-\alpha \tau}$

Wobei:

Exponentieller Zerfall ( $e^{-\alpha \tau}$ ): Den Informationszerfall veralteter Gradienten modelliert. Mit wachsendem $\tau$ wird der Beitrag des Gradienten zu den Momentum-Puffern exponentiell reduziert.
Cosine-Gate ( $\gamma(\tau)$ ): Eine glatte Abschaltfunktion, definiert als:
$\gamma(\tau) = \frac{1}{2} \left(1 + \cos\left(\frac{\pi \tau}{\tau_{cut}}\right)\right) \cdot \mathbb{I}[\tau \le \tau_{cut}]$
Dieses Gate ist für frische Gradienten gleich 1, fällt glatt auf 0 bei einem gewählten Cut-off $\tau_{cut}$ ab und setzt Beiträge für $\tau > \tau_{cut}$ strikt auf Null.

Wichtige Design-Entscheidungen

Pre-Buffer-Gating: Die Skalierung $\sigma(\tau)$ wird auf den Gradienten vor seiner Aktualisierung der ersten Moment-Puffer ( $m$ ) und zweiten Moment-Puffer ( $v$ ) angewendet. Dies verhindert, dass veraltete Gradienten den zweiten Moment ( $v$ ) aufblähen, was sonst nachfolgende frische Aktualisierungen abschwächen würde.
Per-Fragment-Variante (PA-CGAD): Für Partial-Sync-Scheduler (z. B. Streaming DiLoCo) verfolgt die Methode das Alter einzelner Fragmente ( $a_f$ ) und gatingt Aktualisierungen basierend auf $\max(\tau, a_f)$ , was ein einheitliches Veraltetheitsmodell sowohl für Netzwerkverzögerungen als auch für Scheduling-Verzögerungen ermöglicht.
Hyperparameter: Die Methode führt zwei Hyperparameter ein, $\alpha$ (Zerfallsrate) und $\tau_{cut}$ (Cut-off), mit Standardwerten ( $\alpha=0.2, \tau_{cut}=32$ ), die über Modellgrößen hinweg transferierbar sind.

3. Theoretische Beiträge

Die Arbeit liefert eine nicht-asymptotische Konvergenzschranke für einen idealisierten gated-adaptiven Update auf glatten nicht-konvexen Zielfunktionen.

Unabhängigkeit von Veraltetheits-Bias: Der Veraltetheits-Bias-Term der Konvergenzschranke hängt vom Gating-Hyperparameter $\alpha$ ab (speziell $O(1/e^\alpha)$ ) und nicht von der realisierten maximalen Verzögerung $\tau_{max}$ .
Kontrast zur Standardanalyse: Standardanalysen asynchroner Momentum-SGD ergeben einen Komplexitätsterm, der mit $\tau_{max}^2$ skaliert. Durch den Ersatz dieses Terms durch einen von $\alpha$ abhängigen Term entkoppelt der Gating-Mechanismus theoretisch die Konvergenzstrafe von der Worst-Case-Verzögerungsverteilung, sofern $\tau_{cut} \ge 1/\alpha$ gilt.
Umfang: Die Autoren stellen fest, dass dies eine Motivation für den Gating-Mechanismus ist und kein vollständiger Konvergenzsatz für empirisches Adam, da es von begrenzten normalisierten Schritten ausgeht, anstatt diese aus empirischen Statistiken abzuleiten.

4. Experimentelle Ergebnisse

Experimente wurden beim Pretraining von Llama-artigen Sprachmodellen in drei Größenordnungen durchgeführt: 25 M, 1 B und 7 B Parameter, unter Verwendung kontrollierter Verzögerungen bis zu $\tau=16$ .

Stabilität und Konvergenz

1 B Skala: Bei $\tau=16$ divergierte das Standard-Nesterov-Verfahren (Verlust $\approx 319$ ), während CGAD einen Verlust von 7,44 erreichte, vergleichbar mit seiner $\tau=0$ -Leistung (7,48). Die Nesterov-Methode verlor bei $\tau \ge 8$ die Konvergenz vollständig.
25 M Skala: CGAD und andere veraltetheitsbewusste Baselines (Adam-Decay, SDM, Delayed Nesterov) blieben alle stabil, während Nesterov bei $\tau \ge 4$ divergierte. In dieser Größenordnung waren die Unterschiede zwischen veraltetheitsbewussten Methoden marginal.

Skalierungssicherheit und Robustheit

Die bedeutendste Erkenntnis ergibt sich bei der 7 B Skala unter speicherbeschränkten Bedingungen (bf16-Gewichte, 8-Bit AdamW):

Seed-zu-Seed-Varianz: Die engste Baseline, Adam-Decay (CGAD ohne Cosine-Cutoff), zeigte eine 27-fache Zunahme der Seed-zu-Seed-Standardabweichung ( $\sigma$ ), als das Modell von 25 M auf 7 B skalierte (von 0,07 auf 1,89 bei $\tau=8$ ). Im Gegensatz dazu blieb die $\sigma$ von CGAD konstant (ca. 0,38).
Single-Shot-Risiko: Unter Verwendung von „Mittelwert + $\sigma$ " als Proxy für das Risiko beim Single-Shot-Einsatz überstieg das Risiko von Adam-Decay bei 7 B / $\tau=8$ (13,19) das Zufallsniveau (10,83) um 2,4 Nats, was eine hohe Wahrscheinlichkeit des Scheiterns in einem einzelnen Produktionslauf impliziert. Das Risiko von CGAD (11,28) blieb deutlich unter dieser Schwelle.
Mechanismus des Scheiterns: Die Autoren führen das Scheitern von Adam-Decay bei 7 B auf die Akkumulation von quadratischem Rundungsrauschen im zweiten Moment-Puffer ( $v$ ) durch veraltete Gradienten zurück, die nie vollständig auf Null gesetzt werden. Der Cosine-Cutoff in CGAD verhindert dies durch das strikte Nullsetzen von Beiträgen jenseits von $\tau_{cut}$ .

Tuning-Sensitivität

Nesterov vs. CGAD: Selbst wenn Nesterov neu abgestimmt wurde (vollständiges Entfernen des Momentum), konnte es die Leistung einer abgestimmten CGAD-Konfiguration bei hohen Verzögerungen nicht erreichen. Abgestimmter Nesterov erforderte unterschiedliche Hyperparameter für verschiedene Verzögerungsbereiche, während CGAD Robustheit über den gesamten Bereich hinweg bewahrte.
Hyperparameter-Sensitivität: Der optimale $\alpha$ verschiebt sich leicht mit der Skala (0,2 für 25 M, 0,4 für 1 B bei $\tau=8$ ), aber der Standardwert $\alpha=0.2$ bleibt über das gesamte Verzögerungsspektrum hinweg robust.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CGAD die robusteste Skalierungsoption für asynchrones DiLoCo-Training ist und speziell die Zerbrechlichkeit des Nesterov-Momentum unter großen kontrollierten Verzögerungen adressiert.

Skalierungssicherheit: Der Hauptbeitrag ist der Cosine-Cutoff, der als „Skalierungssicherheit" fungiert. Während exponentieller Zerfall allein (Adam-Decay) für kleinere Modelle oder Settings mit voller Genauigkeit ausreicht, ist der harte Cutoff für Modelle an der Grenze der Skalierung (7 B+) kritisch, die mit komprimierten Optimierer-Zuständen (8-Bit/bf16) arbeiten. Er verhindert die Akkumulation veralteter Varianz, die zu katastrophaler Seed-zu-Seed-Varianz und Single-Shot-Versagen führt.
Drop-in-Kompatibilität: CGAD erfordert nur eine einzeilige Änderung in bestehenden Adam-Implementierungen und fügt zwei Hyperparameter mit Standardwerten hinzu, die über Skalen hinweg transferierbar sind.
Praktische Auswirkung: Für asynchrones Training an der Grenze der Skalierung bietet die Methode den Unterschied zwischen einem einzelnen Trainingslauf, der erfolgreich veröffentlicht wird, und einem, der scheitert (über dem Zufallsniveau des Verlusts landet).

Die Autoren bleiben bezüglich des theoretischen Umfangs bescheiden und erkennen an, dass die Konvergenzschranke für einen idealisierten Update gilt und die empirische Überlegenheit spezifisch innerhalb der DiLoCo-Familie und im Kontext von Llama-artigem Pretraining demonstriert wird. Sie stellen fest, dass die in den Experimenten verwendete Anzahl der Inner-Schritte ( $H=8$ ) niedriger ist als die Produktions-DiLoCo-Einstellungen ( $H=100-500$ ), obwohl Sensitivitätsstudien nahelegen, dass die Rangfolge bei höherem $H$ bestehen bleibt.