📊 statistics

Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method

Dieser Beitrag stellt Ringmaster LMO vor, eine asynchrone Momentum-Methode für LMO-basierte Optimierung, die Verzögerungsschwellenwerttechniken erweitert, um heterogene verteilte Systeme zu handhaben, theoretische Konvergenzgarantien bietet und eine überlegene Leistung gegenüber synchronen und asynchronen Baselines sowohl bei synthetischen als auch bei großskaligen Sprachmodell-Pretraining-Aufgaben demonstriert.

Ursprüngliche Autoren: Abdurakhmon Sadiev, Artavazd Maranjyan, Ivan Ilin, Peter Richtárik

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Abdurakhmon Sadiev, Artavazd Maranjyan, Ivan Ilin, Peter Richtárik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Dirigent eines riesigen Orchesters (eines Computer-Clusters), der versucht, ein riesiges KI-Modell zu trainieren. Ihr Ziel ist es, die Musik perfekt zu machen, was bedeutet, Tausende von Instrumenten (Gewichten) basierend auf Feedback vom Publikum (Daten) anzupassen.

In den alten Tagen wartete der Dirigent, bis jeder einzelne Musiker seinen Teil beendet hatte, bevor er die nächste Anweisung gab. Dies wird als synchrones Training bezeichnet. Das Problem? Wenn ein Musiker langsam ist (vielleicht ist sein Instrument alt oder er ist abgelenkt), sitzt das gesamte Orchester in Stille und wartet. Dies ist eine enorme Zeitverschwendung, insbesondere in „heterogenen" Systemen, in denen einige Computer schnell und andere langsam sind.

Vor kurzem wurde ein neuer Spielstil namens Muon populär. Anstatt jedes Instrument als einfache Note zu behandeln, betrachtet Muon die Form und Struktur des Klangs (Matrixstruktur), um intelligentere, schnellere Anpassungen vorzunehmen. Allerdings war Muon immer noch in der Gewohnheit des „Wartens auf alle" gefangen.

Dieser Artikel stellt Ringmaster LMO vor, eine neue Methode, die es dem Dirigenten ermöglicht, die Musik fließen zu lassen, selbst wenn einige Musiker langsam sind. So funktioniert es, aufgeteilt in einfache Konzepte:

1. Die „Ringmaster"-Strategie: Warten Sie nicht auf den Langsamsten

Stellen Sie sich einen Ringmeister im Zirkus vor. Anstatt darauf zu warten, dass der langsamste Elefant seinen Akt beendet, bevor der nächste Darsteller aufgerufen wird, hat der Ringmeister eine Regel: „Wenn ein Darsteller zu lange braucht, überspringen wir ihn und machen weiter."

Das Problem: In einem verteilten System beenden einige Worker (Computer) ihre Berechnungen schnell, während andere (Straggler) ewig brauchen.
Die Lösung: Ringmaster LMO setzt eine Zeitgrenze (einen Schwellenwert). Wenn ein Worker einen Gradienten (ein Stück Feedback) zurücksendet, der „zu alt" ist (weil er zu lange gebraucht hat), verwirft das System ihn. Es ist besser, ein etwas älteres, frischeres Update von einem schnellen Worker zu verwenden, als auf ein brandneues Update von einem langsamen zu warten.
Das Ergebnis: Das System sitzt niemals untätig. Es bewegt sich vorwärts und ignoriert die „langsamen Elefanten".

2. Die „Intelligente Form" (LMO)

Die meisten Trainingsmethoden behandeln das KI-Modell wie eine lange Liste von Zahlen. Der Artikel konzentriert sich jedoch auf Muon, das die Daten wie einen 3D-Block oder eine Matrix behandelt (wie ein Stapel Spielkarten statt einer einzelnen Linie).

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein zerknittertes Blatt Papier zu glätten. Eine Standardmethode könnte einfach an zufälligen Ecken ziehen. Muon betrachtet das gesamte Blatt und zieht in die Richtung, die es am effizientesten glättet.
Ringmaster LMO kombiniert diesen Ansatz der „intelligenten Form" mit der Strategie des „Nicht-Wartens-auf-die-Langsamen". Es ist das erste Mal, dass diese spezifische Technik der „intelligenten Form" asynchron gemacht wurde (fähig, langsame Worker zu ignorieren).

3. Die „Selbstanpassende" Funktion

Normalerweise müssen Sie, um ein solches System zum Laufen zu bringen, ein Mathe-Zauberkünstler sein und viele Regler (Parameter) perfekt auf Ihre spezifische Computerkonfiguration abstimmen. Wenn Sie es falsch machen, schlägt das Training fehl.

Der Artikel stellt eine parameteragnostische Version vor.

Die Analogie: Denken Sie daran wie an ein Auto mit adaptivem Tempomat. Sie müssen nicht genau wissen, wie schnell das vorausfahrende Auto ist oder wie rutschig die Straße ist; das Auto ermittelt automatisch die richtige Geschwindigkeit und den richtigen Abstand während der Fahrt.
Ringmaster LMO passt seine „Zeitgrenze" und Lerngeschwindigkeit automatisch im Laufe der Zeit an, sodass Sie kein Mathe-Experte sein müssen, um es zu justieren.

4. Was die Experimente zeigten

Die Autoren testeten dies an zwei Dingen:

Ein Mathe-Rätsel (Quadratische Probleme): Sie simulierten eine Gruppe von Workern mit unterschiedlichen Geschwindigkeiten.
Das Training eines winzigen Sprachmodells (NanoChat): Sie simulierten ein realweltliches Chatbot-Trainings-Szenario.

Die Erkenntnisse:

Wenn alle Worker ungefähr die gleiche Geschwindigkeit hatten, war Ringmaster LMO genauso gut wie die besten bestehenden Methoden.
Wenn die Worker sehr unterschiedliche Geschwindigkeiten hatten (hohe Heterogenität), zog Ringmaster LMO deutlich davon. Je mehr „Straggler" (langsame Worker) es gab, desto größer wurde der Vorteil. Es bewies, dass das Ignorieren langsamer Updates der Schlüssel zur Geschwindigkeit in unordentlichen, realweltlichen Computerumgebungen ist.

Zusammenfassung

Ringmaster LMO ist eine neue Art, KI-Modelle zu trainieren, die:

„Intelligente Formen" nutzt: Sie versteht die komplexe Struktur der Daten (wie Muon).
Die Langsamen ignoriert: Sie verwirft Updates, die zu lange brauchen, und verhindert, dass das gesamte System ins Stocken gerät.
Sich selbst justiert: Sie passt sich automatisch an, ohne dass eine komplexe manuelle Einrichtung erforderlich ist.

Es ist, als würde man einen Dirigenten einstellen, der genau weiß, wann er einen langsamen Musiker überspringen muss, um die Symphonie mit Höchstgeschwindigkeit spielen zu lassen und sicherzustellen, dass die KI schneller lernt, selbst wenn die Rechenleistung ungleichmäßig ist.

Technische Zusammenfassung: Ringmaster LMO: Asynchrone lineare Minimierungs-Oracle-Momentum-Methode

Problemstellung

Die Arbeit adressiert die Herausforderung des Trainings neuronaler Netze in heterogenen verteilten Systemen unter Verwendung von auf Linearen Minimierungs-Orakeln (LMO) basierenden Optimierern. Während LMO-basierte Methoden, wie der kürzlich vorgestellte Muon-Optimizer, durch die explizite Nutzung von Matrixstrukturen (z. B. via Spektralnorm-Updates) eine überlegene Leistung gegenüber dem Standard-AdamW gezeigt haben, sind sie derzeit auf synchrone Trainingspipelines beschränkt.

In synchronen Umgebungen muss das System auf den langsamsten Worker warten, bis die Gradientenberechnungen abgeschlossen sind, bevor es fortfährt, was in heterogenen Umgebungen, in denen die Worker-Geschwindigkeiten erheblich variieren, zu einem Engpass führt. Bestehende asynchrone Methoden (z. B. Ringmaster ASGD) erreichen in euklidischen Umgebungen eine optimale Zeitkomplexität, indem sie „veraltete" Gradienten verwerfen, die einen bestimmten Verzögerungsschwellenwert überschreiten. Diese Verzögerungs-Schwellenwert-Mechanismen wurden jedoch bisher nicht auf allgemeine LMO-basierte Updates erweitert, noch wurden sie unter verallgemeinerten Glattheitsannahmen analysiert, wie sie im modernen Deep Learning üblich sind.

Die zentrale Frage lautet: Können asynchrone LMO-basierte Methoden die für euklidische Umgebungen bekannte optimale Zeitkomplexität unter heterogenen Worker-Berechnungszeiten wiederherstellen?

Methodik: Ringmaster LMO

Die Autoren schlagen Ringmaster LMO vor, eine asynchrone Momentum-Methode für unbeschränkte stochastische nichtkonvexe Optimierung. Die Methode integriert drei Kernkomponenten:

LMO-basiertes Momentum: Die Update-Richtung wird durch ein Lineares Minimierungs-Orakel (LMO) über die Einheitskugel einer gewählten Norm bestimmt. Für einen Momentum-Vektor $m_{k+1}$ ist das Update $x_{k+1} = x_k + \eta_k \text{lmo}(m_{k+1})$ . Dieses Framework verallgemeinert verschiedene Optimierer; beispielsweise gewinnt man durch Wahl der Spektralnorm Muon zurück, während die Max-Norm SignSGD zurückgewinnt.
Verzögerungs-Schwellenwert: Um die durch veraltete Gradienten in asynchronen Umgebungen verursachte Verschlechterung zu mildern, akzeptiert der Server einen Gradienten $g_k$ (berechnet am Iterierten $x_{k-\delta_k}$ ) nur, wenn seine Verzögerung $\delta_k$ unter einem Schwellenwert $R_k$ liegt. Gradienten, die diesen Schwellenwert überschreiten, werden verworfen.
Analyse verallgemeinerter Glattheit: Die theoretische Analyse erfolgt unter $(L_0, L_1)$ -Glattheit, wobei die lokale Glattheitskonstante mit der Gradientennorm wachsen kann. Dies ist eine allgemeinere Annahme als die Standard- $L_0$ -Glattheit und erfasst das Verhalten von Verlustfunktionen im modernen maschinellen Lernen besser.

Der Algorithmus verwaltet einen zentralen Server, der den Iterierten und das Momentum verwaltet, während $n$ Worker stochastische Gradienten parallel berechnen. Der Server aktualisiert das Momentum und führt den LMO-Schritt nur bei Empfang eines „frischen" Gradienten (Verzögerung $< R_k$ ) durch.

Hauptbeiträge

1. Erste asynchrone LMO-basierte Methode mit Zeitkomplexitäts-Garantien

Die Arbeit stellt die erste asynchrone LMO-basierte Methode vor, die unter heterogenen Worker-Berechnungszeiten rigorose Zeitkomplexitäts-Garantien bietet. Sie erweitert das Verzögerungs-Kontrollprinzip von Ringmaster ASGD von euklidischen SGD-Updates auf allgemeine LMO-basierte Updates.

2. Konvergenz unter verallgemeinerter Glattheit

Die Autoren leiten Konvergenzraten für Ringmaster LMO unter $(L_0, L_1)$ -Glattheit her.

Regime mit festen Parametern: Sie leiten Iterationskomplexitätsschranken her, die die standardmäßige stochastische LMO-Abhängigkeit wiederherstellen und gleichzeitig verzögerte Gradienten berücksichtigen. Im klassischen euklidischen Glattheits-Setting ( $L_1=0$ ) entsprechen die Schranken den optimalen unteren Schranken für die stochastische nichtkonvexe Optimierung erster Ordnung.
Parameteragnostisches Regime: Eine Variante mit abnehmenden Schrittwerten und adaptiven Verzögerungsschwellenwerten ( $R_k = 1/\alpha_k$ ) wird entwickelt. Diese Variante macht die Anpassung von Hyperparametern basierend auf Problemkonstanten (wie $L_0, L_1, \sigma$ ) überflüssig, eine Eigenschaft, die in früheren Analysen von Ringmaster ASGD fehlte.

3. Zeitkomplexitätsanalyse

Die Arbeit übersetzt die Iterationskomplexität unter zwei Modellen in Zeitkomplexität:

Modell mit fester Berechnung: Unter der Annahme konstanter Berechnungszeiten pro Worker stellen die Zeitkomplexitätsschranken die optimale Skalierung von Ringmaster ASGD im euklidischen Setting wieder her. Die Schranken hängen explizit vom harmonischen Mittel der schnellsten $m$ Worker ab und zeigen, dass sich die Methode effektiv an die Systemheterogenität anpasst.
Universelles zeitvariierendes Modell: Die Analyse wird auf Szenarien erweitert, in denen sich die Worker-Geschwindigkeiten über die Zeit ändern, wobei rekursive Zeitschranken bereitgestellt werden, die auch unter schwankenden Lasten gelten.

4. Experimentelle Validierung

Experimente wurden durchgeführt an:

Stochastischen quadratischen Problemen: Unter Verwendung eines Nesterov-tridiagonalen quadratischen Ziels.
NanoChat-Sprachmodell-Pretraining: Ein 6-Schichten-Transformer-Modell mit 192 versteckten Einheiten.

Die Ergebnisse vergleichen Ringmaster LMO (speziell Ringmaster Muon) mit synchronen und asynchronen Baselines (Rennala Muon, Delay-adaptive Muon). Die Experimente zeigen, dass die Methode in nahezu homogenen Umgebungen konkurrenzfähig ist, ihr Vorteil jedoch signifikant wächst, wenn die Heterogenität der Worker-Geschwindigkeiten zunimmt. In hochheterogenen Regimen (lineare Verzögerungsprofile) erzielt Ringmaster LMO den niedrigsten Trainingsverlust und die schnellste Konvergenz.

Ergebnisse und Bedeutung

Theoretische Ergebnisse:

Die Methode erreicht im parameteragnostischen Setting eine Iterationskomplexität von $\tilde{O}(\Psi^4 / \epsilon^4)$ , wobei $\Psi$ Problemkonstanten und Rauschen zusammenfasst.
Im Setting mit festen Parametern beträgt die Zeitkomplexität, um einen $\epsilon$ -stationären Punkt zu erreichen, $O(\min_m H_m \cdot (\dots))$ , wobei $H_m$ das harmonische Mittel der ersten $m$ Worker-Zeiten ist. Dies bestätigt, dass die Methode das „Straggler"-Problem vermeidet, indem sie übermäßig veraltete Updates verwirft und damit die für euklidisches asynchrones SGD bekannte optimale Zeitkomplexität wiederherstellt.

Empirische Ergebnisse:

Empfindlichkeit gegenüber Heterogenität: Die Leistungslücke zwischen Ringmaster LMO und den Baselines vergrößert sich mit zunehmender Verzögerungsheterogenität. Im Regime „linearer Verzögerung" (bei dem einige Worker signifikant langsamer sind) übertrifft Ringmaster Muon alle Baselines.
Robustheit: Die parameteragnostische Variante leistet konkurrenzfähige Ergebnisse, ohne dass eine manuelle Anpassung des Verzögerungsschwellenwerts basierend auf Problemparametern erforderlich ist.

Bedeutung:
Die Arbeit behauptet, die Lücke zwischen dem empirischen Erfolg von Optimierern mit Matrixstruktur (wie Muon) und der theoretischen Effizienz asynchroner verteilter Trainings zu schließen. Indem bewiesen wird, dass Verzögerungs-Schwellenwerte erfolgreich auf nicht-euklidische, LMO-basierte Updates angewendet werden können, ermöglicht diese Arbeit den Einsatz dieser fortschrittlichen Optimierer in großen, heterogenen verteilten Umgebungen, ohne Konvergenzgarantien zu opfern. Die Autoren stellen fest, dass ihre Analyse zwar homogene Datenverteilungen voraussetzt, die Fähigkeit der Methode, Systemheterogenität zu bewältigen, jedoch ein entscheidender Schritt hin zu praktischem, großflächigem Training ist.

Anerkannte Einschränkungen:
Die Autoren vermerken bescheiden, dass untere Schranken für die asynchrone Zeitkomplexität allgemeiner LMO-basierter Methoden in beliebigen Normen ein offenes Problem bleiben, da sogar für den synchronen Fall keine passenden unteren Schranken bekannt sind. Darüber hinaus geht die aktuelle Theorie von homogenen Datenverteilungen über die Worker hinweg aus, sodass daten-heterogene Umgebungen ein natürlicher nächster Schritt sind.