🤖 AI

LoRDO: Distributed Low-Rank Optimization with Infrequent Communication

Das Papier schlägt LoRDO vor, ein verteiltes Trainingsframework, das die Low-Rank-Optimierung mit seltener Kommunikation vereint, indem es ein Full-Rank-Quasi-Hyperbolic-Update zur Wiederherstellung der Subraum-Exploration einführt und dadurch eine nahezu gleichwertige Leistung im Vergleich zu Standard-DDP bei einer Reduzierung des Kommunikationsaufwands um etwa das Zehnfache erzielt.

Ursprüngliche Autoren: Andrej Jovanović, Alex Iacob, Mher Safaryan, Ionut-Vlad Modoranu, Lorenzo Sani, William F. Shen, Xinchi Qiu, Dan Alistarh, Nicholas D. Lane

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrej Jovanović, Alex Iacob, Mher Safaryan, Ionut-Vlad Modoranu, Lorenzo Sani, William F. Shen, Xinchi Qiu, Dan Alistarh, Nicholas D. Lane

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen Team von Schülern (einem Computermodell) beizubringen, eine Geschichte zu schreiben. Um dies zu tun, nutzen Sie eine riesige Bibliothek von Büchern (Daten) und ein Klassenzimmer voller Lehrer (Computer/Arbeiter).

Im Standardverfahren (DDP) liest jeder Lehrer ein paar Seiten, macht sich Notizen und rennt dann sofort nach vorne in den Raum, um diese mit allen anderen zu teilen. Sie kombinieren alle Notizen, aktualisieren den Lehrplan und beginnen von vorn.

Das Problem:
Wenn die Geschichte komplexer wird (das Modell größer wird), werden die „Notizen“, die die Lehrer teilen müssen, riesig. Der Flur, der die Klassenzimmer verbindet (die Netzwerkbandbreite), verstopft. Die Lehrer verbringen mehr Zeit damit, hin- und herzurennen, um Notizen auszutauschen, als tatsächlich zu lernen.

Um dies zu beheben, versuchten einige Forscher eine neue Methode: Low-Rank Optimization. Anstatt jede einzelne Detailinformation in ihre Notizen zu schreiben, fassen die Lehrer ihre Notizen in einer winzigen, niedrig aufgelösten Skizze zusammen. Dies macht die Notizen viel kleiner und leichter zu tragen. Es gibt jedoch einen Haken:

Lokale Skizzen: Wenn jeder Lehrer seine eigene Skizze basierend auf seinem eigenen kleinen Stapel Bücher erstellt, sind die Skizzen verrauscht und inkonsistent.
Globale Skizzen: Wenn sie warten, bis am Ende eine einzige „perfekte“ Skizze basierend auf den Büchern aller Lehrer erstellt wird, wird die Skizze zu starr. Die Lehrer bleiben bei densen wenigen Ideen stecken und können keine neuen kreativen Richtungen mehr einschlagen. Der Lernprozess „stagniert“.

Die Lösung: LoRDO
Die Autoren dieses Papers schlagen LoRDO (Distributed Low-Rank Optimization) vor. Denken Sie an eine kluge neue Regel für das Klassenzzimmer, die das Beste aus beiden Welten kombiniert.

So funktioniert LoRDO, unter Verwendung einer kreativen Analogie:

1. Die „Gruppenskizze“ (Global Projection)

Anstatt jeden Lehrer seine eigene chaotische Skizze erstellen zu lassen, warten die Lehrer, bis sie einen Block an Büchern gelesen haben. Dann führen sie ihre Notizen zusammen, um eine einzige, hochwertige „Gruppenskizze“ zu erstellen.

Warum das hilft: Da diese Skizze auf dem kombinierten Wissen der gesamten Klasse basiert, ist sie viel klarer und weniger verrauscht als die Skizze eines einzelnen Lehrers. Sie bietet jedem ein solides Fundament.

2. Der „Kreative Funke“ (Full-Rank Quasi-Hyperbolic Momentum)

Hier liegt die große Innovation des Papers. Wenn die Lehrer nur die „Gruppenskizze“ verwenden würden, wären sie alle gezwungen, in derselben engen Spur zu denken. Sie würden aufhören, neue Ideen zu erforschen, und die Geschichte würde langweilig werden (stagnieren).

Um dies zu beheben, fügt LoRDO einen „Kreativen Funken“ zum Aktualisierungsprozess hinzu.

Stellen Sie sich vor, dass die Lehrer, während sie der „Gruppenskizze“ folgen, auch in der Lage sind, ein kleines Stück ihrer eigenen vollständigen, hochauflösenden, wilden Fantasie wieder einzubringen.
Dieser „Funke“ ist ein mathematischer Trick (ein Full-Rank Quasi-Hyperbolic Momentum Term), der ein wenig Information mit voller Detailtiefe in die Skizze mit niedriger Detailtiefe injiziert.
Das Ergebnis: Die Lehrer bleiben auf derselben Seite (sie nutzen die effiziente Low-Rank-Skizze), sind aber dennoch frei, die gesamte Bibliothek der Ideen zu erkunden (nicht nur den engen Pfad, den die Skizze vorgibt).

3. Die „Unregelmäßigen Kontrollpunkte“

LoRDO erlaubt es den Lehrern auch, lange Zeit zu arbeiten (viele Schritte), bevor sie sich wieder vor den Raum stellen müssen, um sich abzustimmen.

Da sie die effiziente „Gruppenskizze“ und den „Kreativen Funken“ nutzen, können sie viel länger unabhängig arbeiten, ohne sich zu verlieren.
Dies reduziert den Verkehr im Flur um etwa das Zehnfache im Vergleich zu den alten Methoden.

Was haben sie herausgefunden?

Die Forscher haben dies an Sprachmodellen getestet, die von klein (125 Millionen Parameter) bis mittelgroß (720 Millionen Parameter) reichen.

Leistung: LoRDO performte fast exakt so gut wie die standardmäßige, langsame Methode mit hoher Bandbreite. Die Qualität der Geschichte (gemessen an der „Perplexity“) war nahezu identisch.
Effizienz: Es verbrauchte 8- bis 12-mal weniger Speicher und reduzierte den Kommunikationsverkehr um das Zehnfache.
Niedrige Speicher-Einstellungen: Wenn die Computer über sehr wenig Speicher verfügten (was sie zwang, sehr kleine „Skizzen“ zu verwenden), schnitt LoRDO sogar besser ab als die Standardmethoden, weil es das Rauschen wesentlich besser handhabte.

Zusammenfassend

LoRDO ist wie ein intelligentes Klassenmanagement-System. Es lässt Lehrer länger unabhängig arbeiten, um Zeit zu sparen (Kommunikation). Es nutzt eine gemeinsame, hochwertige Zusammenfassung, um alle auf demselben Stand zu halten (Global Projection). Aber entscheidend ist, dass es einen speziellen „kreativen Funken“ hinzufügt, der verhindert, dass die Gruppe in einer Routine stecken bleibt, sodass sie immer noch in der Lage sind, all die besten Ideen der Bibliothek zu erkunden (Full-Rank Exploration).

Das Paper behauptet, dass dies es uns ermöglicht, große KI-Modelle auf Hardware zu trainieren, die günstiger und begrenzter ist, ohne das Endergebnis an Qualität einzubüßen.

Technisches Resümee: LoRDO – Verteilte Niedrigrang-Optimierung mit seltener Kommunikation

1. Problemstellung

Das verteilte Training von Foundation Models mittels Distributed Data Parallel (DDP) wird zunehmend durch die Interconnect-Bandbreite und den Speicherbedarf für Optimizer-Zustände (z. B. Adam-Momente) eingeschränkt. Strategien, die eine seltene Kommunikation (lokale Updates) einsetzen, reduzieren zwar die Synchronisationsfrequenz, bleiben jedoch durch die Speicher- und Kommunikationskosten der Full-Rank-Optimizer-Zustände limitiert.

Low-Rank Adaptive Optimizer (z. B. GaLore, LDAdam) bieten einen Weg, diese Einschränkungen zu mildern, indem sie Gradienten in einen Niedrigrang-Unterraum projizieren. Die Generalisierung dieser Methoden auf das Regime der inkonsistenten Synchronisation stellt jedoch eine kritische Optimierungsherausforderung dar:

Lokale Projektionen: Das lokale Berechnen von Niedrigrang-Projektionen auf einzelnen Workern unter Verwendung stochastischer Gradienten führt aufgrund kleiner effektiver Batch-Größen pro Worker zu erheblichem Rauschen. Dies führt zu suboptimalen Projektions-Unterräumen und Leistungsdegradationen.
Globale Projektionen: Die Verwendung einer globalen Projektionsmatrix, die aus aggregierten Pseudo-Gradienten abgeleitet wurde (wie bei DDP), bietet eine stabilere Basis. Im Regime der lokalen Updates beschränkt dieser Ansatz die Optimierungstrajektorie jedoch dauerhaft auf einen festen Niedrigrang-Unterraum. Ohne Full-Rank-Signale stagniert die Optimierung, da die Projektionsbasis nicht in der Lage ist, sich zu „erneuern“ oder neue Richtungen außerhalb des ursprünglichen Unterraums zu explorieren.

Die Kernfrage lautet: Wie können wir hochperformante Niedrigrang-Optimizer für kommunikationseffizientes Training entwerfen, die eine Subraum-Stagnation vermeiden und gleichzeitig den Niedrigrang- und Kommunikations-Overhead gering halten?

2. Methodik: LoRDO

Die Autoren schlagen LoRDO (Low-Rank Distributed Optimization) vor, ein Framework, das Niedrigrang-Optimierung mit inkonsistenter Synchronisation vereint. Die Methodik adressiert das Spannungsfeld zwischen Projektionsstabilität und Subraum-Exploration durch drei Schlüsselmechanismen:

A. Globale Projektionsmatrizen

Anstatt dass jeder Worker seine eigene Projektionsmatrix $Q_m$ basierend auf lokalen stochastischen Gradienten bestimmt (was unter hoher Varianz leidet), verwendet LoRDO eine globale Projektionsmatrix $Q_t$ . Diese Matrix wird an der Synchronisationsgrenze unter Verwendung des aggregierten Pseudo-Gradienten ( $\Delta_t$ ) berechnet, welcher die gesamte Änderung der Modellparameter über $K$ lokale Schritte darstellt.

Vorteil: Der Pseudo-Gradient verfügt über eine effektive Batch-Größe von $M \times B$ (wobei $M$ die Anzahl der Worker ist), was ein stabileres Signal mit reduzierter Varianz im Vergleich zu lokalen Gradienten liefert. Er beinhaltet zudem Krümmungsinformationen, die in den Pseudo-Gradienten eingebettet sind, was zu einer qualitativ hochwertigeren Basis-Schätzung führt.

B. Full-Rank Quasi-Hyperbolic Momentum (QHM)

Um das Problem des „stagnierenden Unterraums“ zu lösen, das der globalen Projektion inhärent ist, injiziert LoRDO einen Full-Rank Quasi-Hyperbolic Momentum Term in das lokale Update.

Mechanismus: Die Update-Regel kombt das Niedrigrang-Momentum mit einem Full-Rank-Gradientensignal, das durch das zweite Moment skaliert ist:
$\text{Update} \propto (1-\omega)\frac{\hat{G}_t}{\mu(\sqrt{\hat{v}_t} + \epsilon)} + \omega Q_t \left[ \frac{u_t}{\sqrt{v_t} + \epsilon} \right]$
Effekt: Diese Injektion verhindert, dass der aggregierte Pseudo-Gradient innerhalb eines festen Rank- $r$ Unterraums gefangen bleibt. Sie ermöglicht es dem Optimierungsprozess, Rank- $r$ Unterräume verschiedener Worker zeitlich zu aggregieren, was letztlich eine vollständige Subraum-Exploration ermöglicht. Dies stellt die Fähigkeit zur Exploration des vollständigen Lösungsraums wieder her, ohne den Kommunikations-Overhead zu erhöhen.

C. Error Feedback und Momentum-Rotation

LoRDO integriert lokal Error Feedback, um die während der Niedrigrang-Kompression verlorenen Informationen zu berücksichtigen. Zusätzlich werden nach der Berechnung einer neuen Projektionsmatrix die Optimizer-Zustände (Momente) rotiert, um sicherzustellen, dass sie weiterhin auf demselben Unterraum akkumuliert werden – eine Technik, die von LDAdam adaptiert wurde.

3. Kernbeiträge

Analyse von Projektions-Fehlermodi: Die Autoren zeigen auf, dass lokale Projektionen die Performance aufgrund der hohen Varianz kleiner Worker-Batch-Größen beeinträchtigen, während globale Projektionen ohne Full-Rank-Signale eine Subraum-Stagnation induzieren.
Wiederherstellung der vollständigen Subraum-Exploration: LoRDO führt einen Niedrigrang-Optimizer ein, der ein Full-Rank-Gradientensignal (via QHM) in lokale Updates injiziert, während er gleichzeitig eine globale Projektion aus aggregierten Pseudo-Gradienten beibehält. Dies verhindert Stagnation ohne Erhöhung des Kommunikations- oder Speicher-Overheads.
DDP-Parität und Effizienz: Das Framework erreicht eine nahezu identische Leistung mit synchronem Niedrigrang-DDP (Perplexity-Gap < 1 %), während es den Optimizer-Speicher und die Kommunikation um bis zu $8\times$ – $12\times$ reduziert. Unter extremen Speicherbeschränkungen, die niedrige Ränge erzwingen, übertrifft LoRDO sogar DDP in der Perplexity.

4. Experimentelle Ergebnisse

Die Experimente wurden an Decoder-only Transformern mit 16M, 125M und 720M Parametern unter Verwendung der SmolLM2-Datenmischung durchgeführt.

Stagnation vs. Exploration: In 16M Modellen scheiterten globale Projektionen ohne QHM am Lernen (Perplexity ~~46.8) im Vergleich zu DDP (~~36.6), was die Subraum-Stagnation bestätigt. Das Hinzufügen von Full-Rank QHM stellte die Performance wieder her und ermöglichte es LoRDO-Global, lokale Varianten zu übertreffen.
Projektionsqualität: LoRDO-Global demonstrierte eine überlegene Stabilität und Performance, insbesondere bei niedrigen Rängen ( $r=8, 16$ ), was auf die qualitativ hochwertigere Projektionsbasis zurückzuführen ist, die aus dem aggregierten Pseudo-Gradienten abgeleitet wurde. Es zeigte sich weniger sensitiv gegenüber Änderungen der lokalen Batch-Größe als lokale Projektionsmethoden.
Skalierung auf 720M: Bei der 720M Skala erreichte LoRDO-Global ( $r=256$ ) nahezu Parität mit Niedrigrang-DDP ( $r=256$ ) mit einem Perplexity-Gap von weniger als 1% (10.41 vs. 10.34). Es erreichte zudem vergleichbare Genauigkeiten in Downstream-Tasks (ARC, HellaSwag, MMLU, PIQA) wie DDP.
Effizienzgewinne:
- Kommunikation: LoRDO reduziert den Kommunikations-Overhead um etwa das 10-fache im Vergleich zu Niedrigrang-DDP und um das 25-fache im Vergleich zu Full-Rank-DDP.
- Speicher: Es reduziert den Optimizer-Zustands-Speicherbedarf um das 8-fache gegenüber Full-Rank-Pendants.
- Wall-Clock-Time: In Umgebungen mit geringer Bandbreite (modelliert mit 10 Gbps) übertrifft LoRDO DDP signifikant in der Wand-Uhr-Zeit aufgrund der reduzierten Synchronisationsfrequenz.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass LoRDO das fundamentale Spannungsverhältnis zwischen Projektionsstabilität und Subraum-Exploration in der kommunikationseffizienten Niedrigrang-Optimierung löst. Durch die Nutzung aggregierter Pseudo-Gradienten für die Projektionsstabilität und Full-Rank Quasi-Hyperbolic Momentum für die Exploration ermöglicht LoRDO:

Skalierbares Training: Wettbewerbsfähige Performance bei Skalierung (bis zu 720M Parameter) bei deutlich reduziertem Kommunikations- und Speicheraufwand.
Ressourceneffizienz: Machbarkeit des Pre-Trainings auf Hardware mit begrenzten Ressourcen (geringer Speicher/Bandbreite), wo Full-Rank-Optimizer unpraktikabel sind.
Dezentrales Lernen: Den Weg ebnen für effizientes Lernen in dezentralen Umgebungen durch die Erweiterung des Modelltrainings über einzelne Rechenzentren hinaus.

Die Autoren weisen auf Limitationen hin, darunter das Fehlen eines formalen Konvergenzbeweises und der aktuelle Fokus auf adaptive Optimierer (Adam) statt auf Matrix-basierte Optimierer (z. B. Muon), was sie für zukünftige Arbeiten vorsehen. Sie postulieren jedoch, dass die beobachteten Trends kleinerer Modelle auch für größere Skalen gelten.