💬 NLP

Decoupled DiLoCo for Resilient Distributed Pre-training

Dit paper introduceert Decoupled DiLoCo, een asynchrone distributieframework dat de traditionele SPMD-paradigma doorbreekt om trainingssnelheid en -resilientie te maximaliseren door lokale learners onafhankelijk te laten werken en updates te synchroniseren via een adaptief quorum-mechanisme, zelfs bij hardwarestoringen.

Oorspronkelijke auteurs: Arthur Douillard, Keith Rush, Yani Donchev, Zachary Charles, Nova Fallen, Ayush Dubey, Ionel Gog, Josef Dean, Blake Woodworth, Zachary Garrett, Nate Keating, Jenny Bishop, Henry Prior, Edouard Yvinec

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Arthur Douillard, Keith Rush, Yani Donchev, Zachary Charles, Nova Fallen, Ayush Dubey, Ionel Gog, Josef Dean, Blake Woodworth, Zachary Garrett, Nate Keating, Jenny Bishop, Henry Prior, Edouard Yvinec, Arthur Szlam, Marc'Aurelio Ranzato, Jeff Dean

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🚂 De Trein die nooit stopt: Decoupled DiLoCo

Stel je voor dat je een gigantische trein hebt die een heel land moet verkennen om een geheim te vinden (het "trainen" van een slimme AI).

De oude manier (SPMD): De Perfecte Trein
Vroeger werkte alles volgens het principe van de "Perfecte Trein". Alle wagons (de computerchips) waren aan elkaar gelast. Ze reden in perfect ritme: als wagon 1 een stap deed, deden wagon 2, 3 en 4 dat exact op hetzelfde moment.

Het probleem: Als er één wiel leegliep of één wagon vastliep in de modder, moest de hele trein stoppen. Niemand kon verder. In een wereld met miljoenen wagons (chips) is het bijna onmogelijk dat er nooit iets misgaat. Dit kostte enorme hoeveelheden tijd en geld.

De nieuwe manier (Decoupled DiLoCo): De Karavaan
De onderzoekers van Google hebben een nieuwe manier bedacht. In plaats van één grote, gelaste trein, hebben ze een karavaan van losse vrachtwagens gemaakt.

Onafhankelijke Chauffeurs (De "Learners"):
Elke vrachtwagen rijdt zijn eigen route. Ze hebben allemaal een kaart van hetzelfde gebied, maar ze rijden niet in lockstep. Als vrachtwagen A vastzit in de modder (een hardware-storing), rijden vrachtwagen B, C en D gewoon door. Ze stoppen niet. Ze verzamelen hun eigen kennis terwijl ze rijden.
De Regisseur (De "Syncer"):
Er is één centrale regisseur (een computer op een rustige plek) die niet in de modder staat. Deze regisseur wacht niet tot iedereen terug is. Zodra er genoeg vrachtwagens (bijvoorbeeld 8 van de 10) een update hebben gestuurd, pakt de regisseur die updates, mixt ze samen tot een nieuwe, betere kaart, en stuurt die terug.
- De magische truc: De vrachtwagens die vastzitten, hoeven niet te wachten. Zodra ze weer rijden, krijgen ze de nieuwe kaart en hollen ze bij. De trein stopt nooit.

🧩 De Puzzelstukjes (Fragmentatie)

Stel je voor dat de "kaart" (het brein van de AI) een enorme puzzel is van 10.000 stukjes.

Oude methode: Je moet de hele puzzel uitwisselen tussen de wagons elke seconde. Dat is veel werk en veel files op de weg (bandbreedte).
Nieuwe methode: De puzzel is opgedeeld in stukjes. Vrachtwagen A stuurt alleen stukje 1, Vrachtwagen B stuurt stukje 2. Ze wisselen deze stukjes uit terwijl ze rijden. Hierdoor is er veel minder file, en kan de karavaan veel sneller en soepeler bewegen.

🌪️ Chaos als Superkracht

De onderzoekers noemen dit "Chaos Engineering". Ze hebben hun systeem opzettelijk laten crashen in simulaties.

Het resultaat: Bij de oude trein zou een crash van één wagon de hele reis vertragen met uren. Bij de nieuwe karavaan? De andere vrachtwagens merken er niets van. De reis gaat gewoon door.
De "Quorum" (Kwartier): De regisseur wacht niet op 100% van de vrachtwagens. Hij wacht op een "minimum aantal" (bijvoorbeeld 80%). Als er 20% van de vrachtwagens uitvalt, doet de regisseur gewoon alsof die er niet zijn, maakt de nieuwe kaart en stuurt die door. Zodra de uitvallers terugkomen, sluiten ze gewoon weer aan.

🏗️ Waarom is dit zo belangrijk?

Geen tijdverlies: In de wereld van AI-training is tijd geld. Als je 10.000 computers hebt en er gaat er één stuk, is dat normaal. Met de oude methode verlies je 100% van je tijd. Met deze methode verlies je bijna niets.
Schaalbaarheid: Je kunt nu computers van verschillende merken, verschillende snelheden en zelfs op verschillende plekken in de wereld gebruiken. De snelle vrachtwagens rijden wat sneller, de langzamere wat langzamer, maar de karavaan komt altijd aan op het doel.
De "Scavenging" (Opscharrelen): Je kunt nu tijdelijk extra computers "lenen" van elders (bijvoorbeeld 's nachts als ze niet gebruikt worden). Omdat de systemen losgekoppeld zijn, kun je die extra kracht direct gebruiken zonder de hele trein te hoeven herconfigureren.

🎯 Conclusie in één zin

Decoupled DiLoCo is als het vervangen van een starre, gelaste trein door een flexibele karavaan van vrachtwagens: als er één kapot gaat, rijden de anderen gewoon door, en komt de bestelling (het slimme AI-model) toch op tijd en in perfecte staat aan.

Het is een manier om de "perfecte synchronisatie" op te geven voor ononderbroken voortgang, waardoor we in de toekomst veel grotere en slimmere AI's kunnen bouwen, zelfs als de hardware niet perfect is.

Titel: Decoupled DiLoCo voor Robuuste Gedistribueerde Pre-training

1. Het Probleem: De Beperkingen van SPMD

Moderne pre-training van grote taalmodellen (LLM's) vertrouwt bijna uitsluitend op het Single Program Multiple Data (SPMD) paradigma. Hierbij worden alle acceleratoren (zoals TPUs) strak gekoppeld en moeten ze op elk trainingsstap synchroon zijn.

Het Bottleneck: Deze "monolithische" aanpak vereist globale synchronisatie. Een enkele hardwarestoring, een trage node (straggler) of netwerkinstabiliteit vertraagt of stopt het volledige systeem.
Schalingsprobleem: Naarmate clusters groter worden (miljoenen chips), worden hardwarestoringen van zeldzaam naar routine. Frequent onderbrekingen leiden tot enorme verspilling van rekentijd en downtime.
CAP-theorema analogie: De auteurs stellen dat SPMD prioriteit geeft aan Consistentie (elke accelerator ziet dezelfde modelstatus) ten koste van Beschikbaarheid (doorgaan bij storingen) en Partitie-tolerantie (doorgaan bij netwerkproblemen). Bestaande "elastische" methoden kunnen wel het cluster herschikken, maar vereisen nog steeds significante downtime voor herconfiguratie.

2. Methodologie: Decoupled DiLoCo

Het paper introduceert Decoupled DiLoCo, een evolutie van het DiLoCo-framework dat de lock-step synchronisatie doorbreekt door over te schakelen van een monolithisch cluster naar onafhankelijke, asynchrone "learners".

Kernarchitectuur:

Onafhankelijke Learners: Het cluster wordt opgesplitst in $M$ onafhankelijke learners. Elke learner voert lokale "inner optimization" stappen uit (bijv. met AdamW) op zijn eigen data-shard zonder te wachten op anderen.
Centrale Synchronizer (Syncer): Een lichtgewicht synchronizer (draaiend op CPU's) coördineert de learners. Deze ontvangt updates asynchroon en voert een "outer optimization" stap uit.
Fragmentatie: Het model wordt opgesplitst in fragmenten (bijv. 24 fragmenten). Learners synchroniseren deze fragmenten met de syncer in plaats van het hele model.
Asynchrone Communicatie: Communicatie en training overlappen elkaar. Learners hoeven niet te wachten op de syncer om door te gaan met trainen.

Belangrijke Mechanismen voor Robuustheid:

Minimum Quorum ( $K$ ): De syncer wacht niet op alle $M$ learners, maar slechts op een minimum aantal $K$ (bijv. $K=1$ ). Als een learner uitvalt, wordt deze voor die stap genegeerd, waardoor het systeem niet stopt.
Adaptief Genadevenster (Grace Window): Om de kwaliteit van de updates te maximaliseren, wacht de syncer kort (binnen de beschikbare "slack" tijd) om meer learners te verzamelen, zonder het systeem te blokkeren.
Token-gewogen Merging: Omdat snellere learners meer tokens verwerken dan langzamere, worden updates gewogen op basis van het aantal verwerkte tokens en stappen. Dit voorkomt dat langzamere learners de globale update onnodig verstoren.
Radial-Directional Averaging (RDA): Een nieuwe methode om de "outer gradients" te mergen. In plaats van direct te middelen, worden de normen en richtingen van de vectoren apart gemiddeld. Dit verbetert de stabiliteit van de hyperparameters en de prestaties bij schaling.
Chaos Engineering: Het systeem wordt getest met gesimuleerde hardwarestoringen (Poisson-verdeling van uitval) om de resistentie te valideren.

3. Belangrijkste Bijdragen

Decoupled DiLoCo Framework: Een nieuw paradigma dat prioriteit geeft aan beschikbaarheid en partitie-tolerantie boven strikte consistentie, waardoor het "blast radius" van hardwarestoringen wordt beperkt tot één learner in plaats van het hele cluster.
Schaalbaar Systeemontwerp: Een architectuur met een centrale synchronizer die asynchrone parameter-reconciliatie mogelijk maakt, geschikt voor pre-training op schaal van miljoenen chips.
Empirische Validatie: Uitgebreide experimenten tonen aan dat de methode vergelijkbare downstream prestaties levert als standaard data-parallel training voor zowel dense als Mixture-of-Experts (MoE) architecturen, zonder de kwaliteit van het model te beïnvloeden.
Robuustheid: Demonstratie van "zero global downtime" zelfs onder agressieve, continue hardwarestoringen, behaald via chaos engineering principes.

4. Resultaten

De auteurs hebben experimenten uitgevoerd met modellen van 2B tot 9B parameters (Gemma-architectuur) op tekst- en visietaken.

Goodput (Efficiëntie):
- Bij een gesimuleerd cluster van 2,4 miljoen chips met frequente storingen, daalt de goodput van standaard Data-Parallel (DP) naar 18%.
- Decoupled DiLoCo met $M=16$ learners behoudt een goodput van 86%.
- Met voldoende learners kan de uptime 100% zijn, zelfs als individuele chips uitvallen.
Modelkwaliteit:
- De prestaties op benchmarks (zoals ARC, HellaSwag, MMMU, DocVQA) zijn vergelijkbaar met de monolithische DP-baseline.
- Zelfs bij extreme storingen (MTBI van 1 jaar per chip) blijft de modelkwaliteit behouden.
Heterogene Hardware:
- Het systeem kan naadloos werken met verschillende chip-generaties (bijv. TPUv5e en TPUv5p) en verschillende snelheden zonder dat de langzaamste node het hele systeem vertraagt.
Scavenging (Opvangen van beschikbare rekenkracht):
- Het systeem kan tijdelijk extra rekenkracht ("scavenge") integreren zonder downtime voor herconfiguratie, wat leidt tot snellere trainingstijden zonder kwaliteitsverlies.
Bandbreedte:
- Decoupled DiLoCo vereist ordes van grootte minder bandbreedte dan traditionele data-parallel training, wat training over geografisch verspreide clusters mogelijk maakt.

5. Betekenis en Conclusie

Decoupled DiLoCo markeert een verschuiving in het paradigma van LLM-pre-training. Door de strikte synchronisatie-eisen van SPMD los te laten, kunnen organisaties:

Betere Fault Tolerance: Trainen op hardware die veel vaker uitvalt of trager is, zonder dat dit de training stopt.
Geografische Verspreiding: Clusters bouwen over verschillende datacenters of regio's heen, waar bandbreedte beperkt is, omdat asynchrone communicatie minder afhankelijk is van lage latentie.
Kostenverlaging: Het gebruik van "scavenged" compute (tijdelijk beschikbare, goedkopere of onbetrouwbare resources) wordt haalbaar.

De conclusie is dat voor de toekomstige schaal van AI-training (miljoenen chips, geo-distributed), een "availability-first" aanpak niet langer alleen een voordeel is, maar een noodzaak om de rekentijd effectief te benutten en de kosten te beheersen, terwijl de modelkwaliteit op peil blijft.