🤖 machine learning

DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training

DynaTrain is een gedistribueerd trainingssysteem dat sub-seconde online herconfiguratie van grote taalmodellen over willekeurige parallelisme-dimensies mogelijk maakt door gebruik te maken van een Virtual Parameter Space-abstractie en een elastisch apparaatbeheer om de prestatie-overschrijding van traditionele op checkpoint gebaseerde statetransities te elimineren.

Oorspronkelijke auteurs: Yuanqing Wang, Yuchen Zhang, Hao Lin, Junhao Hu, Chunyang Zhu, Quanlu Zhang, Boxun Li, Guohao Dai, Zhi Yang, Daning Cheng, Yunquan Zhang, Yu Wang

Gepubliceerd 2026-05-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuanqing Wang, Yuchen Zhang, Hao Lin, Junhao Hu, Chunyang Zhu, Quanlu Zhang, Boxun Li, Guohao Dai, Zhi Yang, Daning Cheng, Yunquan Zhang, Yu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm bouwproject leidt om een wolkenkrabber te bouwen (het trainen van een gigantische AI). Je hebt duizenden arbeiders (GPU's) en een enorme stapel blauwdrukken (het AI-model).

Op dit moment werken de meeste bouwplaatsen volgens een starre regel: Zodra je hebt besloten hoe je je arbeiders organiseert, kun je dat niet meer veranderen totdat het gebouw klaar is.

Als je plotseling 10 extra arbeiders krijgt, of als 10 arbeiders worden weggeroepen voor een noodsituatie, dwingt het huidige systeem je om alles te stoppen. Je moet dan:

Alle blauwdrukken en gereedschap inpakken.
Ze naar een opslagpakhuis (de harde schijf) vervoeren.
Wachten tot het nieuwe team arriveert.
Alles terugvervoeren, uitpakken en iedereen opnieuw toewijzen aan nieuwe plekken.
Van voren af aan beginnen.

Dit "inpak-en-opnieuw-starten"-proces kost veel tijd (minuten of zelfs uren), verspillen waardevolle middelen en vertraagt het project.

DYNATRAIN is een nieuw systeem dat dit oplost door de bouwplaats in staat te stellen zichzelf direct te herorganiseren terwijl het werk nog gaande is.

Zo werkt het, met eenvoudige analogieën:

1. De "Virtuele Blauwdruk" (Virtuele Parameterruimte)

Stel je voor dat elke arbeider in plaats van naar de fysieke blauwdrukken die verspreid liggen over verschillende bureaus te kijken, een magische, onzichtbare "Virtuele Blauwdruk" in zijn hoofd heeft. Deze blauwdruk toont het hele gebouw in zijn volledige vorm, ongeacht wie welk stuk papier vasthoudt.

Het Probleem: In het oude systeem, als je de teamstructuur veranderde, moest je fysiek elk enkel stuk papier van het ene bureau naar het andere verplaatsen, vaak door ze in verwarrende manieren te knippen of aan elkaar te plakken.
De DYNATRAIN-oplossing: Omdat iedereen dezelfde "Virtuele Blauwdruk" deelt, is het veranderen van de teamstructuur slechts een kwestie van wiskunde. Het systeem berekent simpelweg: "Oké, Arbeider A heeft nu de linkerbovenhoek van de blauwdruk nodig, en Arbeider B de rechteronderhoek." Het verandert een rommelige fysieke herschikking in een schoon geometrisch puzzeltje.

2. De "Verkeersregelaar" (State Routing Planner)

Zodra de nieuwe teamstructuur is besloten, moet iemand de arbeiders precies vertellen wat ze moeten verwisselen.

De Oude Manier: Arbeiders zouden over de kamer schreeuwen: "Hé, geef mij dat!" en "Hier, neem maar!", wat vaak leidde tot verwarring, filevorming of arbeiders die in een cirkel op elkaar wachtten (deadlocks).
De DYNATRAIN-oplossing: De "Verkeersregelaar" kijkt naar de Virtuele Blauwdruk en maakt een perfect, vooraf gepland schema. Het weet precies wie wat aan wie moet sturen, zodat niemand wacht en niemand vastzit. Het groepeert kleine taken samen zodat ze in één grote, efficiënte beweging kunnen worden uitgevoerd in plaats van in duizenden kleine, trage bewegingen.

3. De "Verhuiswagen" (State Transition Engine)

Het verplaatsen van de data (de blauwdrukken) tussen arbeiders is lastig omdat de bureaus van de arbeiders (GPU-geheugen) zeer klein zijn. Je kunt de oude blauwdruk en de nieuwe niet tegelijk vasthouden zonder dat de ruimte op is.

De DYNATRAIN-oplossing: Het systeem gebruikt een slimme "verhuiswagen"-methode. Het pakt de spullen in een tijdelijke container, verplaatst ze en gooit de oude container direct weg voordat de nieuwe zelfs maar volledig is uitgepakt. Het doet dit in een strikt, stap-voor-stap ritme zodat de bureaus nooit te vol raken (waardoor "Out of Memory"-crashes worden voorkomen).

4. De "Flexibele Werkvoorman" (Elastic Device Manager)

Soms verandert de bouwplaats zelf. Een nieuwe kraan arriveert, of een truck vertrekt.

De DYNATRAIN-oplossing: De Werkvoorman stopt het werk niet om het nieuwe team voor te stellen. Terwijl het huidige team doorgaat met bouwen, zet de Werkvoorman het nieuwe team rustig op de achtergrond klaar. Het moment dat het nieuwe team klaar is, wisselt de Werkvoorman ze naadloos in, en het werk gaat door zonder één seconde pauze.

De Resultaten: Snelheid en Efficiëntie

Het onderzoeksteam testte dit systeem op enorme AI-modellen (tot 235 miljard parameters). Hier is wat ze vonden:

De Oude Manier (Checkpointing): Om de teamgrootte te veranderen, moest het systeem alles opslaan op een harde schijf en opnieuw laden. Voor een groot model duurde dit tientallen seconden tot minuten.
De DYNATRAIN-manier: Het systeem organiseerde de arbeiders en hun blauwdrukken in minder dan 2 seconden opnieuw voor een model van 70 miljard parameters, en slechts 4,36 seconden voor een enorm model van 235 miljard parameters.

Kortom: DYNATRAIN verandert een proces dat eerder minuten duurde (zoals een huis verhuizen) in een proces dat seconden duurt (zoals meubels herschikken terwijl je er nog in woont). Het maakt AI-training flexibel, waardoor het direct kan inspelen op veranderende middelen zonder het werk te stoppen.

Technische Samenvatting: DYNATRAIN

Probleemstelling

Het trainen van moderne Large Language Models (LLM's) is afhankelijk van complexe composities van parallelismestrategieën (Data, Tensor, Pipeline, Expert en Optimizer Sharding) om modellen op te passen op enorme GPU-clusters. Echter, huidige trainingsframeworks opereren onder een statisch uitvoeringsmodel, waarbij wordt aangenomen dat de bij het opstarten gekozen parallelismelayout optimaal blijft gedurende de volledige levensduur van de taak. Deze aanname wordt steeds meer onhoudbaar vanwege:

Ressourceschommelingen: Productieclusters dynamisch herverdelen resources door preëmptie, intrekking van spot-instanties, of door co-geplaatste serving-workloads die GPUs vrijgeven tijdens daluren.
Dynamische Workflows: Opkomende workflows zoals Reinforcement Learning from Human Feedback (RLHF) vereisen het verschuiven van resources tussen inferentie (rollout) en trainingsfasen, wat runtime-wijzigingen in parallelisme noodzakelijk maakt.

Bestaande oplossingen ondervinden aanzienlijke beperkingen:

Checkpoint-en-Herstel: De standaardaanpak houdt in dat de taak wordt gestopt, terabytes aan staat worden gesequencialiseerd naar de schijf, en de taak wordt herstart. Dit veroorzaakt enorme latentie (tientallen seconden tot minuten) door storage I/O-flessenhalsen en de hoge kosten van het opnieuw initialiseren van gedistribueerde communicatoren.
Bestaande Elastische Systemen: Huidige in-memory "hot switching"-benaderingen zijn vaak beperkt tot vooraf gedefinieerde sjablonen, specifieke parallelismedimensies of statische topologieën, en slagen er niet in om willekeurige meedimensionale herconfiguratie te ondersteunen.

De kernuitdaging bij het mogelijk maken van algemene hot switching is drievoudig:

Statheterogeniteit: Moderne optimalisaties (bijv. ZeRO) fragmenteren staten over dimensies, waardoor disjuncte, heterogene shards ontstaan die niet aligneren met tensorgrenzen.
Complexe Routing: Het overgaan tussen twee meedimensionale layouts is een M-naar-N peer-to-peer communicatieprobleem dat een dodeklokvrije planning vereist zonder een globaal overzicht van de topologiewisseling.
Geheugenbeperkingen: Oude en nieuwe staten moeten tijdelijk samenbestaan met communicatiebuffers, wat risico's op Out-Of-Memory (OOM)-fouten op GPUs met beperkte capaciteit met zich meebrengt.

Methodologie

DYNATRAIN is een gedistribueerd trainsysteem ontworpen om sub-seconden, online herconfiguratie over willekeurige parallelismestrategieën mogelijk te maken. Het fungeert als een plugbare middleware-laag tussen de deep learning-backend (bijv. PyTorch) en trainingsframeworks (bijv. Megatron-LM).

1. Virtuele Parameterruimte (VPS)

De kernabstractie van DYNATRAIN is de Virtuele Parameterruimte (VPS), een uniforme logische coördinatenruimte waarin alle parameters, gradiënten en optimizer-staten bestaan in hun volledige, niet-gesharde vorm.

Logische Representatie: Elke tensor wordt weergegeven door een logische meedimensionale index-bounding box. Parallelle dimensies (DP, TP, PP, EP, ZeRO) worden in deze ruimte samengevouwen tot grootte 1.
Deterministische Mapping: Elke parallelismconfiguratie fungeert als een wiskundige mappingfunctie ( $F_P$ ) die de globale VPS projecteert naar een rank-lokale sub-VPS.
Geometrische Snijding: Het herconfigureren tussen strategieën reduceert tot het berekenen van de geometrische snijding tussen bron- en bestemmings-sub-VPS-regio's. Dit transformeert complexe statemigratie naar een deterministisch probleem van het identificeren welke logische regio's moeten worden verzonden, ontvangen of behouden, waardoor de explosie van paarwijze conversieregels wordt vermeden.

2. Systeemcomponenten

Gebaseerd op VPS maakt DYNATRAIN gebruik van drie samenwerkende componenten:

State Routing Planner: Werkt volledig binnen VPS-coördinaten. Het vergelijkt de bron ( $R^{(i)}_{src}$ ) en bestemming ( $R^{(i)}_{dst}$ ) logische regio's voor elke rank om exacte verzend-, ontvang- en behoudsets af te leiden. Het lost de misalignement van optimizer-staten op (die vaak zijn gepartitioneerd door vlakke buffer-offsets in plaats van semantische tensorgrenzen) door ze terug te mappen naar VPS-coördinaten, waarbij ze worden behandeld als standaard geometrische snijdingen.
State Transition Engine: Verfijnt het hoog-niveau plan van de planner tot een geoptimaliseerde uitvoeringspijplijn.
- Primitieve Optimalisatie: Het promoot punt-tot-punt-overdrachten naar collectieve primitieven (broadcast, scatter, gather) waar de topologie dit toelaat, en selecteert optimale bron-bestemmingparen op basis van intra-node bandbreedte (bijv. NVLink).
- Geheugenbewuste Staging: Om OOM te voorkomen, verwijdert het verouderde buffers en partitioneert het overdrachten in fasen op basis van beschikbaar geheugen. Het gebruikt continue verzend-/ontvangbuffers om gefragmenteerde overdrachten te coalesceren, waardoor de bandbreedtebenutting wordt gemaximaliseerd.
- Dodeklokvrije Planning: Het hanteert een asynchroon, XOR-gebaseerd planningalgoritme ( $Peer(i, s) = i \oplus s$ ) om symmetrische communicatieparen te garanderen, wat een dodeklokvrije volgorde waarborgt zonder globale coördinatie.
Elastic Device Manager (EDM): Koppelt logische strategieën los van fysieke communicatiegroepen.
- Het beheert de levenscyclus van communicatiegroepen en cacheert ze voor direct hergebruik.
- Het ondersteunt asynchrone overlapping, waardoor de trainingslus kan doorgaan op de oude topologie terwijl de nieuwe "World" en subgroepen op de achtergrond worden geïnitieerd, waardoor de latentie van topologiewisselingen wordt gemaskeerd.

Belangrijkste Bijdragen

Virtuele Parameterruimte (VPS): Een nieuwe abstractie die heterogene gedistribueerde staten unificeert onder één enkel logisch coördinatensysteem, waardoor parallelismetransities worden gereduceerd tot geometrische snijproblemen.
Cohesieve Hot-Switching-mechanismen: Een suite van tools, waaronder de State Routing Planner, een geheugenbewuste State Transition Engine met bewezen dodeklokvrije planning, en een Elastic Device Manager die herconfiguratie overlapt met training.
End-to-End Systeem: DYNATRAIN integreert deze mechanismen om sub-seconden online herconfiguratie voor dichte en MoE-modellen te leveren, met ondersteuning voor willekeurige wijzigingen in DP-, TP-, PP- en EP-dimensies.

Experimentele Resultaten

Het systeem werd geëvalueerd op een 16-node GPU-cluster (NVIDIA A800) met modellen variërend van 1,3 miljard tot 235 miljard parameters (inclusief LLaMA-2, GPT-3 en Qwen-MoE).

Herconfiguratiesnelheid:
- Dichte Modellen: Herconfigureert een 70B dicht model in minder dan 2 seconden.
- MoE-modellen: Herconfigureert een 235B MoE-model in 4,36 seconden.
Prestatiewinst:
- Presteert beter dan Megatron-LM Distributed Checkpointing (MCP) met tot wel 143× voor dichte modellen en 926× voor MoE-modellen.
- Presteert beter dan Tenplex (checkpoint-gebaseerd elastisch systeem) met tot wel 33× voor wijzigingen in één dimensie en 15× voor cross-cluster taakmigratie.
- Presteert beter dan HotSpa (in-memory baseline) met tot wel 2,11× in hybride herconfiguratiescenario's.
Correctheid: Validatie via verliesconvergentie op een 13B-model toonde aan dat de verliesbaan van DYNATRAIN perfect volgt die van een statische baseline zonder divergentie of pieken, zelfs met periodieke resource-toenamen en -afnames elke 50 stappen.
Elastische Schaling: In dynamische clusterschalingscenario's (node-toevoeging/-verwijdering) maskeert het systeem meer dan 93% van de initialisatie-overhead door deze te overlappen met lopende training, waardoor de waargenomen onderbreking wordt gereduceerd tot minder dan 3 seconden.

Betekenis

Het artikel betoogt dat hot switching van parallelisme een fundamentele systeemprimitief moet zijn voor het aanpassen van training aan dynamische resources en meerfasige workflows. Door gedistribueerde trainingsstaten los te koppelen van hun fysieke layouts via VPS, maakt DYNATRAIN online herconfiguratie praktisch in plaats van uitzonderlijk. Het werk vertegenwoordigt een stap richting adaptieve trainingsruntimes waarbij parallelisme geen vaste infrastructuurbeslissing is, maar een flexibele controledimensie die continu kan reageren op workload- en clusterdynamiek.