The Big Send-off: Scalable and Performant Collectives for Deep Learning

Deze paper introduceert PCCL, een schaalbare en hoogpresterende bibliotheek voor collectieve communicatie die, door gebruik te maken van een hiërarchisch ontwerp en leergerichte algoritme-selectie, aanzienlijke snelheidswinst boekt ten opzichte van bestaande oplossingen zoals RCCL en NCCL bij het trainen van deep learning-modellen op duizenden GPU's.

De kern

De Grote Vertrek: Een Slimmere Manier om Supercomputers te Laten Samenwerken

Stel je voor dat je een gigantisch puzzelstuk hebt, zo groot als een heel land, en je wilt het oplossen met duizenden vrienden die allemaal in een ander huis wonen. Iedereen heeft een stukje van de puzzel. Om het hele plaatje te zien, moeten ze constant met elkaar praten en hun stukjes uitwisselen.

In de wereld van kunstmatige intelligentie (AI) zijn die vrienden GPU's (de superkrachtige processors in computers) en de puzzel is een enorm AI-model (zoals een slimme chatbot). De manier waarop deze computers met elkaar praten, noemen we "collectieve communicatie".

Dit artikel vertelt het verhaal van een nieuw, slimmer systeem genaamd PCCL dat deze communicatie veel sneller en efficiënter maakt dan de oude methoden.

Het Probleem: De Verkeersopstopping

Stel je voor dat al die duizenden computers proberen hun puzzelstukken uit te wisselen via een enkel smalle weg (een netwerk).

• De oude methoden (NCCL, RCCL, Cray-MPICH) zijn als een oude, traag rijdende bus die stopt bij elke halte om iedereen uit te laten stappen en weer in te stappen. Als er maar een paar mensen zijn, gaat het prima. Maar als je 2000 mensen hebt, wordt het een enorme file. De bus rijdt niet sneller, maar de file wordt langer en langer.
• Het resultaat: De computers staan urenlang te wachten op elkaar in plaats van te rekenen. Dit kost tijd en geld.

De onderzoekers ontdekten twee grote fouten in de oude systemen:

1. Slechte routekeuze: Soms gebruikten ze maar één van de vier beschikbare snelwegen, terwijl de andere drie leeg stonden.
2. Verkeerde chauffeur: Soms deden ze de zware tillen (rekenwerk) met een trage fiets (de CPU) in plaats van met een krachtige vrachtwagen (de GPU).

De Oplossing: PCCL (De Slimme Koerier)

De onderzoekers hebben PCCL bedacht. Dit is geen enkele nieuwe bus, maar een slim logistiek systeem dat de beste manier kiest om de boodschappen te bezorgen, afhankelijk van hoe groot de boodschappen zijn en hoeveel mensen er meedoen.

PCCL werkt met drie slimme trucs:

1. De Hiërarchie (De Dorpen en Steden)

In plaats dat iedereen direct met iedereen praat (wat chaos veroorzaakt), maakt PCCL een hiërarchie:

• Stap 1 (Binnen het dorp): Eerst wisselen de computers binnen één gebouw (een server-node) snel hun stukken uit via een snelle interne weg (zoals een lift of gang).
• Stap 2 (Tussen de steden): Daarna sturen ze de samengevoegde pakketten naar andere gebouwen.
• Stap 3 (De laatste sortering): Uiteindelijk wordt alles netjes op de juiste plek gelegd.

Dit is alsof je eerst alle brieven in één wijk sorteert, en dan pas de postbussen naar andere wijken stuurt, in plaats van dat elke persoon in de stad direct naar elke andere persoon moet rennen.

2. De Slimme Keuze (Ring vs. Halveren)

PCCL heeft twee manieren om te communiceren en kiest automatisch de beste:

• De Ring: Als de boodschappen heel groot zijn (zoals een hele vrachtwagen vol), is een ringvormige route (iedereen geeft door aan de volgende) het snelst.
• De Halvering (Recursive Doubling): Als er heel veel mensen zijn (duizenden), is een ring te traag. Dan gebruikt PCCL een "halvering"-methode. Stel je voor dat je een groep mensen in tweeën deelt, die tweeën weer in tweeën, en zo verder. Het aantal stappen groeit dan niet lineair, maar heel langzaam (logaritmisch). Dit is als een telefoonboom: in plaats dat de directeur iedereen één voor één belt, belt hij twee mensen, die weer twee anderen bellen, enzovoort. De boodschap verspreidt zich razendsnel.

3. De AI-Dispatcher (De Slimme Verkeersleider)

Dit is misschien wel het coolste deel. PCCL heeft een AI-beslissingsmechanisme (een soort slimme verkeersleider) die in een fractie van een seconde kijkt: "Hoe groot is het pakket? Hoeveel computers doen mee? Welke route is nu het snelst?"

• Is het een klein pakket met weinig computers? Dan kiest hij de oude, vertrouwde bus (NCCL/RCCL).
• Is het een gigantisch pakket met duizenden computers? Dan schakelt hij over op zijn eigen, super-snelle hiërarchische systeem.

De Resultaten: Een Wereld van Verschil

De onderzoekers hebben dit getest op twee van 's werelds snelste supercomputers: Frontier (met AMD-chips) en Perlmutter (met NVIDIA-chips).

De resultaten zijn verbazingwekkend:

• Op Frontier was PCCL tot 168 keer sneller dan de oude systemen voor bepaalde taken. Dat is als het verschil tussen een fiets en een raket.
• Voor het trainen van echte AI-modellen (zoals DeepSpeed ZeRO-3) was het tot 4,9 keer sneller.
• Zelfs op Perlmutter, waar de oude systemen al best goed waren, was PCCL tot 5,7 keer sneller.

Waarom is dit belangrijk?

Vroeger duurde het trainen van een slimme AI-modellen dagen of weken, en een groot deel van die tijd werd verspild aan wachten op communicatie. Met PCCL kunnen wetenschappers en bedrijven:

1. Sneller trainen: AI-modellen zijn sneller klaar.
2. Grotere modellen maken: Ze kunnen modellen bouwen die te groot zijn voor de oude systemen.
3. Minder energie verbruiken: Omdat de computers minder tijd verliezen aan wachten, is het energie-efficiënter.

Kortom: PCCL is de nieuwe verkeersleider die ervoor zorgt dat duizenden supercomputers niet in de file staan, maar als een goed geoliede machine samenwerken om de toekomst van AI te bouwen.

Technische samenvatting

Probleemstelling

De groei van gedistribueerde Deep Learning (DL) werkbelastingen, met name voor het trainen van grote taalmodellen (LLMs), heeft de afhankelijkheid van collectieve communicatieoperaties (zoals all-gather, reduce-scatter en all-reduce) sterk vergroot. Hoewel bestaande bibliotheken zoals NCCL (NVIDIA), RCCL (AMD) en Cray-MPICH standaard worden gebruikt, vertonen ze ernstige prestatie- en schaalbaarheidsproblemen op moderne GPU-supercomputers (zoals Frontier en Perlmutter) wanneer ze worden ingezet voor grote berichtgrootten (tientallen tot honderden MB's) en duizenden GPU's.

De belangrijkste bevindingen uit de analyse van bestaande bibliotheken zijn:

1. Cray-MPICH: Onderschat netwerk- en rekenresources. Het routeert al het verkeer via slechts één netwerkinterfacekaart (NIC) in plaats van alle vier de NIC's op een knooppunt te gebruiken. Bovendien voert het verkleiningen (reductions) uit op de CPU in plaats van op de GPU, wat aanzienlijke overhead veroorzaakt.
2. NCCL en RCCL: Deze bibliotheken vertrouwen voor all-gather en reduce-scatter uitsluitend op het ring-algoritme. Hoewel dit efficiënt is voor bandbreedte-gedreven scenario's, schaalt het slecht in latentie-gevoelige situaties omdat de communicatietijd lineair groeit met het aantal processen ($O(p)$). Ze missen logaritmische schaalalgoritmen (zoals recursief verdubbelen/halveren) die essentieel zijn voor grote GPU-aantallen.

Methodologie: PCCL

Om deze beperkingen op te lossen, introduceren de auteurs PCCL (Performant Collective Communication Library). PCCL is ontworpen met een drieledige aanpak:

1. Hiërarchisch Ontwerp (Twee Niveaus):

   • In plaats van een monolithische collectieve operatie over alle GPU's, wordt de communicatie opgesplitst in een inter-node (tussen knooppunten) en intra-node (binnen een knooppunt) fase.
   • Intra-node: Gebruikt vendor-bibliotheken (NCCL/RCCL) die geoptimaliseerd zijn voor lokale verbindingen (NVLink/Infinity Fabric) en het ring-algoritme, wat effectief is bij het kleine aantal GPU's per knooppunt (bijv. 8 op Frontier).
   • Inter-node: Gebruikt MPI voor communicatie tussen knooppunten. Hier worden twee specifieke algoritmen geïmplementeerd:
     • PCCL_ring: Een ring-algoritme voor bandbreedte-gedreven scenario's.
     • PCCL_rec: Een recursief verdubbelen/halveren algoritme voor latentie-gedreven scenario's. Dit reduceert het aantal communicatiestappen naar $O(\log p)$, wat cruciaal is voor schaalbaarheid.
   • Dit ontwerp zorgt voor een betere verdeling van het netwerkverkeer over alle beschikbare NIC's, waardoor resource-onderschatting wordt voorkomen.

2. GPU-gebaseerde Berekening:

   • In tegenstelling tot Cray-MPICH, worden alle verkleiningen (reductions) en data-transposities uitgevoerd op de GPU-kernen via aangepaste CUDA-kernels, wat de CPU-overhead elimineert.

3. Lerende Adaptieve Dispatcher:

   • Omdat geen enkel algoritme of bibliotheek in alle situaties het beste presteert, implementeren de auteurs een SVM-gebaseerde (Support Vector Machine) dispatcher.
   • Deze dispatcher analyseert runtime-kenmerken (berichtgrootte en aantal GPU's) en selecteert automatisch de meest performante backend (Cray-MPICH, NCCL, RCCL, PCCL_ring of PCCL_rec).
   • Het model is getraind op empirische data van 1 MB tot 1 GB berichten en 4 tot 2048 GPU's, met een hoge voorspellingnauwkeurigheid (80-95%).

Belangrijkste Bijdragen

• Analyse van Bestaande Beperkingen: Een grondige analyse van de inefficiënties in Cray-MPICH, NCCL en RCCL op leidende supercomputers, met name gericht op resource-onderschatting en gebrek aan algoritme-variëteit.
• Ontwikkeling van PCCL: De creatie van een nieuwe bibliotheek met geoptimaliseerde implementaties voor all-gather, reduce-scatter en all-reduce die specifiek zijn afgestemd op grote DL-berichten en schaalbaarheid.
• SVM-Dispatcher: Een innovatieve, machine learning-gestuurde mechanisme voor runtime-selectie van communicatiealgoritmen.
• Validatie op Productiewerkbelastingen: Het benchmarken van PCCL in echte trainingsscenario's (DeepSpeed ZeRO-3 en PyTorch DDP) in plaats van alleen micro-benchmarks.

Resultaten

De auteurs hebben PCCL getest op Frontier (AMD MI250X) en Perlmutter (NVIDIA A100) met tot 2048 GPU's/GCDs.

Micro-benchmarks (Collectieve Operaties):

• Frontier (vs. RCCL):
  • Reduce-scatter: Tot 168x versnelling.
  • All-gather: Tot 33x versnelling.
  • All-reduce: Tot 10x versnelling.
  • De prestatieverbetering is het grootst bij grote GPU-aantallen en kleinere berichtgroottes (latentie-gedreven), waar RCCL sterk achteruitgaat.
• Perlmutter (vs. NCCL):
  • Tot 5.7x versnelling voor all-gather en reduce-scatter bij schaalbare scenario's.
  • Voor all-reduce zijn de resultaten vergelijkbaar, aangezien NCCL hier al logaritmische schaalalgoritmen gebruikt.

Productie DL-werkbelastingen:

• DeepSpeed ZeRO-3 Training: PCCL levert tot 4.9x hogere doorvoer (speedup) op Frontier vergeleken met RCCL bij het trainen van 7B en 13B parameter modellen.
• PyTorch DDP Training: Tot 2.4x versnelling op Frontier bij het trainen van een 1.3B parameter model.
• Op Perlmutter toont PCCL ook significante verbeteringen bij schaal naar 2048 GPU's (tot 1.37x speedup voor ZeRO-3).

Betekenis en Conclusie

Dit paper demonstreert dat de huidige "out-of-the-box" communicatiebibliotheken onvoldoende zijn voor de volgende generatie van exascale AI-training. De beperkingen in schaalbaarheid van RCCL en NCCL vormen een kritieke bottleneck voor het trainen van modellen met honderden miljarden parameters.

PCCL biedt een robuuste oplossing door:

1. Het combineren van hiërarchische architectuur met de beste algoritmen voor de specifieke schaal (ring vs. recursief).
2. Het volledig benutten van hardware-resources (GPU-berekening en multi-NIC gebruik).
3. Het gebruik van AI voor dynamische algoritme-selectie.

De resultaten tonen aan dat door de communicatie-overhead drastisch te verminderen, de totale trainingstijd van grote AI-modellen aanzienlijk kan worden verkort. Dit is essentieel voor de efficiëntie van toekomstige datacenters en supercomputers die gericht zijn op Deep Learning. De auteurs plannen toekomstig werk om PCCL ook te evalueren op systemen met InfiniBand-interconnects.