Technische Samenvatting: DEADPOOL

Probleemstelling

Het trainen van State-of-the-art Large Language Models (LLM's) vereist tienduizenden GPU's die maandenlang operationeel zijn, waardoor het falen van nodes een verwachte operationele conditie wordt in plaats van een zeldzame gebeurtenis. Bestaande fouttolerantiemechanismen kampen met een fundamentele afruil tussen foutloze executie-overhead en herstelkosten:

• Checkpoint-Restart: Traditionele benaderingen schrijven periodiek persistente checkpoints (bijv. elke 1.000 stappen). Hoewel ze de overhead tijdens normale executie amenuiseren, brengen ze aanzienlijke herstelkosten met zich mee bij een fout. Dit omvat de latentie om checkpoints te laden en de "replay-kosten" van het opnieuw uitvoeren van alle trainingsstappen die sinds het laatste checkpoint zijn uitgevoerd. In grootschalige implementaties kunnen deze replay-kosten de restart-latentie zelf overstijgen.
• Elastic/Exclude-and-Run: Methoden zoals Bamboo tolereren fouten door defecte nodes uit te sluiten en door te gaan met verminderde capaciteit. Deze leiden echter vaak tot een degradatie van de trainingsdoorvoer door ongebalanceerde workloads of vereisen complex beheer van pipeline-bubbles.
• In-Memory Checkpointing: Eerdere pogingen om in-memory checkpoints te gebruiken verminderen de schrijflatentie, maar falen vaak bij permanente node-fouten omdat de geheugenstatus zelf verloren gaat, wat een volledige restart noodzakelijk maakt.

De kernuitdaging is het ontwerpen van een systeem dat nul overhead bereikt tijdens foutloze executie, terwijl de herstellatentie en herberekening wordt beperkt tot een begrensde, kleine fractie van een trainingsstap, zonder een volledige job-restart te vereisen.

Methodologie

De auteurs presenteren DEADPOOL, een fouttolerant systeem ontworpen voor LLM-training via hot-swapping. In plaats van de gehele job te herstarten, behandelt DEADPOOL het herstel van node-fouten als een online topologie-reparatieprobleem, waarbij gefaalde nodes worden vervangen door reserves terwijl de continuïteit van de training behouden blijft. Het systeem is gebouwd op twee primaire inzichten:

1. Asynchrone Offload Pipeline (Zero-Overhead Checkpointing)

Om nul overhead te bereiken tijdens foutloze executie, gebruikt DEADPOOL een asynchrone, twee-fasen offload-pipeline die de staatbescherming overlapt met het kritieke pad van de training (forward pass, backward pass en gradiënt-synchronisatie) binnen een enkele iteratie:

• Device-to-Host (D2H): De volledige rank-state (optimizer shards, lokale modelparameters en metadata) wordt gekopieerd naar gepinde host-geheugen. Dit maakt snelle lokale herstel mogelijk in geval van transiënte fouten.
• Host-to-Host (H2H): Alleen de optimizer state shards en metadata worden verzonden naar een peer-node in een Data-Parallel (DP) ringtopologie. Modelparameters worden niet over het netwerk gerepliceerd; ze worden gereconstrueerd vanuit gezonde peers die dezelfde tensor/pipeline-parallelisme coördinaten delen bij een fout.
• Overlap Strategie: Door alleen de optimizer shards te verzenden (die kleiner zijn dan volledige states) en gebruik te maken van aparte executiestreams (CUDA-streams voor D2H, MPI-threads voor H2H), zorgt het systeem ervoor dat de communicatie binnen het compute-venster van een enkele trainingsstap wordt voltooid. Dit elimineert blootgestelde stalls op het kritieke pad.

2. Gedistribueerde Communicator Reconstructie (Hot-Swapping)

Bij detectie van een permanente node-fout (via heartbeats of NCCL-timeouts), voert DEADPOOL een herstelbeleid uit dat een volledige job-terminatie voorkomt:

• Topologie Reparatie: Het systeem identificeert een reserve-node, werkt de set betrokken nodes bij en reconstrueert de gedistribueerde communicatiegroepen (bijv. NCCL-communicators) om de nieuwe node te bevatten.
• State Reconstructie:
  • Model Parameters: Worden gereconstrueerd vanuit gezonde ranks die dezelfde logische partitie delen via gerichte collectieve operaties.
  • Optimizer States: Worden direct hersteld uit de in-memory replica's die door de H2H-pipeline worden onderhouden.
• Resumptie: De training wordt hervat vanaf de laatst voltooide stap met maximaal één stap aan her-executie (de onderbroken stap), waarbij de stap-atomiciteit behouden blijft.

Foutclassificatie

DEADPOOL bevat een laag om onderscheid te maken tussen transiënte fouten (behandeld via lokale reset/re-initialisatie) en permanente fouten (behandeld via node-vervanging). Dit zorgt ervoor dat topologiewijzigingen alleen plaatsvinden wanneer dat nodig is, waardoor de systeeminvarianten met betrekking tot shard-volledigheid en topologie-consistentie worden gewaarborgd.

Belangrijkste Bijdragen

1. DEADPOOL Systeem: Een online hot-swapping herstelmechanisme voor grootschalige LLM-training dat gefaalde nodes vervangt zonder de job te termineren.
2. Asynchrone Neighbor-Memory Replicatie: Een nieuwe strategie voor het repliceren van optimizer state shards naar DP-ring peers, wat per-iteratie checkpointing mogelijk maakt met nul overhead op het kritieke pad van de training.
3. Schaalbare Evaluatie: Uitgebreide evaluatie over diverse schalen (tot 512 NVIDIA A100 GPU's en 64 GH200 GPU's) en modelgroottes (tot 65B parameters), waarbij wordt aangetoond dat er nul overhead is tijdens foutloze executie en consistente hersteltijden worden behaald.

Experimentele Resultaten

De auteurs hebben DEADPOOL geëvalueerd op productie HPC-systemen (NERSC Perlmutter en TACC Vista):

• Zero Overhead: Tijdens foutloze executie introduceert DEADPOOL verwaarloosbare runtime-overhead. Over weak-scaling experimenten (32 tot 256 GPU's) en diverse 3D-parallelle topologieën heen, volgt de per-iteratie trainingstijd van DEADPOOL nauwlettend de baseline (originele training zonder DEADPOOL), waarbij verschillen worden toegeschreven aan systeemruis in plaats van checkpointing-kosten.
• Herstellatentie: DEADPOOL voltooit node-vervanging en herstelt de training consistent in minder dan 40 seconden (specifiek 32,6s tot 29,8s in geteste scenario's).
  • Dit is een reductie van >3,7x vergeleken met traditionele checkpoint-restart (die ~150s duurde inclusief initialisatie en laden).
  • De herstellatentie is grotendeels onafhankelijk van de modelgrootte en geheugendruk; het schaalt primair met de tijd die nodig is voor communicator-reconstructie (topologie-reparatie).
• End-to-End Efficiëntie: In een gesimuleerde 100K-stappen trainingjob met realistische foutpercentages, heeft DEADPOOL de totale door fouten geïnduceerde hersteltijd verminderd tot 5,3% van de tijd die nodig is door checkpoint-restart, wat een 18,8x reductie betekent in de tijd om de voortgang van de training te hervatten.

Betekenis en Claims

Het artikel claimt dat DEADPOOL gelijktijdig twee voorheen conflicterende doelstellingen bereikt: zero-overhead foutloze executie en extreem lage herstelkosten. Door herstelprestaties te ontkoppelen van de modelgrootte en de replay- en restart-kosten te vermijden die inherent zijn aan checkpoint-gebaseerde benaderingen, biedt DEADPOOL een praktische en schaalbare oplossing voor fouttolerante LLM-training.

De auteurs merken op dat hoewel de zero-overhead eigenschap afhankelijk is van specifieke hardwareconfiguraties (GPU-cluster, modelgrootte, deploymentstrategie), het ontwerp steunt op generieke capaciteiten (sharded states, spare node management) en naar verwachting effectief zal blijven naarmate GPU-rekenkracht en interconnect-bandbreedte in toekomstige supercomputers toenemen. Het systeem transformeert foutherstel van een disruptieve, globale gebeurtenis naar een begrensde, lokale topologie-reparatieprocedure.