DeadPool: Resilient LLM Training with Hot-Swapping via Zero-Overhead Checkpoint

Riepilogo Tecnico: DEADPOOL

Problematica

L'addestramento di Large Language Models (LLM) allo stato dell'arte richiede decine di migliaia di GPU operanti per mesi, rendendo i guasti ai nodi una condizione operativa attesa piuttosto che un evento raro. Gli esistenti meccanismi di tolleranza ai guasti affrontano un compromesso fondamentale tra overhead di esecuzione priva di errori e costo di recupero:

• Checkpoint-Restart: Gli approcci tradizionali scrivono periodicamente checkpoint persistenti (ad esempio, ogni 1.000 step). Sebbene ammortizzino l'overhead durante l'esecuzione normale, comportano costi di recupero significativi in caso di guasto. Ciò include la latenza per il ricaricamento dei checkpoint e il "costo di riproduzione" (replay cost) per rieseguire tutti gli step di addestramento eseguiti dal ultimo checkpoint. Nelle implementazioni su larga scala, questo costo di riproduzione può superare il tempo di riavvio stesso.
• Elastic/Exclude-and-Run: Metodi come Bamboo tollerano i guasti escludendo i nodi difettosi e continuando con una capacità ridotta. Tuttavia, questi spesso degradano il throughput dell'addestramento a causa di carichi di lavoro sbilanciati o richiedono una gestione complessa dei "bubble" nelle pipeline.
• In-Memory Checkpointing: I tentativi precedenti di utilizzare checkpoint in memoria riducono la latenza di scrittura, ma spesso falliscono in presenza di guasti permanenti ai nodi perché lo stato della memoria stessa viene perso, rendendo necessario un riavvio completo.

La sfida centrale è progettare un sistema che raggiunga uno zero overhead durante l'esecuzione priva di errori, minimizzando al contempo la latenza di recupero e la ricomputazione a una frazione limitata e piccola di uno step di addestramento, senza richiedere un riavvio completo del job.

Metodologia

Gli autori presentano DEADPOOL, un sistema fault-tolerant progettato per l'addestramento di LLM tramite hot-swapping. Invece di riavviare l'intero job, DEADPOOL tratta il recupero dal guasto del nodo come un problema di riparazione della topologia online, sostituendo i nodi guasti con nodi di scorta (spare) mantenendo la continuità dell'addestramento. Il sistema si basa su due intuizioni primarie:

1. Pipeline di Offload Asincrono (Zero-Overhead Checkpointing)

Per ottenere uno zero overhead durante l'esecuzione priva di errori, DEADPOOL impiega una pipeline di offload asincrona a due fasi che sovrappone la protezione dello stato con il percorso critico dell'addestramento (forward pass, backward pass e sincronizzazione dei gradienti) all'interno di una singola iterazione:

• Device-to-Host (D2H): L'intero stato del rank (shards dell'optimizer, parametri locali del modello e metadati) viene copiato nella memoria host dedicata (pinned host memory). Ciò consente un rapido recupero locale in caso di errori transitori.
• Host-to-Host (H2H): Solo gli shard dello stato dell'optimizer e i metadati vengono trasmessi a un nodo peer in una topologia a anello Data-Parallel (DP). I parametri del modello non vengono replicati sulla rete; essi vengono ricostruiti dai peer sani che condividono le stesse coordinate di parallelismo tensoriale/di pipeline.
• Strategia di Overlap: Trasmettendo solo gli shard dell'optimizer (che sono più piccoli degli stati completi) e utilizzando stream di esecuzione separati (CUDA stream per D2H, thread MPI per H2H), il sistema garantisce che la comunicazione si completi entro la finestra di calcolo di un singolo step di addestramento. Ciò elimina stall esposti sul percorso critico.

2. Ricostruzione del Comunicatore Distribuito (Hot-Swapping)

Al rilevamento di un guasto permanente del nodo (tramite heartbeat o timeout NCCL), DEADPOOL esegue una politica di recupero che evita la terminazione completa del job:

• Riparazione della Topologia: Il sistema identifica un nodo di scorta, aggiorna l'insieme dei nodi coinvolti e ricostruisce i gruppi di comunicazione distribuiti (ad esempio, comunicatori NCCL) per includere il nuovo nodo.
• Ricostruzione dello Stato:
  • Parametri del Modello: Ricostruiti dai rank sani che condividono la stessa partizione logica tramite operazioni collettive mirate.
  • Stati dell'Optimizer: Ripristinati direttamente dalle repliche in memoria mantenute dalla pipeline H2H.
• Ripresa: L'addestramento riprende dall'ultimo step completato con al massimo un passo di riesecuzione (lo step interrotto), preservando l'atomicità dello step.

Classificazione degli Errori

DEADPOOL include uno strato per distinguere tra guasti transitori (gestiti tramite reset/riinizializzazione locale) e guasti permanenti (gestiti tramite sostituzione del nodo). Ciò assicura che i cambiamenti di topologia avvengano solo quando necessario, mantenendo gli invarianti del sistema riguardo alla completezza degli shard e alla coerenza della topologia.

Contributi Chiave

1. Sistema DEADPOOL: Un meccanismo di recupero hot-swapping online per l'addestramento di LLM su larga scala che sostituisce i nodi guasti senza terminare il job.
2. Replicazione Asincrona della Memoria dei Vicini: Una strategia innovativa per replicare gli shard dello stato dell'optimizer ai peer del DP-ring, consentendo il checkpointing per iterazione con zero overhead sul percorso critico dell'addestramento.
3. Valutazione Scalabile: Valutazione completa su scale diverse (fino a 512 GPU NVIDIA A100 e 64 GH200) e dimensioni del modello (fino a 65B parametri), dimostrando uno zero overhead durante l'esecuzione priva di errori e tempi di recupero costanti.

Risultati Sperimentali

Gli autori hanno valutato DEADPOOL su sistemi HPC di produzione (NERSC Perlmutter e TACC Vista):

• Zero Overhead: In esecuzione priva di errori, DEADPOOL introduce un overhead di runtime trascurabile. In esperimenti di weak-scaling (da 32 a 256 GPU) e varie topologie di parallelismo 3D, il tempo di addestramento per iterazione di DEADPOOL segue da vicino il baseline (addestramento originale senza DEADPOOL), con differenze attribuibili al rumore di sistema piuttosto che ai costi di checkpointing.
• Latenza di Recupero: DEADPOOL completa costantemente la sostituzione del nodo e il ripristino dell'addestramento in meno di 40 secondi (specificamente da 32.6s a 29.8s negli scenari testati).
  • Si tratta di una riduzione >3.7x rispetto al tradizionale checkpoint-restart (che richiedeva circa 150s, inclusi inizializzazione e caricamento).
  • La latenza di recupero è ampiamente indipendente dalla dimensione del modello e dalla pressione sulla memoria; scala principalmente con il tempo richiesto per la ricostruzione del comunicatore (riparazione della topologia).
• Efficienza End-to-End: In un job di addestramento simulato di 100K step con tassi di guasto realistici, DEADPOOL ha ridotto il tempo totale di recupero indotto dai guasti al 5,3% del tempo richiesto dal checkpoint-restart, rappresentando una riduzione di 18,8x nel tempo necessario per riprendere il progresso dell'addestramento.

Significato e Rivendicazioni

Il paper sostiene che DEADPOOL raggiunge simultaneamente due obiettivi precedentemente in conflitto: zero-overhead nell'esecuzione priva di errori e costo di recupero estremamente basso. Decoupling (disaccoppiando) le prestazioni di recupero dalla dimensione del modello ed evitando i costi di riproduzione e riavvio inerenti agli approcci basati su checkpoint, DEADPOOL offre una soluzione pratica e scalabile per l'addestramento di LLM fault-tolerant.

Gli autori osservano che, sebbene la proprietà di zero-overhead dipenda da specifiche configurazioni hardware (cluster GPU, dimensione del modello, strategia di deployment), il design si basa su capacità generiche (stati partizionati, gestione dei nodi di scorta) ed è destinato a rimanere efficace all'aumentare delle capacità di calcolo GPU e della larghezza di banda dell'interconnessione nei futuri supercomputer. Il sistema trasforma il recupero dai guasti da un evento globale dirompente in un processo di riparazione della topologia locale e limitato.