Résumé Technique : DEADPOOL

Énoncé du Problème

L'entraînement des modèles de langage de grande taille (LLM) à l'état de l'art nécessite des dizaines de milliers de GPU fonctionnant pendant des mois, ce qui fait des défaillances de nœuds une condition d'exploitation attendue plutôt qu'un événement rare. Les mécanismes de tolérance aux pannes existants sont confrontés à un compromis fondamental entre le surcoût d'exécution sans erreur et le coût de récupération :

• Checkpoint-Restart (Point de contrôle-Redémarrage) : Les approches traditionnelles écrivent périodiquement des points de contrôle persistants (par exemple, tous les 1 000 pas). Bien qu'elles amortissent le surcoût pendant l'exécution normale, elles entraînent des coûts de récupération importants en cas de défaillance. Cela inclut la latence de rechargement des points de contrôle et le « coût de rejeu » consistant à réexécuter tous les pas d'entraînement effectués depuis le dernier point de contrôle. Dans les déploiements à grande échelle, ce coût de rejeu peut dépasser la latence de redémarrage elle-même.
• Elastic/Exclude-and-Run (Élastique/Exclure-et-Exécuter) : Des méthodes comme Bamboo tolèrent les défaillances en excluant les nœuds défectueux et en continuant avec une capacité réduite. Cependant, celles-ci dégradent souvent le débit d'entraînement en raison de charges de travail déséquilibrées ou nécessitent une gestion complexe des bulles de pipeline.
• In-Memory Checkpointing (Points de contrôle en mémoire) : Les tentatives précédentes d'utilisation de points de contrôle en mémoire réduisent la latence d'écriture mais échouent souvent lors de défaillances de nœuds permanentes car l'état de la mémoire est lui-même perdu, nécessitant un redémarrage complet.

Le défi central est de concevoir un système qui parvienne à un surcoût nul lors de l'exécution sans erreur tout en minimisant la latence de récupération et la recomputation à une fraction bornée et faible d'un pas d'entraînement, sans nécessiter un redémarrage complet du job.

Méthodologie

Les auteurs présentent DEADPOOL, un système tolérant aux pannes conçu pour l'entraînement de LLM via le hot-swapping (remplacement à chaud). Au lieu de redémarrer l'intégralité du job, DEADPOOL traite la récupération de défaillance de nœud comme un problème de réparation de topologie en ligne, remplaçant les nœuds défaillants par des nœuds de réserve tout en maintenant la continuité de l'entraînement. Le système repose sur deux idées principales :

1. Pipeline de déchargement asynchrone (Checkpointing à surcoût nul)

Pour atteindre un surcoût nul lors de l'exécution sans erreur, DEADPOOL emploie un pipeline de déchargement asynchrone en deux phases qui superpose la protection de l'état au chemin critique de l'entraînement (passe avant, passe arrière et synchronisation des gradients) au sein d'une seule itération :

• Device-to-Host (D2H) : L'état complet du rang (fragments d'optimiseur, paramètres locaux du modèle et métadonnées) est copié vers la mémoire hôte verrouillée (pinned). Cela permet une récupération locale rapide en cas d'erreurs transitoires.
• Host-to-Host (H2H) : Seuls les fragments d'état de l'optimiseur et les métadonnées sont transmis à un nœud pair dans une topologie de cycle de parallélisme de données (DP ring). Les paramètres du modèle ne sont pas répliqués sur le réseau ; ils sont reconstruits à partir de pairs sains partageant les mêmes coordonnées de parallélisme de tenseur/pipeline.
• Stratégie de superposition : En transmettant uniquement les fragments d'optimiseur (qui sont plus petits que les états complets) et en utilisant des flux d'exécution distincts (flux CUDA pour D2H, threads MPI pour H2H), le système garantit que la communication se termine dans la fenêtre de calcul d'un seul pas d'entraînement. Cela élimine les blocages exposés sur le chemin critique.

2. Reconstruction de communicateur distribué (Hot-Swapping)

Lors de la détection d'une défaillance de nœud permanente (via des battements de cœur ou des délais d'attente NCCL), DEADPOOL exécute une politique de récupération qui évite la terminaison complète du job :

• Réparation de la topologie : Le système identifie un nœud de réserve, met à jour l'ensemble des nœuds impliqués et reconstruit les groupes de communication distribués (par exemple, les communicateurs NCCL) pour inclure le nouveau nœud.
• Reconstruction de l'état :
  • Paramètres du modèle : Reconstruits à partir de rangs sains partageant la même partition logique via des opérations collectives ciblées.
  • États de l'optimiseur : Restaurés directement à partir des répliques en mémoire maintenues par le pipeline H2H.
• Reprise : L'entraînement reprend à partir du dernier pas complété avec au plus un pas de réexécution (le pas interrompu), préservant l'atomicité du pas.

Classification des erreurs

DEADPOOL inclut une couche pour distinguer les défaillances transitoires (gérées via une réinitialisation/réinitialisation locale) et les défaillances permanentes (gérées via le remplacement de nœud). Cela garantit que les changements de topologie ne se produisent que lorsque cela est nécessaire, maintenant les invariants du système concernant la complétude des fragments et la cohérence de la topologie.

Contributions Clés

1. Système DEADPOOL : Un mécanisme de récupération par hot-swapping en ligne pour l'entraînement de LLM à grande échelle qui remplace les nœuds défaillants sans terminer le job.
2. Réplication de la mémoire voisine asynchrone : Une stratégie novatrice pour répliquer les fragments d'état de l'optimiseur vers les pairs du cycle DP, permettant un checkpointing par itération avec un surcoût nul sur le chemin critique de l'entraînement.
3. Évaluation évolutive : Évaluation complète à travers différentes échelles (jusqu'à 512 GPU NVIDIA A100 et 64 GH200) et tailles de modèles (jusqu'à 65 milliards de paramètres), démontrant un surcoût nul lors de l'exécution sans erreur et des temps de récupération constants.

Résultats Expérimentaux

Les auteurs ont évalué DEADPOOL sur des systèmes HPC de production (NERSC Perlmutter et TACC Vista) :

• Surcoût nul : En exécution sans erreur, DEADPOOL introduit un surcoût de fonctionnement négligeable. À travers des expériences de mise à l'échelle faible (32 à 256 GPU) et diverses topologies de parallélisme 3D, le temps d'entraînement par itération de DEADPOOL suit de près la référence (entraînement original sans DEADPOOL), les différences étant attribuées au bruit du système plutôt qu'aux coûts de checkpointing.
• Latence de récupération : DEADPOOL termine systématiquement le remplacement de nœud et restaure l'entraînement en moins de 40 secondes (spécifiquement de 32,6s à 29,8s dans les scénarios testés).
  • Cela représente une réduction de plus de 3,7x par rapport au checkpoint-restart traditionnel (qui prenait environ 150s, incluant l'initialisation et le chargement).
  • La latence de récupération est largement indépendante de la taille du modèle et de la pression mémoire ; elle dépend principalement du temps requis pour la reconstruction du communicateur (réparation de la topologie).
• Efficacité de bout en bout : Dans un job d'entraînement simulé de 100 000 étapes avec des taux de défaillance réalistes, DEADPOOL a réduit le temps total de récupération induit par les défaillances à 5,3 % du temps requis par le checkpoint-restart, soit une réduction de 18,8x du temps nécessaire pour reprendre la progression de l'entraînement.

Signification et Revendications

L'article affirme que DEADPOOL atteint simultanément deux objectifs auparavant contradictoires : un exécution sans erreur à surcoût nul et un coût de récupération extrêmement bas. En découplant la performance de récupération de la taille du modèle et en évitant les coûts de rejeu et de redémarrage inhérents aux approches par points de contrôle, DEADPOOL offre une solution pratique et évolutive pour l'entraînement de LLM tolérant aux pannes.

Les auteurs notent que si la propriété de surcoût nul dépend de configurations matérielles spécifiques (cluster de GPU, taille du modèle, stratégie de déploiement), la conception repose sur des capacités génériques (états fragmentés, gestion des nœuds de réserve) et devrait rester efficace à mesure que les capacités de calcul GPU et la bande passante d'interconnexion augmentent dans les futurs supercalculateurs. Le système transforme la récupération de défaillance d'un événement disruptif et global en un processus de réparation de topologie local et borné.