Résumé Technique : CCL-D

1. Énoncé du Problème

À mesure que les modèles d'apprentissage profond évoluent vers des dizaines de milliards de paramètres, les systèmes d'entraînement distribué à grande échelle font face à des défis croissants en matière de fiabilité. Bien que des mécanismes de tolérance aux pannes, tels que la sauvegarde de points de contrôle (checkpointing), existent pour réduire la latence de récupération, ils ne s'attaquent pas aux causes racines des défaillances. Un problème critique et persistant réside dans les anomalies de lenteur et de blocage (Slow and Hang) au sein des Bibliothèques de Communication Collective (CCL). Ces anomalies, souvent causées par des interactions complexes entre le matériel, le logiciel et les facteurs environnementaux, se manifestent par un ralentissement des communications ou des arrêts complets.

L'article souligne que ces anomalies constituent la catégorie la plus fréquente et la plus chronophage à diagnostiquer. Dans une observation de cluster de production, les anomalies de lenteur/blocage ont représenté 35,2 % des interruptions d'entraînement, mais ont consommé 58,8 % du temps total de diagnostic. Les solutions de diagnostic existantes souffrent de deux limitations principales :

1. Faible Précision : Les méthodes traditionnelles (par exemple, le chien de garde PyTorch) manquent souvent d'insights sur la cause racine, négligent les anomalies de « lenteur » ou échouent à identifier le rang GPU défectueux exact.
2. Surcharge Prohibitive : Les méthodes réactives, telles que les tests de stress basés sur la dichotomie ou l'analyse de pile pilotée par des experts, nécessitent de plusieurs heures à plusieurs jours pour résoudre les problèmes, les rendant peu pratiques pour une atténuation en temps réel dans les clusters à grande échelle.

2. Méthodologie : CCL-D

Les auteurs proposent CCL-D, un système de diagnostic haute précision conçu pour détecter et localiser les anomalies de lenteur/blocage en quelques minutes. Le système intègre une sonde en temps réel au niveau du rang avec un analyseur de décision intelligent.

2.1 Taxonomie des Anomalies

Les auteurs catégorisent d'abord les anomalies de lenteur/blocage en six causes racines fines basées sur les flux de travail de communication :

• Anomalies de Blocage (Hang) :
  • Blocage Non-Entré (H1) : Les rangs manquent une opération de communication.
  • Blocage Incohérent (H2) : Les rangs exécutent des opérations incohérentes au sein du même communicateur.
  • Défaillance Matérielle (H3) : Défaillances de l'appareil ou du pilote pendant la communication.
• Anomalies de Lenteur (Slow) :
  • Lenteur de Calcul (S1) : Retards dus au pré-calcul, au chargement des données ou à la régulation thermique.
  • Lenteur de Communication (S2) : Fluctuations ou congestion du réseau.
  • Lenteur Mixte (S3) : Retards simultanés de calcul et de communication.

2.2 Métriques de Sondage Inter-couches

CCL-D étend la fonctionnalité des CCL en introduisant un ensemble de métriques inter-couches léger centré sur les primitives Send/Recv. Contrairement à la surveillance au niveau de l'hôte, ces métriques opèrent au niveau du noyau pour capturer des comportements de bas niveau invisibles pour les couches supérieures.

• Métriques de Blocage : SendCount et RecvCount suivent le nombre réel d'instructions d'envoi/réception exécutées. Les écarts dans ces comptes entre les rangs indiquent les causes de blocage (par exemple, un rang échouant à entrer dans la communication collective).
• Métriques de Lenteur : SendRate et RecvRate approximent la dérivée de la fonction de compte cumulative ($dC/dt$) dans une fenêtre d'échantillonnage fixe. Cela capture la dégradation des performances sans dépendre de la synchronisation d'horloge globale, sujette aux dérives.
• Métadonnées Statiques : Un Jeu de Types d'Opérations enregistre les paramètres statiques (algorithme, protocole, taille des données) pour assurer des cibles de comparaison cohérentes.

2.3 Analyseur de Décision

Un analyseur de décision centralisé mais évolutif traite les métriques de tous les rangs pour détecter et localiser les anomalies :

• Détection : Il distingue les topologies en Anneau (Ring) et en Arbre (Tree) pour regrouper correctement les cibles de comparaison. La détection de blocage se déclenche lorsque la durée de communication dépasse un seuil (filtrant les opérations longues normales comme les points de contrôle). La détection de lenteur utilise une ligne de base dynamique ($T_{base}$) mise à jour à partir des $m$ premiers tours, calculant un ratio de ralentissement ($R$) pour signaler les anomalies.
• Localisation : Une fois la détection effectuée, l'analyseur applique des algorithmes spécifiques pour isoler la cause racine :
  • Pour les Blocages, il identifie les rangs avec des incréments de compteur nuls (Non-Entré) ou le rang avec le moins de comptes Send/Recv (Matériel/Incohérent).
  • Pour les Lenteurs, il calcule un facteur de contribution $P$ pour déterminer si le goulot d'étranglement est le calcul ($P \to 1$) ou la communication ($P \to 0$), identifiant ainsi le rang spécifique responsable.

2.4 Framework de Traçage Distribué Léger

Pour assurer l'évolutivité et une faible surcharge, CCL-D emploie une stratégie de Mesure de Métriques Pilotée par l'Hôte :

• ID de Trace : Une structure décentralisée (ID de Communicateur + Compteur) étiquette de manière unique les tours de communication.
• Cadre de Sondage : Un tampon réutilisable de taille fixe par rang stocke les métriques du noyau.
• Mécanisme Zero-Copy : En utilisant l'Adressage Virtuel Unifié CUDA (UVA), les métriques sont stockées dans la mémoire hôte verrouillée (pinned). Un thread de diagnostic CPU lit ces métriques via DMA sans bloquer l'exécution du GPU, garantissant que le système de diagnostic n'interfère pas avec l'entraînement.

3. Contributions Clés

1. Analyse Complète : Les auteurs dérivent une taxonomie à six catégories d'anomalies de lenteur/blocage basée sur des données de production réelles et une analyse théorique des flux de travail des CCL.
2. Technique de Diagnostic Haute Précision : Ils conçoivent une méthode novatrice utilisant des métriques portables et inter-couches Send/Recv pour atteindre une détection et une localisation précises des anomalies, distinguant CCL-D des approches antérieures au niveau de l'hôte ou à granularité grossière.
3. Framework de Traçage Léger : Ils implémentent un système de traçage distribué qui capture le trafic de communication par tour avec une surcharge négligeable (<1 %), permettant un déploiement sur des clusters de production.
4. Validation à Grande Échelle : Le système est validé sur un cluster de 4 000 GPU, démontrant la capacité à diagnostiquer les anomalies en moins de 6 minutes, surpassant significativement les solutions existantes.

4. Résultats

L'évaluation a été menée sur un cluster hétérogène (CPU Intel, GPU Nvidia H20, NVLink, cartes réseau 400G) utilisant divers modèles (Llama2, Llama3.1, BaiLing) et stratégies de parallélisme (FSDP, 3D).

• Précision : CCL-D a atteint une couverture quasi complète de toutes les six catégories d'anomalies (types Blocage et Lenteur), tandis que les méthodes de référence (Dichotomie, Analyse de Pile, NCCL RAS, Greyhound, C4D) ont échoué à détecter ou localiser des types spécifiques (par exemple, l'Analyse de Pile a manqué les anomalies de lenteur ; Greyhound a manqué les anomalies de blocage).
• Efficacité :
  • Latence de Détection : CCL-D détecte les anomalies de blocage en moins de 5 minutes et les anomalies de lenteur en moins de 1 minute.
  • Latence de Localisation : Il identifie le rang défectueux en 146 ms (NCCL) et 108 ms (RCCL).
  • Comparaison : Les méthodes traditionnelles nécessitaient de plusieurs heures à plusieurs jours (par exemple, le diagnostic manuel a nécessité en moyenne 47 heures pour les blocages et 74 heures pour les lenteurs dans les journaux de production).
• Surcharge :
  • Utilisation des Ressources : CCL-D maintient une utilisation CPU stable d'environ 0,3 % par nœud et une empreinte mémoire fixe de 1184 octets par rang, indépendamment de l'échelle du cluster.
  • Impact sur l'Entraînement : Le système introduit une surcharge minimale pour les opérations de communication (<0,45 % dans la plupart des cas, jusqu'à 0,95 % pour le parallélisme 3D complexe) et n'a aucun impact sur la perte ou la précision de l'entraînement du modèle.

5. Importance

L'article affirme que CCL-D s'attaque à un goulot d'étranglement critique dans la fiabilité de l'entraînement distribué à grande échelle. En passant d'un débogage réactif et à granularité grossière à un diagnostic proactif, à granularité fine et au niveau du noyau, CCL-D permet l'identification rapide des causes racines des interruptions d'entraînement les plus coûteuses. La capacité du système à fonctionner avec une surcharge négligeable tout en fournissant une localisation haute précision des rangs défectueux en fait une solution pratique pour les environnements de production, réduisant potentiellement les temps d'arrêt d'entraînement de plusieurs jours à quelques minutes. Les auteurs positionnent CCL-D comme le premier système de diagnostic à exploiter à la fois les états au niveau de l'hôte et au niveau du noyau GPU pour un diagnostic haute précision des anomalies de lenteur/blocage.