🤖 AI

Piper: A Programmable Distributed Training System

Piper est un système d'entraînement distribué programmable qui découple les stratégies de parallélisme de haut niveau des implémentations d'exécution de bas niveau grâce à une représentation intermédiaire unifiée, permettant une composition flexible de diverses stratégies telles que ZeRO et le DualPipe de DeepSeek-V3 tout en maintenant une parité de performance et en améliorant l'efficacité.

Auteurs originaux : Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de cuisiner un gâteau massif et complexe (un modèle d'IA géant) qui est trop gros pour tenir dans une seule cuisine. Vous devez donc embaucher des centaines de chefs (des puces informatiques) et répartir le travail entre eux.

Le problème est que coordonner ces centaines de chefs est incroyablement difficile. Si vous dites au Chef A de mélanger la pâte pendant que le Chef B attend les œufs, vous perdez du temps. Si le Chef A et le Chef B essaient tous deux de saisir le même bol en même temps, ils s'entrechoquent.

Actuellement, la plupart des systèmes d'entraînement d'IA sont comme des livres de recettes rigides. Ils possèdent quelques méthodes pré-écrites pour diviser le travail (comme "chacun mélange sa propre pâte" ou "on se passe le bol à la chaîne"). Si vous voulez essayer une nouvelle façon de cuisiner, plus sophistiquée, qui permet de gagner du temps ou de l'espace, vous devez embaucher un expert humain pour réécrire l'intégralité du livre de recettes. C'est lent, coûteux et difficile à modifier.

Piper est un nouveau "gestionnaire de cuisine intelligent" qui change la donne. Au lieu d'une recette rigide, Piper vous donne un ensemble d'instructions simples (comme "placez le mélange sur le comptoir de gauche" ou "passez le bol pendant que le four chauffe") et un plan directeur universel. Piper détermine ensuite exactement comment accomplir la tâche de manière efficace, peu importe la complexité de vos instructions.

Voici comment fonctionne Piper, décomposé en concepts simples :

1. Le Plan Directeur (L'« IR »)

Imaginez que la recette du gâteau ne soit pas seulement une liste d'étapes, mais un immense organigramme en 3D montrant chaque action que chaque chef doit accomplir, et comment elles dépendent les unes des autres. Piper appelle cela le Global Training DAG (un terme technique pour une carte de tout le travail).

L'ancienne méthode : Le système ne connaissait que quelques organigrammes fixes.
La méthode Piper : Vous dessinez votre propre organigramme en utilisant des balises simples. Piper prend votre dessin et le transforme en un plan maître que chaque chef peut suivre.

2. Les Instructions (L'« API »)

Piper vous donne un langage simple pour dire au système ce que vous voulez, sans avoir besoin de connaître les détails techniques du matériel (hardware).

Annotations : Vous pouvez marquer des parties du modèle. Par exemple, vous pouvez dire : "Cette partie du gâteau est réservée aux chefs 'Experts" uniquement", ou "Cette partie doit être répartie sur 4 comptoirs différents".
Directives : Ce sont vos commandes. Vous pouvez dire : "Divisez ce grand lot en portions plus petites pour que nous puissions travailler dessus en même temps", ou "Assurez-vous que le mélange se fasse pendant que le four refroidit".
La Magie : Vous n'avez pas besoin de dire à l'ordinateur comment déplacer les bols ou quel ustensile spécifique utiliser. Vous dites simplement ce qui doit arriver, et Piper s'occupe de la logistique.

3. Le Gestionnaire (Le « Runtime »)

Une fois que vous avez donné vos instructions à Piper, il agit comme un contrôleur de trafic central.

L'Ordonnanceur Central : Il examine votre plan directeur et le décompose en tâches minuscules et spécifiques pour chaque chef. Il décide qui fait quoi et quand.
Les Travailleurs : Chaque chef (puce informatique) reçoit sa liste spécifique de tâches. Ils n'ont pas besoin de se parler entre eux pour établir le plan ; ils suivent simplement la liste que Piper leur a donnée.
Éviter les Embouteillages : Un problème majeur dans l'entraînement de l'IA est les "bulles" (bubbles) — des moments où un chef reste inactif en attendant un bol. Piper est intelligent dans l'imbrication des tâches. Il peut dire au Chef A de commencer à mélanger le lot suivant pendant que le Chef B est encore en train de laver le bol du précédent. Il s'assure que la communication (passer les bols) se produit exactement en même temps que la cuisson (le mélange), afin que personne ne soit jamais en attente.

Pourquoi est-ce important ?

L'article montre que Piper peut faire deux choses que les systèmes actuels ont du mal à réaliser :

Il égale la vitesse des experts : Pour les méthodes d'entraînement standards et courantes, Piper est aussi rapide que les systèmes de haut niveau utilisés par les grandes entreprises aujourd'hui.
Il débloque de nouvelles stratégies complexes : Parce que Piper est flexible, il peut gérer des stratégies "hybrides" que les autres systèmes ne peuvent pas traiter.
- Exemple : L'article mentionne une stratégie appelée DualPipe. Imaginez une cuisine où vous cuisez deux types de gâteaux différents en même temps, mais où vous devez échanger les ingrédients entre les fours selon un rythme très spécifique et complexe. Les anciens systèmes s'embrouillent face à cela et soit plantent, soit fonctionnent très lentement. Piper gère ce rythme parfaitement, permettant aux chefs de travailler 6 à 30 % plus vite et de faire entrer des gâteaux beaucoup plus gros dans la cuisine sans manquer d'espace sur le comptoir (mémoire).

L'essentiel

Piper est comme passer d'un manuel d'instructions rigide et pré-imprimé à un gestionnaire de projet intelligent et adaptable. Il permet aux chercheurs en IA de concevoir leurs propres méthodes personnalisées pour entraîner des modèles géants sans avoir à devenir des ingénieurs en matériel informatique. Cela rend le système assez rapide pour les besoins d'aujourd'hui, tout en étant assez flexible pour gérer les stratégies incroyablement complexes de demain.

Résumé Technique : Piper - Un Système d'Entraînement Distribué Programmable

Énoncé du Problème

Alors que les modèles d'apprentissage automatique passent à l'échelle des modèles de fondation nécessitant des centaines ou des milliers d'accélérateurs, la complexité de la conception de stratégies d'entraînement distribué est devenue un goulot d'étranglement. Les approches actuelles font face à une dichotomie :

Systèmes Déployés : Les systèmes de haute performance (utilisés par exemple pour DeepSeek-V3) reposent sur des experts humains pour co-concevoir manuellement des stratégies de parallélisme de haut niveau (ex: Parallélisme de Pipeline (PP), Parallélisme d'Experts (EP)) avec des stratégies d'exécution de bas niveau (ex: ordonnancement des ressources intra-GPU, gestion des flux). Cela résulte en des systèmes rigides, difficiles à adapter à de nouvelles stratégies ou à des dimensions de parallélisme composées.
Frameworks à Usage Général : Les frameworks comme Megatron-LM, DeepSpeed et TorchTitan offrent des interfaces flexibles mais traitent souvent les dimensions de parallélisme comme indépendantes. Ils effectuent une distribution éalante des opérations, ce qui rend difficile l'ordonnancement conjoint de la communication et du calcul à travers des stratégies composées (ex: chevauchement d'un All-to-All d'EP avec des All-Reduces de DP). De plus, ils échouent souvent à supporter pleinement des combinaisons complexes, telles que le PP avec ZeRO-2 ou ZeRO-3, en raison des interactions entre les hooks de couches et les calendriers d'exécution.

Le défi central est l'extensibilité : créer un système qui minimise l'effort de spécification et d'implémentation de stratégies d'entraînement distribué arbitraires tout en maintenant une haute performance et une efficacité mémoire.

Méthodologie

Piper répond à ces défis en découplant la spécification de la stratégie de l'implémentation du runtime grâce à une Représentation Intermédiaire (IR) unifiée. Le système se compose de trois composants principaux :

1. API d'Ordonnancement Utilisateur

Piper fournit une API déclarative qui permet aux utilisateurs de contrôler à la fois le placement de haut niveau et l'exécution de bas niveau sans écrire de planificateurs personnalisés.

Annotations : Les utilisateurs marquent des régions sémantiquement significatives d'un modèle PyTorch (ex: couches spécifiques, blocs d'experts) en utilisant des gestionnaires de contexte. Ces balises définissent les limites des dimensions de parallélisme (ex: PP, EP, DP).
Directives d'Ordonnancement : Les utilisateurs appliquent des directives pour transformer l'IR du système. Les directives clés incluent :
- Placement : Place, Replicate et Shard définissent le mappage des dispositifs et introduisent les nœuds de communication nécessaires (P2P, All-Reduce, All-Gather, All-to-All).
- Granularité : Split réplique les nœuds pour créer des micro-batches, permettant le chevauchement de pipeline.
- Ordre : Order impose des dépendances temporelles entre les sous-graphes, permettant aux utilisateurs de spécifier des motifs de chevauchement complexes (ex: chevaucher le micro-batch forward $i$ avec le micro-batch backward $i-1$ ) et l'allocation de ressources (ex: assigner des flux logiques spécifiques à la communication).
Contrôle des Ressources : Les utilisateurs peuvent assigner des flux GPU logiques à des directives spécifiques, permettant un contrôle fin du chevauchement de la communication et du calcul sans gérer directement les flux CUDA physiques.

2. Représentation Intermédiaire (IR) Unifiée

Le cœur de Piper est un DAG d'Entraînement Global (Graphe Acyclique Dirigé).

Structure : Le DAG représente toutes les opérations de calcul et de communication. Les nœuds sont soit des Chunks (unités de calcul grossières) soit des nœuds Comm (opérations de communication).
Transformation : Le compilateur part d'un DAG à dispositif unique extrait du code du modèle. Les directives de l'utilisateur agissent comme des réécritures de graphe, transformant le DAG à dispositif unique en un DAG distribué avec des nœuds de communication explicites, du micro-batching et des placements de dispositifs.
Sécurité : Le système garantit que les transformations respectent les dépendances de données et temporelles définies par le modèle et les directives de l'utilisateur.

3. Runtime Distribué Agnostique à la Stratégie

Piper utilise un ordonnanceur centralisé et un modèle d'exécution basé sur des workers (implémenté sur Ray).

Ordonnanceur Centralisé : Il prend le DAG transformé et le décompose en sous-DAGs uniques pour chaque rang de Parallélisme de Pipeline (PP). Il résout les ordonnancements partiels entre des tâches indépendantes assignées au même flux, générant un ordre total par flux.
Exécution des Workers : Les workers chargent leurs fragments de modèle spécifiques et exécutent les tâches selon le plan de l'ordonnanceur.
Gestion des Ressources :
- Flux (Streams) : Les tâches sont dispatchées vers des flux logiques, qui se mappent sur des flux CUDA physiques. La synchronisation (via des événements CUDA) n'est insérée que lorsque les dépendances traversent les flux.
- Communication : Pour éviter les deadlocks et les bulles, Piper alloue des communicateurs et des flux séparés pour les opérations de réception/envoi point-à-point, assurant un ordonnancement cohérent sans nécessiter de connaissance globale du temps d'exécution au runtime.
- Mémoire : Piper gère la mémoire pour les états du modèle (paramètres, gradients, états de l'optimiseur) et les activations. Il supporte le partitionnement de type ZeRO en matérialisant les états avant le calcul et en les re-partitionnant après, garantissant une utilisation correcte de la mémoire entre les micro-batches.

Contributions Clés

Interface d'Ordonnancement Utilisateur : Une API flexible pour contrôler les stratégies de parallélisme inter- et intra-dispositifs, permettant aux utilisateurs de spécifier le placement de haut niveau et l'ordre d'exécution de bas niveau via des directives.
IR Unifié (Global Training DAG) : Une représentation qui permet l'ordonnancement conjoint des opérations de communication et de calcul introduites par des stratégies de parallélisme composées (ex: PP + EP + ZeRO).
Runtime Agnostique à la Stratégie : Un runtime distribué efficace capable d'exécuter des stratégies arbitraires définies par l'IR, gérant automatiquement la contention des ressources et la synchronisation.
Évaluation de Bout en Bout : Démonstration que Piper égale les performances des frameworks à usage général sur des stratégies standards tout en permettant de nouvelles stratégies haute performance que les autres frameworks ne peuvent pas supporter.

Résultats

Les auteurs ont évalué Piper par rapport à Megatron-LM, DeepSpeed et TorchTitan sur des instances AWS EC2 avec des GPU NVIDIA A100.

Stratégies Communes : Piper atteint une performance équivalente à Megatron-LM et TorchTitan sur les schémas standards 1F1B et Interleaved 1F1B.
Compatibilité PP x ZeRO :
- Alors que Megatron, DeepSpeed et TorchTitan peinent à supporter le PP combiné avec ZeRO-2 (partitionnement des paramètres) et ZeRO-3 (partitionnement des poids), Piper supporte toutes les combinaisons.
- Efficacité Mémoire : Dans les scénarios PP x ZeRO-2 et PP x ZeRO-3, Piper permet des tailles de batch 3 à 8 fois plus grandes que TorchTitan, qui échoue à re-partitionner correctement les poids et les gradients entre les micro-batches, entraînant des erreurs de type Out-Of-Memory (OOM).
Nouvelles Stratégies (DualPipeV) :
- Piper implémente avec succès le schéma DualPipeV (combinant PP et EP avec chevauchement de micro-batch).
- Gains de Débit : Sur un modèle de 1B, Piper-DualPipeV améliore le débit de 13 % par rapport au schéma 1F1B de base de Piper. Sur un modèle de 9B, il l'améliore de 10 % par rapport à son propre schéma interleaved et de 6 % par rapport au schéma interleaved de Megatron.
- Comparaison : L'implémentation de DualPipeV par TorchTitan a montré une amélioration négligeable (3 %) par rapport à sa ligne de base, attribuée à une sérialisation involontaire causée par le dispatching basé sur les threads.

Signification

L'article affirme que la signification de Piper réside dans sa capacité à découpler la stratégie de l'implémentation. En fournissant une IR unifiée et une API flexible, Piper abaisse la barrière à l'implémentation de stratégies de parallélisme composées complexes (comme DualPipe) qui nécessitent actuellement une ingénierie humaine intensive. Il comble le fossé entre la flexibilité des frameworks à usage général et la performance des systèmes spécialisés et optimisés manuellement. De plus, Piper sert de runtime viable pour les futurs systèmes de recherche automatisée, car il peut exécuter des stratégies arbitraires sans coder en dur des optimisations spécifiques, permettant ainsi l'exploration d'un espace beaucoup plus large de configurations d'entraînement distribué.