🤖 AI

Piper: A Programmable Distributed Training System

Piper is een programmeerbaar gedistribueerd trainingssysteem dat hoogwaardige parallellisme-strategieën ontkoppelt van laag-niveau runtime-implementaties via een uniforme intermediaire representatie, wat flexibele compositie van diverse strategieën zoals ZeRO en DeepSeek-V3's DualPipe mogelijk maakt terwijl prestatie-gelijkwaardigheid behouden blijft en efficiëntie wordt verbeterd.

Oorspronkelijke auteurs: Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, complexe taart te bakken (een gigantisch AI-model) die te groot is om in één enkele keuken te passen. Je moet honderden chefs (computerchips) inhuren en het werk onder hen verdelen.

Het probleem is dat het coördineren van deze honderden chefs ongelooflijk moeilijk is. Als je Chef A vertelt het beslag te mengen terwijl Chef B wacht op de eieren, verspil je tijd. Als Chef A en Chef B allebei tegelijkertijd dezelfde kom proberen te pakken, botsen ze op elkaar.

Huidige AI-trainingssystemen zijn als rigide receptenboeken. Ze hebben een paar vooraf geschreven manieren om het werk te verdelen (zoals "iedereen mengt zijn eigen beslag" of "iedereen geeft de kom door in een rij"). Als je een nieuwe, fancy manier wilt uitproberen om tijd of ruimte te besparen, moet je een menselijke expert inhuren om het hele receptenboek vanaf nul te herschrijven. Dat is traag, duur en lastig aan te passen.

Piper is een nieuwe "slimme keukenmanager" die het spel verandert. In plaats van een rigide recept, geeft Piper je een reeks eenvoudige instructies (zoals "zet het mengen op de linker aanrecht" of "geef de kom door terwijl de oven opwarmt") en een universele blauwdruk. Piper vindt vervolgens precies uit hoe de klus efficiënt geklaard moet worden, ongeacht hoe complex je instructies zijn.

Hier is hoe Piper werkt, onderverdeeld in eenvoudige concepten:

1. De Blauwdruk (De "IR")

Stel je voor dat het taartrecept niet alleen een lijst met stappen is, maar een gigantische, 3D-flowchart die elke actie laat zien die elke chef moet uitvoeren, en hoe zij van elkaar afhankelijk zijn. Piper noemt dit de Global Training DAG (een chique term voor een kaart van al het werk).

De oude manier: Het systeem kende slechts een paar vaste flowcharts.
De Piper-manier: Jij tekent je eigen flowchart met behulp van eenvoudige tags. Piper neemt jouw tekening en verandert dit in een meesterplan dat elke chef kan volgen.

2. De Instructies (De "API")

Piper geeft je een eenvoudige taal om het systeem te vertellen wat je wilt, zonder dat je de technische details van de hardware hoeft te kennen.

Annotaties: Je kunt delen van het model labelen. Je kunt bijvoorbeeld zeggen: "Dit deel van de taart is alleen voor de 'Expert'-chefs," of "Dit deel moet over 4 verschillende aanrechten worden verdeeld."
Directives: Dit zijn jouw commando's. Je kunt zeggen: "Verdeel deze grote batch in kleinere stukken zodat we er tegelijkertijd aan kunnen werken," of "Zorg ervoor dat het mengen gebeurt terwijl de oven afkoelt."
De Magie: Je hoeft de computer niet te vertellen hoe de kommen te bewegen of welke specifieke lepel te gebruiken. Je zegt alleen wat er moet gebeuren, en Piper regelt de logistiek.

3. De Manager (De "Runtime")

Zodra je Piper je instructies geeft, fungeert het als een centrale verkeerstoren.

De Centrale Scheduler: Het bekijkt jouw blauwdruk en breekt deze af in kleine, specifieke taken voor elke chef. Het bepaat wie wat doet en wanneer.
De Workers: Elke chef (computerchip) krijgt zijn specifieke lijst met taken. Ze hoeven niet met elkaar te praten om het plan te bepalen; ze volgen gewoon de lijst die Piper hen heeft gegeven.
Het vermijden van verkeersopstoppingen: Een groot probleem bij AI-training zijn "bubbles" — momenten waarop een chef stilzit te wachten op een kom. Piper is slim over het overlappen van taken. Het kan bijvoorbeeld Chef A opdracht geven om de volgende batch te beginnen met mengen terwijl Chef B nog bezig is met het afwassen van de kom van de vorige ronde. Het zorgt ervoor dat communicatie (het doorgeven van kommen) precies tegelijkert met het koken (het mengen) plaatsvindt, zodat niemand ooit rondhangt te wachten.

Waarom is dit een groot ding?

Het paper laat zien dat Piper twee dingen kan waar huidige systemen moeite mee hebben:

Het evenaart de snelheid van de experts: Voor standaard, veelvoorkomende manieren van trainen, is Piper net zo snel als de top-tier systemen die vandaag de dag door grote bedrijven worden gebruikt.
Het ontsluit nieuwe, complexe strategieën: Omdat Piper flexibel is, kan het "hybride" strategieën aan die andere systemen niet kunnen verwerken.
- Voorbeeld: Het paper noemt een strategie genaamd DualPipe. Stel je een keuken voor waar je tegelijkertijd twee verschillende soorten taarten bakt, maar je moet ingrediënten op een heel specifieke, lastige manier tussen de ovens wisselen. Oude systemen raken hierdoor in de war en draaien ofwel heel traag, of ze crashen zelfs. Piper handelt dit ritme perfect af, waardoor de chefs 6 tot 30% sneller kunnen werken en veel grotere taarten in de keuken kunnen passen zonder dat de beschikbare aanrechtruimte (geheugen) opraakt.

De Kern van het Verhaal

Piper is als een upgrade van een rigide, vooraf gedrukte instructiehandleiding naar een slimme, aanpasbare projectmanager. Het stelt AI-onderzoekers in staat om hun eigen aangepaste manieren te ontwerpen om gigantische modellen te trainen, zonder dat ze hardware-engineers hoeven te worden. Het maakt het systeem snel genoeg voor de behoeften van vandaag, maar flexibel genoeg om de waanzinnige, complexe strategieën van morgen aan te kunnen.

Technische Samenvatting: Piper - Een Programmeerbaar Gedistribueerd Trainingsysteem

Probleemstelling

Naarmate machine learning-modellen schalen naar foundation-modellen die honderden of duizenden versnellers vereisen, wordt de complexiteit van het ontwerpen van gedistribueerde trainingsstrategieën een bottleneck. Huidige benaderingen kampen met een dichotomie:

Gedeployed Systemen: High-performance systemen (zoals gebruikt voor DeepSeek-V3) vertrouwen op menselijke experts om handmatig high-level parallellisme-strategieën (bijv. Pipeline Parallelism (PP), Expert Parallelism (EP)) te co-ontwerpen met low-level executiestrategieën (bijv. intra-GPU resource scheduling, stream management). Dit resulteert in rigide systemen die moeilijk aan te passen zijn aan nieuwe strategieën of samengestelde parallellisme-dimensies.
General-Purpose Frameworks: Frameworks zoals Megatron-LM, DeepSpeed en TorchTitan bieden flexibele interfaces, maar behandelen parallellisme-dimensies vaak als onafhankelijk. Ze dispatchen operaties onverwijld (eagerly), wat het uitdagend maakt om communicatie en computatie gezamenlijk te plannen over samengestelde strategieën (bijv. het overlappen van EP all-to-alls met DP all-reduces). Bovs staan ze vaak niet volledig in staat om complexe combinaties te ondersteunen, zoals PP met ZeRO-2 of ZeRO-3, vanwege interacties tussen layer hooks en executieschedules.

De kernuitdaging is extensibiliteit: het creëren van een systeem dat de inspanning minimaliseert om willekeurige gedistribueerde trainingsstrategieën te specificeren en te implementeren, terwijl de hoge prestaties en geheugenefficiëntie behouden blijven.

Methodologie

Piper pakt deze uitdagingen aan door de strategie-specificatie te ontkoppelen van de runtime-implementatie via een uniforme Intermediate Representation (IR). Het systeem bestaat uit drie hoofdonderdelen:

1. User Scheduling API

Piper biedt een declaratieve API waarmee gebruikers zowel high-level plaatsing als low-level executie kunnen controleren zonder een aangepaste scheduler te hoeven schrijven.

Annotaties: Gebruikers labelt semantisch betekenisvolle regio's van een PyTorch-model (bijv. specifieke lagen, expert blocks) met behulp van context managers. Deze tags definiëren de grenzen voor parallellisme-dimensies (bijv. PP, EP, DP).
Scheduling Directives: Gebruikers passen directives toe om de IR van het systeem te transformeren. Belangrijke directives zijn:
- Placement: Place, Replicate en Shard definiëren device mapping en introduceren noodzakelijke communicatieknooppunten (P2P, All-Reduce, All-Gather, All-to-All).
- Granularity: Split repliceert nodes om microbatches te creëren, wat pipeline overlapping mogelijk maakt.
- Ordering: Order dwingt temporele afhankelijkheden af tussen sub-grafen, waardoor gebruikers complexe overlap-patronen kunnen specificeren (bijv. het overlappen van forward microbatch $i$ met backward microbatch $i-1$ ) en resource allocatie (bijv. het toewijzen van specifieke logische streams aan communicatie).
Resource Control: Gebruikers kunnen logische GPU-streams toewijzen aan specifieke directives, wat fijngestuurde controle mogelijk maakt over de overlap van communicatie en computatie zonder direct fysieke CUDA-streams te beheren.

2. Unified Intermediate Representation (IR)

De kern van Piper is een Global Training DAG (Directed Acyclic Graph).

Structuur: De DAG representeert alle computatie- en communicatie-operaties. Knooppunten zijn ofwel Chunks (grove computatie-eenheden) of Comm-knooppunten (communicatie-operaties).
Transformatie: De compiler start met een single-device DAG geëxtraheerd uit de modelcode. Gebruikers-directives fungeren als graph rewrites, die de single-device DAG transformeren naar een gedistribueerde DAG met expliciete communicatieknooppunten, microbatching en device placements.
Veiligheid: Het systeem garandeert dat transformaties de data- en temporele afhankelijkheden respecteren die door het model en de gebruikers-directives zijn gedefinieerd.

3. Strategy-Agnostic Distributed Runtime

Piper gebruikt een gecentraliseerde scheduler en een worker-gebaseerd executiemodel (geïmplementeerd op Ray).

Centralized Scheduler: Deze neemt de getransformeerde DAG en deelt deze op in unieke sub-DAGs voor elke Pipeline Parallelism (PP) rank. Het lost partiële ordeningen op tussen onafhankelijke taken die aan dezelfde stream zijn toegewezen, en genereert een totale ordening per stream.
Worker Execution: Workers laden hun specifieke model-shards en voeren taken uit volgens het plan van de scheduler.
Resource Management:
- Streams: Taken worden gedispatched naar logische streams, die mappen naar fysieke CUDA-streams. Synchronisatie (via CUDA events) wordt alleen ingevoegd wanneer afhankelijkheden over streams heen gaan.
- Communicatie: Om deadlocks en bubbles te voorkomen, wijst Piper aparte communicators en streams toe voor point-to-point send/receive operaties, wat een consistente ordening garandeert zonder dat globale kennis van executietijden vereist is.
- Geheugen: Piper beheert het geheugen voor modelstates (parameters, gradients, optimizer states) en activaties. Het ondersteunt ZeRO-stijl sharding door states te materialiseren vóór de computatie en ze daarna te resharden, wat correct geheugengebruik over microbatches heen garandeert.

Belangrijkste Bijdragen

User Scheduling Interface: Een flexibele API voor het controleren van inter- en intra-device parallellisme-strategieën, waardoor gebruikers high-level plaatsing en low-level executie-ordening kunnen specificeren via directives.
Unified IR (Global Training DAG): Een representatie die het gezamenlijk plannen van communicatie- en computatie-operaties mogelijk maakt die zijn geïntroduceerd door samengestelde parallellisme-strategieën (bijv. PP + EP + ZeRO).
Strategy-Agnostic Runtime: Een efficiënte gedistribueerde runtime die willekeurige strategieën kan uitvoeren die in de IR zijn gedefinieerd, waarbij resource contention en synchronisatie automatisch worden afgehandeld.
End-to-End Evaluatie: Demonstratie dat Piper de prestaties van general-purpose frameworks evenaart op standaardstrategieën, terwijl het tegelijkertijd nieuwe, high-performance strategieën mogelijk maakt die andere frameworks niet kunnen ondersteunen.

Resultaten

De auteurs hebben Piper geëvalueerd tegenover Megatron-LM, DeepSpeed en TorchTitan op AWS EC2-instances met NVIDIA A100 GPU's.

Common Strategies: Piper bereikt prestatie-pariteit met Megatron-LM en TorchTitan op standaard 1F1B en Interleaved 1F1B schedules.
PP x ZeRO Compatibility:
- Terwijl Megatron, DeepSpeed en TorchTitan moeite hebben met het ondersteunen van PP gecombineerd met ZeRO-2 (parameter sharding) en ZeRO-3 (weight sharding), ondersteunt Piper alle combinaties.
- Geheugenefficiëntie: In PP x ZeRO-2 en PP x ZeRO-3 scenario's maakt Piper 3–8x grotere batch sizes mogelijk vergeleken met TorchTitan, dat faalt in het correct resharden van gewichten en gradients tussen microbatches, wat leidt tot Out-Of-Memory (OOM) errors.
Novel Strategies (DualPipeV):
- Piper implementeert succesvol het DualPipeV-schema (combinatie van PP en EP met microbatch overlapping).
- Throughput Gains: Op een 1B model verbetert Piper-DualPipeV de throughput met 13% ten opzichte van het Piper 1F1B baseline schema. Op een 9B model is de verbetering 10% ten opzichte van het eigen interleaved schema en 6% ten opzichte van Megatron's interleaved schema.
- Vergelijking: De implementatie van DualPipeV door TorchTitan toonde een verwaarloosbare verbetering (3%) over de baseline, wat wordt toegeschreven aan onbedoelde serialisatie veroorzaakt door thread-gebaseerde dispatching.

Betekenis

De paper stelt dat de betekenis van Piper ligt in het vermogen om strategie van implementatie te ontkoppelen. Door een uniforme IR en een flexibele API te bieden, verlaagt Piper de drempel voor het implementeren van complexe, samengestelde parallellisme-strategieën (zoals DualPipe) die momenteel uitgebreide menselijke engineering vereisen. Het overbrugt de kloof tussen de flexibiliteit van general-purpose frameworks en de prestaties van gespecialiseerde, handmatig getunede systemen. Verder dient Piper als een levensvatbare runtime voor toekomstige automatische zoeksystemen, aangezien het willekeurige strategieën kan uitvoeren zonder specifieke optimalisaties hard-coded te hebben, wat de exploratie van een veel grotere ruimte van gedistribueerde trainingsconfiguraties mogelijk maakt.