🤖 AI

Piper: A Programmable Distributed Training System

O Piper é um sistema de treinamento distribuído programável que desacopla estratégias de paralelismo de alto nível de implementações de tempo de execução de baixo nível por meio de uma representação intermediária unificada, permitindo a composição flexível de diversas estratégias como ZeRO e o DualPipe do DeepSeek-V3, mantendo a paridade de desempenho e melhorando a eficiência.

Autores originais: Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

Publicado 2026-06-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando assar um bolo gigante e complexo (um modelo de IA enorme) que é grande demais para caber em uma única cozinha. Você tem que contratar centenas de chefs (chips de computador) e dividir o trabalho entre eles.

O problema é que coordenar centenas desses chefs é incrivelmente difícil. Se você disser ao Chef A para misturar a massa enquanto o Chef B espera pelos ovos, você desperdiça tempo. Se o Chef A e o Chef B tentarem pegar a mesma tigela ao mesmo tempo, eles colidem.

Atualmente, a maioria dos sistemas de treinamento de IA é como livros de receitas rígidos. Eles têm algumas formas pré-escritas de dividir o trabalho (como "cada um mistura sua própria massa" ou "cada um passa a tigela para o próximo na fila"). Se você quiser tentar uma forma nova e sofisticada de cozinhar que economize tempo ou espaço, terá que contratar um especialista humano para reescrever todo o livro de receitas do zero. Isso é lento, caro e difícil de mudar.

O Piper é um novo "gerente de cozinha inteligente" que muda o jogo. Em vez de uma receita rígida, o Piper fornece um conjunto de instruções simples (como "coloque a mistura na bancada da esquerda" ou "passe a tigela enquanto o forno está aquecendo") e um projeto universal. O Piper então descobre exatamente como realizar o trabalho de forma eficiente, não importa o quão complexas sejam suas instruções.

Aqui está como o Piper funciona, dividido em conceitos simples:

1. O Projeto (O "IR")

Imagine que a receita do bolo não é apenas uma lista de passos, mas um gigantesco fluxograma 3D mostrando cada ação que cada chef precisa realizar e como elas dependem umas das outras. O Piper chama isso de Global Training DAG (um termo técnico para um mapa de todo o trabalho).

O jeito antigo: O sistema conhecia apenas alguns fluxograms fixos.
O jeito Piper: Você desenha seu próprio fluxograma usando etiquetas simples. O Piper pega o seu desenho e o transforma em um plano mestre que cada chef pode seguir.

2. As Instruções (A "API")

O Piper oferece uma linguagem simples para você dizer ao sistema o que deseja, sem precisar conhecer os detalhes minuciosos do hardware.

Anotações: Você pode etiquetar partes do modelo. Por exemplo, você pode dizer: "Esta parte do bolo é apenas para os chefs 'Especialistas'" ou "Esta parte precisa ser dividida entre 4 bancadas diferentes".
Diretivas: Estas são os seus comandos. Você pode dizer: "Divida este lote grande em pedaços menores para que possamos trabalhar neles ao mesmo tempo" ou "Certifique-se de que a mistura aconteça enquanto o bolo está esfriando".
A Magia: Você não precisa dizer ao computador como mover as tigelas ou qual colher específica usar. Você apenas diz o que precisa acontecer, e o Piper descobre a logística.

3. O Gerente (O "Runtime")

Depois que você dá suas instruções ao Piper, ele atua como um controlador de tráfego central.

O Agendador Central: Ele olha para o seu projeto e o decompõe em tarefas minúsculas e específicas para cada chef. Ele decide quem faz o quê e quando.
Os Trabalhadores: Cada chef (chip de computador) recebe sua lista específica de tarefas. Eles não precisam conversar entre si para entender o plano; eles apenas seguem a lista que o Piper lhes deu.
Evitando Engarrafamentos: Um grande problema no treinamento de IA são os "bubbles" (bolhas) — momentos em que um chef fica ocioso esperando por uma tigela. O Piper é inteligente sobre a sobreposição de tarefas. Ele pode instruir o Chef A a começar a misturar o próximo lote enquanto o Chef B ainda está lavando a tigela do lote anterior. Ele garante que a comunicação (passar as tigelas) aconteça exatamente ao mesmo tempo que o cozimento (misturar), para que ninguém fique esperando à toa.

Por que isso é importante?

O artigo mostra que o Piper consegue fazer duas coisas com as quais os sistemas atuais têm dificuldade:

Ele iguala a velocidade dos especialistas: Para as formas padrão e comuns de treinamento, o Piper é tão rápido quanto os sistemas de alto nível usados pelas grandes empresas hoje.
Ele desbloqueia novas estratégias complexas: Como o Piper é flexível, ele pode lidar com estratégias "híbridas" que outros sistemas não conseguem.
- Exemplo: O artigo menciona uma estratégia chamada DualPipe. Imagine uma cozinha onde você está assando dois tipos diferentes de bolos ao mesmo tempo, mas precisa trocar os ingredientes entre os fornos em um ritmo muito específico e complicado. Os sistemas antigos se confundem com isso e acabam travando ou funcionando muito lentamente. O Piper lida com esse ritmo perfeitamente, permitindo que os chefs trabalhem de 6 a 30% mais rápido e caibam bolos muito maiores na cozinha sem ficar sem espaço de bancada (memória).

O Resumo Final

O Piper é como fazer um upgrade de um manual de instruções rígido e pré-impresso para um gerente de projeto inteligente e adaptável. Ele permite que pesquisadores de IA projetem suas próprias formas personalizadas de treinar modelos gigantes sem precisar se tornar engenheiros de hardware. Ele torna o sistema rápido o suficiente para as necessidades de hoje, mas flexível o suficiente para lidar com as estratégias malucas e complexas do amanhã.

Resumo Técnico: Piper - Um Sistema de Treinamento Distribuído Programável

Problema

À medida que os modelos de aprendizado de máquina escalam para modelos de fundação que exigem centenas ou milhares de aceleradores, a complexidade de projetar estratégias de treinamento distribuído tornou-se um gargalo. As abordagens atuais enfrentam uma dicotomia:

Sistemas Implantados: Sistemas de alto desempenho (como os usados para o DeepSeek-V3) dependem de especialistas humanos para co-projetar manualmente estratégias de paralelismo de alto nível (ex: Paralelismo de Pipeline (PP), Paralelismo de Especialista (EP)) com estratégias de execução de baixo nível (ex: escalonamento de recursos intra-GPU, gerenciamento de streams). Isso resulta em sistemas rígidos que são difíceis de adaptar a novas estratégias ou dimensões de paralelismo compostas.
Frameworks de Propósito Geral: Frameworks como Megatron-LM, DeepSpeed e TorchTitan oferecem interfaces flexíveis, mas tratam as dimensões de paralelismo como independentes. Eles realizam o despacho eager (ansioso) de operações, o que torna desafiador o escalonamento conjunto de comunicação e computação através de estratégias compostas (ex: sobrepor o All-to-All de EP com All-Reduces de DP). Além disso, eles frequentemente falham em suportar plenamente combinações complexas, como PP com ZeRO-2 ou ZeRO-3, devido às interações entre os hooks de camada e os cronogramas de execução.

O desafio central é a extensibilidade: criar um sistema que minimize o esforço para especificar e implementar estratégias de treinamento distribuído arbitrárias, mantendo alto desempenho e eficiência de memória.

Metodologia

O Piper aborda esses desafios desacoplando a especificação da estratégia da implementação do tempo de execução (runtime) por meio de uma Representação Intermediária (IR) unificada. O sistema consiste em três componentes principais:

1. API de Escalonamento do Usuário

O Piper fornece uma API declarativa que permite aos usuários controlar tanto o posicionamento de alto nível quanto a execução de baixo nível sem escrever escalonadores customizados.

Anotações: Os usuários marcam regiões semanticamente significativas de um modelo PyTorch (ex: camadas específicas, blocos de especialistas) usando gerenciadores de contexto. Essas tags definem os limites para as dimensões de paralelismo (ex: PP, EP, DP).
Diretivas de Escalonamento: Os usuários aplicam diretivas para transformar a IR do sistema. As diretivas principais incluem:
- Posicionamento (Placement): Place, Replicate e Shard definem o mapeamento de dispositivos e introduzem os nós de comunicação necessários (P2P, All-Reduce, All-Gather, All-to-All).
- Granularidade: Split replica nós para criar microbatches, permitindo o overlapping de pipeline.
- Ordenação (Ordering): Order impõe dependências temporais entre sub-grafos, permitindo que os usuários especifiquem padrões de sobreposição complexos (ex: sobrepor o microbatch forward $i$ com o microbatch backward $i-1$ ) e alocação de recursos (ex: atribuir streams lógicos específicos para comunicação).
Controle de Recursos: Os usuários podem atribuir streams de GPU lógicos a diretivas específicas, permitindo um controle refinado do overlap de comunicação e computação sem gerenciar diretamente os streams CUDA físicos.

2. Representação Intermediária (IR) Unificada

O núcleo do Piper é um Grafo Acíclico Dirigido (DAG) de Treinamento Global.

Estrutura: O DAG representa todas as operações de computação e comunicação. Os nós são ou Chunks (unidades de computação de grão grosso) ou nós Comm (operações de comunicação).
Transformação: O compilador começa com um DAG de dispositivo único extraído do código do modelo. As diretivas do usuário atuam como reescritas de grafo, transformando o DAG de dispositivo único em um DAG distribuído com nós de comunicação explícitos, microbatching e posicionamentos de dispositivos.
Segurança: O sistema garante que as transformações respeitem as dependências de dados e temporais definidas pelo modelo e pelas diretivas do usuário.

3. Tempo de Execução Distribuído Agnóstico à Estratégia

O Piper utiliza um escalonador centralizado e um modelo de execução baseado em workers (implementado no Ray).

Escalonador Centralizado: Ele pega o DAG transformado e o decompõe em sub-DAGs únicos para cada rank de Paralelismo de Pipeline (PP). Ele resolve ordenações parciais entre tarefas independentes atribuídas ao mesmo stream, gerando uma ordenação total por stream.
Execução do Worker: Os workers carregam seus respectivos shards do modelo e executam as tarefas de acordo com o plano do escalonador.
Gerenciamento de Recursos:
- Streams: As tarefas são despachadas para streams lógicos, que mapeiam para streams CUDA físicos. A sincronização (via eventos CUDA) é inserida apenas quando as dependências cruzam os streams.
- Comunicação: Para evitar deadlocks e bolhas (bubbles), o Piper aloca comunicadores e streams separados para operações de envio/recebimento ponto a ponto, garantindo uma ordenação consistente sem exigir conhecimento global do tempo de execução.
- Memória: O Piper gerencia a memória para estados do modelo (parâmetros, gradientes, estados do otimizador) e ativações. Ele suporta o sharding estilo ZeRO ao materializar os estados antes da computação e realizar o resharding depois, garantindo o uso correto de memória entre os microbatches.

Principais Contribuições

Interface de Escalonamento do Usuário: Uma API flexível para controlar estratégias de paralelismo inter e intra-dispositivo, permitindo que os usuários especifiquem o posicionamento de alto nível e a ordenação de execução de baixo nível via diretivas.
IR Unificada (Global Training DAG): Uma representação que permite o escalonamento conjunto das operações de comunicação e computação introduzidas por estratégias de paralelismo compostas (ex: PP + EP + ZeRO).
Runtime Agnóstico à Estratégia: Um tempo de execução distribuído eficiente capaz de executar quaisquer estratégias definidas pela IR, lidando com contenção de recursos e sincronização automaticamente.
Avaliação End-to-End: Demonstração de que o Piper iguala o desempenho de frameworks de propósito geral em estratégias padrão, enquanto permite novas estratégias de alto desempenho que outros frameworks não conseguem suportar.

Resultados

Os autores avaliaram o Piper contra o Megatron-LM, DeepSpeed e TorchTitan em instâncias AWS EC2 com GPUs NVIDIA A100.

Estratégias Comuns: O Piper atinge paridade de desempenho com o Megatron-LM e o TorchTitan em cronogramas padrão 1F1B e Interleaved 1F1B.
Compatibilidade PP x ZeRO:
- Enquanto Megatron, DeepSpeed e TorchTitan têm dificuldade em suportar PP combinado com ZeRO-2 (sharding de parâmetros) e ZeRO-3 (sharding de pesos), o Piper suporta todas as combinações.
- Eficiência de Memória: Em cenários PP x ZeRO-2 e PP x ZeRO-3, o Piper permite tamanhos de batch de 3 a 8 vezes maiores em comparação ao TorchTitan, que falha ao não realizar o resharding correto de pesos e gradientes entre microbatches, levando a erros de Out-Of-Memory (OOM).
Novas Estratégias (DualPipeV):
- O Piper implementa com sucesso o cronograma DualPipeV (combinando PP e EP com overlapping de microbatch).
- Ganhos de Throughput: Em um modelo de 1B, o Piper-DualPipeV melhora o throughput em 13% em relação ao cronograma base 1F1B do próprio Piper. Em um modelo de 9B, ele melhora em 10% em relação ao seu próprio cronograma interleaved e em 6% em relação ao cronograma interleaved do Megatron.
- Comparação: A implementação do DualPipeV no TorchTitan mostrou uma melhoria insignificante (3%) sobre seu baseline, atribuída à serialização indesejada causada pelo despacho baseado em threads.

Significância

O artigo afirma que a significância do Piper reside em sua capacidade de desacoplar a estratégia da implementação. Ao fornecer uma IR unificada e uma API flexível, o Piper reduz a barreira para a implementação de estratégias de paralelismo compostas e complexas (como DualPipe) que atualmente exigem extensa engenharia humana. Ele preenche a lacuna entre a flexibilidade dos frameworks de propósito geral e o desempenho de sistemas especializados e ajustados manualmente. Além disso, o Piper serve como um runtime viável para futuros sistemas de busca automatizada, pois pode executar estratégias arbitrárias sem codificar otimizações específicas, permitindo assim a exploração de um espaço muito maior de configurações de treinamento distribuído.