The Big Send-off: Scalable and Performant Collectives for Deep Learning

O artigo apresenta a PCCL, uma biblioteca de comunicação coletiva otimizada para aprendizado profundo distribuído que utiliza um design hierárquico e seleção adaptativa baseada em aprendizado para alcançar ganhos de desempenho significativos (até 168x) em supercomputadores modernos, superando bibliotecas existentes como RCCL e NCCL.

O essencial

Imagine que você está organizando uma festa gigantesca em um estádio de futebol, onde milhares de pessoas (os GPUs, ou processadores gráficos) precisam trabalhar juntas para criar uma obra de arte complexa (treinar uma Inteligência Artificial).

O problema é que, para criar essa obra, todos precisam trocar informações constantemente. É como se cada pessoa tivesse um pedaço do quebra-cabeça e precisasse mostrar para todos os outros o que ela tem, ou somar suas ideias com as dos vizinhos.

Aqui está o resumo do que os pesquisadores descobriram e como eles resolveram o problema, usando analogias simples:

1. O Problema: O Trânsito na Estrada

Nas festas atuais (os supercomputadores modernos), as pessoas usam "cartas de instrução" padrão (bibliotecas de comunicação como NCCL e RCCL) para se comunicar.

• O que acontece: Quando o número de pessoas aumenta (de centenas para milhares), o sistema de comunicação atual entra em colapso. É como se todos tentassem usar apenas uma única porta de saída do estádio, ou se a pessoa que organiza a troca de informações (o CPU) fosse muito lenta e não conseguisse acompanhar a velocidade dos atletas (os GPUs).
• O resultado: A festa fica lenta. Em vez de trocar informações instantaneamente, as pessoas ficam esperando na fila. Isso desperdiça tempo e dinheiro, pois os supercomputadores ficam parados esperando os dados.

2. A Solução: O "PCCL" (O Novo Organizador Inteligente)

Os autores criaram uma nova ferramenta chamada PCCL. Pense nela como um gerente de trânsito superinteligente que chega na festa e reorganiza tudo.

O PCCL usa três truques principais:

• Truque 1: A Hierarquia (O Sistema de Camadas)
  Em vez de tentar fazer todos os 2.000 atletas falarem diretamente uns com os outros de uma vez só (o que causaria um caos), o PCCL divide o trabalho:

  1. Primeiro, os atletas de cada grupo (nó de computador) conversam entre si rapidamente.
  2. Depois, os líderes de cada grupo conversam com os líderes dos outros grupos.
  3. Por fim, a informação volta para todos.
     Analogia: É como se, em vez de todos gritarem para o estádio inteiro, cada setor de 100 pessoas escolhesse um representante para falar com os outros setores. Isso evita congestionamento.

• Truque 2: O Caminho Mais Rápido (Algoritmos Recursivos)
  Os métodos antigos usavam uma "roda" (Ring Algorithm), onde a informação passava de pessoa para pessoa em círculo. Se você estivesse no final da fila, demorava muito para receber a mensagem.
  O PCCL usa um método de "meio a meio" (Recursive Halving/Doubling). Imagine que, em vez de passar a mensagem um por um, a pessoa divide o grupo ao meio, depois divide cada metade ao meio, e assim por diante.
  Analogia: É a diferença entre passar um recado de mão em mão em uma fila de 1.000 pessoas (lento) versus usar um sistema de telefone onde cada pessoa liga para duas outras, que ligam para mais duas, espalhando a informação em segundos (rápido).

• Truque 3: O "GPS" Inteligente (Seleção Adaptativa)
  O PCCL não é "tamanho único". Ele tem um cérebro artificial (baseado em aprendizado de máquina) que olha para a situação:

  • "A mensagem é pequena e temos muita gente?" -> Usa o caminho rápido (algoritmo recursivo).
  • "A mensagem é enorme e somos poucos?" -> Usa o caminho de alta velocidade (algoritmo de anel).
  • Analogia: É como um GPS que decide se você deve pegar a estrada principal (larga, mas com trânsito) ou a estrada de terra (estreita, mas sem carros), dependendo do tamanho do seu caminhão e do número de carros na estrada.

3. Os Resultados: A Festa Virou um Show!

Quando os pesquisadores testaram isso nos maiores supercomputadores do mundo (Frontier e Perlmutter):

• Velocidade: Em alguns casos, o PCCL foi 168 vezes mais rápido que o sistema antigo para certas tarefas!
• Treinamento de IA: Treinar modelos gigantes de IA (como os que geram texto ou imagens) ficou até 5 vezes mais rápido.
• Escalabilidade: Enquanto os sistemas antigos travavam quando chegavam a 2.000 processadores, o PCCL continuou voando baixo, mantendo a velocidade mesmo com milhares de máquinas trabalhando juntas.

Conclusão

Em resumo, os pesquisadores perceberam que as ferramentas antigas de comunicação para IA não estavam preparadas para o tamanho das festas de hoje. Eles criaram um novo sistema (PCCL) que organiza o tráfego de dados de forma mais inteligente, dividindo grupos, escolhendo o caminho mais rápido e usando a força bruta dos processadores gráficos em vez de depender de processadores lentos.

Isso significa que, no futuro, poderemos treinar IAs mais inteligentes e complexas em menos tempo, sem que o computador fique "engasgado" tentando trocar informações.

Resumo técnico

Título: The Big Send-off: Coletivos Escaláveis e de Alto Desempenho para Deep Learning

1. Problema

O artigo aborda o gargalo de comunicação em cargas de trabalho de Inteligência Artificial (IA) distribuída em larga escala. À medida que os modelos de Deep Learning (DL) crescem para bilhões de parâmetros e são treinados em milhares de GPUs, a sobrecarga de comunicação torna-se uma fração significativa do tempo total de execução.

As bibliotecas de comunicação coletivas existentes (como NCCL para NVIDIA, RCCL para AMD e Cray-MPICH) apresentam limitações críticas em supercomputadores modernos baseados em GPU:

• Escalabilidade Deficiente: Elas não mantêm o desempenho ideal (linha horizontal no gráfico de tempo vs. número de GPUs) quando o número de GPUs aumenta para milhares.
• Ineficiência em Tamanhos de Mensagem: Enfrentam dificuldades em regimes de mensagens moderadas a grandes (dezenas a centenas de MBs), comuns em DL.
• Subutilização de Recursos:
  • O Cray-MPICH subutiliza as interfaces de rede (NICs), roteando todo o tráfego por uma única NIC, e realiza operações de redução na CPU em vez de descarregá-las para a GPU.
  • O NCCL e o RCCL dependem quase exclusivamente do algoritmo de "anel" (ring algorithm) para operações como all-gather e reduce-scatter. Embora eficiente em largura de banda, o anel tem uma latência que cresce linearmente com o número de processos, tornando-o ineficiente em grandes escalas.

2. Metodologia

Os autores desenvolveram a PCCL (Performant Collective Communication Library), uma biblioteca projetada especificamente para cargas de trabalho de DL distribuído. A abordagem da PCCL baseia-se em três pilares principais:

• Design Hierárquico (Dois Níveis):

  • A comunicação global é dividida em fases inter-nó (entre nós de computação) e intra-nó (dentro do mesmo nó).
  • Intra-nó: Utiliza bibliotecas de fornecedores (NCCL/RCCL) que são altamente otimizadas para memória compartilhada e links GPU-GPU (NVLink/Infinity Fabric).
  • Inter-nó: Utiliza MPI com implementações personalizadas para evitar as limitações das bibliotecas padrão.
  • O algoritmo de all-gather hierárquico executa: (1) all-gather inter-nó, (2) all-gather intra-nó e (3) uma "embaralhamento" local (shuffle) no dispositivo para corrigir a ordem dos dados.

• Implementações de Baixa Latência:

  • Para a fase inter-nó, a PCCL implementa algoritmos de Dobramento Recursivo (recursive doubling) para all-gather e Redução Recursiva (recursive halving) para reduce-scatter.
  • Esses algoritmos reduzem o número de passos de comunicação de $O(p)$ (linear, como no anel) para $O(\log_2 p)$, onde $p$ é o número de processos.
  • Todas as operações de redução computacional são descarregadas para as GPUs, evitando a CPU.

• Disparador Adaptativo Baseado em Aprendizado de Máquina:

  • Reconhecendo que nenhum algoritmo é o melhor para todas as configurações, a PCCL utiliza um classificador SVM (Support Vector Machine) leve.
  • O disparador analisa o tamanho da mensagem e o número de GPUs em tempo de execução e seleciona automaticamente o backend mais rápido entre as opções disponíveis: Cray-MPICH, NCCL, RCCL, ou as novas implementações hierárquicas da PCCL (PCCL_ring e PCCL_rec).

3. Contribuições Principais

• Análise de Limitações: Identificação detalhada das ineficiências do Cray-MPICH (subutilização de NIC e uso de CPU) e do NCCL/RCCL (falta de algoritmos logarítmicos para all-gather e reduce-scatter em grande escala).
• Implementação Otimizada: Desenvolvimento de uma biblioteca que combina design hierárquico, algoritmos recursivos e descarregamento de computação para a GPU.
• Mecanismo de Seleção Inteligente: Criação de um dispatcher baseado em SVM que alcança alta precisão na seleção do melhor algoritmo para configurações não vistas anteriormente.
• Validação em Escala Real: Benchmarking em supercomputadores de classe líder (Frontier com 2048 GCDs e Perlmutter com 2048 GPUs) e em cargas de trabalho de treinamento de LLMs (Large Language Models).

4. Resultados

Os testes foram realizados nos supercomputadores Frontier (AMD MI250X) e Perlmutter (NVIDIA A100).

• Desempenho de Coletivos (Benchmarks):

  • Frontier (vs. RCCL): A PCCL alcançou acelerações massivas em 2048 GCDs:
    • Até 168× mais rápido em reduce-scatter.
    • Até 33× mais rápido em all-gather.
    • Até 10× mais rápido em all-reduce.
  • Perlmutter (vs. NCCL): Ganhos significativos, embora menores que no Frontier, mas ainda críticos:
    • Até 5.7× de aceleração em all-gather e reduce-scatter em cenários de alta latência (muitas GPUs, mensagens menores).

• Impacto em Cargas de Trabalho de Produção:

  • DeepSpeed ZeRO-3: Aceleração de treinamento de modelos de 7B e 13B parâmetros.
    • Até 4.9× de aceleração em relação ao RCCL no Frontier.
    • Até 1.37× de aceleração no Perlmutter em 2048 GPUs.
  • PyTorch DDP: Aceleração de 2.4× em relação ao RCCL no Frontier ao treinar um modelo de 1.3B parâmetros.

• Análise de Hardware: A PCCL demonstrou evitar overflows de buffers na rede (contadores de hardware Cassini NIC), mantendo o tráfego na "lista de prioridade" de hardware para transferência de dados sem cópia (zero-copy), enquanto o RCCL frequentemente acionava cópias de software custosas.

5. Significância

Este trabalho é fundamental para o futuro do treinamento de IA em larga escala. À medida que os modelos de linguagem (LLMs) continuam a crescer, a comunicação coletiva torna-se o principal limitador de escalabilidade.

• Viabilidade de Escala: A PCCL demonstra que é possível escalar eficientemente para milhares de GPUs, superando as limitações atuais das bibliotecas de fornecedores.
• Eficiência de Recursos: Ao otimizar o uso de NICs e descarregar computação para a GPU, a biblioteca maximiza o retorno sobre o investimento de hardware em supercomputadores caros.
• Abordagem Híbrida: A combinação de algoritmos hierárquicos tradicionais com seleção adaptativa baseada em ML oferece um modelo robusto para lidar com a complexidade variável das cargas de trabalho de DL.
• Impacto Prático: As acelerações de até 5x no tempo de treinamento de modelos significam redução direta de custos de computação e tempo de desenvolvimento para pesquisadores e empresas.

Em resumo, a PCCL preenche uma lacuna crítica na infraestrutura de software para IA, permitindo que o próximo nível de modelos de inteligência artificial seja treinado de forma eficiente em supercomputadores de última geração.