Resumo Técnico: CCL-D

1. Declaração do Problema

À medida que os modelos de aprendizado profundo escalam para dezenas de bilhões de parâmetros, os sistemas de treinamento distribuído em grande escala enfrentam desafios crescentes de confiabilidade. Embora mecanismos de tolerância a falhas, como checkpointing, existam para reduzir a latência de recuperação, eles não abordam as causas raiz das falhas. Uma questão crítica e persistente são as anormalidades Lentas e de Travamento em Bibliotecas de Comunicação Coletiva (CCL). Essas anormalidades, frequentemente causadas por interações complexas entre hardware, software e fatores ambientais, manifestam-se como lentidão na comunicação ou paradas completas.

O artigo destaca que essas anormalidades são a categoria mais frequente e demorada para diagnóstico. Em uma observação de cluster de produção, anormalidades lentas/de travamento representaram 35,2% das interrupções no treinamento, mas consumiram 58,8% do tempo total de diagnóstico. As soluções de diagnóstico existentes sofrem com duas limitações primárias:

1. Baixa Precisão: Métodos tradicionais (por exemplo, watchdog do PyTorch) frequentemente carecem de insights sobre a causa raiz, ignoram anormalidades "lentas" ou falham em identificar o rank exato da GPU defeituosa.
2. Sobrecarga Proibitiva: Métodos reativos, como testes de estresse baseados em bisseção ou análise de pilha orientada por especialistas, exigem horas a dias para resolver problemas, tornando-os impraticáveis para mitigação em tempo real em clusters de grande escala.

2. Metodologia: CCL-D

Os autores propõem o CCL-D, um sistema de diagnóstico de alta precisão projetado para detectar e localizar anormalidades lentas/de travamento em minutos. O sistema integra uma sonda em tempo real em nível de rank com um analisador de decisão inteligente.

2.1 Taxonomia de Anormalidades

Os autores categorizam primeiro as anormalidades lentas/de travamento em seis causas raiz de granularidade fina com base em fluxos de trabalho de comunicação:

• Anormalidades de Travamento:
  • Travamento Não-Entrado (H1): Ranks perdem uma operação de comunicação.
  • Travamento Inconsistente (H2): Ranks realizam operações inconsistentes dentro do mesmo comunicador.
  • Falha de Hardware (H3): Falhas no dispositivo ou no driver durante a comunicação.
• Anormalidades Lentas:
  • Lento por Computação (S1): Atrasos devido à pré-computação, carregamento de dados ou estrangulamento térmico.
  • Lento por Comunicação (S2): Flutuações de rede ou congestionamento.
  • Lento Misto (S3): Atrasos simultâneos de computação e comunicação.

2.2 Métricas de Sondagem entre Camadas

O CCL-D estende a funcionalidade da CCL introduzindo um conjunto de métricas leve e entre camadas centrado em primitivas Send/Recv. Diferentemente do monitoramento em nível de host, essas métricas operam no nível do kernel para capturar comportamentos de baixo nível invisíveis às camadas superiores.

• Métricas de Travamento: SendCount e RecvCount rastreiam o número real de instruções de envio/recebimento executadas. Discrepâncias nessas contagens entre ranks indicam causas de travamento (por exemplo, um rank que falha em entrar na comunicação coletiva).
• Métricas de Lentidão: SendRate e RecvRate aproximam a derivada da função de contagem cumulativa ($dC/dt$) dentro de uma janela de amostragem fixa. Isso captura a degradação de desempenho sem depender de sincronização de relógio global, que é propensa a desvios.
• Metadados Estáticos: Um Conjunto de Tipos de Operação registra parâmetros estáticos (algoritmo, protocolo, tamanho dos dados) para garantir alvos de comparação consistentes.

2.3 Analisador de Decisão

Um analisador de decisão centralizado, mas escalável, processa métricas de todos os ranks para detectar e localizar anormalidades:

• Detecção: Ele distingue entre topologias Ring e Tree para agrupar corretamente os alvos de comparação. A detecção de travamento é acionada quando a duração da comunicação excede um limite (filtrando operações longas normais, como checkpoints). A detecção de lentidão usa uma linha de base dinâmica ($T_{base}$) atualizada a partir das primeiras $m$ rodadas, calculando uma razão de desaceleração ($R$) para sinalizar anormalidades.
• Localização: Após a detecção, o analisador aplica algoritmos específicos para isolar a causa raiz:
  • Para Travamentos, identifica ranks com incrementos de contador zero (Não-Entrado) ou o rank com o menor número de contagens Send/Recv (Hardware/Inconsistente).
  • Para Lentidões, calcula um fator de contribuição $P$ para determinar se o gargalo é computação ($P \to 1$) ou comunicação ($P \to 0$), identificando o rank específico responsável.

2.4 Framework de Rastreamento Distribuído Leve

Para garantir escalabilidade e baixa sobrecarga, o CCL-D emprega uma estratégia de Medição de Métricas Orientada por Host:

• ID de Rastreamento: Uma estrutura descentralizada (ID do Comunicador + Contador) rotula exclusivamente as rodadas de comunicação.
• Quadro de Sondagem: Um buffer reutilizável e de tamanho fixo por rank armazena métricas do kernel.
• Mecanismo de Zero-Copy: Usando Endereçamento Virtual Unificado CUDA (UVA), as métricas são armazenadas na memória host fixada (pinned). Um thread de diagnóstico da CPU lê essas métricas via DMA sem bloquear a execução da GPU, garantindo que o sistema de diagnóstico não interfira no treinamento.

3. Contribuições Principais

1. Análise Abrangente: Os autores derivam uma taxonomia de seis categorias de anormalidades lentas/de travamento com base em dados de produção do mundo real e análise teórica dos fluxos de trabalho da CCL.
2. Técnica de Diagnóstico de Alta Precisão: Eles projetam um método inovador usando métricas portáteis e entre camadas de Send/Recv para alcançar detecção e localização precisas de anormalidades, distinguindo o CCL-D de abordagens anteriores em nível de host ou de granularidade grosseira.
3. Framework de Rastreamento Leve: Eles implementam um sistema de rastreamento distribuído que captura o tráfego de comunicação por rodada com sobrecarga negligenciável (<1%), permitindo a implantação em clusters de produção.
4. Validação em Escala: O sistema é validado em um cluster de 4.000 GPUs, demonstrando a capacidade de diagnosticar anormalidades em até 6 minutos, superando significativamente as soluções existentes.

4. Resultados

A avaliação foi conduzida em um cluster heterogêneo (CPUs Intel, GPUs Nvidia H20, NVLink, NICs de 400G) usando vários modelos (Llama2, Llama3.1, BaiLing) e estratégias de paralelismo (FSDP, 3D).

• Precisão: O CCL-D alcançou cobertura quase completa de todas as seis categorias de anormalidades (tipos Travamento e Lento), enquanto métodos de base (Bisseção, Análise de Pilha, NCCL RAS, Greyhound, C4D) falharam em detectar ou localizar tipos específicos (por exemplo, a Análise de Pilha perdeu anormalidades lentas; o Greyhound perdeu anormalidades de travamento).
• Eficiência:
  • Latência de Detecção: O CCL-D detecta anormalidades de travamento em até 5 minutos e anormalidades lentas em até 1 minuto.
  • Latência de Localização: Ele identifica o rank defeituoso em 146 ms (NCCL) e 108 ms (RCCL).
  • Comparação: Métodos tradicionais exigiam horas a dias (por exemplo, o diagnóstico manual teve uma média de 47 horas para travamentos e 74 horas para lentidões em logs de produção).
• Sobrecarga:
  • Uso de Recursos: O CCL-D mantém uma utilização de CPU estável de ~0,3% por nó e uma pegada de memória fixa de 1184 Bytes por rank, independentemente da escala do cluster.
  • Impacto no Treinamento: O sistema introduz sobrecarga mínima nas operações de comunicação (<0,45% na maioria dos casos, até 0,95% para paralelismo 3D complexo) e não tem impacto na perda ou precisão do treinamento do modelo.

5. Significado

O artigo afirma que o CCL-D aborda um gargalo crítico na confiabilidade do treinamento distribuído em grande escala. Ao mudar de depuração reativa e de granularidade grosseira para diagnóstico proativo, de granularidade fina e em nível de kernel, o CCL-D permite a identificação rápida das causas raiz das interrupções de treinamento mais custosas. A capacidade do sistema de operar com sobrecarga negligenciável, enquanto fornece localização de alta precisão de ranks defeituosos, torna-o uma solução prática para ambientes de produção, potencialmente reduzindo o tempo de inatividade do treinamento de dias para minutos. Os autores posicionam o CCL-D como o primeiro sistema de diagnóstico a aproveitar tanto estados em nível de host quanto estados de kernel de GPU para diagnóstico de alta precisão de anormalidades lentas/de travamento.