EROICA: Online Performance Troubleshooting for Large-scale Model Training

O artigo apresenta o EROICA, o primeiro sistema de diagnóstico online que utiliza perfis de execução e observabilidade diferencial para identificar e resolver problemas de desempenho em clusters de treinamento de grandes modelos com até 100.000 GPUs, alcançando uma taxa de sucesso de 97,5% em ambientes de produção.

O essencial

Imagine que você está tentando orquestrar uma sinfonia épica com 100.000 músicos (os GPUs) tocando ao mesmo tempo em um estádio gigante. O objetivo é treinar uma "Inteligência Artificial" (o maestro) para aprender a tocar música.

O problema é que, com tanta gente tocando, é impossível saber quem está desafinado, quem está com o violino quebrado ou quem está lendo a partitura errada. Se um músico atrasa, todo o coral para. Isso é o que acontece no treinamento de Grandes Modelos de IA: um gargalo em uma máquina pode parar o progresso de todas as outras.

Até agora, os engenheiros tinham duas opções ruins para descobrir o erro:

1. Olhar de longe (Monitoramento): Eles olhavam o estádio de um helicóptero. Veem que "o som está baixo", mas não sabem qual músico parou de tocar. É muito vago.
2. Gravar tudo (Perfilamento Offline): Eles tentavam gravar cada nota de cada músico. O problema? O arquivo de vídeo ficava tão grande que o helicóptero explodia antes de terminar a gravação. Além disso, para gravar, eles precisavam parar o show, o que custava milhões de dólares.

A Solução: EROICA (O Detetive Musical)

Os autores do artigo criaram o EROICA. Pense nele como um detetive superinteligente que entra no estádio sem parar a música e usa uma técnica genial para achar o culpado em minutos.

Como o EROICA funciona? (A Analogia da "Resumo da Ópera")

O segredo do EROICA é que ele não grava o áudio completo de cada músico (o que geraria terabytes de dados). Em vez disso, ele pede a cada músico para enviar apenas um bilhete de 3 linhas a cada 20 segundos dizendo:

• "Toquei 90% do tempo?" (Frequência)
• "Toquei forte ou fraco?" (Uso de recursos)
• "Fiquei estável ou oscilei?" (Consistência)

A Mágica da Comparação:
Como todos os músicos estão tocando a mesma partitura (o mesmo modelo de IA), eles deveriam ter bilhetes quase idênticos.

• Se 99.999 músicos dizem "Toquei forte e estável", e um único diz "Toquei fraco e oscilando", o EROICA aponta imediatamente: "É você! Seu violino está com o arco quebrado!"
• Se todos dizem "Toquei fraco", o problema não é um músico, mas sim a orquestra inteira (talvez o maestro esteja dando instruções erradas ou o ar-condicionado do estádio esteja quente demais).

O que o EROICA descobriu na vida real?

O sistema já está funcionando há 1 ano e meio em clusters da Alibaba Cloud com 100.000 GPUs. Ele resolveu 97,5% dos problemas difíceis que os outros sistemas não conseguiam achar. Veja alguns exemplos reais:

1. O "Gargalo do Elevador" (Problema de Código):

   • O Cenário: A IA estava lenta. O EROICA viu que, em várias máquinas, os "mensageiros" (funções de carregamento de dados) estavam parados esperando um elevador.
   • A Causa: O código estava pedindo dados de um servidor lento (como pedir pizza por carta em vez de por app).
   • A Solução: Mudaram para um sistema de entrega mais rápido.

2. O "Violino Quebrado" (Problema de Hardware):

   • O Cenário: A música estava com um ritmo estranho. O EROICA notou que 40 músicos estavam tocando mais devagar que os outros.
   • A Causa: Um cabo de rede específico (o "violino") estava com defeito físico.
   • A Solução: Trocaram o cabo.

3. O "Ator que Esqueceu a Cena" (Problema de Deadlock):

   • O Cenário: A música parou completamente.
   • A Causa: Um código de IA estava tentando imprimir uma mensagem de erro no meio de uma operação complexa, travando todo o sistema (como um ator que começa a falar com o público no meio de uma cena dramática).
   • A Solução: O EROICA mostrou o código exato para uma IA generativa (como o Cursor), que escreveu a correção sozinha e o show continuou.

Por que isso é revolucionário?

• É Rápido: Analisa 1 milhão de GPUs em menos de 7 minutos.
• É Leve: Não atrapalha o treinamento. É como se o detetive estivesse usando óculos escuros que só ele vê, sem incomodar os músicos.
• É Preciso: Não precisa de relógios sincronizados entre as máquinas (o que é difícil em grandes escalas). Ele compara o "padrão de comportamento", não o horário exato.

Conclusão

O EROICA é como ter um sistema de segurança que não só vê quem está quebrando a regra, mas também diz exatamente qual regra foi quebrada e sugere como consertar. Ele transformou o caos de treinar IAs gigantes em um processo onde os engenheiros podem encontrar a agulha no palheiro em segundos, economizando tempo, dinheiro e muita dor de cabeça.

Em resumo: O EROICA é o tradutor que converte o ruído de 100.000 computadores em uma única frase clara: "O problema está aqui, e é isso que você precisa fazer."

Resumo técnico

Resumo Técnico: EROICA

1. O Problema

O treinamento de Modelos de Grande Escala (LMT - Large Model Training) enfrenta desafios sem precedentes na depuração de problemas de desempenho devido à escala massiva dos clusters de GPU (até ~100.000 GPUs), à complexidade das interações software-hardware e à intensidade de dados do processo.

As abordagens existentes falham em cenários de produção por dois motivos principais:

• Monitoramento Online (Coarse-grained): Ferramentas como DCGM ou eBPF coletam métricas de hardware em granularidade de segundos. Elas conseguem detectar sintomas gerais (ex: degradação de throughput), mas não conseguem identificar a causa raiz fina (ex: qual linha de código ou qual link de rede específico causou o problema). Apenas ~29,6% dos problemas são diagnosticados por essas ferramentas.
• Perfilamento Offline (Fine-grained): Ferramentas como Nsight Systems ou Torch Profiler oferecem observabilidade detalhada, mas geram volumes de dados gigantescos (ex: 100 MB/segundo por worker) e introduzem overhead significativo. Isso impede seu uso em tempo real em clusters grandes. Engenheiros geralmente precisam criar ambientes de teste menores para perfilamento, o que carece de tempestividade e nem sempre reproduz os problemas de produção.

O resultado é que a maioria dos problemas de desempenho (44,4% hardware, 48,2% software) permanece sem diagnóstico ou requer dias/meses para ser resolvida manualmente.

2. Metodologia: EROICA

O EROICA é o primeiro sistema de troubleshooting online que combina a granularidade fina do perfilamento offline com a cobertura de todo o cluster do monitoramento online. A ideia central é utilizar a observabilidade diferencial baseada em padrões de comportamento de execução de funções, em vez de analisar dados brutos de perfilamento.

Arquitetura e Funcionamento

O sistema opera em três etapas principais:

1. Detecção de Degradação e Perfilamento Sob Demanda:

   • O EROICA monitora o tempo de iteração de treinamento (entre dataloader.next() e optimizer.step()) sem acessar o código do usuário.
   • Quando detecta uma degradação (ex: tempo de iteração > 5% acima do normal ou bloqueio), ele dispara um perfilamento sincronizado globalmente em todos os workers do cluster por uma janela curta (padrão de 20 segundos).
   • Utiliza o Torch Profiler e nsys para coletar eventos de execução e métricas de hardware (GPU, CPU, NVLink, NIC) em alta frequência (10 kHz).

2. Resumo de Padrões de Comportamento (Behavior Pattern Summarization):

   • Em vez de enviar os dados brutos (que seriam terabytes), cada worker resume o comportamento das funções na caminho crítico (critical path) do treinamento.
   • O caminho crítico é definido dinamicamente: uma função está no caminho crítico se não houver uma função de prioridade superior (ex: kernel GPU) executando simultaneamente.
   • Para cada função, o sistema calcula um vetor de 3 dimensões (padrão):
     • $\beta$ (Beta): Percentual do tempo que a função ocupa o caminho crítico.
     • $\mu$ (Mu): Utilização média de recursos de hardware (ex: frequência SM, largura de banda de rede) durante a execução crítica.
     • $\sigma$ (Sigma): Desvio padrão da utilização de recursos (indicando flutuações).
   • Vantagem: Esses padrões são independentes de timestamps absolutos, permitindo comparação entre hosts sem necessidade de sincronização de relógio precisa. O tamanho dos dados reduz de ~3 GB para ~30 KB por worker.

3. Localização da Causa Raiz (Differential Observability):

   • Um algoritmo centralizado compara os padrões de comportamento de todas as funções em todos os workers.
   • Calcula duas métricas de distância:
     • Distância da Expectativa ($D_{f,w}$): Compara o padrão com faixas esperadas baseadas em experiência de produção (ex: funções Python não devem ocupar >1% do caminho crítico).
     • Distância Diferencial ($\Delta_{f,w}$): Mede o quão único é o comportamento de um worker em relação aos outros (usando desvio absoluto mediano - MAD).
   • Se uma função em um worker específico apresentar desvios significativos (ex: alto $\beta$ e alto $\Delta$), o sistema identifica o problema (ex: gargalo de rede, throttling de GPU, código ineficiente).

3. Principais Contribuições

• Primeiro Sistema de Troubleshooting Online para LMT: Combina observabilidade fina (nível de função/kernel) com cobertura total do cluster em produção.
• Técnica de Resumo de Padrões: Desenvolveu uma metodologia para condensar dados de perfilamento massivos em métricas estatísticas compactas ($\beta, \mu, \sigma$), permitindo análise em tempo real sem overhead de rede ou armazenamento insustentável.
• Independência de Timestamps: Permite a comparação de comportamentos entre milhares de máquinas sem exigir sincronização de relógio perfeita, resolvendo um desafio fundamental em sistemas distribuídos.
• Integração com AIOps: O output do EROICA (funções anômalas e seus padrões) é estruturado para ser usado como prompt por assistentes de IA, automatizando a correção de bugs de código simples.

4. Resultados em Produção

O EROICA foi implantado como um serviço de produção na infraestrutura da Alibaba Cloud, operando em clusters de ~100.000 GPUs por 1,5 anos.

• Taxa de Sucesso: Diagnosticou com sucesso 97,5% (78 de 80) dos problemas de desempenho graves que as técnicas de ponta anteriores não conseguiam resolver.
• Escalabilidade:
  • Identifica anomalias em um treinamento de 3.400 GPUs em 3 minutos.
  • Capaz de analisar um treinamento de 1.000.000 de GPUs em 7 minutos.
• Impacto no Desempenho:
  • O overhead do perfilamento é limitado à janela de 20 segundos.
  • A sumarização e localização ocorrem em processos separados, não afetando o treinamento contínuo.
  • Melhorias de throughput de 20% a 100% foram observadas após a correção dos problemas identificados.
• Casos de Uso Reais:
  • Problemas de Código: Identificou gargalos em loaders de dados, coleta de lixo assíncrona (GC) e implementações ineficientes de funções Python.
  • Problemas de Hardware: Detectou links de rede degradados (NIC down), throttling de GPU e desbalanceamento de carga.
  • Correção Automática: Em um caso, a saída do EROICA foi usada por uma IA (Cursor) para identificar e corrigir automaticamente um deadlock em um pipeline de dados distribuído.

5. Significado e Conclusão

O EROICA representa um avanço significativo na operação de infraestrutura de IA em escala. Ele preenche a lacuna crítica entre o monitoramento de alto nível (que vê o sintoma) e o perfilamento offline (que vê a causa, mas é lento e disruptivo).

Ao transformar dados brutos de perfilamento em padrões de comportamento comparáveis, o sistema permite a detecção de "agulhas no palheiro" (problemas específicos em um único worker ou função) em tempo real. Isso não apenas reduz drasticamente o tempo de inatividade (downtime) e o desperdício de recursos computacionais, mas também abre caminho para a automação de operações de TI (AIOps) no treinamento de modelos de grande escala, onde a complexidade humana se torna um gargalo para a resolução de problemas.