🤖 machine learning

MLCC: A Congestion Control Technique to Accelerate ML Training

O artigo apresenta o MLCC, uma técnica de controle de congestionamento totalmente distribuída que acelera o treinamento de DNN em clusters de GPU compartilhados ao alinhar as taxas de transmissão de rede com os períodos de computação para alcançar o entrelaçamento de fluxos, reduzindo significativamente a contenção e melhorando os tempos de conclusão de tarefas.

Autores originais: Anton A. Zabreyko, Sanjoli Narang, Sudarsanan Rajasekaran, Manya Ghobadi

Publicado 2026-08-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Anton A. Zabreyko, Sanjoli Narang, Sudarsanan Rajasekaran, Manya Ghobadi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma cozinha tecnológica e massiva onde dezenas de chefs tentam cozinhar refeições complexas ao mesmo tempo. Nesta cozinha, os "ingredientes" são dados, o "cozinhar" é o trabalho matemático real feito por computadores poderosos (chamados de GPUs), e a "passagem de ingredientes" é o tráfego de rede movendo-se entre eles. Durante anos, a regra nesta cozinha era simples: justiça. Se dois chefs precisam passar uma tigela através do balcão, eles se revezam igualmente. Mas aqui está o detalhe: cozinhar não é apenas sobre passar tigelas; é sobre tempo. Às vezes, um chef está picando vegetais (computação), e às vezes está esperando por uma entrega (comunicação). Se todos tentarem passar suas tigelas exatamente no mesmo momento, o balcão fica entupido, as tigelas colidem e todos esperam. Este é o mundo do treinamento de Machine Learning (ML), onde enormes modelos de IA estão sendo construídos. O problema é que, quando muitos trabalhos de IA rodam juntos, eles frequentemente ficam presos em engarrafamentos, deixando computadores caros ociosos enquanto esperam pelos dados. O objetivo é fazer com-los trabalhar em harmonia, como uma dança bem ensaiada, em vez de uma briga caótica.

Surge o MLCC, uma nova técnica inteligente que atua como um guarda de trânsito inteligente para essas cozinhas de IA. Em vez de forçar todos a se revezarem igualmente, o MLCC ensina os fluxos de dados a "deslizarem" uns pelos outros. Pense como um grupo de corredores em uma pista. No método antigo, se dois corredores estiverem lado a lado, ambos diminuem a velocidade para evitar colisões. O MLCC muda as regras: se um corredor está prestes a terminar sua volta (terminar de enviar dados), ele recebe um pequeno impulso para disparar à frente, enquanto o outro corredor, que está apenas começando, é gentilmente induzido a esperar um momento. Isso cria um ritmo onde um trabalho está "cozinhando" enquanto o outro está "entregando", para que eles nunca colidam. O artigo mostra que, ao ajustar as regras existentes de como os computadores conversam entre si (controle de congestionamento) com apenas algumas linhas de código, esses trabalhos de IA podem descobrir esse ritmo automaticamente. Nos testes, esse truque simples fez com que os trabalhos de treinamento terminassem até 2,7 vezes mais rápido nos casos mais lentos e 1,9 vezes mais rápido em média, transformando um engarrafamento caótico em uma rodovia fluida.

O Problema: O Grande Engarrafamento da IA

Para entender por que o MLCC é tão importante, primeiro precisamos entender como o treinamento de IA funciona. Quando um computador aprende, ele passa por um ciclo: ele processa números (computação), depois precisa compartilhar o que aprendeu com seus companheiros (comunicação), e assim por diante. Isso acontece milhares de vezes. Em um centro de dados compartilhado, muitos desses trabalhos de treinamento rodam simultaneamente.

A forma antiga de lidar com o tráfego de rede foi projetada para a justiça. Se o Trabalho A e o Trabalho B querem enviar dados, a rede divide a largura de banda 50/50. Mas isso é terrível para a IA. Como os trabalhos de IA têm um ritmo estrito, dividir a largura de banda significa que eles frequentemente tentam enviar dados exatamente ao mesmo tempo. É como duas pessoas tentando passar por uma porta estreita ao mesmo tempo; elas esbarram uma na outra, derrubam suas compras e precisam recuar. Isso causa "congestionamento", onde pacotes de dados são descartados ou atrasados, e os computadores caros ficam ociosos, esperando os dados chegarem.

As Soluções Antigas: Por que Não Funcionaram Totalmente

Antes do MLCC, pesquisadores tentaram duas correções principais:

Compressão: Tentar encolher os dados para que menos deles precisem ser enviados. Isso ajuda, mas não resolve o problema do tempo.
Agendadores Centralizados: Imagine um gerente superinteligente que observa cada chef e diz exatamente quando eles devem se mover. Isso funciona bem na teoria, mas, na prática, é muito lento e complicado. Se um chef for um pouco mais lento do que o esperado (um "atrasado" ou straggler), todo o plano desmorona e o gerente tem que recalcular tudo. É como tentar reger uma orquestra onde os músicos mudam o tempo constantemente; o regente não consegue acompanhar.

A Solução MLCC: A Dança do "Deslize"

O MLCC adota uma abordagem diferente. Em vez de um gerente central, ele dá ao próprio tráfego um pouco de "bom senso". Ele modifica as regras padrão que os computadores usam para decidir a velocidade de envio de dados.

Aqui está o ingrediente secreto: o MLCC torna a rede ligeiramente injusta, mas de uma forma inteligente.

Imagine dois carros, Carro A e Carro B, dirigindo em uma estrada de pista única.

O Jeito Antigo: Ambos os carros dirigem na mesma velocidade. Se eles se aproximam, ambos diminuem a velocidade.
O Jeito MLCC: O sistema observa os carros. Se o Carro A está quase na linha de chegada de sua "volta" atual (enviando seus dados), o MLCC dá ao Carro A um pequeno impulso para terminar rapidamente. Ao mesmo tempo, ele diz gentilmente ao Carro B para diminuir um pouco a velocidade.

Por que isso ajuda? Porque assim que o Carro A termina sua transferência de dados, ele volta a "cozinhar" (computação) e para de usar a estrada. O Carro B, que foi desacelerado, agora tem a estrada inteira para si para terminar sua volta. Quando o Carro B terminar, o Carro A estará pronto para começar sua próxima volta. Eles naturalmente "intercalarão" suas viagens. Um está dirigindo enquanto o outro está cozinhando.

Isso não é um cronograma rígido. É uma dança dinâmica. Se um trabalho sofrer um atraso (um "atrasado"), o sistema ajusta automaticamente as velocidades novamente para colocá-los em sincronia. É como um parceiro de dança que ajusta seus passos se você tropeçar, para que você não perca o ritmo.

Como Funciona na Prática

Os pesquisadores não precisaram construir novos hardwares ou instalar computadores centrais gigantes. Eles simplesmente atualizaram o software que controla o fluxo de dados (algoritmos de controle de congestionamento) com algumas linhas extras de código — menos de 60 linhas para alguns sistemas.

Eles testaram isso em uma configuração real com 12 servidores, cada um com uma poderosa GPU NVIDIA A100. Eles rodaram modelos de IA populares como Llama2, GPT-2 e BERT.

O Resultado: Os trabalhos rapidamente descobriram o ritmo. Em cerca de 30 iterações de treinamento (que é apenas uma fração minúscula do tempo total de execução de um trabalho), os trabalhos se estabeleceram em um padrão intercalado suave.
A Aceleração: O tempo médio para completar uma etapa de treinamento caiu significamente. Para os cenários mais lentos e piores (percentil 99), o tempo de treinamento foi reduzido em até 2,7 vezes. Em média, foi 1,9 vezes mais rápido.
Menos Erros: Como o tráfego fluiu suavemente, houve muito menos queda de pacotes de dados. Em um teste, o número de erros caiu quase 29 vezes.

E Quanto a Diferentes Trabalhos?

Você pode se perguntar: "E se os trabalhos tiverem tamanhos diferentes? E se um for um modelo gigante e o outro for minúsculo?". O artigo mostra que o MLCC também lida com isso. Mesmo que os trabalhos não sejam perfeitamente combinados (o que raramente acontece na vida real), o efeito de "deslize" ainda funciona. O sistema encontra um estado de "intercalação parcial" onde eles ainda evitam colidir, mesmo sem estarem perfeitamente sincronizados.

Eles também testaram isso em simulações massivas com 288 GPUs. Mesmo quando a rede estava superlotada (oversubscribed), o MLCC manteve o tráfego fluindo, melhorando a vazão (throughput) em 1,35 vezes em comparação com os métodos padrão.

Conclusão

O MLCC é um lembrete de que, às vezes, a melhor solução não é construir uma máquina maior e mais complexa, mas sim ensinar as existentes a cooperar. Ao permitir que os trabalhos de IA "deslizem" uns pelos outros no tempo, em vez de lutarem por espaço, podemos tornar nosso treinamento de IA muito mais rápido e eficiente. Ele transforma um engarrafamento caótico em uma dança bem coreografada, provando que um pouco de tempo inteligente vai muito longe.

Resumo Técnico: MLCC - Uma Técnica de Controle de Congestionamento para Acelerar o Treinamento de ML

1. Definição do Problema

O crescimento rápido de cargas de trabalho de IA e aprendizado de máquina em clusters de GPU multi-inquilinos está sobrecarregando os recursos de rede. Trabalhos de treinamento de Redes Neurais Profundas (DNN) distribuídas exibem padrões de tráfego periódicos distintos, caracterizados por fases repetidas de computação e comunicação. Quando múltiplos trabalhos competem pela largura de banda da rede, algoritmos tradicionais de controle de congestionamento (projetados para compartilhamento justo) frequentemente falham em otimizar esses padrões específicos. Em vez disso, eles resultam em períodos alternados de subutilização de rede e congestionamento, levando a tempos de iteração prolongados e subutilização de GPU.

Tentativas anteriores de mitigar isso focaram em:

Redução de Dados: Quantização ou compressão para reduzir o tamanho da carga útil (payload).
Sobreposição (Overlap): Sobrepor comunicação e computação dentro de um único trabalho.
Escalonamento Centralizado: Usar escalonadores centralizados (ex: Cassini, Muri) para intercalar as fases de comunicação de diferentes trabalhos com as fases de computação de outros.

No entanto, escalonadores centralizados enfrentam desafios significativos de escalabilidade devido ao overhead computacional e à dificuldade de lidar com trabalhos que não são perfeitamente "compatíveis" (ou seja, onde as fases de comunicação não se encaixam perfeitamente nas fases de computação de outros). Além disso, os protocolos de controle de congestionamento existentes carecem do mecanismo para descobrir e manter um estado intercalado de forma dinâmica e distribuída.

2. Metodologia: MLCC

Os autores propõem o MLCC (Machine Learning Congestion Control), uma técnica distribuída que aumenta os algoritmos de controle de congestionamento existentes para acelerar o treinamento de DNN sem exigir mudanças de hardware, filas de prioridade ou controle centralizado.

Princípio Central

O insight fundamental do MLCC é que os fluxos de treinamento de DNN devem ajustar suas taxas de envio para deslocar a comunicação de outros fluxos para seus próprios períodos de computação, alcançando assim a intercalação (interleaving). Isso é feito através de uma abordagem de duas frentes:

A. Adaptação Dinâmica de Taxa (O Efeito de Deslizamento)

O MLCC modifica a janela de congestionamento ($cwnd$) ou a taxa de envio dos fluxos com base no progresso da iteração de treinamento atual.

Mecanismo: Os fluxos ajustam sua agressividade com base em uma função $F(bytes\_ratio)$ , onde $bytes\_ratio$ é a razão de bytes enviados com sucesso durante a fase de comunicação atual em relação ao máximo de bytes enviados em qualquer fase de comunicação do trabalho.
Efeito: Um trabalho mais próximo de completar sua fase de comunicação tem permissão para enviar dados de forma mais agressiva. Isso cria um "efeito cascata positivo" onde o trabalho mais rápido assume mais largura de banda, terminando sua comunicação mais cedo e empurrando a comunicação dos trabalhos concorrentes para sua subsequente fase de computação.
Implementação: Os autores implementam isso modificando as equações de aumento aditivo ou atualização de taxa de seis protocolos de última geração: Reno, Cubic, DCTCP, DCQCN, Swift e Homa. Por exemplo, no ML-Reno, a atualização padrão do $cwnd$ é escalonada por $F(bytes\_ratio)$ . Isso requer apenas 30 a 60 linhas de código por protocolo.

B. Simulated Annealing (Escapando de Ótimos Locais)

A adaptação de taxa sozinha pode, às vezes, convergir para estados intercalados subótimos. Para abordar isso, o MLCC introduz uma fase de simulated annealing (recozimento simulado).

Mecanismo: Se o tempo de iteração observado de um trabalho exceder seu tempo ideal (medido em isolamento), o MLCC injeta atrasos aleatórios com uma probabilidade proporcional a essa lacuna.
Propósito: Esta perturbação permite que os trabalhos escapem de ótimos locais ruins e reexplorem o espaço de soluções para encontrar um melhor cronograma de intercalação. A probabilidade de annealing diminui exponencialmente ao longo do tempo, garantindo que o sistema eventualmente se estabilize.

Lidando com Restrições Práticas

Compatibilidade Parcial: O MLCC generaliza a intercalação para a "intercalação parcial", onde trabalhos com tempos de iteração ou padrões de comunicação incompatíveis ainda alcançam redução de contenção, mesmo que a intercalação perfeita seja imposs $\\text{im}$ possível.
Múltiplos Gargalos: A técnica opera de forma distribuída através de múltiplos gargalos de rede, deslizando os trabalhos uns em relação aos outros até que um cronograma estável emerja em todos os links.
Paralelismo de Especialistas (Expert Parallelism): Para trabalhos com comunicação all-to-all (ex: MoE), o MLCC intercala o tráfego com outros trabalhos, mas retorna ao compartilhamento justo para fluxos intra-trabalho para evitar autocontenção.

3. Principais Contribuições

Técnica Distribuída Inovadora: O MLCC alcança a intercalação de comunicação de trabalhos de DNN usando apenas protocolos de controle de congestionamento, eliminando a necessidade de escalonadores centralizados complexos ou suporte de switch.
Baixo Overhead de Implementação: A técnica é implementada como um aumento leve (30–60 linhas de código) em protocolos existentes (Reno, Cubic, DCTCP, DCQCN, Swift, Homa).
Robustez ao Ruído: Através do mecanismo de simulated annealing, o MLCC converge para estados intercalados estáveis mesmo na presença de stragglers (atrasados), chegadas/saídas de trabalhos e tempos de iteração variáveis.
Generalização: A abordagem funciona em vários modelos de DNN (de VGG a Llama2 e GPT-3), estratégias de paralelização (Dados, Tensor, Especialista, Híbrida) e topologias de rede (Fat-tree, Clos, HPN).

4. Resultados Experimentais

Os autores avaliaram o MLCC usando um testbed de 12 servidores (cada um com uma GPU NVIDIA A100 e uma NIC RDMA de 50 Gbps) e extensivas simulações de nível de pacote em uma topologia Fat-Tree de 36 nós (288 GPUs).

Desempenho do Testbed:
- O MLCC acelera o tempo de iteração de treinamento médio em até 1,9× e o tempo de iteração do percentil 99 em até 2,7× comparado aos protocolos padrão.
- A convergência para um estado intercalado ocorre em aproximadamente 30 iterações de treinamento.
- O MLCC reduz o número médio de pacotes descartados ou marcados com ECN em até 28,87×.
- Em cenários com seis trabalhos GPT-2 concorrentes, o ML-DCQCN melhorou os tempos de iteração médio e do percentil 99 em 1,33× e 1,57×, respectivamente, comparado ao DCQCN padrão.
Desempenho de Simulação:
- Em uma Fat-Tree de 36 nós com cargas variáveis, as variantes do MLCC (ML-DCTCP, ML-Swift, ML-Homa) melhoraram o throughput de treinamento em até 1,35× no percentil 95.
- O MLCC superou o packet spraying e o escalonador Crux em topologias sobreassinadas (oversubscribed 4:1), entregando uma melhoria de throughput de cauda de 1,35× sobre o ECMP.
Robustez:
- O MLCC mantém a estabilidade de desempenho mesmo com altas probabilidades de stragglers, enquanto escalonadores centralizados como o Cassini falham em sustentar a intercalação sob condições semelhantes.
- Em coexistência com tráfego de fundo, o MLCC melhora o desempenho de fluxos grandes mantendo slowdowns aceitáveis para fluxos menores.

5. Significância e Alegações

O artigo afirma que o MLCC representa uma mudança significativa na forma como o congestionamento de rede é gerenciado para cargas de trabalho de IA. Ao aproveitar a natureza periódica do tráfego de DNN, o MLCC transforma o controle de congestionamento de um mecanismo de "compartilhamento justo" (que frequentemente leva à contenção) em uma ferramenta de "intercalação" (que minimiza a contenção).

Os autores enfatizam que sua abordagem é:

Prática: Não requer modificações de hardware, filas de prioridade ou planos de controle centralizados, tornando-a imediatamente implantável em data centers existentes.
Escalável: Diferente de escalonadores centralizados que lutam com a complexidade computacional de escalonar muitos trabalhos, o MLCC opera de forma distribuída e escala com o número de trabalhos.
Eficaz: Reduz significativamente os tempos de iteração e a contenção de rede, abordando diretamente o gargalo da subutilização de GPU causado pelos atrasos de rede.

O artigo conclui que, enquanto o trabalho anterior focou em otimização centralizada ou pipelining intra-trabalho, o MLCC consegue otimizar o desempenho de clusters multi-inquilinos através de um aumento simples, distribuído e robusto dos algoritmos de controle de congestionamento padrão.