🤖 machine learning

EasyBalance: Cross-Layer Load Balancing in Distributed MoE Inference

O EasyBalance é uma estratégia de balanceamento de carga cross-layer para inferência de Mixture-of-Experts (MoE) distribuída que mitiga o ociosidade da GPU causada por distribuições de roteamento enviesadas ao agendar e adiar greedymente as cargas de trabalho entre camadas sem exigir replicação de especialistas, migração ou modificações no mapeamento especialista-dispositivo.

Autores originais: Yize Wu, Ke Gao, Ling Li, Yanjun Wu

Publicado 2026-08-11

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yize Wu, Ke Gao, Ling Li, Yanjun Wu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está administrando uma biblioteca massiva e de alta velocidade, onde milhares de estudantes (tokens) precisam encontrar respostas em uma enciclopédia gigante. Esta enciclopédia não foi escrita por uma única pessoa; é um "Mixture of Experts" (Mistura de Especialistas - MoE), o que significa que possui centenas de diferentes escritores especializados (especialistas) dentro dela. Quando um estudante faz uma pergunta, um bibliotecário inteligente (o roteador) decide rapidamente quais poucos escritores são mais adequados para responder. Para tornar isso super rápido, a biblioteca divide esses escritores entre muitos computadores diferentes (dispositivos) trabalhando em paralelo.

No entanto, há um problema: nem todas as perguntas são iguais. Às vezes, uma multidão enorme de estudantes faz perguntas que apenas um escritor específico sabe responder. O computador desse escritor fica sobrecarregado e lento, enquanto os outros computadores, cujos escritores estão menos ocupados, ficam apenas sentados, girando os dedos, esperando o lento terminar. Esse "jogo de espera" desperdiça muita energia e tempo. Durante anos, a solução foi contratar mais escritores ou movê-los para equilibrar a carga, mas isso consome muita memória e é difícil de fazer em tempo real.

Apresentamos o EasyBalance, uma nova estratégia inteligente que resolve esse jogo de espera sem contratar ninguém novo ou mover móveis. Em vez de tentar consertar os escritores, o EasyBalance muda quando os estudantes fazem suas perguntas. Ele percebe que, embora a biblioteca geralmente processe perguntas camada por camada, ele pode, na verdade, permitir que estudantes de diferentes camadas do processo trabalhem juntos ao mesmo tempo. Ao misturar e combinar esses grupos, o escritor ocupado recebe um descanso porque as perguntas "pesadas" de um grupo são equilibradas pelas perguntas "leves" de outro. O resultado? Os computadores permanecem ocupados, o tempo de espera desaparece e toda a biblioteca funciona muito mais rápido.

O Problema: A Regra do "Esperar pelo Mais Lento"

No mundo da IA, especificamente com esses modelos de "Mistura de Especialistas", o sistema é projetado para ser incrivelmente eficiente. Ele só ativa um pequeno número de "especialistas" para cada dado. Mas em uma configuração distribuída — onde esses especialistas estão espalhados por várias placas de vídeo (GPUs) — as coisas ficam bagunçadas.

Imagine uma corrida de revezamento onde o bastão é passado para o próximo corredor apenas quando todos completam sua etapa. Se um corredor está carregando uma mochila pesada (um especialista "quente" com muitos tokens), ele atrasa toda a equipe. Os outros corredores, que terminaram suas cargas leves, têm que ficar parados e esperar. Em termos do artigo, isso é chamado de desequilíbrio de carga (load imbalance). O sistema é limitado pelo dispositivo único mais lento, deixando os outros ociosos.

Tentativas anteriores de corrigir isso envolveram a replicação de especialistas (contratar cópias extras dos escritores ocupados) ou a migração de especialistas (mover escritores para computadores diferentes). Embora funcionem, essas abordagens têm grandes desvantagens: consomem muita memória, custam tempo extra de comunicação e são rígidas. Se você mudar o tipo de perguntas que a biblioteca recebe (a tarefa), o plano antigo pode falhar completamente.

A Solução: EasyBalance

Os autores deste artigo, Yize Wu e colegas, propõem uma abordagem inovadora chamada EasyBalance. A grande ideia deles é parar de tentar consertar o mapeamento de escritores para computadores e, em vez disso, consertar o cronograma do trabalho.

Eles se baseiam em dois insights principais:

Redundância entre Camadas (Cross-Layer Redundancy): Mesmo que uma camada específica do modelo tenha um conjunto específico de especialistas, os especialistas em outras camadas já estão sentados na memória do computador, prontos para agir. Eles são "naturalmente redundantes" para a tarefa atual. Você não precisa contratar novas cópias; você só precisa usar as que já possui.
Combinação de Carga de Trabalho: O artigo sugere que você pode executar micro-lotes (pequenos grupos de perguntas) de diferentes camadas do modelo ao mesmo tempo. Embora o modelo geralmente processe as coisas uma camada por vez, a matemática mostra que combinar esses grupos é seguro. Na verdade, costuma ser melhor. Se o Grupo A tem uma carga pesada no Computador 1, mas o Grupo B tem uma carga pesada no Computador 2, rodá-los juntos equilibra o peso total. O cenário de "pior caso" (onde ambos os grupos atingem o mesmo computador) é estatisticamente raro, especialmente à medida que você adiciona mais computadores.

Como Funciona: O "Agendador Inteligente"

O EasyBalance atua como um controlador de tráfego inteligente. Em vez de enviar todos os estudantes da Camada 1, depois todos da Camada 2, ele observa a multidão atual. Ele escolhe uma mistura de estudantes de diferentes camadas para rodar juntos.

Ele seleciona um subconjunto desses micro-lotes para executar imediatamente.
Ele adia (espera) os outros se eles causarem um gargalo.
Ele faz isso sem alterar em qual computador cada especialista reside.

Isso significa que o sistema pode se adaptar instantaneamente a qualquer novo tipo de tarefa sem precisar reconfigurar o hardware ou a memória. É como uma cozinha de restaurante que decide cozinhar um hambúrguer e uma salada ao mesmo tempo porque a estação da grelha está ocupada, mas a estação da salada está livre, em vez de esperar a grelha terminar tudo antes de começar a salada.

Os Resultados: Mais Rápido e Menos Desperdício

Os pesquisadores testaram o EasyBalance em vários modelos grandes, incluindo Qwen3-30B e Moonlight-16B, rodando em 8 GPUs. Eles usaram um benchmark chamado LongBench, que cobre muitos tipos de tarefas, como compreensão de leitura e geração de código.

As descobertas foram consistentes e impressionantes:

Redução de Ociosidade: O EasyBalance reduziu a "subutilização" de GPU (o tempo que os computadores passam sem fazer nada) em mais de 40% na maioria dos casos. Em muitos casos, o tempo ocioso caiu de cerca de 0,35 (35% de desperdício) para aproximadamente 0,2 (20% de desperdício).
Inferência Mais Rápida: Como os computadores não estavam esperando uns pelos outros, o tempo total para obter uma resposta (latência de ponta a ponta) diminuiu significamente.
Flexibilidade: Diferente de métodos anteriores que precisavam conhecer a tarefa específica com antecedência para configurar os especialistas, o EasyBalance funcionou tão bem quanto em todos os 13 tipos de tarefas testadas, desde curiosidades até geração de código.

O artigo também explorou diferentes estratégias de "agendamento" (como o sistema decide quais grupos misturar). Eles descobriram que uma estratégia chamada MaxUtil (que tenta maximizar o uso de cada GPU) funcionou melhor, mas mesmo estratégias mais simples e rápidas como CumUtil (adicionando lotes um por um se eles ajudarem) ainda eram muito superiores a não fazer nada.

Por Que Isso Importa

A parte mais emocionante do EasyBalance é que ele não requer memória extra ou reconfiguração complexa. Ele trabalha com a configuração existente. À medida que os modelos de IA se tornam maiores e mais complexos, o problema de alguns computadores esperando enquanto outros trabalham só vai piorar. Este artigo sugere que, simplesmente sendo mais inteligentes sobre quando executamos o trabalho, em vez de onde colocamos os especialistas, podemos tornar esses sistemas de IA massivos significativamente mais efentes.

Os autores observam que, embora seu método seja altamente eficaz, ele depende da probabilidade estatística de que as cargas pesadas não atinjam o mesmo computador ao mesmo tempo. Em seus testes através de vários modelos e tarefas, essa estratégia acelerou consistentemente a inferência, provando que, às vezes, a melhor maneira de resolver um gargalo é deixar os trabalhadores se ajudarem para cruzar a linha de chegada, em vez de tentar mover os próprios trabalhadores.

Resumo Técnico: EasyBalance

Declaração do Problema

Na inferência de Mixture-of-Experts (MoE) distribuída, o paralelismo de especialistas é o método padrão para escalar a computação entre múltiplos dispositivos. No entanto, essa abordagem sofre de um grave desequilíbrio de carga. Devido à natureza enviesada das distribuições de roteamento de tokens, certos dispositivos que hospedam especialistas "quentes" tornam-se gargalos, enquanto outros permanecem ociosos aguardando a sincronização durante a comunicação all-to-all e a agregação de resultados.

Soluções existentes tentam mitigar isso via replicação de especialistas (duplicando especialistas para distribuir a carga) ou migração de especialistas (movendo especialistas entre dispositivos com base em estatísticas de roteamento). O artigo identifica duas limitações críticas nessas abordagens:

Falta de Flexibilidade: Os padrões de roteamento variam significativamente entre diferentes tarefas e entradas. Um mapeamento estático especialista-dispositivo otimizado para uma tarefa pode ser subótimo ou prejudicial para outra.
Problemas de Escalabilidade: A replicação acarreta um overhead substancial de memória, enquanto a migração introduz custos de comunicação e sincronização. Esses overheads escalam mal com o tamanho do modelo e a escala de implantação.

Metodologia: EasyBalance

Os autores propõem o EasyBalance, uma estratégia de balanceamento de carga cross-layer (entre camadas) que opera sem modificar o mapeamento especialista-dispositivo. Ele se baseia em dois insights fundamentais:

1. Redundância de Especialistas Cross-Layer

Enquanto os métodos tradicionais introduzem redundância ao replicar especialistas dentro de uma camada (custando memória), os autores observam que especialistas de outras camadas são naturalmente redundantes para a camada atual. Como esses especialistas já residem na memória da GPU e estão prontos para uso, eles podem ser aproveitados para equilibrar as cargas de trabalho sem incorrer em custos adicionais de memória ou comunicação.

2. Combinação de Carga de Trabalho Cross-Layer

Embora a inferência do modelo siga uma ordem sequencial rigorosa por camada, micro-batches podem progredir através de diferentes camadas simultaneamente. O EasyBalance explora isso ao executar conjuntamente cargas de trabalho de MoE de múltiplos micro-batches que residem em diferentes camadas ( $l_j$ e $l_k$ ) dentro de um único passo.

Segurança e Benefício Teórico:

Segurança no Pior Caso: A carga de trabalho efetiva da combinação de duas distribuições $w_1$ e $w_2$ é $\max(w_1 + w_2)$ . Como $\max(w_1 + w_2) \leq \max(w_1) + \max(w_2)$ , combinar cargas de trabalho nunca degrada o desempenho em comparação com a execução separada.
Benefício Probabilístico: O cenário de pior caso (onde o pico combinado é igual à soma dos picos individuais) só ocorre se todas as cargas de trabalho atingirem o pico no mesmo dispositivo. À medida que o número de dispositivos aumenta, a probabilidade desse alinhamento diminui, tornando a combinação cross-layer tipicamente benéfica para reduzir a carga de trabalho efetiva.

Algoritmo de Escalonamento

O EasyBalance emprega um algoritmo de escalonamento guloso (Algoritmo 1) que opera em cada passo de computação MoE:

Seleção: De um pool de micro-batches pendentes, ele seleciona um subconjunto para executar conjuntamente.
Adiamento: Os batches não selecionados são adiados para passos futuros, aguardando melhores oportunidades de balanceamento.
Restrições: Um limite mínimo $m$ é aplicado para garantir que o subconjunto selecionado seja grande o suficiente para uma sobreposição eficaz entre computação e comunicação.
Heurísticas: O artigo avalia várias estratégias, constatando que o MaxUtil (maximização da utilização da GPU) geralmente produz o melhor desempenho, embora heurísticas mais simples de tempo linear como CumUtil (utilização acumulada) e DiffPeak (seleção de batches com diferentes dispositivos de pico) também superem o baseline.

Principais Contribuições

Novo Paradigma: Introduz a primeira estratégia de balanceamento de carga cross-layer que é agnóstica ao mapeamento especialista-dispositivo, eliminando a necessidade de replicação ou migração.
Zero Overhead: Alcança o balanceamento de carga com essencialmente nenhum custo adicional de memória ou comunicação, abordando as limitações de escalabilidade de métodos anteriores.
Adaptabilidade Instantânea: Como depende apenas das distribuições atuais de carga de trabalho, em vez de estatísticas históricas de roteamento, ele se adapta instantaneamente a novas tarefas sem reconfiguração.
Garantia Teórica: Fornece uma prova de que a combinação de carga de trabalho cross-layer é segura em termos de desempenho no pior caso.

Resultados Experimentais

Os autores avaliaram o EasyBalance em três modelos MoE de código aberto (Qwen3-30B, Moonlight-16B, Qwen3-235B) através de 13 tarefas diversas do benchmark LongBench usando 8×A800 GPUs.

Aceleração de Desempenho: O EasyBalance reduz consistentemente a latência de inferência de ponta a ponta em todos os modelos e tarefas.
Utilização de Recursos: Ele reduz a subutilização da GPU (tempo ocioso) em quase sempre mais de 40% (por exemplo, reduzindo a subutilização de ~0,35 para ~0,2).
Robustez: O método demonstra eficácia consistente independentemente da tarefa específica ou configuração do modelo, ao contrário dos métodos de mapeamento de especialistas que mostram ganhos dependentes da tarefa.
Ortogonalidade: Quando combinado com métodos de mapeamento existentes como o EPLB, o EasyBalance fornece ganhos de desempenho aditivos, confirmando que opera em um eixo ortogonal.
Overhead: O overhead de escalonamento é desprezível (milissegundos por passo) comparado à latência de ponta a ponta.

Significância e Alegações

O artigo afirma que o EasyBalance oferece uma abordagem fundamentalmente diferente para o balanceamento de carga que supera os compromissos de flexibilidade e escalabilidade inerentes à replicação ou migração de especialistas. Ao aproveitar a redundância inerente dos especialistas entre camadas e o paralelismo do micro-batching, ele permite a adaptabilidade instantânea a diversos cenários de inferência sem modificar a arquitetura do sistema subjacente. Os autores posicionam isso como uma solução escalável para implantações distribuídas de MoE em larga escala, onde o desvio de roteamento é cada vez mais severo.