Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory

Resumo Técnico: Diagnóstico de Sobrecarga em Operações de Dispatch: Observabilidade Cross-Arquitetura (DODOCO)

Declaração do Problema
O dispatch AlltoAll é o gargalo dominante no paralelismo de especialistas (EP) em Misturas de Especialistas (MoE). A comunidade de interconexão propôs quatro famílias de mitigações: posicionamento preditivo de amostras, realinhamento adaptativo de especialistas, coletivos hierárquicos e topologia consciente de EP. Essas soluções dependem de duas premissas não examinadas:

1. Corrigibilidade (Premissa A): O desequilíbrio de roteamento é uma propriedade da carga de trabalho que uma camada de sistema suficientemente inteligente pode reduzir.
2. Validade do Benchmark (Premissa B): Benchmarks de tokens simulados (usando IDs uniformemente aleatórios) representam fielmente o comportamento de roteamento em produção.

O artigo argumenta que essas premissas não foram testadas diretamente, levando potencialmente a designs de sistema otimizados para cargas de trabalho fantasma.

Metodologia
Os autores introduzem o DODOCO, um estudo empírico projetado para testar essas premissas usando um design fatorial 5×6 em cinco arquiteturas MoE distintas e seis condições de dados.

• Arquiteturas: O estudo abrange cinco designs de misturadores de sequência que abrangem principais famílias de modelos:

  • DeepSeek-V2-Lite: Atenção Latente Multi-Cabeça (MLA).
  • DeepSeek-MoE-16B: Atenção Multi-Cabeça Padrão (MHA).
  • Qwen3-30B-A3B: Atenção com Consultas Agrupadas (GQA).
  • Nemotron-30B-A3B: Mamba-2 (Modelo de Espaço de Estados).
  • Qwen3.5-35B-A3B: Redes Delta com Portão (GDN).
  • Nota: O par MLA e MHA forma uma comparação controlada, compartilhando contagens de especialistas, top-k, portão e estratégias de balanceamento de carga, diferindo apenas no mecanismo de atenção.

• Condições de Dados: Seis condições isolam propriedades independentes de fluxos de tokens:

  1. Simulado (Mock): IDs de tokens uniformemente aleatórios (padrão de benchmark padrão).
  2. Embaralhado: Tokens reais de wikitexto com permutação global (preserva frequência, destrói sequência).
  3. Remapeado: Sequências reais com IDs de vocabulário permutados (preserva sequência, destrói embeddings).
  4. Romansh: Texto real em uma língua românica de baixo recurso (estrutura de linguagem não vista).
  5. Opus: Traços de raciocínio em inglês pós-corte (conteúdo não visto).
  6. Wikitexto: Wikipedia em inglês (estrutura e conteúdo familiares).

• Hardware e Escala: Os experimentos foram executados em GPUs H100 (supercomputador Helma do NHR@FAU) com NVLink intra-nó e InfiniBand inter-nó. O estudo inclui uma varredura EP com janela correspondida (4, 8, 16, 32 ranks) e uma varredura de tamanho de lote global (GBS) (64 a 2048).

• Métricas: O estudo utiliza três resumos escalares da matriz de contagens de envio ($S$):

  • Razão máximo/média por especialista: Para medir o viés da decisão de roteamento independente do mapeamento especialista-rank.
  • Coeficiente de Gini: Para medir o desequilíbrio de carga por rank.
  • Dirichlet Simétrico Ajustado $\alpha$: Para resolver diferenças em regimes quase uniformes onde o Gini comprime valores.

Principais Descobertas

1. A Escala EP Não Reduz Lentos (Q1)
Contrariando a premissa de que aumentar os graus de EP suaviza a distribuição de carga, o estudo encontra que escalar EP não reduz o desequilíbrio de roteamento.

• Dentro de cada arquitetura, a razão máximo/média de tokens por especialista permanece essencialmente plana (variações $\le$ 5%) em toda a faixa de EP (4 a 32).
• O lento é intrínseco à decisão de roteamento que o modelo toma, e não a como os especialistas são mapeados para ranks. Escalar EP altera qual rank detém um especialista específico, mas não quais especialistas recebem tokens.
• Portanto, o grau de EP não é uma alavanca para melhorar o equilíbrio de roteamento; o viés é limitado inferiormente por uma concentração invariante de EP.

2. Tokens Simulados Superestimam o Desequilíbrio e Fabricam Tendências (Q2)
Benchmarks de tokens simulados representam mal significativamente o roteamento em produção.

• Magnitude do Erro: Tokens simulados superestimam o Gini de roteamento em até 2,35× comparado a texto real (Wikitexto). No modelo Nemotron, a lacuna na métrica Dirichlet $\alpha$ atinge 47×.
• Artefato de Tamanho de Lote: Dados simulados exibem uma tendência falsa onde o desequilíbrio aumenta com o tamanho do lote (GBS). Dados reais mostram Gini essencialmente plano em todos os tamanhos de lote. Praticantes que dependem de dados simulados podem concluir incorretamente que lotes maiores pioram o desequilíbrio.
• Mecanismo: O roteador requer tanto estrutura sequencial quanto embeddings aprendidos. Texto real embaralhado (frequência preservada, sequência destruída) ou texto remapeado (sequência preservada, embeddings destruídos) performa tão mal quanto tokens simulados.

3. Classes de Arquitetura Emergentes (Q3)
As cinco arquiteturas não se comportam de forma intercambiável; elas se dividem em duas bandas estáveis com base em como dados reais afetam o roteamento:

• Resilientes a Dados (MHA, Mamba-2): Esses modelos alcançam Gini baixo sob texto real (0,105 e 0,150, respectivamente) e mostram melhoria significativa de dados simulados para dados reais. Seu roteamento aproxima-se da uniformidade.
• Persistentemente Concentrados (MLA, GDN): Esses modelos permanecem altamente concentrados independentemente da condição de dados, permanecendo acima de Gini 0,24 mesmo no Wikitexto e atingindo 0,29–0,38 em dados simulados.
• Intermediário (GQA): Fica entre os dois extremos, mostrando melhoria moderada, mas permanecendo na banda média.
• Análise de Profundidade: O par "resiliente a dados" começa quase uniformemente na primeira camada MoE e concentra-se com a profundidade (forma de U), enquanto o par "persistentemente concentrado" é concentrado desde a primeira camada.

Significância e Alegações
O artigo alega que o modelo de carga de trabalho usado para projetar e avaliar interconexões conscientes de MoE é, na melhor das hipóteses, uma aproximação de fator constante e, na pior, um fantasma.

• Implicações para Design de Sistema: A "taxonomia de duas classes" (resiliente a dados vs. persistentemente concentrado) é uma entrada mais útil para o design de sistema do que o grau de EP ou perfis de dados simulados.
  • Para modelos resilientes a dados, o tráfego é majoritariamente limitado por largura de banda; modelos de carga uniforme são suficientes.
  • Para modelos persistentemente concentrados, despacho consciente de localidade e designs de topologia que exploram a concentração em pares específicos inter-nó são necessários.
• Benchmarking: Os autores recomendam que benchmarks de comunicação MoE relatem tanto condições de dados simulados quanto reais para expor o artefato de escalonamento de tamanho de lote e diferenciais de classe de arquitetura.
• Limitações: O estudo caracteriza decisões de roteamento e estatísticas AlltoAll, mas não mede aceleração de treinamento ponta a ponta a partir de intervenções de sistema. Não alega que o desequilíbrio é irrelevante, mas sim que as premissas sobre sua corrigibilidade e medição são falhas.

O artigo conclui que o desequilíbrio de roteamento é uma propriedade do modelo e dos dados que a camada de sistema pode localizar e explorar parcialmente, mas não pode tornar uniforme apenas pela escala EP. Os benchmarks sintéticos atualmente em uso perdem essa realidade de duas maneiras específicas: superestimando o desequilíbrio e fabricando tendências de escalonamento inexistentes.