Resumo Técnico: Adaptação de Auto-Distilação Zero-Especialista (ZEDA)

1. Declaração do Problema

As arquiteturas de Mistura de Especialistas (MoE) tornaram-se padrão para escalar Modelos de Linguagem de Grande Escala (LLMs), aumentando a capacidade enquanto limitam o cálculo por token. Embora variantes dinâmicas de MoE ofereçam maior eficiência ao ajustar o número de especialistas ativados com base na dificuldade da entrada, os métodos existentes geralmente exigem pré-treinamento do zero ou adaptação específica para tarefas. Consequentemente, a conversão prática de modelos MoE estáticos totalmente pós-treinados (que passaram por extenso pré-treinamento, Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL)) em contrapartes dinâmicas eficientes permanece pouco explorada. Aplicar diretamente métodos de roteamento dinâmico existentes a esses modelos maduros corre o risco de perturbar as distribuições de roteamento e capacidades cuidadosamente calibradas estabelecidas durante seus pipelines completos de treinamento. O desafio central é migrar um MoE estático pós-treinado para um dinâmico que pule especialistas desnecessários para tokens "fáceis" sem sacrificar o desempenho estabelecido ou incorrer em custos de adaptação proibitivos.

2. Metodologia: ZEDA

O artigo introduz a Adaptação de Auto-Distilação Zero-Especialista (ZEDA), um framework de baixo custo que transforma modelos MoE estáticos pós-treinados em dinâmicos. O método consiste em três componentes principais:

2.1 Injeção Zero-Especialista

A ZEDA converte arquiteturalmente um MoE estático em um dinâmico injetando especialistas zero sem parâmetros ($Z = \{Z_1, ..., Z_{N_Z}\}$) no pool de especialistas existente.

• Mecanismo: Esses especialistas zero produzem identicamente zero ($Z_j(h) = 0$) para qualquer estado oculto de entrada $h$.
• Roteamento: O roteador seleciona um subconjunto top-$K$ do pool expandido de $N + N_Z$ especialistas. Se um especialista zero for selecionado, ele não contribui com computação, reduzindo efetivamente o número de especialistas normais ativos para aquele token.
• Inicialização: Os parâmetros originais do roteador para especialistas normais são preservados. Novos parâmetros do roteador para especialistas zero são inicializados a partir de uma distribuição Gaussiana que corresponde à média e variância dos parâmetros originais para manter a escala dos logits do roteador.

2.2 Auto-Distilação em Duas Etapas

Para adaptar o modelo aumentado sem re-treinar do zero, a ZEDA emprega um processo de auto-distilação em duas etapas usando o MoE pós-treinado original como um professor congelado:

1. Ajuste Fino Supervisionado (SFT): O modelo estudante é treinado em respostas amostradas do professor. A perda combina entropia cruzada padrão com a Perda Auxiliar de Grupo.
2. Distilação On-Policy (OPD): O estudante gera suas próprias trajetórias, e o professor avalia essas trajetórias para fornecer alvos em nível de token. O objetivo minimiza a divergência KL reversa entre a distribuição on-policy do estudante e a distribuição do professor.

2.3 Perda Auxiliar de Grupo ($L_{GA}$)

Perdas de balanceamento de carga padrão (que impõem uniformidade em todos os especialistas) são inadequadas para MoEs pós-treinados, pois perturbariam padrões de roteamento aprendidos e não uniformes entre especialistas normais. A ZEDA introduz uma Perda Auxiliar de Grupo que equilibra a ativação no nível de grupo em vez do nível de especialista individual:

• Grupos: Especialistas normais formam o grupo $\mathcal{E}$; especialistas zero formam o grupo $\mathcal{Z}$.
• Objetivo: A perda regula a frequência de ativação relativa entre os dois grupos, controlada por um parâmetro de peso $w$. Ela incentiva que a razão de especialistas normais ativados para especialistas zero convirja para uma razão alvo ($N : N_Z \cdot w$) sem achatar a distribuição de roteamento dentro do grupo de especialistas normais.
• Resultado: Isso permite que o modelo aprenda quando pular computação (selecionar especialistas zero) enquanto preserva a lógica de roteamento interna do modelo original.

3. Contribuições Principais

1. Framework de Adaptação Pós-Treinamento: A ZEDA é o primeiro método a converter efetivamente modelos MoE estáticos totalmente pós-treinados em dinâmicos via injeção de especialista zero e auto-distilação, evitando a necessidade de re-pré-treinamento caro.
2. Conversão Arquitetural Estável: A introdução da Perda Auxiliar de Grupo estabiliza a conversão ao regular a utilização de especialistas zero sem perturbar as estruturas de roteamento aprendidas dos especialistas normais.
3. Compromisso Eficiência-Desempenho: O método alcança uma redução significativa na computação (pulando >50% dos especialistas) com apenas perda marginal de acurácia, superando baselines e variantes de MoE dinâmicos existentes (por exemplo, Truncamento de Especialista Naive).
4. Insights sobre Dinâmicas de Ativação: O artigo fornece análises mostrando que a ativação de especialistas zero correlaciona-se com lacunas de distribuição professor-estudante (logp-diff) e incerteza do modelo, em vez de dificuldade geral da tarefa. Segmentos estruturados (como código ou expressões matemáticas) tendem a ter maiores taxas de ativação de especialistas zero (menos computação) em comparação com texto natural.

4. Resultados Experimentais

Os experimentos foram conduzidos no Qwen3-30B-A3B e no GLM-4.7-Flash em 11 benchmarks cobrindo matemática, código e seguimento de instruções.

• Desempenho: A ZEDA elimina mais de 50% dos FLOPs de especialistas (alcançando $r_{ZE} \approx 51,2\%$ no Qwen e $53,0\%$ no GLM) enquanto mantém desempenho comparável ao modelo estático original.
  • No Qwen3-30B-A3B, a ZEDA supera a baseline dinâmica mais forte (AdaMoE) em 6,1 pontos em média.
  • No GLM-4.7-Flash, supera a baseline em 4,0 pontos.
  • Diferentemente de baselines que colapsam em tarefas de raciocínio difícil ou código, a ZEDA mantém desempenho competitivo uniformemente em todos os domínios.
• Eficiência: A adaptação produz um aumento de velocidade de inferência ponta a ponta de aproximadamente 1,20× (cerca de 20% de aceleração nas fases de prefill e decode) em 8 GPUs NVIDIA H200.
• Custo de Adaptação: Todo o processo de adaptação leva menos de 31 horas para o Qwen e 62 horas para o GLM, o que é negligenciável comparado aos custos de pré-treinamento ou pós-treinamento completo.
• Generalização: A ZEDA demonstra forte generalização Fora de Distribuição (OOD) no MMLU-Redux e GPQA-Diamond, preservando a acurácia enquanto mantém alta utilização de especialistas zero.

5. Significado e Alegações

O artigo afirma que a ZEDA oferece uma solução prática e custo-efetiva para melhorar a eficiência de implantação de sistemas MoE em grande escala. Ao aproveitar as capacidades existentes de modelos pós-treinados e usar auto-distilação para aprender roteamento dinâmico, a ZEDA permite que tokens "fáceis" contornem computação desnecessária de especialistas sem comprometer o conhecimento estabelecido ou as capacidades de raciocínio do modelo.

Os autores enfatizam que essa abordagem evita modificações arquitetônicas substanciais e custos de re-treinamento associados a métodos anteriores de MoE dinâmico. Os resultados sugerem que modelos MoE pós-treinados podem ser migrados com sucesso para arquiteturas dinâmicas eficientes, tornando modelos de alta capacidade mais viáveis para atendimento em cenários reais onde os custos de inferência são uma restrição primária. O trabalho destaca que a alocação dinâmica de computação está intrinsecamente ligada à incerteza interna do modelo e ao alinhamento entre as distribuições do estudante e do professor, e não apenas à dificuldade externa da tarefa.