🤖 machine learning

DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices

Este artigo apresenta o DECO, uma arquitetura esparsa de Mistura de Especialistas que alcança desempenho comparável ao denso com apenas 20% de ativação de especialistas e um aumento de 3,00× na velocidade de inferência em dispositivos de ponta, aproveitando o roteamento baseado em ReLU, a escalabilidade aprendível por especialista e uma nova função de ativação NormSiLU.

Autores originais: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está gerenciando um restaurante massivo e de alto padrão. Você quer servir a melhor comida possível (alto desempenho) ao maior número de clientes possível, mas tem duas regras estritas:

Baixo Custo: Você não pode arcar com o fato de ter cada chef cozinhando cada prato individual para cada cliente (baixa computação).
Cozinha Pequena: Você não tem espaço suficiente para armazenar cada livro de receitas e ingrediente para cada chef (pequeno armazenamento).

Por muito tempo, o padrão da indústria foi contratar uma equipe enorme de chefs (um modelo "Denso"), onde todos tentam cozinhar tudo. Isso tem um ótimo sabor, mas é incrivelmente caro e requer uma cozinha gigante.

Então, as pessoas tentaram uma abordagem de "Mistura de Especialistas" (MoE). Isso é como ter uma equipe enorme de 100 chefs especializados, mas para cada pedido, você acorda apenas 20 deles para cozinhar. Isso economiza dinheiro no tempo de cozimento. No entanto, você ainda precisa manter as receitas e os ingredientes para todos os 100 chefs na sua cozinha. Se sua cozinha for pequena (como um telefone ou um laptop), você fica sem espaço, e o tempo gasto correndo de um lado para o outro para pegar os ingredientes do chef certo atrasa tudo.

Aí entra o DECO.

Os autores deste artigo criaram um novo design de restaurante chamado DECO. Seu objetivo era construir uma cozinha "esparça" (onde apenas alguns chefs trabalham ao mesmo tempo) que tenha o mesmo sabor da cozinha gigante "densa", mas que caiba em um espaço minúsculo e funcione rápido.

Veja como eles fizeram isso, usando analogias simples:

1. O Garçom Inteligente (O Roteador)

Em um restaurante MoE normal, o garçom (o roteador) é um pouco rígido. Ele pode dizer: "Para cada mesa, exatamente 2 chefs devem cozinhar."

Inovação do DECO: Eles deram ao garçom uma ferramenta flexível e diferenciável (chamada de roteamento baseado em ReLU). Agora, o garçom pode olhar para o pedido específico e decidir: "Este prato precisa de 3 chefs" ou "Aquele só precisa de 1". É uma decisão fluida baseada na comida, não em uma regra rígida.
O Fator de Escala: Às vezes, um chef é naturalmente mais alto ou mais forte que outro. O DECO dá ao garçom um conjunto de botões de volume ajustáveis (escalabilidade aprendível) para cada chef. Se o Chef A é naturalmente mais quieto, o garçom aumenta o volume dele para que sua contribuição seja equilibrada com os chefs mais altos.

2. Os Chefs Especializados (Os Especialistas)

Os chefs no DECO são projetados de forma diferente para serem mais estáveis.

O Avental "NormSiLU": Os autores notaram que, quando os chefs usam um avental padrão (função de ativação), às vezes eles ficam confusos ou param de trabalhar completamente (sinais desaparecendo). Eles inventaram um novo avental chamado NormSiLU. Pense nisso como um uniforme especial que calibra a energia do chef antes de ele começar a cozinhar. Isso mantém sua saída estável e evita que ele queime ou fique muito quieto.
Sem Guardiões: A maioria dos restaurantes usa um chef "guardião" que decide se o chef principal deve começar a cozinhar. O DECO descobriu que, para seu garçom flexível, é na verdade melhor remover o guardião. Os chefs funcionam melhor quando podem simplesmente começar a cozinhar com base no sinal do garçom, sem uma camada extra de "permissão".

3. O Resultado: O "Triângulo Ideal"

O artigo afirma que o DECO alcança um "santo graal" de três coisas simultaneamente:

Alto Desempenho: Tem o mesmo sabor do restaurante gigante e caro (modelos Densos).
Baixo Custo: Usa apenas 20% dos chefs a qualquer momento, economizando quantidades massivas de energia.
Pequeno Armazenamento: Como o design é tão eficiente, a "pegada total da cozinha" (parâmetros totais) é pequena o suficiente para caber em dispositivos de ponta, como telefones, sem necessidade de trocar ingredientes dentro e fora do armazenamento constantemente.

4. A Prova

Testes de Sabor: Quando testaram o DECO contra outros modelos, ele igualou o desempenho dos modelos gigantes "Densos" e superou outros modelos "Esparsos", tudo isso usando a mesma quantidade de dados de treinamento e ingredientes totais.
Velocidade: Eles construíram um motor personalizado (kernel de aceleração) para executar este restaurante. Em hardware real (como uma placa gráfica de alto desempenho e um dispositivo Jetson), o DECO foi 3 vezes mais rápido do que a maneira padrão de executar esses modelos.

A Pegadinha (Limitações)

Os autores são honestos sobre o que ainda não testaram. Eles não tentaram este design de restaurante para "ajuste fino" (ensinar habilidades novas específicas aos chefs após o treinamento principal) ou "aprendizado por reforço" (ensiná-los através de tentativa e erro). Eles suspeitam que pode haver alguma instabilidade lá, então estão atualmente construindo uma versão maior para testar esses cenários específicos.

Em resumo: O DECO é uma reimaginação inteligente de como os modelos de IA funcionam. Ele prova que você não precisa de uma cozinha gigante e inchada para obter comida excelente. Com o garçom certo, os uniformes certos e uma abordagem flexível, você pode obter os mesmos resultados de alta qualidade com uma cozinha pequena, rápida e eficiente.

Resumo Técnico: DECO – Mistura Esparsa de Especialistas com Desempenho Comparável ao Densa em Dispositivos de Borda

Declaração do Problema
Embora as arquiteturas de Mistura de Especialistas (MoE) escalonem a capacidade do modelo sem aumentar proporcionalmente a computação, elas tradicionalmente sofrem com grandes pegadas totais de parâmetros. Isso cria gargalos significativos de armazenamento e acesso à memória que impedem a implantação eficiente em dispositivos de borda, os quais exigem alto desempenho, baixo custo computacional e sobrecarga mínima de armazenamento. A pesquisa existente em MoE frequentemente prioriza desempenho e baixa computação, mas negligencia o objetivo de "sobrecarga de armazenamento". Além disso, muitos modelos MoE alcançam seus resultados treinando-se em substancialmente mais tokens do que as bases densas sob o mesmo orçamento computacional, em vez de corresponder à contagem exata de tokens. O artigo levanta a questão: Um modelo MoE esparso pode alcançar desempenho comparável a um modelo denso dado o mesmo orçamento total de parâmetros e o mesmo número de tokens de treinamento?

Metodologia
Os autores propõem DECO (Dense-COmparable), uma arquitetura MoE esparsa projetada para igualar o desempenho do Transformer denso sob restrições idênticas. A arquitetura é construída sobre três pilares centrais de design:

Design do Roteador:
- Roteamento Baseado em ReLU: Diferentemente do roteamento TopK não diferenciável convencional, o DECO emprega roteamento baseado em ReLU. Isso permite razões de ativação flexíveis dependentes do token e aprendibilidade suave.
- Escala do Roteador por Especialista Aprendível: Para abordar desequilíbrios na escala de saída entre especialistas compartilhados e roteados e acomodar a heterogeneidade dos especialistas, o DECO substitui fatores de escala escalares fixos por fatores de escala vetoriais aprendíveis ( $\alpha$ ). Isso calibra a contribuição de especialistas roteados individuais.
Design do Especialista:
- Ativação NormSiLU: Os autores identificam que o acoplamento de roteamento baseado em ReLU com especialistas ativados por SiLU puro leva a taxas de ativação em ascensão e magnitudes de saída em desaparecimento. Para resolver isso, eles introduzem NormSiLU, que aplica uma normalização em dois estágios antes do operador SiLU:
  - Normalização média inter-especialista: Centraliza os pesos de projeção superior do especialista em torno de zero.
  - Normalização RMS intra-especialista: Mantém magnitudes de ativação consistentes.
    Isso estabiliza as tendências de ativação, reduz a necessidade de regularização agressiva de esparsidade e garante utilização robusta de parâmetros.
- Especialistas MLP Não Portões: Contrariando a preferência padrão por MLPs portões (SwiGLU), o DECO utiliza especialistas MLP não portões. Resultados empíricos mostram que especialistas não portões exibem tendências de razão de ativação mais estáveis quando emparelhados com roteamento baseado em ReLU, enquanto variantes portões sofrem de dinâmicas de ativação instáveis e em ascensão que exigem regularização pesada.
Regularização de Esparsidade Adaptativa:
- O DECO emprega uma regularização de esparsidade adaptativa baseada na entropia do roteador. Diferentemente de coeficientes estáticos, a força da regularização ( $\lambda$ ) é escalada dinamicamente com base no nível de esparsidade atual em relação ao alvo, garantindo uma razão de ativação estável centrada precisamente no nível desejado.

Principais Resultados
Experimentos foram conduzidos em quatro escalas de parâmetros (0,11B a 1,18B) com uma contagem fixa de tokens de treinamento (aproximadamente 40x a contagem de parâmetros) e uma razão de ativação de especialistas roteados de 20%.

Comparabilidade Densa: O DECO alcança paridade de desempenho com bases de Transformer denso (usando FFNs SwiGLU) em termos de Perplexidade (PPL) no conjunto de validação C4 e precisão média em benchmarks de raciocínio de senso comum, apesar de ativar apenas 20% dos especialistas.
Superioridade sobre Bases MoE: O DECO supera bases MoE estabelecidas (TopP, DeepSeek-V3, ReMoE, BlockFFN) da mesma escala e razão de ativação.
Insights de Ablação:
- A escala aprendível por especialista melhora significativamente o desempenho sobre escala fixa ou escalar, abordando a heterogeneidade observada nas normas de saída dos especialistas.
- O NormSiLU é crítico; remover suas etapas de normalização leva a taxas de ativação em ascensão e saídas SiLU em desaparecimento, degradando o desempenho.
- Especialistas não portões são superiores a especialistas portões especificamente no contexto de roteamento baseado em ReLU.
Aceleração de Hardware: Um kernel de aceleração especializado, aproveitando CUTLASS e núcleos tensoriais, foi implementado. Em hardware real (NVIDIA RTX 4090 e Jetson AGX), o DECO alcançou um aceleramento de 3,00× sobre a inferência densa pura, explorando a ativação esparsa para reduzir a sobrecarga de acesso à memória.

Significado e Alegações
O artigo alega que o DECO realiza com sucesso o "triângulo ideal" da implantação de MoE em dispositivos de borda: alto desempenho, baixo custo computacional e pequena sobrecarga de armazenamento. Seu significado reside em demonstrar que modelos MoE esparsos podem igualar o desempenho denso sem exigir tokens de treinamento excessivos ou pegadas massivas de parâmetros.

Os autores atribuem esse sucesso a uma revisão fundamental do design de MoE que alinha o mecanismo de roteamento (baseado em ReLU), a ativação do especialista (NormSiLU) e a estrutura do especialista (não portões) para criar uma dinâmica de treinamento estável. Eles observam que a comparabilidade densa é condicional, dependendo de fatores como razão de ativação, granularidade do especialista e heterogeneidade de dados. O artigo sugere que conjuntos de dados de alta entropia e multi-domínio são particularmente adequados para essa arquitetura esparsa, pois o modelo pode ativar efetivamente subconjuntos de parâmetros especializados para diferentes tarefas.

Limitações
Os autores reconhecem que ainda não avaliaram o DECO nas etapas de ajuste fino supervisionado (SFT) ou aprendizado por reforço (RL), onde arquiteturas MoE podem enfrentar desafios únicos como instabilidade do roteador. Além disso, as leis de escala para o limiar de razão de ativação necessário para comparabilidade densa em tamanhos de modelo maiores e distribuições de dados diversas requerem investigação adicional.