🤖 machine learning

Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution

Este artigo revela que os modelos pré-treinados existentes de Mistura de Especialistas (MoE) possuem inerentemente uma significativa esparsidade de ativação intra-especialista, a qual pode ser explorada modificando o pipeline de execução do vLLM para pular computações de neurônios inativos, alcançando até 2,5x de aceleração na execução da camada MoE e 1,2x de aceleração ponta a ponta sem qualquer re-treinamento do modelo ou modificação de parâmetros.

Autores originais: Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Encontrando os "Gigantes Adormecidos" na IA

Imagine uma cozinha de restaurante de alto padrão e enorme (o modelo de IA) que possui centenas de chefs especializados (chamados de Especialistas). Em uma configuração padrão de "Mistura de Especialistas" (MoE), quando um cliente pede um prato, o chef principal (o Roteador) escolhe apenas alguns especialistas específicos para trabalhar naquele pedido. Por exemplo, se o pedido for "curry picante", o roteador pode acordar o "Especialista em Temperos" e o "Especialista em Curry", enquanto o "Especialista em Sobremesas" e o "Especialista em Pães" permanecem dormindo.

Isso já é eficiente porque a cozinha não aciona todos os 100 chefs para cada pedido individual. No entanto, os pesquisadores deste artigo fizeram uma nova pergunta: "Mesmo quando um chef está acordado e trabalhando, ele está usando toda a sua energia?"

Eles descobriram que, mesmo os chefs "acordados", estão na maior parte do tempo apenas parados, sem fazer nada. Eles constataram que, dentro de um único especialista, até 90% dos neurônios (as células cerebrais individuais da IA) estão efetivamente "dormindo" ou produzindo saída zero para uma determinada entrada.

O Problema: Por Que Não Podemos Apenas Adicionar Mais Chefs

Anteriormente, para tornar a IA mais rápida, os pesquisadores tentaram tornar a cozinha mais eficiente adicionando mais chefs e acordando menos deles (aumentando a "esparcidade inter-especialista"). Mas isso está ficando muito difícil.

A Luta do Treinamento: Se você tem muitos chefs e acorda apenas alguns, a cozinha fica caótica. Alguns chefs recebem todo o trabalho (desequilíbrio de carga), enquanto outros nunca são treinados e tornam-se inúteis (colapso do especialista).
O Limite: Estamos atingindo um muro onde não podemos facilmente tornar a seleção de "quem vai trabalhar" mais eficiente sem quebrar o modelo.

A Solução: A Estratégia do "Chef Preguiçoso"

Em vez de tentar escolher menos chefs, os autores decidiram tornar os próprios chefs individuais mais eficientes. Eles perceberam que, mesmo quando um chef está trabalhando, ele não precisa usar todas as ferramentas de sua caixa de ferramentas.

A Analogia:
Imagine um marceneiro mestre (um Especialista) construindo uma cadeira.

Jeito Antigo: O marceneiro pega cada martelo, serra e chave de fenda no galpão, mesmo que precise apenas de um martelo e de uma chave de fenda. Ele carrega o galpão inteiro para o local de trabalho.
Jeito Novo (Este Artigo): O marceneiro olha para o trabalho, percebe que precisa apenas do martelo e da chave de fenda, e deixa a serra e os outros 90% das ferramentas no galpão. Ele carrega apenas o que precisa.

Os pesquisadores descobriram que, em modelos de IA pré-treinados existentes (como Qwen, Llama e DeepSeek), esse comportamento "preguiçoso" já está ocorrendo naturalmente. A matemática dentro do modelo naturalmente zera a maior parte do trabalho. Eles apenas precisavam ensinar o computador a pular esse trabalho desperdiçado.

Como Eles Fizeram Isso: O Sistema de "Lista de Pulos"

A equipe pegou um motor de IA popular e de alta velocidade chamado vLLM (pense nele como o serviço de entrega que leva a comida da cozinha até o cliente) e o atualizou.

A Verificação: Antes do "chef" começar a cozinhar, o sistema verifica rapidamente quais ferramentas (neurônios) são realmente necessárias.
O Pulo: Se uma ferramenta não for necessária (seu valor for muito baixo), o sistema nem sequer a carrega na memória ou tenta usá-la. Ele literalmente pula o cálculo.
O Resultado: Eles construíram uma "pista rápida" especial no software. Se o lote de pedidos for pequeno (como um almoço tranquilo), o sistema usa essa pista rápida e pula o trabalho pesado. Se a cozinha estiver superlotada (um horário de jantar enorme), ele volta ao modo padrão e pesado para manter a estabilidade.

O Que Eles Encontraram (Os Resultados)

Eles testaram isso em oito modelos de IA gigantes diferentes, variando de modelos pequenos (1 bilhão de parâmetros) a modelos massivos (400 bilhões de parâmetros).

Precisão: Eles puderam pular até 90% do trabalho dentro de um especialista e a IA ainda acertou as respostas 95% das vezes. Foi como pular 90% dos ingredientes de uma receita e o prato ainda ter 95% do sabor.
Velocidade:
- Para a parte específica de "cozinhar" da IA (a camada MoE), eles viram acelerações de até 2,5 vezes.
- Para o sistema inteiro (de ponta a ponta), eles viram uma aceleração de 1,2 vezes.
Hardware: A aceleração foi mais dramática em placas gráficas menores e menos poderosas (como uma placa de jogos para consumidor), provando que esta é uma ótima maneira de executar grandes modelos de IA em hardware mais barato.

A Pegadinha (Limitações)

O artigo é honesto sobre os limites:

O Porteiro: O sistema ainda precisa verificar quais ferramentas são necessárias antes de poder pulá-las. Essa "verificação" leva algum tempo e não pode ser pulada ainda. É como um gerente ainda ter que andar pela cozinha para dizer aos chefs quais ferramentas pegar, mesmo que os chefs não usem todas elas.
Tamanho do Lote: A aceleração é melhor quando a IA está processando alguns pedidos de cada vez. Se você estiver processando milhares de pedidos simultaneamente, a sobrecarga de "verificação" torna-se um gargalo e a aceleração diminui.

Resumo

Este artigo não inventou um novo tipo de IA nem treinou um novo modelo do zero. Em vez disso, eles olharam para modelos de IA existentes e poderosos e perceberam: "Ei, esses modelos já estão fazendo muito trabalho desnecessário, mesmo quando estão 'ativos'."

Ao construir um sistema que reconhece esse esforço desperdiçado e simplesmente o pula, eles fizeram esses modelos massivos de IA rodarem significativamente mais rápido e com mais eficiência, especialmente em hardware que não é super caro. É uma técnica de "pulo inteligente" que torna a geração atual de modelos de IA mais prática para execução.

Resumo Técnico: Revelando a Esparsidade de Ativação Intra-Especialista para Execução Eficiente de Modelos de Mistura de Especialistas

Declaração do Problema
As arquiteturas de Mistura de Especialistas (MoE) tornaram-se o padrão para Modelos de Linguagem de Grande Escala (LLMs) de última geração devido à sua eficiência computacional derivada da ativação esparsa de especialistas. No entanto, aumentar ainda mais a esparsidade através de uma granularidade mais fina de especialistas (esparsidade inter-especialista) enfrenta desafios fundamentais de treinamento, incluindo colapso de especialistas, desequilíbrio de carga e colapso de representação. Essas questões tornam cada vez mais difícil reduzir a porcentagem de especialistas ativos sem comprometer a qualidade do modelo ou a estabilidade do treinamento. Consequentemente, há uma necessidade de explorar dimensões complementares de esparsidade que não dependam de alterações arquitetônicas ou retreinamento.

Metodologia
Os autores investigam a esparsidade de ativação intra-especialista, uma dimensão de esparsidade existente dentro das ativações de especialistas individuais em modelos MoE pré-treinados. A metodologia envolve três componentes principais:

Análise Empírica: O estudo analisa oito modelos MoE prontos para uso, variando de 1B a 400B de parâmetros (incluindo variantes de Granite, OLMoE, DeepSeek-V2, GPT-OSS, Qwen3.5 e Llama-4). Os autores medem a precisão em benchmarks (ARC-Challenge, ARC-Easy, HellaSwag, Winogrande, TruthfulQA) enquanto zeram progressivamente as ativações de neurônios com as pontuações mais baixas dentro dos especialistas ativos. Eles distinguem entre "especialistas roteados" (selecionados pelo roteador) e "especialistas compartilhados" (sempre ativos).
Observação de Características de Esparsidade: A análise revela que as saídas de ativação nas camadas FFN de MoE seguem uma distribuição de cauda longa. Uma fração significativa de neurônios produz ativações próximas de zero, permitindo esparsidade substancial (até 90%) com perda mínima de precisão. O estudo encontra que os neurônios de especialistas compartilhados têm um impacto por neurônio maior na precisão em comparação com os neurônios de especialistas roteados; em modelos grandes como Qwen3.5-122B-A10B, manter todos os neurônios de especialistas compartilhados ativos enquanto ativa apenas ~2% dos neurônios de especialistas roteados é suficiente para manter a capacidade do modelo.
Implementação de Sistema no vLLM: Os autores integram essa esparsidade ao sistema de inferência de nível de produção vLLM. A implementação modifica o pipeline de execução de especialistas roteados, preservando a execução de especialistas compartilhados e a lógica do roteador para manter a compatibilidade com o paralelismo de especialistas e otimizações existentes (HIP Graph, CUDA Graph, fusão de kernels).
- Projeção de Portão: Executada densamente usando um kernel de multiplicação de matriz em lote (BMM) para determinar as pontuações de ativação.
- Mascaramento de Ativação: Um kernel Triton personalizado realiza mascaramento baseado em um limiar em uma única passagem ( $O(n)$ ), evitando o custo computacional da ordenação top-k ( $O(n \log n)$ ).
- Projeção Up-Down Fundida: Um kernel esparsos personalizado coleta pesos apenas para os neurônios ativos, empacota-os em uma matriz densa na memória compartilhada e realiza multiplicação de matriz-vetor densa. Essa abordagem equilibra a irregularidade do acesso esparsos com a vazão dos aceleradores de hardware densos.
- Comutação Dinâmica: Para lidar com o trade-off entre execução esparsa de baixa latência e execução densa de alta vazão, o sistema comuta dinamicamente entre os caminhos de código esparsos e densos com base no tamanho do lote.

Principais Contribuições

Descoberta de Esparsidade Intra-Especialista: O artigo demonstra que uma esparsidade de ativação intra-especialista substancial está prontamente disponível em modelos MoE pré-treinados existentes, sem qualquer modificação nos parâmetros do modelo ou funções de ativação.
Integração de Sistema: Os autores redesenham o pipeline de execução MoE do vLLM para explorar eficientemente tanto a esparsidade inter-especialista quanto a intra-especialista em GPUs, mantendo o suporte total a recursos de nível de produção como paralelismo de especialistas e captura de gráficos.
Avaliação de Desempenho: O trabalho fornece uma avaliação abrangente em diferentes escalas de modelos e hardware (AMD MI355X, NVIDIA H200, RTX4090), estabelecendo a viabilidade prática dessa otimização.

Resultados

Níveis de Esparsidade: O estudo identifica pontos de corte de esparsidade onde os modelos retêm 95% de sua precisão de linha de base. Por exemplo, o maior modelo testado (Llama-4-Maverick) retém a precisão com até 90,8% de esparsidade intra-especialista, enquanto modelos menores como Granite-1B-A400M a retêm em 26,5%.
Aceleração de Camada: A execução esparsa intra-especialista alcança até 2,5× de aceleração na execução da camada MoE em comparação com a linha de base densa do vLLM. A aceleração é mais pronunciada em hardware com recursos limitados (por exemplo, RTX4090) e para modelos maiores (Qwen3.5-122B-A10B), onde os gargalos de memória e computação são mais severos.
Aceleração de Ponta a Ponta: Devido à Lei de Amdahl (já que a camada MoE constitui aproximadamente 45% do tempo total de execução), a aceleração de inferência de ponta a ponta é mais modesta, alcançando até 1,2× no H200 e 1,1× no MI355X. Os benefícios são mais significativos para cargas de trabalho limitadas por latência (por exemplo, cenários pesados em decodificação com tamanhos de lote pequenos).
Preservação de Precisão: A abordagem baseada em limiar mantém 95% da pontuação média de benchmark de linha de base até os pontos de corte de esparsidade identificados (por exemplo, 85% de esparsidade alvo para Qwen3.5-35B-A3B).

Significado
O artigo posiciona a esparsidade de ativação intra-especialista como uma técnica de otimização prática e complementar à esparsidade inter-especialista. Ele aborda as limitações de empurrar a esparsidade inter-especialista ainda mais, aproveitando a redundância inerente dentro do FFN denso de cada especialista selecionado. Os autores afirmam que este trabalho estabelece as bases para futuras pesquisas em LLMs eficientes, oferecendo um método para reduzir os custos de serviço de grandes modelos MoE sem exigir retreinamento ou alterações arquitetônicas. A integração no vLLM demonstra que tal esparsidade pode ser utilizada efetivamente em sistemas de produção de alto desempenho, fechando a lacuna entre esparsidade teórica e vazão realizada.