💬 NLP

Less is MoE: Trimming Experts in Domain-Specialist Language Models

Este artigo apresenta o Fisher-MoE, um método de compressão que identifica e remove dimensões intermediárias críticas para a tarefa dentro de camadas FFN usando a importância de Fisher, permitindo ganhos significativos de memória e de vazão em modelos Mixture-of-Experts enquanto preserva seu desempenho em benchmarks de propósito geral.

Autores originais: Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

Publicado 2026-06-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de linguagem massivo e de alta potência como uma cozinha gigante projetada para cozinhar qualquer tipo de refeição, desde uma torrada simples até banquetes complexos de cinco pratos.

O Problema: Uma Cozinha Grande Demais para Caber na Sua Casa

Esta cozinha (chamada de modelo Mixture-of-Experts ou MoE) é incrivelmente inteligente porque possui centenas de chefs especializados (chamados de "especialistas"). Quando você faz uma pergunta, um gerente inteligente (o "roteador") escolhe os melhores chefs para trabalhar na sua tarefa específica.

No entanto, esta cozinha é enorme. Ela ocupa tanto espaço (memória) e exige que tantos chefs fiquem de prontidão que é impossível encaixá-la em uma casa normal (um computador ou celular padrão). Você precisa encolher a cozinha sem perder a capacidade de cozinhar boas refeições.

O Jeito Antigo: Demitir Chefs Inteiros

As tentativas anteriores de encolher esta cozinha foram como demitir chefs inteiros.

Se um chef não cozinhava com frequência, ou se o seu avental era pequeno, os gerentes o demitiam.
O Resultado: Isso foi um desastre. Embora você tenha mantido os "melhores" chefs, você acidentalmente demitiu a única pessoa que sabia o ingrediente secreto para fazer problemas matemáticos perfeitos. De repente, a cozinha ainda conseguia te contar uma piada (conhecimento), mas não conseguia mais fazer aritmética básica. Todo o sistema colapsou.

A Nova Descoberta: Não é o Chef, é a Faca

Os autores deste artigo descobriram algo surpreendente: o problema não é quais chefs você mantém; é quais ferramentas específicas eles usam.

Dentro da estação de cada chef, existem milhares de ferramentas minúsculas (chamadas de dimensões intermediárias).

A maioria das ferramentas está apenas parada por ali, acumulando poeira.
Mas um pequeno punhado de ferramentas específicas é absolutamente crítico. Por exemplo, uma "faca" específica pode ser a única coisa que permite à cozinha resolver problemas de matemática, enquanto outra "colher" é vital para escrever código.

Os métodos antigos eram como jogar fora a estação de trabalho inteira de um chef porque ele usava uma "colher empoeirada", sem perceber que esse mesmo chef também segurava a "faca matemática crítica".

A Solução: "Fisher-MoE" (O Bisturi de Precisão)

Os autores propõem um novo método chamado Fisher-MoE. Em vez de demitir chefs, eles encolhem as estações de trabalho. Eles não demitem ninguém; em vez disso, eles reduzem fisicamente as estações de trabalho. Eles removem as "colheres empoeiradas" e as "espátulas não utilizadas" (as ferramentas de baixa pontuação), mas mantêm as "facas críticas" (as ferramentas de alta pontuação).

O Scanner: Eles medem o quanto o desempenho da cozinha cai se você remover uma ferramenta específica.
- Analogia: Imagine testar cada faca na cozinha. Se você remover a "Faca A", a cozinha ainda consegue fazer torradas. Mas se você remover a "Faca B", a cozinha não consegue mais cortar um tomate. O scanner identifica a "Faca B" como crítica.
O Corte: Eles não demitem ninguém. Em vez disso, eles diminuem fisicamente as estações de trabalho. Eles removem as "colheres empoeiradas" e as "espátulas não utilizadas" (as ferramentas de baixa pontuação) mas mantêm as "facas críticas" (as ferramentas de alta pontuação).
O Resultado: Eles conseguem encolher a cozinha em 50% (removendo metade das ferramentas) e a cozinha ainda funciona quase perfeitamente.
- Ela ainda resolve problemas matemáticos difíceis.
- Ela ainda consegue escrever código.
- Ela ainda consegue responder curiosidades.
- Bônus: Como a cozinha é menor, ela cozinha mais rápido (21% mais rápida) e cabe em um espaço muito menor (45% menos memória).

Por Que Isso Importa

Precisão sobre Brutalidade: O jeito antigo era uma marreta (demitir pessoas inteiras). Este novo jeito é um bisturi (remover apenas as partes inúteis das ferramentas).
O "Mistério da Matemática": Eles descobriram que, se você remover apenas 12 ferramentas específicas de 1,35 milhão, a cozinha instantaneamente esquece como fazer matemática, embora lembre de todo o resto. Isso prova que habilidades complexas estão escondidas em cantos minúsculos e específicos do modelo, não espalhadas uniformemente.
Compatibilidade: Este método de encolhimento funciona perfeitamente com outros truques de economia de espaço (como a "quantização"), o que significa que você pode encolher o modelo ainda mais sem quebrá-lo.

Em Resumo

O artigo diz: Não demita os especialistas; apenas reduza os kits de ferramentas deles. Ao usar um scanner inteligente para identificar e remover apenas as "ferramentas" inúteis dentro dos especialistas, podemos tornar esses modelos de IA gigantes pela metade do tamanho, duas vezes mais rápidos e tão inteligentes quanto antes.

Resumo Técnico: Less is MoE: Trimming Experts in Domain-Specialist Language Models

Declaração do Problema

Os modelos Mixture-of-Experts (MoE) tornaram-se um paradigma dominante para escalar a capacidade de modelos de linguagem mantendo uma computação eficiente durante a inferência. No entanto, sua enorme pegada total de parâmetros cria barreiras significativas para a implantação no que diz respeito a memória, armazenamento e custos de serviço.

Abordagens anteriores para comprimir modelos MoE operam tipicamente ao nível do especialista (expert level), removendo ou fundindo especialistas inteiros com base em métricas de importância heurísticas, como frequência de ativação, pontuações de roteamento ou magnitudes de peso. Os autores observam que esses métodos sofrem de colapso catastrófico de desempenho quando avaliados em benchmarks de propósito geral além do raciocínio de senso comum (ex: raciocínio matemático, geração de código e tarefas de raciocínio complexo). O artigo hipotetiza que essa falha decorre de dois fatores:

Métricas de Importância Imprecisas: Heurísticas existentes falham em estimar corretamente a importância dos parâmetros.
Granularidade Grossa: A compressão ao nível do especialista assume que as capacidades estão localizadas em especialistas específicos. Na realidade, o artigo argumenta que as capacidades estão distribuídas entre os especialistas, mas concentradas em um pequeno subconj conjunto de dimensões intermediárias dentro das Redes Feed-Forward (FFN). Remover um especialista inteiro descarta simultaneamente dimensões redundantes e críticas.

Metodologia

1. Atribuição de Importância: Informação de Fisher Empírica

Os autores propõem o uso da Informação de Fisher Empírica como uma métrica superior para classificar parâmetros. Diferente de razões de ativação, pontuações de roteamento ou magnitudes de peso, a informação de Fisher mede a sensibilidade da distribuição preditiva do modelo a perturbações em parâmetros específicos.

Derivação: O método aproxima a Matriz de Informação de Fisher ( $F_\theta$ ) usando dados de um conjunto de calibração. Para um especialista MoE $E_i$ com pesos $W^{gate}_i, W^{up}_i, W^{down}_i$ , o score de Fisher é computado para cada dimensão intermediária $j$ .
Granularidade: Os autores estendem esta pontuação para o nível da dimensão intermediária (linhas de $W^{gate}/W^{up}$ e colunas de $W^{down}$ ), em vez do nível do especialista ou do roteador completo.
Validação: Evidências empíricas mostram que a importância de Fisher supera todas as linhas de base. Crucialmente, zerar apenas 12 das aproximadamente 1,35 milhões de dimensões intermediárias identificadas como "principais" pelos scores de Fisher colapsa o desempenho de raciocínio matemático (GSM8K/MATH) para quase zero, enquanto preserva amplamente o conhecimento factual. Isso confirma que o Fisher identifica com sucesso um conjunto minúsculo de dimensões críticas para a tarefa.

2. Estratégia de Compressão: Fisher-MoE

Com base na análise de atribuição, os autores propõem o Fisher-MoE, um método de compressão de granularidade fina que opera dentro da FFN de cada especialista, em vez de remover especialistas inteiros.

Mecanismo: Para cada especialista, as dimensões intermediárias são classificadas por seus scores de Fisher. A fração de menor pontuação (ex: 50%) é fisicamente removida redimensionando as matrizes de peso ( $W^{gate}, W^{up}, W^{down}$ ).
Regras de Alocação: O artigo explora três estratégias de alocação de orçamento:
- IntDim-E: Mantém as top $(1-p)$ dimensões dentro de cada especialista.
- IntDim-L: Agrupa dimensões entre todos os especialistas em uma camada e mantém as top $(1-p)$ por camada.
- IntDim-G: Agrupa dimensões por todo o modelo e mantém as top $(1-p)$ globalmente.
Preservação: Esta abordagem preserva o comportamento de roteamento do modelo e o número de especialistas ativos por token, mas reduz a dimensionalidade interna ( $d_{ff}$ ) dos especialistas ativos.

Principais Contribuições

Insight Estrutural: O artigo identifica uma propriedade estrutural dos modelos MoE onde as capacidades não estão localizadas no nível do especialista, mas sim concentradas em um pequeno subconjunto de dimensões intermediárias distribuídas entre todos os especialistas. Isso explica a falha da compressão ao nível do especialista.
Fisher Importance como Ferramenta de Atribuição: Os autores definem a dimensão intermediária como a unidade atribuível e demonstram que a Informação de Fisher Empírica é uma ferramenta robusta para distinguir dimensões críticas de dimensões redundantes, superando métricas baseadas em ativação, roteamento e magnitude.
Algoritmo Fisher-MoE: Eles propõem um método de compressão de granularidade fina que redimensiona fisicamente as matrizes FFN com base nos rankings de Fisher. Este método alcança altas taxas de compressão sem o colapso catastrófico observado na poda ao nível do especialista.

Resultados

Os autores avaliam o Fisher-MoE no Qwen1.5-MoE-A2.7B, OLMoE-1B-7B e modelos de fronteira maiores (Qwen3-30B-A3B, Qwen3.5-35B-A3B) através de oito benchmarks de propósito geral (Conhecimento, Código, Raciocínio, Matemática).

Preservação de Desempenho: Em uma taxa de compressão MoE de 50% (removendo 50% dos parâmetros FFN roteados):
- Métodos ao nível do especialista (mesmo aqueles usando scores de Fisher) sofrem quedas catastróficas no GSM8K, HumanEval e MATH.
- O Fisher-MoE (IntDim-E) preserva o desempenho downstream, retendo capacidades de raciocínio matemático e de código que os métodos ao nível do especialista perdem. Em alguns casos (ex: CEval, MultiArith), ele iguala ou supera ligeiramente o modelo base não comprimido.
- Escalabilidade: A vantagem se mantém para modelos maiores (30B+ parâmetros) e tarefas de raciocínio de Cadeia de Pensamento (CoT) longa.
Recuperação Pós-Treinamento: Quando seguido de Ajuste Fino Supervisionado (SFT) em dados de domínio, o Fisher-MoE recupera o desempenho para níveis competitivos com o teto de Base + SFT não comprimido, enquanto os métodos ao nível do especialista permanecem significativamente degradados.
Eficiência de Implantação:
- Memória: Reduz a memória de peso em ~45%.
- Throughput: Melhora o throughput de inferência em 21% (1.21x de aceleração) em GPUs H100.
- Cache KV: O VRAM liberado permite um aumento de 33.7% no orçamento do cache KV, aumentando a capacidade de requisições.
Compatibilidade: O Fisher-MoE compõe-se efetivamente com quantização de 4 bits (AWQ), reduzindo ainda mais a pegada de implantação para cerca de 1/8 do tamanho original sem amplificar a sensibilidade à quantização.
Generalização: Modelos comprimidos usando scores de Fisher calibrados para matemática (GSM8K) mantêm um forte desempenho em tarefas fora do domínio (Conhecimento, Código, Raciocínio), indicando que o método não se especializa excessivamente ao domínio de calibração.

Significância e Alegações

O artigo alega que a granularidade da dimensão intermediária é a unidade efetiva tanto para compressão quanto para análise de capacidade em modelos MoE. A significância do trabalho reside em:

Redefinição da Granularidade de Compressão: Ele desafia a suposição prevalecente de que a compressão MoE deve ocorrer ao nível do especialista, demonstrando que o corte de granularidade fina dentro dos especialistas é necessário para preservar capacidades de raciocínio complexo.
Atribuição Superior: Estabelece a Informação de Fisher Empírica como uma ferramenta crítica para entender onde as capacidades "vivem" dentro dos modelos MoE, revelando que os parâmetros críticos são esparsos e distribuídos.
Implantação Prática: Oferece um caminho prático para implantar grandes modelos MoE com requisitos significativamente reduzidos de memória e latência, sem sacrificar o desempenho exigido para tarefas de alto risco, como geração de matemática e código.

Os autores notam modestamente as limitações, especificamente que não exploraram backbones de mais de 100B parâmetros devido a restrições computacionais, nem conduziram estudos extensos de recuperação pós-treinamento em corpora diversos para caracterizar totalmente a lacuna residual em relação aos modelos não comprimidos. Estas são identificadas como direções para trabalhos futuros.