REAP the Experts: Why Pruning Prevails for One-Shot MoE compression

O artigo propõe o método REAP, que demonstra que a poda de especialistas é superior à fusão para a compressão de modelos MoE em tarefas generativas, alcançando compressão quase sem perdas ao preservar o controle de roteamento e minimizar o erro de reconstrução.

O essencial

Imagine que você tem um super time de especialistas trabalhando em uma empresa gigante (o modelo de Inteligência Artificial). Esse time é chamado de "Mistura de Especialistas" (MoE).

Para resolver qualquer problema, o "chefe" (o roteador) olha para a tarefa e escolhe apenas alguns especialistas para trabalhar naquele momento. Se a tarefa é de matemática, ele chama os matemáticos. Se é de código, chama os programadores. Isso torna o sistema muito eficiente.

O Problema:
Esse time é tão grande que ocupa um espaço de escritório (memória) gigantesco. É caro e difícil de manter. A empresa quer demitir metade dos funcionários para economizar espaço, mas sem perder a qualidade do trabalho.

A Grande Descoberta do Papel:
Até agora, a ideia popular era juntar os especialistas. A lógica era: "Vamos pegar dois programadores parecidos, misturar suas ideias em uma única pessoa e demitir o outro". Isso parecia uma boa ideia em testes de múltipla escolha (como um exame de verdadeiro ou falso).

Mas os autores deste paper descobriram que, para tarefas criativas e complexas (como escrever um código novo, criar uma história ou raciocinar), essa mistura é um desastre.

Por quê?
Imagine que você tem dois chefs: um faz sushi perfeito e o outro faz pizza incrível.

• A Mistura (Merging): Você os força a virar um único "chefe meio-sushi, meio-pizza". O resultado? Um prato estranho que não é nem sushi bom, nem pizza boa. O "chefe" (o roteador) perde a capacidade de escolher quem faz o quê. Ele só tem uma opção: o híbrido.
• A Demissão (Pruning - REAP): Você simplesmente demite o chef que é menos útil para a maioria das tarefas. O outro chef continua fazendo o que faz de melhor, e o "chefe" continua tendo a liberdade de escolher o melhor especialista para cada momento.

A Solução: REAP (O "Corte Inteligente")
Os autores criaram um novo método chamado REAP (Router-weighted Expert Activation Pruning). Pense nele como um gerente de RH super esperto que não olha apenas para quem trabalha mais, mas para quem é mais valioso quando chamado.

1. Não é só frequência: O gerente não demite alguém só porque ele trabalha pouco. Ele demite quem, mesmo quando chamado, não contribui muito para o resultado final.
2. Preservando a liberdade: Ao demitir, o gerente mantém a capacidade de escolher entre os restantes. A "topografia" do escritório (a estrutura de como as pessoas trabalham juntas) não muda, apenas fica mais vazia.
3. O Resultado: Ao contrário da mistura, que cria um "monstro" genérico, o corte inteligente mantém a precisão.

Os Resultados na Prática:
Eles testaram isso em modelos gigantes (de 20 bilhões a 1 trilhão de parâmetros).

• Na Mistura (Merging): Os modelos funcionavam bem em testes de múltipla escolha, mas falhavam feio em criar código ou escrever histórias. Ficavam repetitivos e sem criatividade.
• No Corte (REAP): Mesmo demitindo 50% dos especialistas, o modelo continuava quase tão bom quanto o original em tarefas difíceis, como programação e raciocínio matemático.

A Analogia Final:
Imagine que você tem um carro de Fórmula 1 com 100 motores diferentes, mas só usa 8 por vez.

• Misturar os motores seria soldar dois motores juntos para criar um "super motor" meio a meio. O carro perde a agilidade e a velocidade específica de cada motor.
• O REAP seria tirar os motores que são mais pesados e menos potentes, deixando os 8 melhores intactos. O carro fica mais leve (menor memória), mas continua correndo na mesma velocidade porque os motores que restam ainda são os melhores.

Resumo da Ópera:
Se você quer economizar espaço em modelos de IA sem perder a inteligência, não misture os especialistas. Em vez disso, corte os menos importantes de forma inteligente, mantendo a liberdade do sistema para escolher quem faz o melhor trabalho. O REAP é essa tesoura inteligente que salva o modelo sem matar sua criatividade.

Resumo técnico

Título: REAP THE EXPERTS: POR QUE A PODA (PRUNING) PREVALECE PARA A COMPRESSÃO ONE-SHOT DE MOE

1. O Problema

Os modelos de Linguagem de Grande Escala (LLMs) baseados em Mistura de Especialistas Esparsamente Ativados (SMoE) tornaram-se padrão para treinamento eficiente e baixa latência. No entanto, eles apresentam um grande número de parâmetros, criando uma sobrecarga significativa de memória e causando desequilíbrio no uso dos especialistas durante a inferência (o que leva a uma utilização ineficiente de aceleradores e aumento de latência).

Para mitigar isso, pesquisas recentes focaram na compressão de especialistas. Duas abordagens principais emergiram:

1. Poda (Pruning): Remover especialistas inteiros.
2. Fusão (Merging): Combinar especialistas em um único, geralmente via agrupamento (clustering) e média de parâmetros.

A Lacuna: Estudos anteriores sugeriram que a fusão de especialistas superava a poda em benchmarks discriminativos (como perguntas de múltipla escolha e perplexidade). Contudo, não havia uma avaliação comparativa robusta em tarefas generativas (como geração de código, raciocínio matemático e escrita criativa), que são mais representativas do uso real de LLMs. O artigo questiona se a fusão realmente preserva a qualidade em cenários generativos.

2. Metodologia e Análise Teórica

Os autores propõem uma análise teórica e empírica para entender por que a fusão falha em tarefas complexas e introduzem um novo método de poda.

Análise Teórica: O Erro Irredutível da Fusão

O artigo demonstra matematicamente que a fusão de especialistas introduz um erro irredutível devido à perda do controle independente e dependente da entrada do router (roteador).

• Mecanismo de Fusão: Técnicas existentes (como HC-SMoE e M-SMoE) somam os gates (valores de ativação) de dois especialistas e os fundem em um único especialista estático.
• O Problema: O router original aprendeu uma política dinâmica onde a mistura entre dois especialistas varia dependendo da entrada $x$ (ex: $r(x)f_i(x) + (1-r(x))f_j(x)$). Ao fundi-los, o modelo é forçado a aproximar essa mistura dinâmica com uma combinação convexa estática e constante.
• Consequência: Isso causa um colapso do subespaço funcional. Em camadas tardias de modelos de alta granularidade (com muitos especialistas), onde a variabilidade da política do router é alta, a fusão distorce a topologia do manifold funcional, introduzindo "novas funcionalidades" que não existiam no modelo original.

Vantagem da Poda

A poda remove um especialista, mas mantém o controle independente do router sobre os especialistas restantes.

• A poda opera como uma operação de subespaço coordenado, preservando a topologia do manifold funcional original.
• O erro na poda ocorre apenas quando o especialista removido estava ativo (top-k), e é limitado pela magnitude da substituição, sem penalizar a variabilidade da política do router.

REAP (Router-weighted Expert Activation Pruning)

Para superar métodos de poda ingênuos (baseados apenas na frequência de uso), os autores propõem o REAP.

• Critério de Saliência: O REAP calcula a pontuação de cada especialista $j$ considerando tanto o valor do gate do router quanto a norma de ativação do especialista.
• Fórmula:
  $$S_j = \frac{1}{|X_j|} \sum_{x \in X_j} g_j(x) \cdot \|f_j(x)\|_2$$
  Onde $X_j$ é o conjunto de tokens onde o especialista $j$ é ativo.
• Lógica: Ao focar na contribuição funcional ponderada ($g_j \cdot \|f_j\|$) apenas quando o especialista é ativado, o REAP identifica e remove especialistas que contribuem minimamente para a saída da camada, minimizando o limite superior do erro de reconstrução.

3. Contribuições Principais

1. Demonstração Teórica: Prova que a fusão de especialistas com gates somados introduz um erro irredutível proporcional à variabilidade da política do router, levando ao colapso funcional em modelos de alta granularidade.
2. Evidência Empírica: Mostra que a fusão distorce a topologia do manifold funcional (medido por distância de Wasserstein e PCA), enquanto a poda preserva a geometria do manifold.
3. Novo Algoritmo (REAP): Apresenta um critério de poda que considera a ativação e o gate do router, superando métodos baseados apenas em frequência ou norma de ativação.
4. Avaliação Abrangente: Testou o método em uma variedade de modelos SMoE (de 20B a 1T de parâmetros) e em benchmarks generativos críticos (código, matemática, escrita), mostrando que a poda supera a fusão, especialmente em taxas de compressão de 50%.

4. Resultados Experimentais

Os experimentos foram realizados em modelos como Qwen3-30B, GLM-4.5-Air, Qwen3-Coder-480B e Kimi-K2, com compressão de 25% e 50%.

• Desempenho em Tarefas Generativas:

  • O REAP superou consistentemente os métodos de fusão (HC-SMoE, M-SMoE) e outras técnicas de poda (EAN, frequência) em geração de código, raciocínio matemático e escrita criativa.
  • Em 50% de compressão, os métodos de fusão sofreram quedas drásticas de desempenho (ex: >20% de perda em código), enquanto o REAP manteve alta precisão.
  • Exemplo Notável: No modelo Qwen3-Coder-480B, o REAP alcançou compressão quase sem perdas (queda de acurácia $\le 2\%$) em tarefas de geração de código mesmo após podar 50% dos especialistas.

• Desempenho em Tarefas Discriminativas (Múltipla Escolha):

  • Tanto a fusão quanto a poda performaram bem, mas a fusão mostrou-se mais inconsistente entre diferentes arquiteturas e taxas de compressão. O REAP manteve-se robusto.

• Qualidade da Geração:

  • Modelos fundidos apresentaram menor diversidade de N-gramas e maior divergência (JSD) em relação ao modelo base durante a geração de texto, indicando perda de fidelidade.
  • Modelos podados com REAP mantiveram a diversidade e alinhamento com o modelo original.

• Escalabilidade:

  • O REAP escalou bem para modelos de 1T de parâmetros (Kimi-K2), mantendo alta performance em tarefas de tool-use e agentic coding, onde a poda baseada em frequência falhou completamente em 50% de compressão.

5. Significado e Conclusão

O trabalho inverte a sabedoria convencional de que a fusão de especialistas é superior à poda para compressão de SMoE. Os autores concluem que:

• A fusão é fundamentalmente prejudicial para tarefas generativas porque destrói a capacidade do router de modular dinamicamente os especialistas com base na entrada, introduzindo funcionalidades artificiais e distorcendo o espaço de representação.
• A poda, quando guiada por um critério de saliência adequado (como o REAP), preserva a estrutura funcional do modelo e a independência do router.
• O REAP permite a compressão quase sem perdas de modelos massivos de especialistas, facilitando a implantação de LLMs de alta qualidade em ambientes com recursos limitados (como dispositivos locais ou pesquisa acadêmica).

O código e os checkpoints dos modelos comprimidos foram disponibilizados publicamente para fomentar pesquisas futuras em compressão de SMoE.