EvoESAP: Non-Uniform Expert Pruning for Sparse MoE

O artigo apresenta o EvoESAP, um método de poda de especialistas não uniforme para modelos MoE esparsos que utiliza uma métrica baseada em aceitação especulativa (ESAP) e busca evolutiva para otimizar a alocação de orçamento entre camadas, resultando em ganhos significativos de desempenho na geração de texto aberto sem comprometer a precisão em tarefas de múltipla escolha.

O essencial

Imagine que você tem uma equipe de especialistas gigante trabalhando em um projeto complexo, como escrever um livro de receitas ou resolver equações de matemática.

No mundo da Inteligência Artificial, esses especialistas são chamados de "Mixture of Experts" (MoE). A ideia é brilhante: em vez de usar todo o cérebro do computador para cada palavra que a IA gera, o sistema escolhe apenas os 3 ou 4 especialistas mais adequados para aquela tarefa específica. Isso torna a IA muito rápida e eficiente.

O Problema:
Para ter essa equipe pronta, você precisa ter todos os especialistas disponíveis no seu computador (ou servidor), mesmo que a maioria fique parada a maior parte do tempo. Isso ocupa muita memória e torna o sistema caro e lento para rodar em dispositivos comuns. É como ter um estádio inteiro de futebol cheio de jogadores, mas você só usa 3 deles em cada jogada. O estádio todo ainda precisa ser mantido e pago.

A Solução Antiga (e Imperfeita):
Para economizar espaço, os cientistas tentaram "cortar" (podar) alguns especialistas. A ideia era: "Vamos demitir os especialistas que menos trabalham".
Mas eles faziam isso de forma igual para todos os departamentos. Se a empresa tem 10 departamentos, eles cortavam 20% dos funcionários de cada um, sem pensar se o departamento de "Matemática" precisava de mais gente do que o departamento de "Criatividade". Isso era como cortar a mesma quantidade de madeira de cada árvore de uma floresta, sem saber quais árvores eram mais frágeis. O resultado? A IA perdia muita habilidade, especialmente em tarefas criativas.

A Nova Solução: EvoESAP (O "Detetive Evolutivo")

Os autores deste paper criaram um método chamado EvoESAP. Eles pensaram: "E se não cortássemos tudo igual? E se fôssemos inteligentes sobre onde cortar?"

Aqui está como funciona, usando analogias simples:

1. O Mapa de Tesouro (Não Uniforme)

Em vez de cortar 20% de todos os especialistas, o EvoESAP descobre que algumas partes da IA são mais críticas que outras.

• Analogia: Imagine que você está esvaziando uma mala de viagem para caber no avião. Você não tira 20% de cada item (metade da camisa, metade do sapato). Você tira o casaco pesado, mas deixa os sapatos e a camisa de algodão.
• O EvoESAP descobre que, em certas camadas da IA, podemos cortar muito (até 50% dos especialistas) sem problemas. Em outras camadas, precisamos manter quase todos os especialistas. Essa distribuição desigual é o segredo.

2. O Teste de "Adivinhação" (ESAP)

Como saber se a IA cortada ainda funciona bem?

• O jeito antigo: Fazer a IA escrever um livro inteiro e comparar com a original. Isso demoraria dias e gastaria muita energia.
• O jeito novo (ESAP): Eles criaram um "teste de previsão". Imagine que a IA original é um professor e a IA cortada é um aluno. O professor diz uma frase e o aluno tenta adivinhar a próxima palavra.
  • O ESAP mede: "Quão provável é que o aluno acerte a mesma palavra que o professor?"
  • Se o aluno (IA cortada) pensa muito parecido com o professor (IA original), ele passa no teste.
  • Isso é feito de forma super rápida, sem precisar escrever textos longos, apenas verificando a "intenção" de cada palavra.

3. A Evolução (Evo)

O sistema não acerta de primeira. Ele usa uma técnica chamada Busca Evolutiva (inspirada na seleção natural de Darwin).

• Analogia: Imagine que você tem 32 versões diferentes da sua mala de viagem, cada uma com uma combinação diferente de itens cortados.
• Você testa todas elas. As que funcionam melhor (que mantêm a IA inteligente) sobrevivem.
• Você mistura as melhores versões e faz pequenas mudanças (troca um item pesado de um lugar para outro).
• Repete isso por 50 gerações. No final, você tem a mala perfeita: o menor tamanho possível, mas com tudo o que é essencial para a IA funcionar.

O Resultado?

Com esse método, eles conseguiram:

1. Reduzir o tamanho da IA em até 50% (economizando muita memória e dinheiro).
2. Manter a inteligência: A IA cortada continua escrevendo textos criativos e resolvendo problemas de matemática quase tão bem quanto a original.
3. Melhorar o que importava: Em testes de matemática e programação, a versão "cortada de forma inteligente" ficou até 20% melhor do que a versão cortada de forma igualitária (uniforme).

Resumo da Ópera:
O EvoESAP é como um arquiteto de interiores que sabe exatamente quais paredes de uma casa você pode derrubar para economizar material, sem fazer a casa desmoronar. Ele não derruba tudo igual; ele derruba onde é seguro e reforça onde é necessário, usando um teste rápido de "previsão" para garantir que a casa continua habitável e confortável.

Isso permite que modelos de IA superpoderosos rodem em computadores mais simples, tornando a tecnologia mais acessível para todos.

Resumo técnico

Resumo Técnico: EvoESAP

1. Problema e Motivação

Os modelos de linguagem baseados em Mistura de Especialistas Esparsa (SMoE) alcançam capacidades impressionantes com baixo custo computacional por token, pois ativam apenas um subconjunto de especialistas para cada entrada. No entanto, o desenvolvimento e a implantação desses modelos permanecem limitados por restrições de memória e throughput, pois o conjunto completo de especialistas deve ser armazenado e servido, mesmo que apenas alguns sejam usados durante a inferência.

A poda de especialistas (expert pruning) pós-treinamento é uma solução promissora para reduzir esses custos. Contudo, a maioria dos métodos existentes foca apenas em qual especialista remover dentro de cada camada, assumindo implicitamente uma alocação uniforme de esparsidade (ou seja, remover a mesma proporção de especialistas em todas as camadas).

O artigo identifica que essa suposição de uniformidade é subótima. A alocação de orçamento de poda entre as camadas é uma decisão crítica que afeta diretamente o desempenho, especialmente em geração de texto aberto (open-ended generation), que é frequentemente negligenciada em favor de benchmarks de múltipla escolha.

2. Metodologia

Os autores propõem o EvoESAP, um framework que desacopla a poda em duas etapas:

1. Seleção dentro da camada (Within-layer selection): Determinar a ordem de importância dos especialistas em cada camada (usando métricas existentes como Frequency, EAN, SEER ou REAP).
2. Alocação de orçamento entre camadas (Across-layer allocation): Otimizar quantos especialistas remover em cada camada específica sob um orçamento global fixo, permitindo uma esparsidade não uniforme.

Para guiar essa otimização, o método introduz duas inovações principais:

A. ESAP (Expected Speculative Acceptance Proxy):
Para avaliar candidatos de poda sem o custo proibitivo de gerar texto autoregressivo (necessário para medir a taxa de aceitação real em speculative decoding), os autores propõem o ESAP.

• Conceito: Baseado no speculative decoding, o ESAP mede o quão bem a distribuição de probabilidade do próximo token do modelo podado (draft) coincide com a do modelo original (baseline).
• Cálculo: Em vez de amostrar tokens, o ESAP calcula a expectativa da probabilidade de aceitação sobre todo o vocabulário, usando uma abordagem de teacher-forcing (contextos fixos).
• Fórmula: O ESAP é equivalente ao complemento da distância de variação total (Total Variation) entre as distribuições de probabilidade do modelo original e do candidato.
  $$\text{ESAP}(x) = \sum_{v \in V} \min(p(v|x), q(v|x)) = 1 - \text{TV}(p, q)$$
• Vantagem: É uma métrica limitada, estável e computacionalmente eficiente, permitindo a comparação de milhares de candidatos rapidamente.

B. Busca Evolutiva com Mutação de Troca de Nível (Level-Switch Mutation):

• O framework utiliza um algoritmo evolutivo para buscar a melhor distribuição de esparsidade não uniforme.
• Espaço de Busca: Vetores inteiros onde cada elemento representa o número de especialistas removidos em uma camada, sujeito a um orçamento global fixo.
• Mutação: Os operadores de mutação realizam uma "troca de nível" (level-switch), transferindo unidades do orçamento de poda de uma camada para outra (ex: remover 1 especialista a mais na camada A e 1 a menos na camada B), mantendo o orçamento total constante.
• Objetivo: Maximizar o ESAP, garantindo que o modelo podado mantenha o comportamento do modelo original.

3. Contribuições Principais

1. Introdução do ESAP: Uma função de aptidão (fitness) eficiente e baseada em speculative decoding para avaliar a preservação de comportamento em modelos podados, evitando a geração autoregressiva cara.
2. Identificação da Alocação Não Uniforme: Demonstração de que a alocação de orçamento entre camadas é um fator decisivo e subexplorado. Otimizar onde manter a capacidade (dentro de um orçamento global fixo) é tão importante quanto quais especialistas remover.
3. Framework EvoESAP: Um método "plug-and-play" que pode ser aplicado sobre qualquer critério de importância de especialista existente (Frequency, SEER, EAN, REAP) para encontrar distribuições de esparsidade superiores.

4. Resultados Experimentais

Os autores avaliaram o EvoESAP em três modelos SMoE de grande escala (7B a 30B parâmetros): OLMoE, ERNIE-4.5 e Qwen3, com níveis de esparsidade global de 25% e 50%.

• Desempenho em Geração Aberta: O EvoESAP consistentemente superou a poda uniforme, especialmente em tarefas de código e matemática.
  • No modelo ERNIE-4.5 com 50% de esparsidade, a busca não uniforme resultou em um ganho de +19.6% no benchmark MATH-500 em comparação com a poda uniforme (mantendo a mesma ordem de poda).
  • Ganhos significativos também foram observados no LiveCodeBench e WildBench.
• Desempenho em Múltipla Escolha: A precisão em benchmarks de múltipla escolha (MCQ) permaneceu competitiva, muitas vezes sem degradação significativa, indicando que a geração de texto aberto é mais sensível à alocação de recursos.
• Eficiência de Busca: O uso do ESAP reduziu o tempo de busca em aproximadamente 18x em comparação com o uso direto da taxa de aceitação de speculative decoding, tornando o processo viável.
• Robustez: O método funcionou bem com diferentes critérios de importância (REAP, SEER, etc.) e diferentes tamanhos de modelos.

5. Significado e Impacto

O trabalho demonstra que a poda não uniforme é uma estratégia superior para a compressão de modelos SMoE, especialmente quando o objetivo é preservar a qualidade da geração criativa e técnica.

• Eficiência de Implantação: Permite reduzir o footprint de memória e os custos de inferência sem sacrificar a capacidade do modelo, facilitando a implantação de LLMs grandes em ambientes com recursos limitados.
• Mudança de Paradigma: Desafia a prática padrão de alocação uniforme, sugerindo que a arquitetura de modelos esparsos possui uma heterogeneidade funcional entre camadas que deve ser explorada durante a compressão.
• Acessibilidade: Ao permitir que modelos grandes rodem com menos memória, o método contribui para a democratização do acesso a modelos de IA de ponta.

Em suma, o EvoESAP oferece uma solução prática e eficiente para o problema de "onde" cortar em modelos MoE, utilizando uma métrica inteligente (ESAP) para guiar uma busca evolutiva que maximiza a fidelidade do modelo resultante.