🤖 machine learning

SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

SHAPE é um framework de poda especialista orientada por tarefas para LLMs de Sparse Mixture-of-Experts que modela a cooperação intra-camada entre especialistas como um jogo cooperativo para identificar e reter subconjuntos colaborativos essenciais via atribuição estilo Shapley, reduzindo assim a pegada de memória enquanto mantém a precisão sem treinamento adicional.

Autores originais: Yuhao Zhang

Publicado 2026-06-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuhao Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma cozinha massiva e de alta potência (um Large Language Model) projetada para preparar respostas complexas. Em vez de ter um único chef gigante fazendo tudo, esta cozinha utiliza um sistema de Mistura de Especialistas (Mixture-of-Experts - MoE). Pense nisso como uma equipe de 100 subchefs especializados (os "especialistas").

Quando um cliente faz um pedido (um prompt), um chef de sala (o "roteador") analisa o pedido e escolhe os 3 melhores chefs para trabalharem juntos nele. A mágica é que a cozinha não precisa que todos os 100 chefs estejam ativos ao mesmo tempo; ela usa apenas os 3 específicos necessários para aquele momento. Isso torna a cozinha muito rápida e eficiente.

O Problema: A "Parede de Memória"
Mesmo que apenas 3 chefs estejam cozinhando a cada segundo, o dono da cozinha precisa manter todos os 100 chefs de prontidão na sala, totalmente vestidos e prontos para agir. Por quê? Porque o garçom pode precisar de qualquer um deles para o próximo pedido.

O Probleu: Se você tem uma cozinha de 100 chefs, precisa de uma sala enorme e cara (memória GPU) para acomodar todos eles. Isso torna impossível rodar essas cozinhas poderosas em espaços menores e mais baratos (como um laptop comum ou um servidor pequeno).
A Solução Antiga: Tentativas anteriores de encolher a cozinha foram como um gerente dizendo: "Vamos demitir os chefs que menos cozinharam esta semana". Isso é falho porque um chef pode não cozinhar com frequência, mas quando ele cozinha com um parceiro específico, eles criam uma obra-prima. Demiti-los quebra esse trabalho de equipe especial.

A Solução: SHAPE (O Detetive de Trabalho em Equipe)
O artigo apresenta o SHAPE, uma nova maneira de encolher a cozinha sem estragar a comida. Em vez de apenas contar com que frequência um chef é chamado, o SHAPE observa o quão bem eles trabalham juntos.

Veja como o SHAPE funciona, usando uma analogia simples:

A Observação do "Jogo": O SHAPE observa a cozinha por um curto período (usando um pequeno "conjunto de calibração" de pedidos). Ele não observa apenas quem é chamado; ele observa quais grupos de 3 chefs são chamados juntos e com que frequência esses grupos têm sucesso.
O Score "Shapley" (Justiça): Imagine que um grupo de 3 chefs cria um prato perfeito. Quanto crédito cada chef recebe?
- Se o Chef A é ótimo sozinho, mas o Chef B é inútil sem o Chef C, uma contagem simples pode falhar.
- O SHAPE utiliza um conceito matemático chamado Valor de Shapley (pense nisso como um "calculador de justiça"). Ele pergunta: "Se removermos o Chef A deste trio específico, o prato desmorona?"
- Se o prato desmorona, o Chef A é essencial para aquela equipe, mesmo que não seja o chef mais famoso.
- Se o prato tem o mesmo sabor sem o Chef A, então o Chef A é redundante e pode ser dispensado.
A Regra de "Cobertura de Qualidade": O SHAPE não demite apenas os 20% inferiores dos chefs com base em um único score. Ele garante que cada "andar" da cozinha (cada camada do modelo) mantenha chefs suficientes para cobrir as combinações de trabalho em equipe mais importantes. Ele utiliza um método de "bissecção" (um jogo inteligente de adivinhação) para encontrar o número perfeito de chefs a manter, de modo que a cozinha permaneça pequena, mas continue cozinhando 99% dos mesmos pratos perfeitamente.

Os Resultados
Os pesquisadores testaram isso em três "cozinhas" modernas diferentes (Qwen, GPT-OSS, DeepSeek).

O Resultado: Eles conseguiram demitir 20% a 40% dos chefs (reduzindo significativamente a memória necessária) sem que a comida ficasse pior.
Por que funcionou: Ao manter os chefs que são essenciais para o trabalho em equipe em vez de apenas os que estão mais ocupados, a cozinha permaneceu estável.
O Bônus: Como demitiram tantos chefs, a sala (memória GPU) necessária para rodar a cozinha tornou-se muito menor, tornando possível rodar esses modelos poderosos em hardware menos dispendioso.

Em Resumo
O SHAPE é como um gerente inteligente que percebe que demitir o chef "quieto", que é a cola secreta de uma equipe vencedora, é uma má ideia. Em vez disso, ele demite os chefs "barulhentos" que são facilmente substituíveis. Isso reduz o tamanho da equipe e o espaço de escritório necessário, mantendo a qualidade do trabalho exatamente a mesma.

Resumo Técnico: SHAPE – Poda de Especialistas Consciente de Coalizão para LLMs de Mistura de Especialistas Esparsos

1. Declaração do Problema

Arquiteturas de Mistura de Especialistas Esparsos (SMoE) tornaram-se fundamentais para escalar Modelos de Linguagem de Grande Escala (LLMs) para centenas de bilhões ou trilhões de parâmetros, mantendo custos de treinamento sublineares e baixa latência de inferência por token. No entanto, a implantação desses modelos massivos enfrenta uma "Barreira de Memória" crítica. Embora a computação condicional garanta que apenas um subconjunto esparso de especialistas esteja ativo por token, todo o pool de especialistas deve permanecer residente na memória GPU para suportar decisões de roteamento dinâmicas e dependentes de tokens. Esse requisito cria pegadas de memória proibitivas (por exemplo, terabytes de VRAM para modelos como o DeepSeek-V3.2), limitando sua usabilidade em ambientes com recursos restritos.

Estratégias de compressão existentes, como a poda de especialistas, visam reduzir a pegada de parâmetros removendo especialistas redundantes. No entanto, as metodologias de poda atuais sofrem de uma lacuna de modelagem fundamental: elas adotam predominantemente uma perspectiva por especialista, pontuando especialistas de forma independente com base em métricas como frequência de ativação ou magnitude de gating. Essa abordagem ignora a natureza inerentemente coalizacional da inferência MoE, onde a saída do modelo é gerada por uma composição não linear de uma coalizão específica de top- $k$ especialistas. Consequentemente, a pontuação independente corre o risco de desmantelar colaborações de especialistas de alta utilidade, levando a uma degradação desproporcional do desempenho em tarefas complexas, mesmo que especialistas individuais pareçam redundantes isoladamente.

2. Metodologia: Framework SHAPE

Os autores propõem o SHAPE (Shapley-guided, Coalition-Aware Expert Pruning), um framework orientado por tarefas que modela explicitamente a cooperação intra-camada entre especialistas. O SHAPE opera sem retreinamento, baseando-se em um pequeno conjunto de calibração para guiar as decisões de poda. A metodologia consiste em três componentes principais:

A. Calibração Orientada por Tarefa e Traços de Roteamento

O SHAPE realiza uma passagem offline em um pequeno conjunto de dados de calibração específico para a tarefa ( $D_{cal}$ ) usando o modelo não podado. Ele registra as decisões de roteamento (seleções de especialistas top- $k$ ) para cada token em todas as camadas MoE. Isso gera um conjunto de combinações observadas de especialistas (coalizões) e suas frequências de ativação, que servem como estatísticas empíricas que caracterizam a cooperação de especialistas condicionada à tarefa.

B. Utilidade Baseada em Coalizão e Valoração Estilo Shapley

Em vez de tratar os especialistas como unidades independentes, o SHAPE formula o processo de inferência como um jogo cooperativo empírico.

Definição de Utilidade: A utilidade de uma coalizão (um conjunto específico de $k$ especialistas) é definida por sua frequência de ativação observada no conjunto de calibração.
Contribuição Marginal: Para determinar o valor de um especialista, o SHAPE estima sua contribuição marginal para a utilidade da coalizão. Como remover um especialista de uma coalizão top- $k$ resulta em um subconjunto $(k-1)$ que não é diretamente observado sob o roteamento top- $k$ , o SHAPE aproxima a utilidade desses sub-coalizões usando estatísticas de coocorrência.
Aproximação Estilo Shapley: O framework calcula um escore estilo Shapley ( $\phi$ ) para cada especialista. Este escore faz a média da contribuição marginal do especialista em todas as coalizões das quais ele participa, ponderada pelo tamanho da coalizão.
Correção de Monotonicidade: Para garantir que a aproximação respeite o requisito de monotonicidade de jogos cooperativos (ou seja, a utilidade de uma coalizão não deve ser inferior às suas sub-coalizões), o SHAPE introduz um fator de escala conservador ( $\alpha$ ) derivado das frequências observadas. Isso evita a superestimação da substituibilidade dos especialistas.

C. Seleção de Cobertura de Qualidade Shapley

Para determinar quais especialistas manter, o SHAPE emprega uma regra de seleção de cobertura de qualidade em vez de um simples limiar baseado em contagem.

Cobertura por Camada: Para cada camada, o framework ordena os especialistas por seus escores Shapley não negativos. Ele seleciona o subconj auto de especialistas tal que sua massa Shapley cumulativa cubra uma fração $\alpha$ da contribuição total da camada.
Correspondência de Orçamento Global: Uma busca binária (bisseção) é usada para encontrar o limiar de cobertura $\alpha$ ideal que satisfaça uma taxa de manutenção global alvo (por exemplo, manter 60% ou 80% dos especialistas).
Preservação Estrutural: Esta abordagem garante que camadas com valores altamente concentrados retenham menos especialistas, enquanto camadas com contribuições difusas retenham mais, evitando o "colapso de camada", onde a poda afeta desproporcionalmente camadas específicas.

3. Principais Contribuições

Valoração de Especialistas Coalicional: O artigo reformula a poda de MoE de uma estimativa de importância individual para uma modelagem de contribuição consciente de coalizão. Introduz um mecanismo principista usando valores de Shapley para atribuir contribuições de especialistas condicionadas a coalizões roteadas, distinguindo entre especialistas frequentemente selecionados e aqueles essenciais para colaborações de alta utilidade.
Estratégia de Poda de Preservação de Topologia: O SHAPE propõe um mecanismo de seleção consciente da topologia que preserva a capacidade cooperativa por camada. Ao impor uma restrição de cobertura de qualidade baseada no valor Shapley cumulativo, ele evita desequilíbrios estruturais causados por ranking global ou contagens fixas por camada.
Validação Empírica: Experimentos extensivos demonstram que preservar a cooperação entre especialistas é crítico para uma compressão eficaz. O framework alcança uma poda significativa (até 40%) com degradação de desempenho desprezível em benchmarks intensivos de raciocínio, superando tanto baselines heurísticos quanto métodos de poda sem treinamento de última geração.

4. Resultados Experimentais

Os autores avaliaram o SHAPE em três backbones MoE modernos: Qwen3-30B-A3B, GPT-OSS-20B e DeepSeek-V2-Lite. A avaliação cobriu diversos benchmarks, incluindo raciocínio matemático (GSM8K, MATH-500), geração de código (HumanEval), QA de conhecimento (GPQA-Diamond) e QA médica.

Retenção de Desempenho: Sob uma razão de poda de 20%, o SHAPE manteve o desempenho comparável ao, e em alguns casos ligeiramente superior aos, baselines não podados. Com uma razão de poda de 40%, o SHAPE consistentemente superou os métodos de base (incluindo poda aleatória, baseada em frequência, baseada em gating, RAEP e EASY-EP), particularmente em tarefas de raciocínio intensivo onde a cooperação entre especialistas é crítica.
Robustez: Embora as tarefas de raciocínio (ex: GSM8K, GPQA-Diamond) tenham mostrado maior sensibilidade à poda, a abordagem consciente de coalizão do SHAPE preservou a precisão significativamente melhor do que as heurísticas por especialista. Modelos maiores (Qwen3, GPT-OSS) demonstraram maior resiliência, mas o SHAPE permaneceu eficaz mesmo no mais compacto DeepSeek-V2-Lite.
Eficiência de Memória: A poda reduziu diretamente a pegada de memória de pico da GPU. O estudo destacou que servir o pool completo de especialistas incorre em um overhead substancial de memória, independentemente da esparsidade de ativação. O SHAPE permitiu reduções claras no uso de VRAM (proporcionais à razão de poda) sem treinamento adicional ou mudanças arquitetônicas.
Estudos de Ablação: Comparações com ranking global e poda independente por camada confirmaram que a restrição de cobertura de qualidade é vital. A poda global levou ao desequilíbrio estrutural, enquanto a poda por camada falhou em considerar a distribuição de capacidade específica da tarefa. A abordagem equilibrada do SHAPE rendeu o desempenho mais estável através de todas as razões de poda.

5. Significância e Alegações

O artigo afirma que o SHAPE aborda uma limitação crítica na compressão atual de MoE: a falha em considerar a natureza cooperativa da inferência de especialistas. Ao mudar o foco de métricas individuais de especialistas para a utilidade coalicional, o SHAPE fornece uma solução robusta e sem treinamento para implantar modelos MoE massivos em ambientes com restrição de memória.

Os autores enfatizam que seu trabalho não requer retreinamento ou modificação arquitetônica, tornando-o uma otimização prática orientada para implantação. Os resultados sugerem que uma parte significativa do pool de especialistas em modelos MoE modernos contribui com utilidade marginal limitada quando considerados isoladamente, mas a estrutura de sua colaboração é o que sustenta o desempenho do modelo. O SHAPE identifica e preserva com sucesso essas estruturas colaborativas críticas, permitindo um equilíbrio favorável entre a capacidade do modelo e a pegada de recursos. O código de código aberto é fornecido para facilitar mais pesquisas e aplicações neste domínio.