Resumo Técnico: Poda Guiada por Atribuição e de Cobertura Maximizada para Compressão Estrutural de MoE

1. Declaração do Problema

Modelos de Mistura de Especialistas (MoE) oferecem alta capacidade de parâmetros com computação gerenciável ao ativar apenas um subconjço de especialistas por token. No entanto, a implantação desses modelos permanece cara devido às substanciais pegadas de memória e sobrecarga de inferência. Embora a poda estrutural seja uma solução promissora, os métodos existentes enfrentam limitações significativas:

• Granularidade Grossa: Abordagens anteriores operam ao nível do especialista, removendo especialistas inteiros ou classificando-os por importância. Isso falha em capturar a redundância interna dentro de especialistas de "alta importância", onde a informação é frequentemente concentrada em apenas alguns canais.
• Estimativa de Importância Imprecisa: Métricas existentes para importância de especialistas (ex: pesos do roteador, uso de tokens, estatísticas brutas de ativação/gradiente) estão frequentemente desalinhadas com a contribuição real de um especialista para a perda final. Estatísticas do roteador refletem a frequência de seleção, não a utilidade, e estatísticas brutas exibem vieses dependentes da camada que tornam a comparação entre camadas não confiável.
• Alocação de Orçamento Ineficiente: Alocar orçamentos de poda baseados em classificações grosseiras de especialistas leva ao desperdício de capacidade em estruturas de baixa contribuição e falha em otimizar o equilíbrio entre compressão e precisão em MoEs de larga escala com centenas de especialistas.

2. Metodologia

Os autores propõem um framework de poda estrutural adaptado para MoEs, consistindo em três componentes principais: Aproximação de Perda Guiada por Atribuição (ALA), Alocação de Orçamento de Cobertura Maximizada (CBA) e Redistribuição Consciente de Alinhamento (AAR).

2.1 Aproximação de Perda Guiada por Atribuição (ALA)

Para lidar com o alto custo da ablação especialista-por-especialista (que escala linearmente com o número de especialistas), os autores derivam um proxy eficiente para a importância do especialista usando uma expansão de Taylor de primeira ordem.

• Derivação: A mudança na perda induzida pela remoção de um especialista $e$ é aproximada como $\Delta L^{(e)} \approx -(\frac{\partial L}{\partial z_{\ell,e}})^\top z_{\ell,e}$, onde $z_{\ell,e}$ é a saída do especialista e $\frac{\partial L}{\partial z_{\ell,e}}$ é o gradiente em relação a essa saída.
• Eficiência: Isso permite a estimativa da importância para todos os especialistas em uma camada via uma única passagem de backward, reduzindo o tempo de calibração em 14–26$\times$ em comparação com a ablação exaustiva.

2.2 Alocação de Orçamento de Cobertura Maximizada (CBA)

Motivados pela observação de que a informação nos especialistas MoE está altamente concentrada em uma pequena fração de canais, os autores reformulam o objetivo de poda. Em vez de alocar uma razão de poda fixa por especialista, o objetivo é maximizar a cobertura de pontuação de canais cumulativa sob um orçamento global.

• Mecanismo: Os canais dentro de cada especialista são ordenados por suas pontuações (derivadas de ALA). O algoritmo busca uma razão de cobertura alvo $\rho$ para cada especialista de modo que o número total de canais retidos atenda ao orçamento de poda global enquanto maximiza a soma das pontuações dos canais retidos.
• Benefício: Esta abordagem prioriza a retenção de canais de alta contribuição e poda agressivamente as caudas de baixa pontuação, evitando o desperdício de capacidade em estruturas redundantes que métodos uniformes ou baseados em razão incorrem.

2.3 Redistribuição Consciente de Alinhamento (AAR)

Para garantir a compatibilidade com quantização de baixo bit e kernels eficientes de hardware (ex: GEMM), as dimensões dos canais devem ser múltiplos de um tamanho de bloco $a$ (ex: 64 ou 128).

• Processo: Após o CBA determinar as contagens de canais ideais, o AAR realiza um alinhamento para baixo até o múltiplo mais próximo de $a$. Os canais "restantes" liberados por esse arredondamento são redistribuídos para especialistas com as maiores frações de resto (usando a regra do maior resto de Hamilton).
• Objetivo: Isso garante que o modelo podado satisfaça as restrições de kernel sem desvio significativo da alocação ideal baseada em cobertura, prevenindo a degradação de desempenho devido ao padding ou acesso ineficiente à memória.

3. Principais Contribuições

1. Observação de Redundância Interna: O artigo demonstra que a informação MoE está altamente concentrada em uma pequena fração de canais, tornando as métricas de importância ao nível do especialista muito grosseiras para uma compressão estrutural eficaz.
2. Novo Objetivo de Poda: Os autores introduzem a cobertura de pontuação de canal como um objetivo de poda, reformulando a alocação de capacidade para maximizar a cobertura sob um orçamento global. Este é o primeiro trabalho que otimiza explicitamente para cobertura de pontuação em vez de simples razões de poda.
3. Framework Eficiente: Eles propõem um framework escalável combinando:
   • ALA: Uma aproximação baseada em atribuição para estimativa de importância de especialista que reduz as horas de GPU em 20$\times$ comparado à ablação.
   • CBA: Um algoritmo baseado em busca binária para alocar orçamentos que maximizam a cobertura de pontuação.
   • AAR: Uma estratégia de redistribuição para satisfazer restrições de kernel de baixo bit.
4. Validação Empírica: Experimentos extensivos nas arquiteturas DeepSeek e Qwen MoE mostram que o método alcança mais de 5$\times$ compressão com perda de precisão negligível em tarefas de conhecimento geral e mantém forte desempenho em benchmarks de raciocínio.

4. Resultados Experimentais

O framework foi avaliado no DeepSeek-MoE-16B, DeepSeek-V2-Lite, Qwen1.5-MoE-A2.7B e Qwen3-30B-A3B.

• Conhecimento Geral: Sob uma razão de poda de 25% combinada com quantização de 4 bits ($P25\% Q4b$), o método alcançou redução de armazenamento de mais de 5$\times$. No Qwen3-30B-A3B, a pegada de memória foi reduzida em 5.27$\times$ (de 61.06GB para 11.64GB) com uma queda de precisão média de no máximo 1% em benchmarks gerais (ex: MMLU, ARC).
• Tarefas de Raciocínio: Em benchmarks de raciocínio (GSM8K, MATH500), os modelos comprimidos consistentemente se aproximaram ou superaram seus correspondentes originais. Por exemplo, o Qwen3-30B-A3B sob 50% de poda reteve uma pontuação de 94.5 no MATH500 (comparado ao baseline de 92.8).
• Eficiência: O método superou baselines de estado da arte (incluindo Wanda, MoNE, EAC-MoE e PuzzleMoE) através de diversos benchmarks. Também demonstrou desempenho robusto sob diferentes estratégias de roteamento (top-1 a top-6) e corpora de calibração.
• Throughput: A redistribuição consciente de alinhamento melhorou significativamente o throughput de inferência. Para o Qwen3-30B-A3B, dimensões alinhadas (128) renderam 14.21 tokens/s comparado a 10.23 tokens/s para dimensões não alinhadas sob 50% de esparsidade.

5. Significância e Alegações

O artigo afirma fornecer um caminho prático para a implantação eficiente de MoE ao abordar o descompasso entre a importância ao nível do especialista e a redundância de canais interna.

• Escalabilidade: Ao substituir a ablação exaustiva pela aproximação baseada em atribuição, o método escala para MoEs com centenas de especialistas, um regime onde métodos anteriores baseados em perda eram computacionalmente proibitivos.
• Otimização de Grão Fino: A mudança da poda ao nível do especialista para a maximização de cobertura ao nível do canal permite uma alocação de capacidade mais precisa, preservando informações críticas enquanto remove ruído.
• Compatibilidade de Hardware: A integração da redistribuição consciente de alinhamento garante que os modelos comprimidos sejam não apenas menores, mas também compatíveis com quantização de baixo bit e kernels de alta vazão, abordando um gargalo crítico na implantação real.

Os autores posicionam este trabalho como um passo fundamental para mover a compressão de MoE de decisões grosseiras ao nível do especialista para a otimização de grão fino ao nível do canal, permitindo a implantação de modelos MoE de larga escala com requisitos de memória e computação significativamente reduzidos.