🤖 machine learning

MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation

O MAPLE é um framework plug-and-play que otimiza a eficiência de modelos pré-treinados de Mixture-of-Experts (MoE) ao realocar analiticamente e geneticamente orçamentos de especialistas heterogeneamente entre as camadas com base na sensibilidade, alcançando precisão superior e reduções significativas de latência sem exigir modificações de pesos ou retreinamento.

Autores originais: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

Publicado 2026-08-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A inteligência artificial moderna frequentemente depende de massivos cérebros digitais chamados Transformers, que processam linguagem ao passar informações por uma longa cadeia de camadas. Pense nessas camadas como uma série de estações de processamento onde o modelo aprende a entender contexto, gramática e significado. Nos últimos anos, engenheiros tornaram esses modelos mais eficientes usando um design chamado Mixture-of-Experts (Mistura de Especialistas). Em vez de cada estação usar a mesma quantidade de poder computacional, o modelo ativa apenas alguns sub-redes especializadas, ou "especialistas", para cada trecho de texto que lê. Isso permite que o sistema seja muito grande e capaz sem exigir quantidades impossíveis de energia para funcionar. No entanto, uma regra padrão governou como esses especialistas são usados: cada camada individual na cadeia é forçada a ativar exatamente o mesmo número de especialistas, independentemente de a camada realmente precisar de tanta ajuda ou não.

Uma equipe de pesquisadores da Universidade de Bristol desafiou essa regra uniforme, propondo que diferentes camadas em um modelo de IA têm necessidades muito distintas. Algumas camadas são altamente sensíveis e requerem muitos especialistas para funcionar corretamente, enquanto outras são redundantes e podem operar com muito menos sem perder a precisão. Eles desenvolveram um novo método chamado MAPLE, que atua como uma ferramenta "plug-and-play". Isso significa que ele pode ser aplicado a modelos existentes e pré-treinados sem a necessidade de retreiná-los ou alterar seus pesos internos. O sistema funciona primeiro testando o quanto o desempenho de cada camada cai se você reduzir o número de especialistas que ela utiliza. Em seguida, utiliza essas medições para criar um mapa personalizado, deslocando o orçamento computacional para longe das camadas que podem dispensá-lo e direcionando esses recursos para as camadas que mais precisam deles.

Os resultados desta abordagem são impressionantes. Quando os pesquisadores testaram o MAPLE em quatro modelos de linguagem de grande escala diferentes, descobriram que simplesmente redistribuir os recursos existentes era mais eficaz do que usá-los de forma uniforme. Em um teste específico usando um modelo chamado DeepSeek-MoE-16B, o novo método conseguiu superar o modelo original, totalmente carregado, utilizando apenas 75% dos especialistas disponíveis. Em vários benchmarks de raciocínio, a precisão melhorou significamente; por exemplo, em uma tarefa de resposta a perguntas científicas, a pontuação saltou de 65,09 para 71,40, e em um teste de raciocínio lógico, subiu de 48,49 para 51,50. Isso demonstra que a antiga suposição de uniformidade estava limitando os modelos, e que uma distribuição de esforço mais inteligente e desigual produz melhores resultados.

Além de obter respostas mais inteligentes, este método torna os modelos mais rápidos e baratos de operar. Como menos especialistas estão sendo ativados, o computador tem menos trabalho para realizar para cada pergunta que responde. Quando os pesquisadores implementaram o MAPLE em um sistema de serviço do mundo real, mediram uma redução de 32,2% no tempo que levava para gerar uma resposta em uma única placa gráfica. Ao mesmo tempo, o sistema pôde lidar com 47,4% mais solicitações por segundo. Esses ganhos foram alcançados sem alterar a estrutura central do modelo ou descartar qualquer conhecimento aprendido; o sistema simplesmente aprendeu a usar suas partes existentes de forma mais eficiente. Os pesquisadores confirmaram que essa melhoria não foi um acaso de um teste específico, mas um achado robusto que se manteve em diferentes tipos de tarefas de raciocínio e mesmo quando o modelo era escalonado para cima ou para baixo.

O estudo também explorou como este método lida com a complexa tarefa de raciocínio de múltiplos passos, onde o modelo deve gerar uma longa cadeia de pensamentos para resolver um problema. Mesmo nesses cenários exigentes, o modelo redistribuído manteve sua precisão enquanto cortava o tempo total necessário para resolver os problemas em mais da metade em alguns casos. Os pesquisadores mostraram que o método é flexível o suficiente para trabalhar com diferentes modelos e que o plano de alocação que ele cria pode ser reutilizado para várias tarefas sem precisar ser recalculado a cada vez. Ao provar que uma abordagem de tamanho único é suboptimal, este trabalho oferece uma maneira prática e fundamentada de tornar os grandes sistemas de inteligência artificial mais eficientes, poderosos e prontos para implantação no mundo real.

Resumo Técnico: MAPLE – Alocação de Especialistas por Camada Adaptativa e Plug-and-Play de MoE

Definição do Problema
Os atuais Transformers de Mistura de Especialistas (MoE) de ativação esparsa utilizam universalmente uma estratégia de roteamento uniforme, ativando o mesmo número fixo de especialistas em todas as camadas. Essa convenção ignora a heterogeneidade bem documentada na redundância e na importância dos especialistas por camada. Os autores argumentam que essa uniformidade é sistematicamente subótima: ela falha em direcionar a capacidade computacional para as camadas que são sensíveis a variações na contagem de especialistas, enquanto desperdiça recursos em camadas redundantes. As soluções existentes para melhorar a eficiência de MoE, como poda não estruturada, fusão de especialistas ou compressão estruturada, geralmente exigem reconstrução de pesos, dados de calibração adicionais, retreinamento ou mudanças arquiteturais permanentes, tornando-as inadequadas para implantação "plug-and-play" em modelos pré-treinados.

Metodologia
O artigo propõe o MAPLE (MoE Adaptive Plug-and-Play Layer-wise Expert Allocation), um framework que realoca o orçamento de especialistas roteados de forma heterogênea entre as camadas de um modelo de Linguagem de Grande Escala (LLM) MoE pré-treinado sem modificar pesos, realizar retreinamento ou alterar a arquitetura do modelo. O MAPLE opera em três fases distintas:

Modelagem de Sensibilidade por Camada:
O framework sonda cada camada individualmente, variando o número de especialistas roteados ( $e$ ) enquanto mantém outras camadas fixas na contagem base ( $k_0$ ). Ele registra a acurácia de validação $A_l(e)$ para cada configuração.
- Ótimo de camada única ( $k^*_l$ ): A contagem de especialistas que maximiza a acurácia para uma camada específica.
- Medidas de Sensibilidade: Para quantificar quão fortemente uma camada responde às mudanças na contagem de especialistas, o MAPLE utiliza três métricas leves:
  - $s^{acc}_l$ : A amplitude da variação de acurácia ( $\max A_l(e) - \min A_l(e)$ ).
  - $s^w_l$ : A variância dos tensores de parâmetros dentro da camada.
  - $s^{out}_l$ : O Erro Quadrático Médio (MSE) entre a saída da camada com $e$ especialistas e sua saída com os $k_0$ especialistas base.
- Os autores utilizam por padrão a amplitude de acurácia ( $s^{acc}_l$ ) como a principal métrica de sensibilidade.
Alocação de Forma Fechada Guiada por Sensibilidade:
O MAPLE formula a realocação de especialistas como um problema de otimização restrita. O objetivo é encontrar um vetor de alocação $\mathbf{k} = [k_1, \dots, k_L]$ que permaneça próximo ao ótimo de camada única de cada camada ( $k^*_l$ ), ponderado pela sensibilidade ( $s_l$ ), sujeito a um orçamento global de especialistas $K$ .
- O objetivo minimiza o desvio quadrático ponderado: $\min \sum w_l (k_l - k^*_l)^2$ onde $w_l = s_l$ .
- Uma abordagem de multiplicador de Lagrange produz uma solução contínua ( $k^{cont}_l$ ). O excedente ou déficit de especialistas em relação ao orçamento é atribuído preferencialmente às camadas de baixa sensibilidade.
- A solução contínua é limitada aos intervalos viáveis $[k_{min}, k_{max}]$ e convertida em uma alocação inteira usando o método do maior resto.
Refinamento Genético Restrito pela Sensibilidade:
Para abordar artefatos de arredondamento e interações entre camadas, um algoritmo genético leve refina a solução de forma fechada.
- Mutação: Candidatos são gerados via mutação Gaussiana onde a variância é inversamente proporcional à sensibilidade da camada ( $\sigma^2_l \propto 1/s_l$ ), garantindo que camadas de alta sensibilidade recebam perturbações menores.
- Seleção: Os dois melhores candidatos (elites) são retidos por geração, e a população é regenerada sem cruzamento (crossover).
- Este processo converge rapidamente (frequentemente em poucas gerações) para uma alocação final $\mathbf{k}_{best}$ .

Principais Contribuições

Framework Plug-and-Play: O MAPLE é o primeiro método a propor um framework totalmente post-hoc, livre de pesos, para alocação heterogênea de especialistas em modelos MoE pré-treinados. Ele não requer retreinamento, atualização de pesos ou modificações arquiteturais.
Otimização Guiada por Sensibilidade: O artigo introduz uma solução analítica de forma fechada para a realocação de especialistas baseada na sensibilidade por camada, refinada por uma busca genética restrita pela sensibilidade. Isso evita o custo computacional de busca exaustiva ou aprendizado por reforço.
Desempenho com Orçamento Reduzido: O método demonstra que a alocação heterogênea pode superar a alocação uniforme mesmo quando o orçamento total de especialistas roteados é reduzido (por exemplo, para 75%), superando efetivamente o desempenho da linha de base uniforme original de orçamento total.

Resultados Experimentais
Os autores avaliaram o MAPLE em quatro modelos MoE (DeepSeek-MoE-16B, DeepSeek-V2-Lite, Moonlight-16B-A3B e OLMoE-1B-7B) em sete benchmarks (ARC-E, ARC-C, BoolQ, PIQA, RTE, GSM8K, BBH).

Ganhos de Acurácia: Sob um orçamento de 75% de especialistas roteados, o MAPLE superou as linhas de base uniformes e os métodos baseados em poda (SparseGPT, Wanda, EPP, MoNE, LExI) em todos os modelos.
- No DeepSeek-MoE-16B, usando apenas 75% dos especialistas, o MAPLE melhorou a acurácia no ARC-E (65,09% $\to$ 71,40%), ARC-C (48,49% $\to$ 51,50%) e BoolQ (80,03% $\to$ 82,38%) em comparação com a linha de base uniforme de 100% original.
- No OLMoE-1B-7B, o MAPLE alcançou a melhor acurácia média, melhorando em 4,13 pontos em relação à linha de base de orçamento total.
Raciocínio de Longa Duração: No GSM8K e BBH, o MAPLE manteve uma acurácia competitiva (dentro de 0,61 pontos no GSM8K) enquanto reduziu significativamente o tempo de avaliação (redução de 53,0% no GSM8K).
Eficiência de Implantação: Implementado no SGLang, o MAPLE reduziu a latência de serviço fim-a-fim por GPU única em 32,2% e melhorou o throughput em 47,4%. Isso é alcançado ao ignorar a lógica de despacho de múltiplos especialistas para camadas designadas com um único especialista ativo ( $k=1$ ).
Robustez: Estudos de ablação confirmaram que a métrica de amplitude de acurácia é o sinal de sensibilidade mais eficaz. O método mostrou estabilidade entre sementes aleatórias e generalização entre tarefas (transferência entre tarefas), indicando que os padrões de sensibilidade identificados são intrínsecos às camadas do modelo e não um sobreajuste a conjuntos de calibração específicos.

Significância e Alegações
O artigo afirma que o MAPLE estabelece um "eixo principiado e prático" para melhorar a eficiência de MoE. Sua principal significância reside em demonstrar que uma alocação heterogênea bem projetada é mais eficaz do que simplesmente ativar mais especialistas. Ao provar que a capacidade pode ser redistribuída para corresponder às demandas heterogêneas de diferentes camadas sem retreinamento, o MAPLE oferece um caminho econômico para implantar modelos MoE mais eficientes. Os autores enfatizam que sua abordagem evita o overhead dos métodos existentes de poda ou compressão, tornando-a imediatamente aplicável a modelos pré-treinados existentes em ambientes de produção.

Limitações e Trabalhos Futuros
Os autores reconhecem que sua avaliação atual é limitada a ambientes de GPU específicos (NVIDIA RTX A6000) e motores de serviço (SGLang, vLLM). O trabalho futuro envolve a avaliação do MAPLE em diversas plataformas de hardware (CPUs, dispositivos de borda) e sob cenários de inferência do mundo real mais amplos para avaliar como a redução da computação de especialistas se traduz em benefícios reais de latência, memória e energia sob diferentes restrições de sistema.

Mais como este