🤖 machine learning

Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models

Este artigo propõe um método livre de treinamento para reduzir à metade o custo computacional de modelos de Mistura de Especialistas de granularidade fina durante a inferência, ao desacoplar a seleção de especialistas da renormalização de probabilidade, preservando assim o desempenho ao normalizar em relação a um conjunto de referência de especialistas maior, em vez do conjunto ativo reduzido.

Autores originais: Xing Chen, Hengshuai Yao

Publicado 2026-09-07✓ Author reviewed ⓘ

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xing Chen, Hengshuai Yao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os sistemas modernos de inteligência artificial que geram texto frequentemente dependem de um design que separa a quantidade total de conhecimento que possuem da quantidade de pensamento que realizam para cada palavra. Imagine uma biblioteca massiva contendo milhares de livros especializados, mas, para cada frase escrita, o sistema abre apenas um punhado deles para encontrar a informação correta. Essa abordagem, conhecida como modelo de Mistura de Especialistas (Mixture-of-Experts), permite que os computadores armazenem enormes quantidades de dados sem ficarem lentos toda vez que falam. O sistema utiliza um pequeno guia interno para decidir quais livros específicos abrir para cada palavra, garantindo que apenas uma fração minúscula da biblioteca total seja consultada em qualquer momento. Isso cria uma situação única: o computador deve manter todos os livros em suas prateleiras para estar pronto para qualquer tópico, mas ele só lê algumas páginas por vez.

Como o computador deve manter todas essas seções especializadas em sua memória, pesquisadores há muito buscam maneiras de tornar o sistema mais rápido, forçando-o a ler ainda menos páginas. O método padrão para fazer isso é simples: dizer ao sistema para abrir menos livros por frase. No entanto, essa abordagem direta historicamente fez com que o sistema ficasse confuso e cometesse mais erros. A confusão surge não porque o sistema carece dos livros certos, mas porque a maneira como ele pondera a informação desses livros muda inesperadamente quando o número de livros é reduzido. Um novo estudo de Xing Chen e Hengshuai Yao revela que essa confusão é causada por um ajuste matemático oculto que o sistema faz automaticamente, e eles descobriram uma maneira de desligar esse ajuste sem a necessidade de retreinar o sistema ou adicionar quaisquer novos componentes.

Os pesquisadores focaram em dois modelos de linguagem muito grandes, um com 35 bilhões de parâmetros e outro com quase 400 bilhões. Esses modelos são projetados com centenas de pequenas seções especializadas, ou especialistas, para cada camada de processamento. Em sua operação padrão, o sistema seleciona oito desses especialistas para cada palavra que processa. Quando os pesquisadores tentaram acelerar o sistema cortando esse número pela metade, forçando-o a usar apenas quatro especialistas, o desempenho caiu significativamente. Em um teste padrão de conhecimento geral, a precisão caiu quase cinco pontos. Essa perda foi tão severa que muitos assumiram que reduzir o número de especialistas ativos era simplesmente caro demais para ser útil. Os pesquisadores suspeitavam que o problema não era a perda dos especialistas em si, mas sim como o sistema recalibrava a importância dos restantes.

Na configuração padrão, quando o sistema escolhe seus principais especialistas, ele ajusta a influência deles para que sua importância combinada sempre some um total fixo. Este é um mecanismo de segurança para manter o sistema estável. No entanto, nesses modelos de grão fino, os oito principais especialistas geralmente detêm apenas uma pequena fração da importância total possível. Quando o sistema é forçado a escolher apenas quatro especialistas, o ajuste padrão multiplica a influência deles por um fator grande para compensar a diferença. Esse aumento repentino empurra o sistema para um estado que ele nunca foi treinado para lidar, fazendo com que ele reaja exageradamente e cometa erros. Os pesquisadores perceberam que o sistema não estava realmente perdendo informação; estava apenas sendo instruído a gritar mais alto do que deveria.

Para corrigir isso, a equipe introduziu uma mudança simples que não requer treinamento nem poder de computação extra. Eles separaram a decisão de quais especialistas usar da decisão de como ponderar sua importância. Eles permitiram que o sistema escolhesse apenas quatro especialistas para realizar o trabalho, mas disseram a ele para calcular os pesos de importância com base nos dezesseis principais especialistas, em vez de apenas nos quatro principais. Ao fazer isso, o sistema manteve o mesmo volume de informação que estava acostumado a ouvir, embora estivesse usando metade do número de seções ativas. Esse pequeno ajuste, que envolve a mudança de uma única configuração de número inteiro, mudou completamente o resultado. No modelo de 35 bilhões de parâmetros, reduzir os especialistas ativos de oito para quatro com esta nova configuração fez com que a precisão caísse por apenas 0,35 pontos, uma diferença tão pequena que era estatisticamente indistinguível do sistema original, mais lento.

O estudo também testou este método no modelo muito maior de 400 bilhões de parâmetros, onde os resultados foram similarmente dramáticos. Cortar os especialistas ativos pela metade com o método padrão causou uma perda significativa de desempenho, mas o uso do novo método de ponderação reduziu a perda para apenas 0,55 pontos. Os pesquisadores descobriram que a melhor configuração para este novo peso dependia da tarefa específica. Por exemplo, uma configuração que fazia o sistema soar melhor ao ler texto não sempre fazia com que ele performasse melhor em enigmas de lógica ou testes de conhecimento. Essa descoberta sugere que simplesmente medir o quão bem um modelo comprimido lê texto não é suficiente para garantir que ele funcionará bem em outras tarefas. Os pesquisadores concluíram que, para reduzir com segurança o poder de computação necessário para esses modelos, deve-se ajustar cuidadosamente esta configuração de peso usando testes de desempenho reais, em vez de confiar apenas na fluência do texto.

O artigo também explorou por que simplesmente remover os especialistas extras permanentemente, em vez de apenas usá-los temporariamente, é difícil. Eles descobriram que esses modelos são altamente especializados, com diferentes especialistas lidando com diferentes tipos de conteúdo, como código ou escrita geral. Como os especialistas são tão especializados e o sistema é tão bem equilibrado, há muito pouco espaço para deletar permanentemente sem perder a capacidade de lidar com tópicos diversos. O caminho mais eficaz para frente, portanto, não é jogar fora partes do modelo, mas simplesmente dizer a ele para usar menos partes por vez enquanto mantém o volume total de informação que processa constante. Esta abordagem oferece uma maneira de tornar esses sistemas poderosos mais rápidos e eficientes, sem sacrificar sua inteligência, simplesmente corrigindo um erro de calibração oculto que ocorre quando as regras de engajamento mudam.

Resumo Técnico: Redução Sem Treinamento da Ativação de Especialistas em Modelos de Mistura de Especialistas de Grão Fino

Declaração do Problema

Modelos modernos de Mistura de Especialistas (MoE) de grão fino, como a série Qwen3, utilizam centenas de pequenas sub-redes de especialistas por camada, roteando cada token para um pequeno subconjunto ( $k$ ) delas. Embora essa arquitetura desacople a contagem de parâmetros do computação por token, ela cria uma assimetria entre memória e computação: todos os especialistas devem residir na memória, mas apenas uma fração está ativa.

Uma abordagem comum para reduzir a computação de inferência é diminuir o número de especialistas ativados ( $k$ ) em tempo de execução. No entanto, implementações padrão renormalizam implicitamente as probabilidades do roteador dos especialistas selecionados para que elas somem um. Em roteadores de grão fino, as probabilidades do top- $k$ frequentemente somam uma pequena fração da massa de probabilidade total (ex: 0,182 para o top-8 de 256). Consequentemente, a renormalização aplica um ganho significativo (fator de amplificação) às saídas dos especialistas selecionados.

O artigo identifica que reduzir $k$ na inferência sem ajustar este processo de renormalização funde dois efeitos:

Perda de Capacidade: A remoção de especialistas.
Descalibração de Ganho: Os especialistas restantes são amplificados por um fator maior do que aquele para o qual o modelo foi treinado, empurrando a contribuição do ramo dos especialistas para o fluxo residual além de seu regime calibrado.

Esta descalibração leva a uma degradação severa de desempenho (ex: uma queda de 4,65 pontos na precisão do MMLU ao reduzir os especialistas de 8 para 4 em um modelo de 35B), fazendo com que a simples redução de $k$ pareça inviável.

Metodologia

Os autores propõem um método sem treinamento para desacoplar a seleção de especialistas da normalização (calibração de ganho) de suas saídas.

A Renormalização Desacoplada

Em vez de normalizar pela massa dos especialistas do top- $k_1$ selecionados, o método normaliza pela massa de um conjunto de referência de um conjunto separado de $k_2$ especialistas:

$w_i = \frac{p_i}{\sum_{j \in T_{k_2}} p_j}, \quad i \in T_{k_1}$

Onde:

$k_1$ : O número de especialistas realmente ativados (controla a computação).
$k_2$ : O tamanho do conjunto de referência usado para o denominador (controla o ganho).
$T_{k_1}$ : O conjunto de índices para os top- $k_1$ especialistas.
$T_{k_2}$ : O conjunto de índices para os top- $k_2$ especialistas.

Propriedades Principais

Zero Treinamento/Parâmetros: Isso requer apenas a mudança de um inteiro ( $k_2$ ) na inferência. Nenhum peso é modificado e nenhum ajuste fino (fine-tuning) é realizado.
Sobrecarga Desprezível: O roteador já computa as probabilidades para todos os $E$ especialistas. Selecionar um $k_2$ maior para o denominador envolve uma seleção top- $k$ ligeiramente mais ampla sobre os logits já computados, o que é desprezível comparado ao custo de avaliar as FFNs dos especialistas.
Escalonamento Adaptativo: Quando $k_2 > k_1$ , os pesos somam menos que 1, resultando em um escalonamento descendente adaptável à entrada do ramo dos especialistas, ancorando efetivamente o ganho à distribuição de treinamento.

Contribuições e Descobertas Principais

1. O Conjunto de Referência é uma Variável Livre

O artigo demonstra que o denominador da renormalização não precisa coincidir com a contagem de ativação. Ao definir $k_2$ como o $k$ treinado do modelo (ou um valor em $[k, 2k]$ ) enquanto reduz $k_1$ , o ganho é preservado.

Resultado: No Qwen3.6-35B-A3B, reduzir os especialistas ativados de 8 para 4 ( $k_1=4$ ) com a renormalização padrão ( $k_2=4$ ) reduz o MMLU em 4,65 pontos. Com o método proposto ( $k_2=16$ ), a queda é de apenas 0,35 pontos, o que é estatisticamente indistinguível da linha de base.
Resultado: No Qwen3.5-397B-A17B, 11 $\times$ maior, reduzir de 10 para 5 especialistas ( $k_1=5$ ) perde apenas 0,55 pontos com $k_2=10$ , comparado a uma perda de 2,10 pontos com a renormalização padrão.

2. Identidade do Especialista vs. Ponderação

O estudo analisa se o modelo é mais sensível a quais especialistas são escolhidos ou a quanto eles são ponderados.

Descoberta: A identidade do especialista é substancialmente mais importante do que a ponderação. Substituir os pesos do roteador por pesos uniformes (mantendo a mesma seleção top-8) aumenta a perplexidade em 49,7%. Selecionar especialistas aleatoriamente aumenta-a em 1667%.
Implicação: Isso valida o método proposto: desde que os especialistas corretos sejam selecionados ( $k_1$ ), o modelo pode tolerar uma distorção significativa na magnitude de seus pesos (via correção $k_2$ ).

3. Perplexidade vs. Precisão em Tarefas de Jusante (Downstream)

O artigo alerta contra o uso de perplexidade isoladamente para selecionar hiperparâmetros de compressão.

Descoberta: No modelo de 35B, a perplexidade é minimizada em $k_2=8$ (o $k$ treinado), mas a precisão do MMLU é maximizada em $k_2=16$ . A configuração otimizada para perplexidade resulta em uma queda de 1,10 pontos no MMLU em relação à configuração otimizada para precisão.
Implicação: Selecionar $k_2$ com base em texto não rotulado (perplexidade) pode levar a configurações subótimas para tarefas de jusante. A validação deve ser realizada em tarefas de jusante usando testes de significância pareada.

4. Limites da Poda de Especialistas

Os autores analisam a viabilidade de remover especialistas inteiramente (poda/pruning) versus apenas reduzir a ativação.

Descoberta: O roteador é bem equilibrado, com quase nenhum especialista "morto". Além disso, a especialização dos especialistas é altamente dependente de domínio (ex: WikiText vs. Code possuem baixa sobreposição de especialistas).
Implicação: Podar especialistas para um modelo de propósito geral oferece pouco espaço, pois a união dos especialistas top de domínios específicos cobre quase todo o conjunto. A alavanca do lado da computação (reduzir $k_1$ com $k_2$ corrigido) é mais eficaz do que a poda estrutural para esses modelos de grão fino.

Significância e Alegações

O artigo afirma que o equilíbrio percebido entre redução de computação e precisão em modelos MoE de grão fino é, em grande parte, um artefato da descalibração de ganho implícita causada pela renormalização padrão.

Eficiência Sem Treinamento: O método permite reduzir pela metade a computação dos especialistas ativados com perda desprezível na precisão de tarefas de jusante, exigindo nenhum treinamento, destilação ou modificação de parâmetros.
Reavaliação de Trabalhos Anteriores: Os autores sugerem que relatos anteriores de degradação "precipitada" ao reduzir $k$ em modelos de grão fino podem ser excessivamente pessimistas porque não desacoplaram o conjunto de referência.
Mudança Metodológica: O artigo defende a varredura de $k_2 \in \{k_1, k, 2k\}$ e a validação via testes pareados em tarefas de jusante, em vez de confiar na perplexidade ou em configurações de renormalização padrão.

O trabalho é limitado a modelos específicos da série Qwen e domínios Inglês/Python, e os autores observam que o efeito escala com a planaridade do roteador, sugerando que MoEs de grão mais grosso (ex: 8 especialistas, top-2) podem se beneficiar menos.