💬 NLP

$\infty$ -MoE: Generalizing Mixture of Experts to Infinite Experts

O artigo propõe o $\infty$ -MoE, uma arquitetura inovadora que generaliza o Mixture of Experts para um espaço infinito ao selecionar porções contínuas de parâmetros de uma grande rede feed-forward por token, permitindo assim um treinamento eficaz com um número massivo de especialistas, ao mesmo tempo em que alcança um desempenho comparável a modelos densos muito maiores e oferece um equilíbrio flexível entre precisão e velocidade.

Autores originais: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está administrando uma biblioteca massiva e de alta tecnologia, onde cada livro representa um fragmento de conhecimento. Em uma biblioteca tradicional (um modelo de IA padrão), você tem alguns bibliotecários de uso geral muito grandes. Quando você faz uma pergunta, todos os bibliotecários tentam responder e suas respostas são misturadas. Isso é preciso, mas lento e caro, porque você está pagando todos eles para trabalhar em cada pergunta.

Para corrigir isso, pesquisadores inventaram o Mixture of Experts (MoE). Em vez de todos trabalharem, você tem um "Bibliotecário Chefe" (chamado de roteador) que olha para sua pergunta e escolhe apenas dois bibliotecários específicos para responder. Isso é muito mais rápido e barato. No entanto, há um problema: nesse setup tradicional, você tem que decidir exatamente quantos bibliotecários contratar (por exemplo, 16 ou 100). Se você contratar muitos, o Bibliotecário Chefe ficará confuso sobre quem escolher, e treinar todo o sistema se tornará um pesadelo. É como tentar gerenciar uma equipe de 1.000 pessoas quando você só consegue falar com duas de cada vez; é difícil manter todos sincronizados.

A Nova Ideia: ∞-MoE (Infinite Mixture of Experts)

Os autores deste artigo, da Universidade de Tóquio, fizeram uma pergunta ousada: E se não tivéssemos um número fixo de bibliotecários? E se tivéssemos um número infinito deles?

Eles chamam seu novo sistema de ∞-MoE. Veja como ele funciona, usando uma analogia simples:

1. O "Espaço de Especialistas" Contínuo

Em vez de ter o Bibliotecário nº 1, o Bibliotecário nº 2 e o Bibliotecário nº 3 sentados em uma fila, imagine que os bibliotecários estão espalhados por um mapa infinito e contínuo.

No sistema antigo, você tinha que escolher pontos específicos em um mapa (como o "Bibliotecário na coordenada 5").
No novo sistema, o Bibliotecário Chefe desenha uma nuvem no mapa para cada pergunta que você faz. Essa nuvem representa um intervalo de especialistas que podem ser úteis.

2. Amostragem em vez de Escolha

Quando você faz uma pergunta, o Bibliotecário Chefe não apenas escolhe duas pessoas específicas. Em vez disso, ele tira uma "foto" (uma amostra) daquela nuvem.

Ele pode escolher um ponto na coordenada 5.2.
Ele pode escolher um ponto na coordenada 5.3.
Como o mapa é contínuo, toda vez que ele tira uma foto, ele obtém um especialista único que nunca existiu antes.

3. A "Máscara" (Ligando e Desligando Neurônios)

Como você tem especialistas infinitos sem construir computadores infinitos? O segredo está na máscara.
Pense no cérebro de uma IA como uma gigantesca grade de lâmpadas (neurônios).

Em uma IA padrão, todas as lâmpadas estão acesas.
No MoE antigo, o roteador liga um bloco específico de lâmpadas para o Especialista nº 1 e um bloco diferente para o Especialista nº 2.
No ∞-MoE, a "amostra" (a coordenada no mapa) atua como um estêncil. O sistema pega a gigante grade de lâmpadas e usa o estêncil para ligar apenas os 25% das lâmpadas mais brilhantes para aquela pergunta específica.
Como o estêncil é baseado em um número contínuo, cada pergunta recebe um padrão ligeiramente diferente de lâmpadas acesas. É como ter uma ferramenta única e personalizada para cada frase que você digita, mas você constrói essa ferramenta usando apenas partes que já possui.

Por que isso é importante?

Os autores testaram isso em dois modelos (GPT-2 Small e Medium) e encontraram resultados impressionantes:

Melhor Desempenho com Menos "Cérebro Ativo":
O modelo ∞-MoE com 129 milhões de parâmetros ativos (as partes que realmente trabalham) teve um desempenho tão bom quanto um modelo denso padrão com 350 milhões de parâmetros. É como obter a inteligência de um cérebro gigante usando apenas a energia de um cérebro pequeno.
Flexibilidade:
No MoE antigo, se você quisesse ser mais rápido, teria que retreinar todo o modelo. No ∞-MoE, você pode simplesmente alterar o número de "amostras" (fotos) que tira no momento em que faz a pergunta.
- Precisa de velocidade? Tire menos amostras (menos especialistas).
- Precisa de precisão máxima? Tire mais amostras.
- O artigo mostra que você pode obter um aumento de 2,5% na precisão sobre o MoE padrão apenas ajustando essa configuração, sem alterar o próprio modelo.
Estabilidade:
Um dos grandes problemas ao adicionar mais especialistas aos sistemas antigos é que eles se tornam instáveis e difíceis de treinar. Como o ∞-MoE trata os especialistas como um espaço suave e contínuo, em vez de uma lista saltitante de pessoas separadas, o treinamento permanece estável mesmo conforme o "número" de especialistas cresce em direção ao infinito.

O Problema (Limitações)

Os autores são honestos sobre o que ainda não resolveram:

Escalabilidade: Eles testaram isso em modelos de tamanho médio. Eles não têm certeza de como isso se comportará em modelos massivos usados por empresas hoje (como a escala do GPT-4), embora esperem que funcione.
Velocidade de Hardware: Embora a matemática diga que deveria ser rápido, o código de computador real é complexo. Como as "lâmpadas" acesas mudam para cada palavra, é difícil para os chips de computador padrão processarem tudo de uma vez com eficiência. Eles tiveram que escrever um código especial para fazer isso rodar rápido, e ainda há espaço para melhorias.

Resumo

O ∞-MoE é como atualizar de uma equipe fixa de especialistas para uma equipe mutável e infinita. Em vez de contratar 100 pessoas específicas, você tem uma máquina mágica que pode criar instantaneamente um especialista único e perfeito para cada pergunta que você faz, usando apenas uma fração do poder computacional. Ele permite que a IA seja mais inteligente e flexível sem ficar sobrecarregada pelo custo de ter um cérebro massivo e estático.

Resumo Técnico: ∞-MoE: Generalizando Mixture of Experts para um Número Infinito de Especialistas

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) alcançaram ganhos significativos de desempenho através da escala de parâmetros, dados e computação. No entanto, simplesmente aumentar o tamanho do modelo acarreta sobrecargas substanciais de computação e memória. As arquiteturas de Mixture of Experts (MoE) abordam isso roteando cada token para um subconjunto esparso de especialistas especializados, expandindo a capacidade de parâmetros sem um aumento linear nos custos de computação por token.

Apesar desses benefícios, o MoE convencional enfrenta limitações ao escalar o número de especialistas:

Restrições Discretas: Os especialistas são tratados como entidades inteiramente independentes em um espaço discreto.
Instabilidade de Treinamento: À medida que o número de especialistas aumenta, torna-se difícil treinar cada especialista de forma eficaz.
Sobrecarga do Roteador (Router Overhead): Aumentar agressivamente o pool de especialistas (por exemplo, para milhões) pode levar ao crescimento da sobrecarga do roteador ou a especialistas excessivamente comprimidos que degradam a precisão.

A questão central posta é se o desempenho pode ser melhorado ao ir além de um conjunto finito de especialistas para um número efetivamente infinito, mantendo a eficiência computacional.

2. Metodologia: ∞-MoE

Os autores propõem o ∞-MoE, um framework que generaliza o MoE de um conjunto discreto de especialistas para um espaço de especialistas contínuo e potencialmente incontavelmente infinito.

2.1 Espaço de Especialistas Contínuo

Ao contrário do MoE padrão, onde um roteador seleciona um índice discreto $i$ de um conjunto $Z = \{1, \dots, n\}$ , o ∞-MoE define o espaço de especialistas como um domínio contínuo $Z \subseteq \mathbb{R}^{d_z}$ .

Roteador: O roteador gera uma densidade de probabilidade $p(z|x)$ sobre o espaço contínuo, modelada como uma distribuição Gaussiana $\mathcal{N}(z | \mu(x), \Sigma(x))$ .
Amostragem: Durante o treinamento e a inferência, o modelo amostra $K$ índices de especialistas contínuos $z^{(k)} \sim p(z|x)$ .
Integração: A saída é aproximada via amostragem de Monte Carlo: $y \approx \frac{1}{K} \sum_{k=1}^K f(x, z^{(k)})$ .

2.2 Design de Especialistas via Máscara Dinâmica

Para realizar um número infinito de especialistas dentro de um orçamento fixo de parâmetros, os autores modulam uma única Rede Feed-Forward (FFN) usando o índice contínuo amostrado $z$ .

Mecanismo: O $z$ amostrado é usado para gerar uma máscara que seleciona dinamicamente um subconjunto de neurônios na camada intermediária da FFN.
Implementação:
1. Computa valores intermediários $\hat{m} = W_z z$ .
2. Aplica um operador top- $N\%$ para reter apenas os $N\%$ de nós maiores, definindo o restante como zero.
3. A saída final do especialista é $f(x, z) = W_2 (\text{Act}(W_1 x) \odot \text{mask}(z))$ .
Efeito: Cada $z$ distinto ativa um subconjunto único dos parâmetros da FFN, criando efetivamente um "especialista" distinto a partir de um contínuo contínuo, enquanto mantém a característica de esparsidade do MoE tradicional.

3. Principais Contribuições

Generalização Teórica: O artigo introduz uma formulação que estende o MoE de um pool de especialistas discretos para um domínio contínuo, permitindo teoricamente um número ilimitado de especialistas.
Implementação Eficiente: Ao combinar amostragem contínua com mascaramento de neurônios dinâmico, o método alcança a capacidade de especialistas infinitos enquanto preserva a eficiência computacional do roteamento esparso (apenas uma pequena fração dos parâmetros é ativa por token).
Inferência Flexível: A abordagem permite um trade-off flexível entre precisão e velocidade durante a inferência, ajustando o número de amostras $K$ .
Otimização de Kernel Customizado: Os autores desenvolveram um kernel CUDA fundido para lidar com as operações de mascaramento e redução de forma eficiente, alcançando um aumento de velocidade de 1,25 vezes em relação às implementações padrão do PyTorch.

4. Resultados Experimentais

Os autores avaliaram o ∞-MoE em arquiteturas GPT-2 Small e GPT-2 Medium através de vários benchmarks de NLP zero-shot (BoolQ, HellaSwag, WinoGrande, ARC, OpenBookQA, RACE).

Desempenho vs. Modelos Densos: Um ∞-MoE baseado em GPT-2 Small (129M ativos, 186M de parâmetros totais) alcançou uma pontuação média de 39,8, superando o GPT-2 Medium denso (350M de parâmetros) que pontuou 39,8 (empatou na média, mas o ∞-MoE usou menos parâmetros ativos). Especificamente, o ∞-MoE superou o GPT-2 Small denso (38,5) e variantes padrão de MoE.
Desempenho vs. MoE Padrão: O ∞-MoE consistentemente superou o Switch Transformer (Top-1) e o MoE padrão (Top-2) em todos os benchmarks. Para o GPT-2 Small, ele melhorou a pontuação média de 38,8 (MoE) para 39,8.
Escalabilidade com $K$ : Aumentar o número de amostras $K$ durante a inferência gerou ganhos adicionais de precisão. Mesmo com amostragem mínima ( $K=1$ ), o modelo manteve uma melhoria de 2,5% na precisão sobre o MoE padrão.
Estabilidade: Medições de entropia de roteamento indicaram que o modelo estabilizou rapidamente durante o treinamento, com alta entropia de roteamento normalizada ( $\approx 0,9$ ), sugerindo uma utilização uniforme do espaço de especialistas.
Estudos de Ablação:
- Tamanho do Dataset: O desempenho no HellaSwag escalou positivamente com o tamanho dos dados de treinamento até 100 bilhões de tokens.
- Dimensão do Índice: Aumentar a dimensão do índice contínuo $z$ melhorou o desempenho até $d_z=128$ , não sendo observados novos ganhos em dimensões superiores.

5. Significância e Alegações

O artigo alega que o ∞-MoE consegue preencher a lacuna entre a alta capacidade dos modelos densos e a eficiência do MoE esparso. Ao tratar os especialistas como um espaço contínuo, o método permite uma especialização "infinita" sem a instabilidade de treinamento associada a pools massivos de especialistas discretos.

Os autores enfatizam que o framework oferece um trade-off flexível entre velocidade e precisão: usuários podem ajustar o número de especialistas amostrados ( $K$ ) na inferência para atender a requisitos específicos de latência ou hardware sem necessidade de retreinamento.

6. Limitações e Trabalhos Futuros

Os autores explicitamente notam várias limitações e desafios abertos:

Escalonamento para Modelos Maiores: O comportamento do ∞-MoE em modelos maiores que o GPT-2 Medium (ex: escala GPT-3) ainda não é totalmente compreendido, particularmente em relação aos trade-offs entre parâmetros totais e parâmetros ativos.
Distribuições do Roteador: A implementação atual utiliza um roteador Gaussiano unimodal. Distribuições mais complexas (ex: misturas de Gaussianas) poderiam oferecer melhor cobertura, mas introduziriam variância de treinamento e complexidade de amostragem.
Generalização de Domínio: A aplicabilidade a domínios não-NLP (ex: Vision Transformers ou modelos multimodais) permanece inexplorada.
Eficiência de Hardware: Embora os FLOPs teóricos sejam baixos, o throughput prático pode ser prejudicado pela natureza dinâmica dos conjuntos de neurônios ativos, o que complica o batching e o uso de GEMMs de formato fixo. Os autores observam que sua implementação atual prioriza o throughput via multiplicações de matrizes densas mascaradas, mas fechar a lacuna entre a economia de computação teórica e a velocidade prática requer otimizações adicionais em nível de sistema.