Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

Resumo Técnico: Mistura de Especialistas Pode Superar LLMs Densos sob Recursos Estritamente Iguais

Declaração do Problema
Embora os modelos de linguagem de Mistura de Especialistas (MoE) sejam amplamente reconhecidos por expandir a capacidade do modelo sem aumentar o cálculo por token, uma questão crítica permanece sem resolução: as arquiteturas MoE podem superar as arquiteturas densas quando estritamente limitadas por parâmetros totais idênticos ($N$), cálculo total de treinamento ($C$) e orçamento total de dados ($D$)? Comparações anteriores frequentemente favorecem o MoE ao relaxar essas restrições (por exemplo, permitindo que o MoE use mais dados ou comparando modelos com contagens de parâmetros drasticamente diferentes). Este artigo aborda a lacuna na compreensão de se vantagens arquitetônicas, por si só, sob paridade estrita de recursos, podem gerar desempenho superior.

Metodologia
Os autores propõem uma nova perspectiva e uma metodologia experimental rigorosa de três etapas para garantir uma comparação justa sob $N$, $C$ e $D$ fixos:

1. Busca de Arquitetura Otimizada: Antes de comparar as taxas de ativação, os autores otimizam sistematicamente a espinha dorsal do MoE. Eles investigam arranjos de camadas (MoE completo, intercalado ou 1 denso + MoE), normalização da pontuação do portão, alocação de parâmetros (configurações Top-$K$) e hiperparâmetros estruturais (razão de aspecto do modelo $\zeta$ e razões de expansão FFN). Eles identificam uma configuração "1 denso + Especialista Compartilhado" com razões estruturais específicas ($\zeta \approx 88$, $\mu \approx 22$) como a espinha dorsal ótima.
2. Análise da Taxa de Ativação (AR) sob $N$ e $C$ Fixos: Usando a espinha dorsal otimizada, os autores treinam modelos MoE com taxas de ativação variáveis ($r_a$, a razão de parâmetros ativados para parâmetros totais) enquanto igualam o cálculo total de treinamento de uma base densa. Para manter $C$ igual, os modelos MoE (que têm menor cálculo por token) são treinados inicialmente em mais tokens proporcionalmente.
3. Estratégia de Reutilização de Dados: Para equiparar estritamente o orçamento único de dados ($D$), os autores introduzem uma estratégia de reutilização de dados. Eles treinam modelos em um conjunto de dados único menor e fixo $\hat{D}$ por várias épocas. Eles comparam a reutilização "estrita" (igualando $N, C, D$ exatamente) e a reutilização "flexível" (fixando épocas em 2) contra bases densas treinadas em dados únicos.

Principais Resultados
O estudo envolveu o treinamento de quase 200 modelos na escala de 2B e mais de 50 na escala de 7B, processando cumulativamente 50 trilhões de tokens.

• Existência de uma Taxa de Ativação Ótima: Os experimentos revelam uma região estável de "taxa de ativação ótima" ($R^*_a$) onde os modelos MoE consistentemente superam seus equivalentes densos. Essa taxa ótima é de aproximadamente 20% ($r_a \approx 0,2$).
• Superioridade de Desempenho: Sob $N$ e $C$ fixos, modelos MoE com $r_a \approx 20\%$ alcançam perda menor (melhor desempenho) do que modelos densos. Especificamente, um modelo MoE de 2B com AR ótima supera um modelo denso treinado com o mesmo cálculo, aproximando-se do desempenho de um modelo denso treinado com o dobro do cálculo.
• Consistência entre Escalas: A taxa de ativação ótima de ~20% permanece consistente entre diferentes tamanhos de modelo (2B, 3B e 7B), sugerindo que a descoberta é independente da escala dentro da faixa testada. Isso contrasta com trabalhos anteriores que sugerem que a esparsidade ótima escala com o tamanho do modelo.
• Eficácia da Reutilização de Dados: A estratégia de reutilização de dados compensa com sucesso os requisitos adicionais de dados dos modelos MoE. Embora a reutilização de dados cause uma ligeira redução no desempenho em comparação com o treinamento em dados únicos, os modelos MoE com AR ótima ainda superam as bases densas mesmo sob restrições estritas de dados.
• Generalização para Tarefas Derivadas: A superioridade dos modelos MoE com $r_a \approx 20\%$ generaliza para tarefas derivadas (SFT) em benchmarks de raciocínio, conhecimento, matemática e código. Notavelmente, a reutilização de dados tem impacto negativo mínimo em tarefas de raciocínio, mas degrada o desempenho em conhecimento; no entanto, na AR ótima, MoEs com SFT e dados reutilizados ainda superam modelos densos treinados em dados únicos.

Significado e Alegações
O artigo alega fornecer a primeira evidência definitiva de que arquiteturas MoE podem superar LLMs densos sob restrições de recursos estritamente iguais ($N, C, D$), desde que a arquitetura seja otimizada e a taxa de ativação caia dentro da região ótima identificada.

• Vantagem Arquitetônica: Os ganhos de desempenho são atribuídos exclusivamente a vantagens arquitetônicas, e não a disparidades na contagem de parâmetros ou orçamento de cálculo.
• Eficiência de Recursos: As descobertas desafiam o consenso convencional de que modelos densos são superiores quando os recursos são fixos, abrindo caminho para arquiteturas mais eficientes em recursos em sistemas de PNL de próxima geração.
• Estratégia Prática: A introdução de uma estratégia de reutilização de dados demonstra que a demanda adicional de dados dos modelos MoE pode ser mitigada, tornando o desempenho superior alcançável sem exigir orçamentos de dados únicos significativamente maiores do que os de modelos densos.

Os autores reconhecem limitações, incluindo a restrição de não treinar modelos maiores que 7B devido aos custos computacionais e o foco em componentes específicos do MoE enquanto fixam outros. Eles sugerem que trabalhos futuros poderiam explorar como as taxas de ativação ótimas melhoram capacidades em outros paradigmas de treinamento, como upcycling e MoEfication.