Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching

Resumo Técnico: Pré-treinamento Denso vs. Esparso em Escala Minúscula

Declaração do Problema
Transformadores de Mistura de Especialistas (MoE) desacoplam a contagem total de parâmetros da capacidade ativa por token, permitindo teoricamente que modelos armazenem capacidades maiores enquanto ativam apenas um subconjunto de parâmetros. No entanto, grande parte das evidências que sustentam a superioridade do MoE provém de configurações em grande escala e distribuídas, onde o comportamento de roteamento, os custos de comunicação e o design de sistemas estão entrelaçados, tornando difícil isolar a contribuição de modelagem. Este artigo aborda uma questão empírica mais simples: em um regime minúsculo acessível a uma única GPU, substituir redes feed-forward (FFN) densas por especialistas roteados esparsos gera um benefício genuíno de modelagem sob orçamentos estritamente controlados?

Metodologia
O estudo compara transformadores densos e esparsos (MoE) dentro de uma pilha de treinamento de decodificador estilo LLaMA compartilhada, treinada no conjunto de dados TinyStories. O desenho experimental mantém constantes o tokenizador, o pipeline de dados, o otimizador, o cronograma, a profundidade, o comprimento do contexto, o estilo de normalização e o protocolo de avaliação. A intervenção esparsa substitui blocos FFN densos por especialistas roteados estilo Mixtral.

Para garantir equidade, os autores empregam dois critérios distintos de comparação, redimensionando as linhas de base densas para corresponder a orçamentos específicos:

1. Ativo-Match: A linha de base densa é redimensionada para que sua contagem de parâmetros ativos por token corresponda ao caminho roteado ativo do MoE.
2. Total-Match: A linha de base densa é redimensionada para que sua contagem total de parâmetros armazenados corresponda ao modelo MoE completo.

A configuração esparsa primária utiliza quatro especialistas, roteamento top-2, despacho sem descarte (dropless), balanceamento de carga estilo Switch e perda z do roteador. O objetivo de treinamento combina entropia cruzada de próximo token com termos auxiliares de balanceamento de carga e perda z do roteador. O estudo opera em um regime sub-25M de parâmetros (aproximadamente 14,89M ativos vs. 21,06M totais para o MoE).

Principais Contribuições

• Desentrelaçamento de Critérios de Equidade: O artigo demonstra que a conclusão sobre a superioridade "denso vs. esparso" depende inteiramente da métrica de equidade utilizada. Separa a análise em comparações ativo-match e total-match, mostrando que elas levam a classificações diferentes.
• Estabilidade do Treinamento Esparso em Escala Minúscula: O estudo identifica os ingredientes específicos necessários para treinamento esparso estável em modelos pequenos. Roteamento top-1 ingênuo colapsa imediatamente; o balanceamento estilo Switch é necessário para prevenir o colapso, e a migração para roteamento top-2 fornece o ganho primário de qualidade. A perda z do roteador é mostrada como melhorando a estabilidade e os diagnósticos de roteamento, em vez de ser a fonte primária de redução da perda de validação.
• Diagnósticos de Roteamento: Os autores fornecem diagnósticos abrangentes de roteamento (fração do especialista mais ocupado, variância de uso, entropia, log-z) para confirmar que os ganhos observados não são artefatos de roteamento colapsado ou patológico.

Resultados
O estudo apresenta uma comparação de dados completos com três sementes nas três configurações:

• Comparação Ativo-Match: O modelo MoE (aproximadamente 14,77M de parâmetros ativos) supera significativamente a linha de base ativa-match densa (aproximadamente 14,89M de parâmetros ativos). O MoE alcança uma melhor perda de validação de 1,5788 ± 0,0020, comparado aos 1,6545 ± 0,0012 da linha de base densa. Isso resulta em uma diferença de 0,0758 a favor do MoE.
• Comparação Total-Match: O modelo denso (aproximadamente 21,06M de parâmetros totais) permanece ligeiramente mais forte que o MoE (aproximadamente 21,06M de parâmetros totais). A linha de base total-match densa alcança 1,5608 ± 0,0025, enquanto o MoE alcança 1,5788 ± 0,0020. Isso resulta em uma diferença de 0,0180 a favor do modelo denso.
• Dinâmicas de Treinamento: Através dos orçamentos de treinamento (40,5M a 426,3M de tokens), a vantagem ativo-match para o MoE cresce, enquanto a vantagem total-match para o modelo denso diminui drasticamente. O MoE consistentemente fica entre as duas linhas de base densas: melhor que o modelo denso de igual-atividade, mas ligeiramente pior que o modelo denso de igual-total.

Significado e Alegações
O artigo conclui que, neste regime sub-25M de parâmetros, o cálculo condicional (MoE) melhora a perda de validação quando a equidade é definida por parâmetros ativos por token, mas não supera o treinamento denso quando a equidade é definida por capacidade total armazenada.

Os autores afirmam explicitamente que este é um estudo empírico controlado, e não uma proposta de nova arquitetura. O significado reside em esclarecer que:

1. O treinamento esparso já é útil em regimes de escala minúscula se a comparação for baseada na capacidade ativa.
2. A "vantagem do MoE" não é uma superioridade bruta de capacidade total, mas um benefício derivado do uso condicional de parâmetros armazenados adicionais.
3. Os resultados são específicos ao regime TinyStories e não afirmam se estender automaticamente a corpora mais amplos, regimes de parâmetros maiores ou configurações de transferência downstream sem estudos adicionais.

O artigo abstém-se de alegar uma vitória no tempo de treinamento (wall-clock), observando que as análises de vazão são contexto secundário, e evita fazer alegações causais sobre mecanismos de capacidade adormecida, focando, em vez disso, no mapeamento das conclusões para os critérios de equidade.