Resumo Técnico: Escalonamento de Modelos de Linguagem Esparsos com Treinamento Repetido

Declaração do Problema

Os avanços recentes em Grandes Modelos de Linguagem (LLMs) têm dependido fortemente de leis de escalonamento que assumem uma abundância de dados de alta qualidade. No entanto, o suprimento de dados humanos únicos e de alta qualidade está crescendo a uma taxa modesta (1,03× por ano), enquanto o consumo de dados de pré-treinamento acelerou (4× por ano). Esse descompasso deu origem a um regime de dados limitados, onde os modelos devem ser treinados em tokens únicos limitados, necessitando de treinamento de múltiplos épocas (repetição de dados).

Neste regime, as leis de escalonamento densas padrão exibem retornos decrescentes; repetir os mesmos dados leva à saturação rápida e ao overfitting. Embora trabalhos anteriores tenham explorado o escalonamento esparso (ex: Mixture-of-Experts ou Dynamic Sparse Training) em regimes de dados suficientes, e o escalonamento de dados limitados em regimes densos, a interação entre esparsidade e repetição de dados permanece inexplorada. Especificamente, não está claro se a otimização esparsa pode alterar a dinâmica de saturação de dados repetidos ou melhorar as trocas entre capacidade do modelo, reuso de dados e custo computacional quando os dados únicos são escassos.

Metodologia

Os autores conduzem um estudo empírico sistemático de Treinamento Esparso Dinâmico (DST) sob condições de dados limitados. Sua metodologia envolve:

1. Configuração Experimental:

   • Modelos: Arquiteturas da família LLaMA-2 treinadas no conjunto de dados C4.
   • Escala: Experimentos cobrem contagens de parâmetros ativos ($N$) de 15M a 960M, com tamanhos equivalentes densos de até 1,92B de parâmetros (validado via extrapolação até 7,68B).
   • Esparsidade: Níveis variando de 0% (denso) a 93,75% (compressão de 16×).
   • Orçamentos de Dados: Orçamentos de tokens únicos ($U_d$) de 0,52B, 1,3B e 2,6B de tokens.
   • Repetição: Treinamento por 1, 2, 4, 8 e 16 épocas, resultando em até 41,6B de tokens totais de treinamento.
   • Algoritmo: Treinamento Esparso Dinâmico usando o algoritmo Sparse Evolutionary Training (SET) com poda por magnitude e regravação aleatória.

2. Formulação da Lei de Escalonamento:
   Os autores propõem uma nova Lei de Escalonamento de Dados Limitados e Esparsos que estende as formulações de Chinchilla e Muennighoff et al. (2023). A função de perda $L$ é modelada como:
   $$L(N', D', S) = \frac{A}{(N')^\alpha} + \frac{B}{(D')^\beta} + E$$
   Onde:

   • $N'$ e $D'$ são contagens efetivas de parâmetros e dados, respectivamente, que consideram os retornos decrescentes.
   • $S$ é o nível de esparsidade.
   • O tamanho de dados efetivo $D'$ incorpora um limiar de saturação dependente da esparsidade $R^*_d(S)$:
     $$D' = U_d + U_d R^*_d(S) \left(1 - e^{-R_d/R^*_d(S)}\right)$$
   • O limiar de saturação $R^*_d(S)$ é modelado como uma função da esparsidade: $R^*_d(S) = R^*_d (1 + \lambda_1 S + \sigma_1 S^2)$.
   • Da mesma forma, a contagem de parâmetros efetiva $N'$ inclui um fator dependente da esparsidade para modelar a troca entre parâmetros ativos e capacidade equivalente densa.

3. Análise:
   O estudo analisa curvas de Iso-Loss e Iso-FLOPs para determinar a alocação ideal de recursos (tamanho do modelo vs. épocas de treinamento) sob orçamentos fixos de dados e computação. Eles distinguem duas definições de computação: Sparse FLOPs (operações nos parâmetros não nulos) e Dense FLops (custo de treinar um modelo denso equivalente).

Principais Contribuições e Descobertas

1. Uma Nova Lei de Escalonamento para Treinamento Esparso e de Dados Limitados

O artigo introduz uma lei de escalonamento que prevê com precisão o desempenho através de orçamentos de computação e dados ao modelar a perda como uma função de parâmetros ativos, tokens únicos, repetição de dados e esparsidade.

• Validação: O modelo alcança um $R^2$ de validação de 0,914 em configurações de teste, demonstrando que a formulação captura a estrutura subjacente do escalonamento esparso sem overfitting.

2. Atraso na Saturação de Dados

A descoberta empírica mais significativa é que a esparsidade atrasa a saturação de dados repetidos.

• Mecanismo: No treinamento denso, a exposição repetida a dados limitados leva rapidamente a retornos decrescentes. O treinamento esparso distribui as atualizações por um conjunto maior de pesos, reduzindo a frequência com que qualquer parâmetro individual é atualizado nos mesmos dados.
• Impacto Quantitativo: O limiar de saturação de dados $R^*_d$ aumenta com a esparsidade, atingindo o pico em torno de $S \approx 0,5$. Em $S=0$, $R^*_d \approx 4,4$; em $S=0,5$, $R^*_d \approx 6,9$. Isso implica que modelos esparsos podem tolerar mais repetição de dados antes de atingir um platô de desempenho, tornando o treinamento de múltiplas épocas mais eficaz.

3. Alocação de Recursos e Trocas (Trade-offs)

O estudo identifica estratégias distintas para treinamento esparso versus denso sob restrições de dados:

• Mudança de Alocação: No treinamento denso, a computação adicional é melhor alocada para o aumento do tamanho do modelo. No treinamento esparso (especificamente em esparsidade moderada), a computação adicional é melhor alocada para um treinamento mais longo (mais épocas) em vez de aumentar a contagem de parâmetros.
• Eficiência de Parâmetros: O treinamento esparso alcança melhores relações parâmetro-token. Para um orçamento de 1,3B de tokens, o treinamento esparso pode alcançar uma relação parâmetro-token 3× menor em comparação com o treinamento denso, melhorando a eficiência de inferência.

4. Níveis de Esparsidade Ótimos

Os autores definem duas noções de esparsidade ótima:

• Esparsidade Ótima de Perda (Loss-Optimal): A esparsidade que minimiza a perda de validação para um orçamento de dados fixo. Esta permanece relativamente estável e moderada ($S \approx 0,45 - 0,5$) através de diferentes escalas de dados.
• Esparsidade Ótima de Computação (Compute-Optimal): A esparsidade que iguala o desempenho do modelo denso ideal enquanto minimiza o computação de treinamento. Este valor aumenta com a escala de dados, mudando de $S \approx 0,6$ para 1,3B de tokens para $S \approx 0,7 - 0,75$ em escalas maiores (13B–130B tokens).
• Ganhos de Eficiência: Na esparsidade ótima de computação, modelos esparsos igualam a precisão do modelo denso enquanto utilizam aproximadamente 8× a 10× menos FLOPs de treinamento.

Significância e Alegações

O artigo afirma fornecer a primeira caracterização empírica sistemática do Treinamento Esparso Dinâmico sob regimes de escalonamento de dados limitados. Sua principal significância reside em redefinir a esparsidade não apenas como uma ferramenta para eficiência de inferência ou compressão de modelo, mas como um mecanismo para melhorar as trocas de escalonamento quando os dados são o gargalo principal.

As principais alegações incluem:

• A esparsidade altera fundamentalmente a interação entre capacidade de modelo e repetição de dados, atrasando o ponto de retornos decrescentes.
• Sob escassez de dados, a estratégia ideal muda de "modelos maiores" para "treinamento mais longo em modelos esparsos".
• A lei de escalonamento proposta oferece um framework preditivo para alocar computação e dados em futuros cenários de pré-treinamento com dados limitados.

Os autores reconhecem limitações, observando que seus experimentos ainda não atingem a escala dos LLMs de fronteira (além de 7,68B de parâmetros equivalentes densos) e que ineficiências de hardware no nível de implementação esparsa podem reduzir os ganhos de velocidade reais. No entanto, eles afirmam que suas descobertas fornecem uma compreensão fundamental para o treinamento de LLMs eficientes em uma era de dados limitados.