Resumo Técnico: Leis de Escala Prescritivas para Treinamento com Dados Limitados

Declaração do Problema

O treinamento de modelos de linguagem de grande escala (LLMs) está cada vez mais limitado pela disponibilidade de dados de alta qualidade, e não pela capacidade de computação. Embora o texto bruto seja abundante, as pipelines de última geração dependem de filtragem agressiva de qualidade, subconjuntos curados e corpora específicos de domínio, criando um gargalo onde o orçamento de computação frequentemente excede os dados únicos disponíveis. Nesse regime, os praticantes recorrem frequentemente ao treinamento de modelos por múltiplas épocas sobre os mesmos dados.

As leis de escala existentes, particularmente a amplamente adotada Lei Chinchilla (Hoffmann et al., 2022), assumem que cada token de treinamento é único. Extensões para lidar com repetição de dados, como a formulação de dados efetivos de Muennighoff et al. (2023), modelam retornos decrescentes, mas falham em capturar o regime onde a perda aumenta devido ao sobreajuste. Crucialmente, esses modelos existentes não contabilizam explicitamente a interação entre o tamanho do modelo e a repetição: modelos maiores sofrem sobreajuste mais rapidamente em dados repetidos do que modelos menores. Sem modelar essa interação, as leis de escala não podem prever com precisão o comportamento ou guiar a alocação ótima de computação em cenários com dados limitados.

Metodologia

Os autores propõem uma nova formulação de lei de escala que modela explicitamente o custo da repetição de dados através de uma penalidade aditiva de sobreajuste.

Configuração Experimental

• Modelos: Mais de 300 modelos de linguagem apenas com decodificador baseados na arquitetura Llama 2, variando de 15M a 1B de parâmetros.
• Dados: Treinados no conjunto de dados FineWeb (Penedo et al., 2024).
• Grade: O estudo abrange orçamentos de dados únicos ($U_D$) de 50M a 6B de tokens e contagens de repetição ($R_D$) de 0 a 15 épocas.
• Regularização: Duas forças de decaimento de peso foram testadas: padrão ($\lambda = 0.1$) e forte ($\lambda = 1.0$), com todos os outros hiperparâmetros mantidos constantes.
• Avaliação: Perda de validação final, perplexidade e desempenho downstream através da suíte de avaliação OLMES (Gu et al., 2025) em 19 tarefas.

Lei de Escala Proposta

Os autores derivam uma família de leis de escala que aumentam a forma Chinchilla com um termo de penalidade aditiva. A forma geral é:
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Penalidade}(N, U_D, R_D)$$

Onde o termo de penalidade captura o excesso de perda devido à repetição. Os autores apresentam uma "escada de complexidade" de formas:

1. Forma de 1 Parâmetro: Uma penalidade linear na contagem de repetição escalada pela razão entre o tamanho do modelo e os dados únicos: $P \cdot R_D \cdot \frac{N}{U_D}$.
2. Forma de 2 Parâmetros: Introduz um expoente não linear $\kappa$ na razão de capacidade: $P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$.
3. Forma de 4 Parâmetros: Adiciona um expoente superlinear $\delta$ na contagem de repetição e desacopla o expoente do orçamento de dados $\gamma$: $P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$.

Esta formulação postula que tokens repetidos desempenham um duplo papel: continuam a reduzir o termo de suficiência de dados (atuando como dados úteis) enquanto simultaneamente incorrem em um custo crescente de sobreajuste que depende do tamanho do modelo e da escassez de dados.

Resultados Principais

1. Qualidade Superior de Ajuste

As leis de penalidade aditiva propostas superam significativamente as formulações existentes (linha de base Chinchilla e Muennighoff et al., 2023) na previsão da perda de validação sob repetição.

• Ajuste Descritivo: Mesmo a forma aditiva mais simples de 1 parâmetro supera substancialmente as linhas de base de decaimento exponencial ($R^2_{multi} \approx 0.95$ vs. $0.58$ para a linha de base no estudo padrão). A forma de 4 parâmetros alcança ajuste quase perfeito ($R^2 \approx 0.997$).
• Generalização: As formas de penalidade aditiva generalizam para o conjunto de dados C4 de Muennighoff et al. (2023) mantido de fora, superando suas próprias formulações de dados efetivos nesses dados, confirmando que a melhoria não é um artefato da configuração de treinamento específica.

2. Alocação Ótima de Computação

A nova lei de escala produz conselhos qualitativamente diferentes para a alocação de computação em regimes com dados limitados em comparação com trabalhos anteriores:

• Trabalhos Anteriores: A Lei Chinchilla (ignorando o sobreajuste) sempre recomenda mais repetição à medida que a computação aumenta. A lei de Muennighoff et al. (2023) recomenda retornos decrescentes, mas nunca sugere parar a repetição.
• Este Trabalho: A lei proposta identifica um limiar de computação além do qual a repetição adicional é contraproducente. Além desse ponto, a estratégia ótima é alocar computação adicional para capacidade do modelo (maior $N$) enquanto reduz o número de épocas ($R_D$). Isso cria um "retorno" da fronteira de alocação.

3. Validação Prescritiva

Os autores validaram as recomendações da lei treinando as configurações específicas (tamanho do modelo e contagem de épocas) recomendadas por cada lei para orçamentos fixos de computação e dados.

• As configurações recomendadas pela lei proposta consistentemente alcançaram a menor perplexidade e o melhor desempenho downstream (OLMES BPB) em todos os orçamentos testados.
• Por exemplo, com um orçamento de computação de $2 \times 10^{19}$ FLOPs e $500M$ tokens únicos, a lei proposta recomendou um modelo de 2,2B de parâmetros treinado por 3 épocas, superando a recomendação Chinchilla (670M parâmetros, 10 épocas) e a recomendação de Muennighoff (950M parâmetros, 7 épocas).

4. Estudo de Caso: Decaimento de Peso

O único coeficiente $P$ no termo de penalidade quantifica a robustez de uma configuração à repetição de dados.

• Redução do Sobreajuste: O decaimento de peso forte ($\lambda = 1.0$) reduz o coeficiente de sobreajuste $P$ em aproximadamente 70% em comparação com o decaimento de peso padrão ($\lambda = 0.1$).
• Ponto de Cruzamento: Embora o decaimento de peso forte incorra em um "prêmio de perda" no regime de uma única época, a penalidade de sobreajuste reduzida cria um ponto de cruzamento em orçamentos de computação altos ($C \approx 3.2 \times 10^{18}$ FLOPs para $U_D=250M$). Além desse ponto, o decaimento de peso forte permite o uso produtivo de computação adicional, superando as configurações padrão. Isso fornece uma explicação baseada em leis de escala para descobertas empíricas recentes (Kim et al., 2026) de que o decaimento de peso ótimo em regimes com dados limitados é uma ordem de magnitude maior do que a prática padrão.

Significado e Alegações

O artigo alega fornecer uma estrutura prescritiva para treinamento com dados limitados que vai além das suposições de "dados infinitos" da Chinchilla.

• Novos Conselhos de Alocação: A principal contribuição é a identificação de um regime onde a repetição se torna prejudicial, deslocando a estratégia ótima de "mais épocas" para "modelos maiores".
• Robustez Quantificável: Ao isolar o sobreajuste em um único coeficiente, a lei permite a comparação direta de configurações de treinamento (por exemplo, diferentes forças de regularização) sem varreduras exaustivas de hiperparâmetros.
• Orientação Prática: Os autores argumentam que, para praticantes com orçamentos de dados fixos, existe um nível específico de computação além do qual repetir dados é contraproducente. Eles fornecem um método concreto para determinar esse limiar e o tamanho ideal do modelo correspondente.
• Modéstia: Os autores reconhecem limitações, observando que os expoentes ajustados são validados até 1B de parâmetros e 16 épocas, e que a lei não encapsula fenômenos como a "double descent". Eles também observam que a reanálise de Muennighoff et al. (2023) sugere que seu desacordo sobre estratégias de alocação decorre de uma linha de base mal especificada no trabalho anterior, e não de uma contradição fundamental na física da escala.