Resumo Técnico: LLMs na Linha: Dados Determinam Leis de Escala de Perda-a-Perda

Declaração do Problema

As leis de escala tradicionalmente orientaram o desenvolvimento de Modelos de Linguagem de Grande Porte (LLMs) ao estimar o equilíbrio ideal entre tamanho do modelo, contagem de tokens e orçamento de computação (medido em FLOPs) para minimizar a perda de treinamento ou validação. No entanto, essas leis "computação-a-perda" não preveem de forma confiável o desempenho em tarefas downstream. Embora trabalhos recentes tenham introduzido leis de escala "perda-a-perda" — relações entre a perda de treinamento/validação e a perda de teste downstream — para compreender melhor a generalização, estudos existentes estão amplamente confinados a configurações arquitetônicas únicas ou configurações de treinamento. Consequentemente, permanece incerto quais fatores (por exemplo, arquitetura, tokenizador, tamanho do modelo, configurações de otimização) influenciam causalmente a forma e a transferibilidade dessas tendências de escala de perda-a-perda.

Metodologia

Os autores realizam uma análise causal em grande escala envolvendo mais de 6.000 checkpoints de modelo para investigar os fatores que impulsionam a escala de perda-a-perda. Sua abordagem estende trabalhos anteriores (Brandfonbrener et al., 2024; Du et al., 2025) ao intervir sistematicamente em múltiplas variáveis através de arquiteturas diversas e configurações de treinamento.

Configuração Experimental:

• Arquiteturas: O estudo compara modelos baseados em Transformer (Llama-3, variantes GPT) contra Modelos de Espaço de Estado (Mamba, Mamba2).
• Conjuntos de Dados: Os modelos são treinados em vários corpora de pré-treinamento, incluindo FineWeb-Edu, C4, The Pile (versões original, deduplicada e sem direitos autorais) e RefinedWeb.
• Tokenizadores: São feitas comparações entre tokenizadores tiktoken (vocabulário de 128k) e gpt2/gpt-neox (vocabulário de aprox. 50k).
• Intervenções: Os autores realizam estudos de ablação sobre:
  • Distribuição dos dados de pré-treinamento.
  • Escolha do tokenizador.
  • Arquitetura do modelo (Transformer vs. Espaço de Estado).
  • Tamanho do modelo (variando profundidade e largura).
  • Comprimento do contexto (1024, 2048, 3076 tokens).
  • Configurações de otimização (Adam vs. AdamW, taxas de aprendizado, decaimento de peso e cronogramas de taxa de aprendizado como Cosine e WSD).
• Avaliação: O desempenho é medido usando perda em tarefas downstream (por exemplo, HellaSwag, ARC, MMLU) e conjuntos de validação. Para garantir comparação justa entre tokenizadores, a perda é normalizada para bits por byte (BPB).
• Modelagem: Os autores ajustam leis de potência deslocadas aos dados, seguindo a formulação:
  $$L_y \approx K \cdot (L_x - E_{x|p})^\kappa + E_{y|p}$$
  onde $L_x$ e $L_y$ são perdas em diferentes conjuntos de dados, e $E$ representa o erro irredutível.

Contribuições e Resultados Principais

1. A Escala de Perda-a-Perda Segue Leis de Potência Deslocadas

Em todas as arquiteturas, conjuntos de dados e configurações de treinamento, a relação entre a perda de treinamento/validação e a perda de teste downstream segue consistentemente uma lei de potência deslocada. Isso é verdadeiro mesmo para conjuntos de dados onde o modelo nunca alcança alta precisão (por exemplo, Mamba no ARC-Challenge), confirmando a robustez da escala de perda-a-perda como uma métrica para comportamento de generalização.

2. Os Dados de Pré-treinamento são o Fator Dominante

A descoberta mais significativa é que a distribuição dos dados de pré-treinamento é o determinante primário da tendência de escala de perda-a-perda.

• Alterar o conjunto de dados de pré-treinamento (por exemplo, de FineWeb-Edu para C4 ou The Pile) resulta em deslocamentos substanciais na curva de escala.
• Mesmo mudanças sutis, como a deduplicação do The Pile, alteram a distribuição subjacente o suficiente para deslocar a lei de escala.
• Isso implica que o "viés indutivo" que governa a generalização é amplamente codificado na distribuição dos dados, e não na arquitetura do modelo.

3. Arquitetura, Tokenizador e Hiperparâmetros Têm Impacto Negligenciável

Em contraste com os dados, outras escolhas de design têm efeito mínimo ou nenhum na tendência de escala:

• Arquitetura: Modelos com viés indutivo fundamentalmente diferente, como Transformers (Llama) e Modelos de Espaço de Estado (Mamba), exibem curvas de escala de perda-a-perda quase idênticas quando treinados nos mesmos dados e tokenizador.
• Tokenizador: Alterar o tokenizador (por exemplo, tiktoken vs. gpt2) resulta apenas em variações menores nas curvas de escala, desde que a perda seja normalizada por bytes.
• Tamanho do Modelo e Comprimento do Contexto: Variar a contagem de parâmetros (de ~60M a ~2,8B) e comprimentos de contexto (1024 a 3076) não altera significativamente a relação de escala.
• Otimização: Mudanças em otimizadores (Adam/AdamW), taxas de aprendizado, decaimento de peso e cronogramas não afetam os coeficientes de escala.

4. Generalização Ponto a Ponto

O estudo demonstra que, se duas configurações de treinamento distintas (por exemplo, arquiteturas ou tamanhos diferentes) alcançarem perdas de treinamento semelhantes nos mesmos dados de pré-treinamento, elas exibirão desempenho de teste downstream correspondente de perto. Isso sugere que as arquiteturas atuais de LLM podem convergir para soluções semelhantes dado o mesmo conjunto de dados, compartilhando efetivamente viés indutivo similar em relação à generalização.

Significado e Alegações

O artigo argumenta que o foco do campo na inovação arquitetônica para melhorar a generalização pode estar mal direcionado. Em vez disso, os autores afirmam que a curadoria de dados é o principal motor do desempenho e da robustez downstream.

• Para Praticantes: As descobertas sugerem que os praticantes devem priorizar a curadoria cuidadosa dos conjuntos de dados de pré-treinamento para otimizar o desempenho downstream. Uma vez selecionado um conjunto de dados de alta qualidade, arquiteturas e configurações de treinamento podem ser livremente otimizadas para eficiência de treinamento (por exemplo, escolhendo arquiteturas mais rápidas como Mamba ou ajustando hiperparâmetros) sem medo de impactar negativamente a generalização downstream.
• Implicação Teórica: Os resultados desafiam a noção de que arquiteturas diferentes codificam viés indutivo distinto em relação à generalização. Em vez disso, eles sugerem que a distribuição dos dados dita o comportamento de generalização, enquanto as arquiteturas servem principalmente como aproximadores de função eficientes para esses dados.

Os autores mantêm uma postura modesta, reconhecendo que suas conclusões são baseadas nas configurações específicas exploradas (funções de perda padrão, treinamento convencional). Eles observam que paradigmas de treinamento inovadores (por exemplo, crescimento estruturado ou funções de perda diferentes) ainda podem induzir novos comportamentos de escala, mas dentro dos limites das melhores práticas atuais, os dados permanecem o fator decisivo.