The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool

Resumo Técnico: Os Limites do Tamanho dos Dados de Treinamento em Modelos de Fundação

Declaração do Problema
O artigo aborda uma tensão fundamental na escala de modelos de fundação: o compromisso entre qualidade e quantidade de dados sob um orçamento de treinamento fixo. As estimativas atuais do "muro de dados" (o ponto onde o texto escrito por humanos se esgota) dependem de dois multiplicadores independentes: a fração de texto bruto que sobrevive à filtragem de qualidade e o número de vezes que os tokens sobreviventes podem ser repetidos utilmente. Os autores argumentam que esses fatores não são independentes. Em um pool fixo de tokens únicos ($U$), filtrar para uma taxa de retenção $f$ melhora a qualidade média, mas força o modelo a percorrer os dados $1/f$ vezes. Como os tokens repetidos exibem retornos decrescentes (decaimento exponencial de valor), a filtragem agressiva converte tokens únicos em repetidos, incorrendo potencialmente em um custo que cresce com o orçamento de treinamento ($D$). A questão empírica central é: dado um pool fixo $U$ e um orçamento $D$, qual fração de retenção $f$ minimiza a perda de validação (held-out loss), e como esse ótimo se desloca conforme a razão $D/U$ aumenta?

Metodologia
O estudo emprega um design experimental controlado para isolar os efeitos da filtragem, escassez e repetição.

• Pool de Dados: Um pool fixo de 24,0 milhões de tokens derivado do primeiro shard do dataset FineWeb.
• Filtro de Qualidade: Os documentos são pontuados usando o classificador FineWeb-Edu liberado (uma cabeça de regressão linear sobre um modelo de embedding treinado em "valor educacional").
• Construção do Corpus: Três famílias de corpora foram construídas a partir do pool fixo:
  1. Qualidade filtrada ($f$): A fração superior $f$ de tokens pela pontuação do classificador.
  2. Subconjuntos aleatórios ($f$): Tokens selecionados aleatoriamente que correspondem ao tamanho dos conjuntos filtrados por qualidade (servindo como controle para escassez).
  3. Misturas com ponderação aumentada (Up-weighted mixtures): O pool completo é mantido, mas a fatia superior $f$ é sobreamostrada $k=1/f$ vezes (servindo como uma alternativa "suave" à filtragem rígida).
• Configuração de Treinamento: Pequenos transformadores decoder-only (variando de 1,3M a 16,9M de parâmetros) foram treinados nesses corpora. O grid principal utilizou um modelo de 7,34M de parâmetros.
• Orçamentos: Foram utilizados orçamentos de treinamento de 6,1M, 12,3M e 24,6M de tokens, resultando em contagens de repetição variando de 0,26 a 16,4 passagens sobre os tokens únicos, dependendo do tamanho do corpus.
• Avaliação: Os modelos foram avaliados em três conjuntos de validação:
  1. Web: Texto bruto da web (a distribuição da qual o pool foi extraído).
  2. Edu: Texto da web de alta pontuação (sobrepondo-se ao alvo do filtro).
  3. WikiText-103: Texto enciclopédico independente e curado.
• Robustez: O estudo inclui controles pareados, múltiplos tamanhos de modelo e varreduras de hiperparâmetros (taxa de aprendizado e decaimento de peso) para garantir que os resultados não sejam artefatos de receitas específicas.

Principais Resultados
Os experimentos produzem três descobertas primárias, todas excedendo a banda de ruído de execução para execução de ~0,055 nats por token:

1. Dependência do Alvo: O sinal do efeito de filtragem depende inteiramente do alvo de avaliação.

   • No alvo web bruto, a filtragem nunca ajuda; a perda aumenta monotonicamente conforme a taxa de retenção $f$ diminui. A filtragem agressiva (mantendo o topo 1/16) custa até 0,44 nats por token em comparação com manter todos os dados.
   • Em alvos de alta qualidade (Edu e WikiText-103), a filtragem pode ser inofensiva ou levemente benéfica em orçamentos baixos, mas o benefício é pequeno e frequentemente situa-se no limite da banda de ruído.

2. Dependência do Orçamento: A taxa de retenção ótima torna-se mais flexível conforme o orçamento cresce.

   • À medida que o orçamento aumenta, o custo da repetição supera o benefício da qualidade. Por exemplo, no WikiText-103, o corpus do topo 1/16 foi marginalmente melhor que o pool não filtrado em um orçamento de 6,1M de tokens (4,1 passagens), mas tornou-se significativamente pior em um orçamento de 12,3M de tokens (8,2 passagens). A fração que minimiza a perda desloca-se para manter mais dados conforme $D/U$ aumenta.

3. Filtragem Rígida vs. Ponderação Aumentada: O método de agir sobre as pontuações de qualidade importa.

   • Em taxas de retenção agressivas (ex: topo 1/16), a ponderação aumentada (manter todos os dados e sobreamostrar a fatia de alta pontuação) supera estritamente a filtragem rígida (deletar a fatia de baixa pontuação) em todos os alvos e orçamentos. A vantagem da ponderação aumentada chega a 0,39 nats.
   • Em taxas de retenção brandas (ex: topo 1/4), a filtragem rígida e a ponderação aumentada são estatisticamente indistinguíveis.
   • Aleatório vs. Seleção: Em alvos de alta qualidade, a seleção baseada em pontuação supera significativamente subconjuntos aleatórios do mesmo tamanho, indicando que o classificador captura um sinal distributivo genuíno. No entanto, no alvo web bruto, subconjuntos aleatórios performam quase tão bem quanto o pool completo, sugerindo que o dano da filtragem é primariamente devido ao desvio de distribuição, e não à escassez.

Significância e Alegações
O artigo não pretende determinar a estratégia de filtragem ideal para modelos de escala de fronteira (que são ordens de magnitude maiores). Em vez disso, estabelece um mecanismo e uma taxa de câmbio dentro de um regime específico.

• Interdependência de Multiplicadores: O estudo demonstra que o "multiplicador de qualidade" (fração que sobrevive à filtragem) e o "multiplicador de repetição" (épocas) não são independentes. Filtrar reduz a contagem de tokens únicos, aumentando, portanto, a contagem de repetição para um orçamento fixo. Tratar eles como variáveis independentes superestima sistematicamente o valor de um corpus filtrado.
• Orientação Prática: Os autores sugerem que limiares ajustados em regimes de abundância de dados (ablações de época única) são provavelmente subótimos quando o pool é limitante. Eles recomendam:
  • Definir taxas de retenção contra o orçamento específico, não contra o tamanho do corpus.
  • Usar ponderação aumentada em vez de deleção para concentração agressiva em dados de alta qualidade.
  • Verificar se os resultados da filtragem se mantêm em diferentes distribuições de alvo, pois um filtro ajustado para uma distribuição pode ser prejudicial para outra.
• Resultado Negativo: Os autores relatam que um design com apenas dois pontos de orçamento por corpus é insuficiente para identificar a constante de decaimento de repetição ($R^*_D$) separadamente para dados filtrados e aleatórios, alertando contra estudos de grade fina semelhantes na literatura.

Em conclusão, o artigo argumenta que, em um pool fixo, a filtragem agressiva é uma forma "perdedora" (lossy) de agir sobre pontuações de qualidade em comparação com a ponderação aumentada, e que a estratégia ótima desloca-se para reter mais dados conforme o orçamento de treinamento aumenta.