The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool
Através de experimentos empíricos em um pool fixo de 24 milhões de tokens, este artigo demonstra que a filtragem agressiva de qualidade sob um orçamento de computação fixo frequentemente prejudica o desempenho do modelo ao forçar uma repetição excessiva de dados, ao passo que reter dados de menor qualidade e realizar o sobreamostragem de subconjuntos de alta qualidade produz resultados superiores ou equivalentes em vários alvos.