The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool
Mediante experimentos empíricos sobre un conjunto fijo de 24 millones de tokens, este artículo demuestra que el filtrado de calidad agresivo bajo un presupuesto de cómputo fijo a menudo perjudica el rendimiento del modelo al forzar una repetición excesiva de datos, mientras que retener datos de menor calidad y sobremuestrear subconjuntos de alta calidad produce resultados superiores o equivalentes en diversos objetivos.