The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool

Resumen Técnico: Los Límites del Tamaño de los Datos de Entrenamiento en los Modelos Fundacionales

Planteamiento del Problema
El artículo aborda una tensión fundamental en el escalado de los modelos fundacionales: la compensación entre la calidad y la cantidad de datos bajo un presupuesto de entrenamiento fijo. Las estimaciones actuales del "muro de datos" (el punto donde se agota el texto escrito por humanos) dependen de dos multiplicadores independientes: la fracción de texto bruto que sobrevive al filtrado de calidad y el número de veces que los tokens supervivientes pueden repetirse de forma útil. Los autores argumentan que estos factores no son independientes. En un conjunto de tokens únicos ($U$) fijo, filtrar para obtener una tasa de retención $f$ mejora la calidad promedio, pero obliga al modelo a recorrer los datos $1/f$ veces. Dado que los tokens repetidos exhiben rendimientos decrecientes (un decaimiento exponencial en su valor), el filtrado agresivo convierte los tokens únicos en repetidos, incurriendo potencialmente en un costo que crece con el presupuesto de entrenamiento ($D$). La cuestión empírica central es: dado un conjunto fijo $U$ y un presupuesto $D$, ¿qué fracción de retención $f$ minimiza la pérdida de validación (held-out loss) y cómo cambia este óptimo a medida que aumenta la relación $D/U$?

Metodología
El estudio emplea un diseño experimental controlado para aislar los efectos del filtrado, la escasez y la repetición.

• Pool de Datos: Un conjunto fijo de 24.0 millones de tokens derivados del primer fragmento (shard) del conjunto de datos FineWeb.
• Filtro de Calidad: Los documentos se califican utilizando el clasificador FineWeb-Edu liberado (una cabeza de regresión lineal sobre un modelo de embeddings entrenado para el "valor educativo").
• Construcción del Corpus: Se construyeron tres familias de corpora a partir del pool fijo:
  1. Filtrado por calidad ($f$): La fracción superior $f$ de tokens según la puntuación del clasificador.
  2. Subconjuntos aleatorios ($f$): Tokens seleccionados aleatoriamente que coinciden en tamaño con los conjuntos filtrados por calidad (sirviendo como control para la escasez).
  3. Mezclas con sobreponderación (Up-weighted mixtures): Se retiene el pool completo, pero la porción superior $f$ se sobremuestrea $k=1/f$ veces (sirviendo como una alternativa "suave" al filtrado estricto).
• Configuración de Entrenamiento: Se entrenaron pequeños transformadores de solo decodificador (que oscilan entre 1.3M y 16.9M de parámetros) sobre estos corpora. La cuadrícula principal utilizó un modelo de 7.34M de parámetros.
• Presupuestos: Se utilizaron presupuestos de entrenamiento de 6.1M, 12.3M y 24.6M de tokens, lo que resultó en conteos de repetición que van desde 0.26 hasta 16.4 pasadas sobre los tokens únicos, dependiendo del tamaño del corpus.
• Evaluación: Los modelos se evaluaron en tres conjuntos de validación:
  1. Web: Texto web bruto (la distribución de la cual se extrajo el pool).
  2. Edu: Texto web de alta puntuación (que se solapa con el objetivo del filtro).
  3. WikiText-103: Texto enciclopédico independiente y curado.
• Robustez: El estudio incluye controles emparejados, múltiples tamaños de modelo y barridos de hiperparámetros (tasa de aprendizaje y decaimiento de peso) para asegurar que los resultados no sean artefactos de recetas específicas.

Resultos Clave
Los experimentos arrojan tres hallazgos principales, todos los cuales exceden la banda de ruido de ejecución a ejecución de ~0.055 nats por token:

1. Dependencia del Objetivo: El signo del efecto de filtrado depende enteramente del objetivo de evaluación.

   • En el objetivo de la web bruta, el filtrado nunca ayuda; la pérdida aumenta monótonamente a medida que la tasa de retención $f$ disminuye. El filtrado agresivo (mantener el top 1/16) cuesta hasta 0.44 nats por token en comparación con mantener todos los datos.
   • En los objetivos de alta calidad (Edu y WikiText-103), el filtrado puede ser inofensivo o ligeramente beneficioso con presupuestos bajos, pero el beneficio es pequeño y a menudo se sitúa en el límite de la banda de ruido.

2. Dependencia del Presupuesto: La tasa de retención óptima se relaja a medida que el presupuesto crece.

   • A medida que el presupuesto aumenta, el costo de la repetición supera el beneficio de la calidad. Por ejemplo, en WikiText-103, el corpus del top-1/16 fue marginalmente mejor que el pool sin filtrar con un presupuesto de 6.1M de tokens (4.1 pasadas), pero se volvió significativamente peor con un presupuesto de 12.3M de tokens (8.2 pasadas). La fracción que minimiza la pérdida se desplaza hacia la retención de más datos a medida que $D/U$ aumenta.

3. Filtrado Estricto vs. Sobreponderación: El método para actuar sobre las puntuaciones de calidad importa.

   • En tasas de retención agresivas (por ejemplo, top 1/16), la sobreponderación (mantener todos los datos y sobremuestrear la porción de alta puntuación) supera estrictamente al filtrado estricto (eliminar la porción de baja puntuación) en todos los objetivos y presupuestos. La ventaja de la sobreponderación alcanza hasta 0.39 nats.
   • En tasas de retención leves (por ejemplo, top 1/4), el filtrado estricto y la sobreponderación son estadísticamente indistinguibles.
   • Aleatorio vs. Selección: En los objetivos de alta calidad, la selección basada en puntuación supera significativamente a los subconjuntos aleatorios del mismo tamaño, lo que indica que el clasificador captura una señal de distribución genuina. Sin embargo, en el objetivo de la web bruta, los subconjuntos aleatorios funcionan casi tan bien como el pool completo, lo que sugiere que el daño del filtrado se debe principalmente al cambio de distribución y no a la escasez.

Significancia y Reivindicaciones
El artículo no pretende determinar la estrategia de filtrado óptima para modelos de escala de frontera (que son órdenes de magnitud más grandes). En su lugar, establece un mecanismo y una tasa de cambio dentro de un régimen específico.

• Interdependencia de Multiplicadores: El estudio demuestra que el "multiplicador de calidad" (fracción que sobrevive al filtrado) y el "multiplicador de repetición" (épocas) no son independientes. Tratar la reducción de la cantidad de tokens únicos como un factor independiente de la repetición lleva a sobreestimar sistemáticamente el valor de un corpus filtrado.
• Guía Práctica: Los autores sugieren que los umbrales ajustados en regímenes de abundancia de datos (ablaciones de una sola época) son probablemente subóptimos cuando el pool es limitante. Recomiendan:
  • Establecer tasas de retención frente al presupuesto específico, no frente al tamaño del corpus.
  • Utilizar la sobreponderación en lugar de la eliminación para la concentración agresiva de datos de alta calidad.
  • Verificar si los resultados del filtrado se mantienen a través de diferentes distribuciones de destino, ya que un filtro ajustado para una distribución puede ser perjudicial para otra.
• Resultado Negativo: Los autores informan que un diseño con solo dos puntos de presupuesto por corpus es insuficiente para identificar la constante de decaimiento de la repetición ($R^*_D$) por separado para los datos filtrados y los aleatorios, advirtiendo contra estudios de cuadrícula delgada similares en la literatura.

En conclusión, el artículo argumenta que, en un pool fijo, el filtrado agresivo es una forma "con pérdida" (lossy) de actuar sobre las puntuaciones de calidad en comparación con la sobreponderación, y que la estrategia óptima se desplaza hacia la retención de más datos a medida que aumenta el presupuesto de entrenamiento.