Resumen Técnico: Una Lección Amarga para el Filtrado de Datos

Declaración del Problema

El paradigma estándar para el preentrenamiento de modelos de lenguaje grandes (LLM) implica un filtrado riguroso de datos, donde el texto de fuentes como Common Crawl (CC) se selecciona para retener únicamente subconjuntos "de alta calidad". Aunque este enfoque se acepta ampliamente como esencial, particularmente en regímenes con restricciones de cómputo, entra en conflicto con las leyes de escalado que sugieren que el rendimiento mejora con volúmenes de datos cada vez mayores. El filtrado reduce drásticamente el presupuesto de tokens disponible (por ejemplo, DCLM-Baseline retiene solo ~1% de CC), lo que podría limitar el rendimiento de los modelos entrenados en condiciones de alto cómputo y escasez de datos.

Este artículo investiga la hipótesis de que el filtrado de datos es necesario en el límite de un gran cómputo. Específicamente, pregunta si el entrenamiento directo sobre el conjunto completo y sin filtrar de Common Crawl puede eventualmente superar al entrenamiento en subconjuntos cuidadosamente seleccionados y filtrados cuando los modelos son lo suficientemente grandes y se entrenan durante el tiempo suficiente.

Metodología

Los autores emplean un estudio de escalado sistemático para evaluar el rendimiento óptimo ($L^\star$) alcanzable en diferentes conjuntos de datos, definido como la pérdida mínima alcanzable variando el tamaño del modelo ($M$) y los pasos de entrenamiento ($N$) sin restricciones computacionales.

1. Configuración Experimental:

   • Conjuntos de datos: El conjunto de datos principal es un subconjunto de 240 billones de tokens de Common Crawl (DCLM-Pool). Los autores crean subconjuntos que van desde 670 millones hasta 10 mil millones de tokens.
   • Filtros: Comparan el conjunto sin filtrar contra cinco variantes filtradas:
     • Filtro de inglés: Elimina el texto que no está en inglés.
     • Filtro de repetición: Elimina documentos con repetición excesiva.
     • Filtro de palabras vacías: Asegura la presencia de palabras vacías comunes en inglés.
     • RefinedWeb: Una combinación de los anteriores más filtros similares.
     • DCLM-Baseline: Una pipeline altamente filtrada que retiene ~2.1% de los datos originales.
   • Modelos: Transformadores densos estilo Llama que van desde 15 millones hasta 7 mil millones de parámetros.
   • Métricas: Las métricas principales son la log-verosimilitud negativa promedio (NLL) en C4, Fineweb-Edu y Cosmopedia. También se evalúan puntos de referencia aguas abajo (ARC-Easy, PIQA, SocialIQA).

2. Estrategia de Escalado:

   • El estudio escala tanto el tamaño del modelo como los pasos de entrenamiento (incluyendo múltiples épocas) para observar el "punto de cruce" donde el conjunto sin filtrar supera a los conjuntos de datos filtrados.
   • Introducen experimentos con "datos basura" inyectando cadenas generadas aleatoriamente y documentos con palabras desordenadas en el conjunto de entrenamiento para probar la robustez del modelo frente al ruido.
   • Se derivan leyes de escalado para predecir el umbral de cómputo (en FLOPs) requerido para que el conjunto sin filtrar se vuelva óptimo para tamaños de conjunto específicos.

3. Análisis Teórico:

   • El artículo presenta un modelo teórico basado en la factorización de matrices de bajo rango con entradas ortogonales. Este modelo demuestra que si el rango (capacidad) de un modelo es suficiente para cubrir la cantidad de tareas distintas (o distribuciones de datos), puede representar óptimamente el problema de predicción sin interferencia de tareas de "ruido". Por el contrario, los modelos más pequeños sufren interferencia.

Resultados Clave

1. La ventaja de "Sin Filtro" a Escala

El hallazgo central es que el conjunto completo de Common Crawl sin filtrar eventualmente supera a todas las variantes filtradas cuando los modelos son lo suficientemente grandes y se entrenan durante suficientes pasos.

• Modelos Pequeños: En regímenes de bajo cómputo (modelos pequeños, pocos pasos), los conjuntos de datos filtrados (como DCLM-Baseline) a menudo producen una pérdida menor.
• Modelos Grandes: A medida que aumenta el tamaño del modelo (por ejemplo, de 330M a 1B de parámetros), la brecha de rendimiento se cierra y se invierte. El conjunto sin filtrar logra la pérdida más baja (por ejemplo, 3.37 NLL en el modelo de 1B), superando incluso a los filtros más agresivos.
• Frontera de Pareto: Al graficar la pérdida contra el cómputo (FLOPs), el conjunto sin filtrar transita de ser el conjunto de datos con peor rendimiento al mejor a medida que aumenta el cómputo. Cabe destacar que algunos conjuntos de datos filtrados (como los filtrados solo por repetición) nunca aparecen en la frontera de Pareto; siempre hay un conjunto de datos mejor en cualquier nivel de cómputo dado.

2. Robustez frente a Datos "Basura"

El estudio prueba los límites de la robustez del modelo inyectando datos de baja calidad:

• Cadenas Aleatorias: Los modelos entrenados en una mezcla de CC y cadenas generadas aleatoriamente (hasta un 200% del tamaño del conjunto) eventualmente igualan el rendimiento del conjunto limpio a medida que aumenta el tamaño del modelo.
• Palabras Desordenadas: Sorprendentemente, los modelos entrenados en documentos con órdenes de palabras desordenadas (preservando solo las distribuciones de unigramas) no solo recuperan el rendimiento, sino que, en algunos casos (modelos de 330M+), superan al conjunto sin filtrar después de suficientes pasos de entrenamiento. Esto sugiere que los modelos grandes pueden extraer señales útiles (por ejemplo, estadísticas de co-ocurrencia) incluso de estructuras de datos altamente degradadas.

3. Leyes de Escalado y Umbrales de Cómputo

Los autores derivan leyes de escalado para predecir cuándo el conjunto sin filtrar se vuelve óptimo para el conjunto completo DCLM-Pool de 240 billones de tokens.

• El número de pasos de entrenamiento (épocas) requerido para que el conjunto sin filtrar supere a RefinedWeb crece de forma superlineal con el tamaño del conjunto.
• Sin embargo, el cómputo requerido para este cruce es altamente lineal. Los autores estiman que para el conjunto completo de 240T de tokens, el enfoque sin filtrar se vuelve óptimo a aproximadamente $10^{30}$ FLOPs. Aunque esto supera las estimaciones actuales de vanguardia (~$5 \times 10^{26}$ FLOPs), está dentro del ámbito de las proyecciones a corto plazo (por ejemplo, $10^{29}$ FLOPs para 2030).

4. Degradación del Modelo y Facticidad

• Desplazamiento de Distribución: Aunque los modelos son robustos a las palabras desordenadas en términos de pérdida promedio, muestran degradación en el primer token de un documento (donde el desplazamiento de distribución es más agudo). Sin embargo, los autores argumentan que esto es insignificante para la mayoría de los casos de uso que involucran contextos más largos.
• Facticidad: Un análisis preliminar de documentos relacionados con MMLU en CC sugiere que el contenido activamente dañino y no factual (por ejemplo, teorías de conspiración que refutan hechos establecidos) es relativamente raro en comparación con el contenido de apoyo o neutral. El análisis teórico sugiere que el filtrado solo es beneficioso si el "ruido" es altamente prevalente y el filtro tiene una alta relación de verdaderos positivos a falsos positivos, lo cual podría no cumplirse para la amplia distribución de CC.

Significado y Afirmaciones

El artículo argumenta que el filtrado de datos puede sufrir la "Lección Amarga" (Sutton, 2019): las heurísticas diseñadas por humanos que funcionan bien a pequeña escala son eventualmente superadas por enfoques simples y escalables que aprovechan el aumento del cómputo.

• Rechazo de la Necesidad de Filtrado: Los autores rechazan la hipótesis de que el filtrado de datos es estrictamente necesario. Proporcionan evidencia de que es probable que ningún filtro existente mejore el entrenamiento directo sobre Common Crawl dado suficiente cómputo y capacidad de modelo.
• Robustez de los Modelos Grandes: Los modelos lo suficientemente grandes son altamente robustos frente a datos irrelevantes o "basura" y pueden extraer información útil de fuentes ruidosas, incluido texto desordenado.
• Implicaciones Futuras: Aunque el filtrado sigue siendo importante en los regímenes actuales con restricciones de cómputo, el artículo sugiere que a medida que los presupuestos de cómputo escalen hacia $10^{30}$ FLOPs, la estrategia óptima podría desplazarse hacia el uso del conjunto de datos completo y sin filtrar, volviendo obsoletas las pipelines complejas de selección.

Los autores concluyen que, aunque los datos dañinos (por ejemplo, contenido no factual que imita texto de alta calidad) pueden existir teóricamente, no son lo suficientemente prevalentes en Common Crawl para justificar la enorme pérdida de datos incurrida por el filtrado agresivo, especialmente cuando la alternativa es simplemente entrenar modelos más grandes durante más tiempo.