How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data

1. Planteamiento del Problema

El campo de los Grandes Modelos de Lenguaje (LLMs) ha agotado la disponibilidad de texto web real de alta calidad para el preentrenamiento. La síntesis de datos (usar LLMs para reescribir o generar texto) se ha presentado como una solución, pero carece de una evaluación sistemática.

• Brecha actual: Los trabajos anteriores han explorado enfoques de reescritura de forma aislada (ej. WRAP, Nemotron-CC, REWIRE) sin comparar exhaustivamente las dimensiones clave del diseño: la estrategia de reescritura (prompt), el modelo generador y la calidad de los datos de origen.
• Desafío: Existe incertidumbre sobre si se necesitan modelos generadores masivos, qué formato de salida es más efectivo y cómo afecta la mezcla de datos sintéticos con datos web reales.

2. Metodología

Los autores realizaron un estudio controlado extenso, generando más de un billón de tokens para identificar los factores críticos. Su marco experimental se basa en tres ejes principales:

A. Estrategia de Reescritura (Prompt Design)

Compararon prompts existentes contra cuatro nuevos formatos pedagógicos estructurados:

1. Prompts Establecidos: Pares de preguntas y respuestas diversas (Diverse QA), extracción de conocimiento, destilación, estilo Wikipedia, listas de conocimiento, reescritura guiada (REWIRE), continuación y resumen.
2. Formatos Pedagógicos Estructurados (Nuevos):
   • Math: Transformar el texto en problemas matemáticos con soluciones paso a paso.
   • FAQ: Reescribir como una lista de preguntas y respuestas frecuentes, ordenadas lógicamente.
   • Table: Organizar la información clave en tablas estructuradas y generar pares pregunta-respuesta basados en ellas.
   • Tutorial: Convertir el texto en guías paso a paso con viñetas o numeración.

B. Modelo Generador

Evaluaron la influencia del tamaño y la arquitectura del modelo generador:

• Escala: Probaron modelos Gemma 3 (de 270M a 27B parámetros) y SmolLM2 (de 135M a 1.7B parámetros).
• Arquitecturas: Compararon familias como Gemma, Llama, Qwen, Granite, Falcon y SmolLM2 en una escala fija de ~1B parámetros.

C. Composición de Datos (Mix-in y Origen)

• Necesidad de mezcla: Analizaron si entrenar solo con datos sintéticos es suficiente o si se requiere una mezcla con tokens web originales.
• Calidad de origen vs. mezcla: Evaluaron si la calidad de los datos de origen (fuente) o la selección de los datos de mezcla (mix-in) es el factor determinante. Usaron conjuntos como DCLM, Cosmopedia y FineWeb (HQ y LQ).

Configuración Experimental

• Modelo de evaluación: Entrenaron modelos desde cero de 1.2B parámetros (arquitectura Qwen 2) durante 21B tokens.
• Benchmarks: 12 tareas divididas en 6 categorías: Conocimiento General, Comprensión de Lectura, Razonamiento, NLU, Matemáticas y Comprensión de Tablas.

3. Contribuciones Clave

1. Estudio Sistemático: La primera comparación exhaustiva que descompone la generación de datos sintéticos en sus componentes fundamentales (prompt, modelo, datos).
2. Descubrimiento de la Eficiencia: Demostraron que los modelos grandes (>1B parámetros) no son necesarios para una reescritura efectiva y que el diseño del prompt es el factor dominante.
3. FINEPHRASE: Creación y liberación de un nuevo dataset sintético de 486 mil millones de tokens, junto con el marco de generación y los prompts.

4. Resultados Principales

A. La Estrategia de Reescritura es Dominante

• Los formatos pedagógicos estructurados (Math, FAQ, Table, Tutorial) superaron consistentemente a los baselines de web curada (DCLM) y a los métodos sintéticos anteriores.
• Math y Table obtuvieron los mejores resultados, superando incluso al prompt "Diverse QA Pairs" (el mejor de los existentes) en ~0.7 y ~0.25 puntos respectivamente.
• La reestructuración de datos en formatos ricos pedagógicamente proporciona señales de entrenamiento más densas y útiles que la simple paráfrasis.

B. El Modelo Generador: No se necesita escalar

• Punto de saturación: Aumentar el tamaño del modelo generador más allá de 1B parámetros no aporta beneficios significativos. De hecho, en muchos casos, modelos de 1B (como Gemma 3 1B o SmolLM2 1.7B) superaron a modelos de 27B.
• Arquitectura: SmolLM2 1.7B fue el mejor modelo, superando a todas las demás familias. Esto se atribuye a su conjunto de datos de ajuste fino, que incluye tareas específicas de reescritura (Smol-Rewrite), lo que le da una ventaja intrínseca en la transformación estructural.
• Diversidad vs. Consistencia: Se observó un fenómeno de "colapso de plantilla" en modelos muy disciplinados (como Qwen 3), donde la consistencia extrema generaba datos repetitivos. SmolLM2, aunque menos consistente en el formato, ofreció mayor diversidad en la longitud y estructura, lo cual resultó más beneficioso para el preentrenamiento.

C. Datos de Origen y Mezcla (Mix-in)

• La mezcla es crucial: Entrenar exclusivamente con datos sintéticos es subóptimo. La mezcla de datos sintéticos con tokens web originales (mix-in) es esencial para recuperar capacidades de razonamiento común y comprensión del lenguaje natural (NLU) que los datos sintéticos puros no logran.
• Calidad del Mix-in > Calidad del Origen: La selección del conjunto de datos de mezcla (mix-in) es más crítica que la calidad de los datos de origen. Se puede "reciclar" (up-cycle) texto web ruidoso de baja calidad si se mezcla con un corpus robusto de alta calidad (como FineWeb-HQ o DCLM).

D. Análisis de Costos

• La combinación óptima (SmolLM2 1.7B + prompts estructurados) reduce los costos de generación en hasta 30 veces en comparación con métodos que utilizan modelos de 70B (como REWIRE con Llama 3.3 70B), manteniendo o mejorando el rendimiento.

5. Significado e Impacto

• Nuevo Estándar de Eficiencia: El trabajo demuestra que la inversión en el diseño de la arquitectura del prompt y la selección de modelos pequeños pero especializados es mucho más rentable que simplemente escalar el tamaño del modelo generador.
• FINEPHRASE: El dataset resultante (486B tokens) supera a todos los baselines sintéticos existentes y a DCLM en métricas agregadas, especialmente en conocimiento factual y comprensión de lectura, mientras mantiene un costo computacional drásticamente menor.
• Mitigación del Colapso de Modelos: Al integrar datos sintéticos con datos web originales y priorizar la diversidad sobre la consistencia estricta, el enfoque propuesto mitiga los riesgos de degradación (model collapse) asociados con el entrenamiento puramente sintético.
• Recursos Abiertos: El equipo ha liberado el dataset, el código de generación (pipeline FinePhrase) y todos los prompts, facilitando la reproducibilidad y la adopción por parte de la comunidad de investigación.

En resumen, el artículo establece que la calidad de la síntesis depende más de cómo se pide al modelo que reescriba (prompt estructurado) y de con qué datos se mezcla, que del tamaño del modelo que realiza la reescritura.