Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

Este trabajo introduce dos conjuntos de datos preentrenados de código y matemáticas, generados mediante un proceso de reescritura sistemática que transforma y retiene datos públicos de baja calidad, logrando mejoras significativas en el rendimiento de modelos de lenguaje grandes en tareas de síntesis de programas y razonamiento matemático.

Lo esencial

¡Hola! Imagina que entrenar a un modelo de inteligencia artificial (como un robot muy inteligente) es como preparar a un estudiante para un examen final muy difícil.

Este paper (documento de investigación) nos cuenta cómo un equipo de científicos de Japón creó dos nuevos "libros de texto" gigantes para enseñar a estos robots a ser mejores en matemáticas y en programación.

Aquí te explico la historia con una analogía sencilla:

1. El Problema: La "Basura" en la Biblioteca

Imagina que quieres enseñar a un niño a cocinar. Le das un libro de recetas, pero ese libro tiene un problema:

• Algunas recetas tienen ingredientes que no existen.
• Otras están escritas con una letra ilegible.
• Algunas dicen "mezcla todo" sin decir cuánto.
• Y otras son solo listas de compras sin instrucciones.

Si le das ese libro al niño, aprenderá mal. En el mundo de la IA, estos libros de recetas son los datos de entrenamiento (todo el texto y código que la IA lee antes de aprender). Los datos públicos que existen hoy en día son como ese libro de recetas desordenado: hay mucho ruido, errores y cosas sin sentido.

2. La Solución: Los "Editores Mágicos" (SwallowCode y SwallowMath)

Los autores crearon dos nuevos libros de texto, llamados SwallowCode (para código) y SwallowMath (para matemáticas). Pero no solo copiaron y pegaron; usaron un proceso muy inteligente que llaman "Transformar y Conservar" (Transform-and-Retain).

En lugar de simplemente tirar a la basura las recetas malas (que es lo que hacían otros antes), decidieron repararlas.

¿Cómo lo hicieron? (El proceso de 4 pasos)

Imagina que tienen un equipo de editores expertos (que son otras IAs muy inteligentes) que pasan por el libro página por página:

1. El Inspector de Errores (Filtro de Sintaxis):

   • Analogía: Un inspector que revisa si la receta dice "hornea a 5000 grados" (lo cual es imposible). Si la receta no tiene sentido lógico, la descarta inmediatamente.
   • En la IA: Eliminan el código que tiene errores de escritura y no funciona.

2. El Inspector de Estilo (Filtro de Pylint):

   • Analogía: Un inspector que dice: "Esta receta está bien, pero está escrita en un papel sucio, con la letra torcida y sin usar comas". Lo limpia y lo ordena.
   • En la IA: Revisan que el código siga las reglas de buena escritura (nombres claros, ordenados).

3. El Editor de Estilo (Reescritura Guiada):

   • Analogía: Aquí entra un chef experto. Toma una receta que funciona pero es aburrida o confusa, y la reescribe para que sea elegante, fácil de leer y profesional.
   • En la IA: Una IA reescribe el código para que siga las reglas de oro de programación, usando nombres de variables claros y comentarios útiles.

4. El Ingeniero de Soluciones (Optimización):

   • Analogía: El chef ve que la receta dice "hornea la pizza durante 100 años". Lo cambia por "hornea 15 minutos". O toma una receta que depende de un ingrediente que nadie tiene y la cambia para que use ingredientes que sí existen.
   • En la IA: La IA arregla los algoritmos lentos, asegura que el código no dependa de cosas externas que no existen y convierte ejemplos tontos en ejemplos útiles y completos.

3. El Resultado: El Estudiante de la A

Al final, tomaron un modelo de IA estándar (llamado Llama) y lo entrenaron con estos nuevos libros de texto "reparados".

• Antes: El modelo era como un estudiante que había leído un libro de recetas lleno de errores. En los exámenes de programación (HumanEval) y matemáticas (GSM8K), sacaba notas regulares.
• Después: Con los nuevos libros, el mismo estudiante (con la misma cantidad de tiempo de estudio) sacó notas mucho más altas.
  • En programación, mejoró un 17% en un examen difícil.
  • En matemáticas, mejoró un 12% en otro examen complejo.

4. ¿Por qué es importante esto?

Antes, la gente pensaba que para mejorar a la IA había que buscar más datos (libros más grandes). Este paper dice: "¡No! No necesitas más libros, necesitas libros mejores."

Es como si en lugar de darle al estudiante 100 libros de cocina mal escritos, le dieras 10 libros perfectos, limpios y explicados por un chef experto. Aprende más rápido y mejor.

En resumen

Los autores crearon dos nuevos conjuntos de datos (SwallowCode y SwallowMath) que toman información pública, la limpian, la arreglan y la mejoran usando inteligencia artificial. Esto permite que cualquier modelo de IA, incluso los más pequeños, aprendan a programar y a resolver problemas matemáticos mucho mejor, sin necesidad de gastar una fortuna en computadoras nuevas.

¡Es como convertir una pila de papeles arrugados en un manual de instrucciones perfecto! 📚✨🤖

Resumen técnico

Resumen Técnico: SwallowCode y SwallowMath

1. El Problema

El rendimiento de los Modelos de Lenguaje Grandes (LLM) en la síntesis de programas y el razonamiento matemático está fundamentalmente limitado por la calidad de sus corpus de pre-entrenamiento.

• Limitaciones de los datos actuales: Los conjuntos de datos públicos existentes (como The-Stack-v1/v2 para código y Finemath-4+ para matemáticas) dependen principalmente de extracciones basadas en reglas o filtrado por puntuación de modelos. Estos enfoques a menudo retienen datos ruidosos, redundantes o estilísticamente inconsistentes.
• Enfoque de "Filtrado vs. Retención": Los métodos anteriores tienden a ser excluyentes (descartar datos de baja calidad), lo que reduce el volumen de datos útiles y deja defectos persistentes en los datos retenidos (como falta de contexto o nombres de variables inconsistentes).
• Brecha de calidad: Las familias de modelos de vanguardia de código abierto no publican sus corpus de pre-entrenamiento, creando una brecha donde la comunidad de código abierto carece de datos de alta calidad comparables a los utilizados en modelos propietarios.

2. Metodología: El Enfoque "Transform-and-Retain"

Los autores proponen un cambio de paradigma: en lugar de simplemente filtrar datos, reescriben los corpus existentes para eliminar ruido y redundancia, maximizando la utilidad de los datos. Presentan dos nuevos conjuntos de datos de licencia abierta: SwallowCode y SwallowMath.

A. SwallowCode (Código)
Derivado de The-Stack-v2 (fragmentos de Python), utiliza una tubería (pipeline) de cuatro etapas:

1. Validación de Sintaxis: Eliminación de código que no compila correctamente en Python 3.10.
2. Filtrado basado en Linter (Pylint): Aplicación de estándares de estilo (Google Python Style Guide) y eliminación de código con puntuaciones bajas (<7.0) o comentarios excesivamente verbosos.
3. Reescritura Guiada por Estilo (SGCR): Uso de un LLM (Llama-3.3-70B-Instruct) para reescribir el código cumpliendo criterios de legibilidad, nombres de variables descriptivos, modularidad, manejo de errores y anotaciones de tipos.
4. Reescritura de Optimización Autosuficiente (SCOR): Una segunda etapa de reescritura que asegura que el código sea autosuficiente (resuelve dependencias externas, elimina importaciones inexistentes), optimiza algoritmos ineficientes (ej. reemplaza recursividad ingenua por programación dinámica) y transforma fragmentos triviales en ejemplos instructivos.

B. SwallowMath (Matemáticas)
Derivado de Finemath-4+, utiliza una tubería de reescritura similar adaptada al dominio matemático:

• Eliminación de encabezados web, pies de página y metadatos irrelevantes.
• Restauración de contexto faltante en preguntas o respuestas incompletas.
• Reformulación de soluciones para que sean explicaciones concisas, paso a paso, eliminando el "ruido" y mejorando la claridad lógica.

Configuración Experimental:

• Modelo Base: Se utilizó Llama-3.1-8B como punto de partida para evitar la saturación de modelos ya muy avanzados.
• Presupuesto: Pre-entrenamiento continuo (continual pre-training) con un presupuesto fijo de 50 mil millones de tokens.
• Comparativa: Se comparó contra Stack-Edu (para código) y Finemath-4+ (para matemáticas) bajo las mismas condiciones de mezcla de datos y recursos.

3. Contribuciones Clave

1. Nuevos Conjuntos de Datos Abiertos: Lanzamiento de SwallowCode (16.1 mil millones de tokens) y SwallowMath (2.3 mil millones de tokens), ambos bajo licencia comunitaria Llama 3.3.
2. Metodología "Transform-and-Retain": Demostración de que la reescritura sistemática de datos de baja calidad es más efectiva que el filtrado excluyente, preservando la diversidad del corpus original mientras mejora drásticamente la calidad semántica y estilística.
3. Reproducibilidad Total: Publicación de todos los datos, prompts, checkpoints de modelos, código de la tubería y resultados de estudios de ablación.
4. Validación de Contaminación: Implementación de rigurosas pruebas de descontaminación contra los conjuntos de pruebas (HumanEval, GSM8K, MATH) y análisis de "auto-contaminación" por parte del modelo reescritor.

4. Resultados

Bajo un presupuesto de 50 mil millones de tokens, el pre-entrenamiento continuo con los datos reescritos superó significativamente a los baselines:

• Rendimiento en Código (SwallowCode vs. Stack-Edu):

  • HumanEval: +17.0 puntos de mejora en pass@1.
  • HumanEval+: +16.1 puntos de mejora en pass@1.
  • El modelo superó las capacidades de generación de código del modelo base y otros corpus públicos.
  • Nota: El estudio también se validó en Qwen2-7B, mostrando mejoras de +10.3 puntos, confirmando la generalidad del método.

• Rendimiento en Matemáticas (SwallowMath vs. Finemath-4+):

  • GSM8K: +12.4 puntos de mejora en precisión.
  • MATH: +7.6 puntos de mejora en precisión.

• Estudios de Ablación:

  • Se confirmó que cada etapa del pipeline contribuye incrementalmente.
  • La etapa de reescritura (SGCR y SCOR) aportó las mayores ganancias (aprox. 14 puntos combinados en HumanEval), superando ampliamente a las etapas de filtrado sintáctico y de linter (que aportaron solo 1-2 puntos).
  • Se descartó el uso de puntuación basada en LLM para filtrado directo debido a su alto costo computacional y ganancias marginales en comparación con la reescritura.

5. Significado e Impacto

• Eficiencia de Datos: El trabajo demuestra que la calidad de los datos es un factor más crítico que el volumen bruto. Un corpus más pequeño pero reescrito y de alta calidad supera a corpus masivos y ruidosos con el mismo presupuesto de entrenamiento.
• Accesibilidad: Al liberar estos corpus y la metodología, se cierra parcialmente la brecha de calidad de datos entre los modelos de código abierto y los modelos propietarios de vanguardia.
• Reutilizabilidad: La metodología "Transform-and-Retain" es transferible a otros dominios y modelos base, ofreciendo una ruta escalable para mejorar el pre-entrenamiento sin necesidad de generar datos sintéticos desde cero (lo cual puede reducir la diversidad).
• Costo-Beneficio: Aunque la reescritura inicial tiene un costo computacional alto (requiere GPU), este costo se amortiza a largo plazo al permitir que los modelos aprendan más rápido y con menos tokens, evitando la necesidad de entrenar con volúmenes masivos de datos ruidosos para alcanzar el mismo rendimiento.

En conclusión, el artículo establece que la curación activa de datos mediante reescritura guiada por LLM es una estrategia superior a la filtración pasiva para elevar el techo de rendimiento de los modelos de lenguaje en tareas complejas de razonamiento y síntesis.