🤖 machine learning

RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training

Este artículo desafía la práctica estándar de aplicar el aprendizaje por refuerzo (RL) únicamente después del ajuste fino supervisado (SFT) al demostrar que integrar el RL de manera más temprana en el preentrenamiento, optimizar la composición de los datos y fusionar los objetivos de RL con los de SFT puede mejorar eficazmente las capacidades de razonamiento y expandir las distribuciones del modelo preservando al mismo tiempo las habilidades generales.

Autores originales: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Publicado 2026-06-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un estudiante brillante pero novato (el modelo de IA) para resolver problemas matemáticos. Durante años, la receta estándar ha consistido en tres pasos:

Preentrenamiento: El estudiante lee millones de libros para aprender lenguaje general y hechos.
SFT (Ajuste Fino Supervisado): Un profesor le entrega al estudiante un libro de texto con problemas y sus respuestas exactas y correctas, obligándolo a memorizar la ruta de la solución.
RL (Aprendizaje por Refuerzo): El estudiante es puesto en un juego donde recibe puntos solo por obtener la respuesta final correcta, lo que lo incentiva a descubrir nuevas formas de resolver problemas por su cuenta.

Este artículo pregunta: ¿Realmente tenemos que esperar hasta que el estudiante haya leído todos los libros y memorizado el libro de texto antes de dejarlo jugar al juego?

Aquí está lo que los investigadores descubrieron, explicado de forma sencilla:

1. Puedes empezar el juego temprano

La regla estándar dice: "Espera hasta que el estudiante esté totalmente entrenado antes de darle el juego". Los investigadores probaron dar el juego (RL) al estudiante mientras todavía estaba leyendo sus primeros capítulos (al principio del preentrenamiento).

El Resultado: ¡Funcionó sorprendentemente bien! Incluso cuando el estudiante solo había leído una pequeña fracción de los libros, jugar al juego le ayudó a resolver problemas matemáticos mucho mejor que simplemente leer más libros. De hecho, jugar al juego temprano fue a menudo tan bueno como esperar hasta el final y hacer toda la rutina de "Leer → Memorizar → Jugar".

2. El "Juego" es mejor cuando no tienes un libro de texto

Normalmente, el paso de "Memorizar" (SFT) requiere un libro de texto con las respuestas correctas. Pero, ¿qué pasa si no tienes suficientes libros de texto?

El Hallazgo: Si solo tienes uno o dos ejemplos de cómo resolver un problema, el paso de "Memorizar" (SFT) falla. Pero el "Juego" (RL) prospera. El estudiante aprende a explorar y encontrar soluciones por su cuenta sin necesidad de una clave de respuestas perfecta. El juego es un maestro mucho más fuerte cuando te faltan ejemplos.

3. El ingrediente secreto es el tipo de libros, no el tamaño del estudiante

La gente suele pensar: "Si el estudiante es más grande (más poderoso), aprenderá mejor". Los investigadores probaron esto haciendo al estudiante más grande.

El Giro: Hacer al estudiante más grande no ayudó a que aprendiera el juego más rápido. Sin embargo, darle más libros de matemáticas específicamente durante su fase inicial de lectura sí lo hizo.
La Lección: Si quieres que el estudiante sea bueno en matemáticas, dale historias de matemáticas temprano. El contenido de lo que lee importa más que el tamaño de su cerebro.

4. El mito del "Afilado" frente a la "Expansión"

Existe un debate reciente: ¿El "Juego" (RL) solo hace que las respuestas existentes del estudiante sean más afiladas y seguras, o realmente le enseña nuevas formas de pensar?

La Visión Antigua: Muchos pensaban que el RL solo "afilaba" al estudiante, haciéndolo más seguro de sí mismo pero no necesariamente más inteligente.
El Nuevo Descubrimiento: Los investigadores encontraron que el efecto de "afilado" ocurre en realidad debido al paso de "Memorizar" (SFT). Cuando obligas al estudiante a memorizar un libro de texto primero, este deja de explorar.
La Verdadera Magia: Si dejas que el estudiante juegue al juego directamente sin memorizar el libro de texto primero, en realidad expande su pensamiento. Prueba muchos caminos diferentes y descubre nuevas soluciones que antes desconocía. El paso de "Memorizar" es lo que realmente limita su creatividad, no el juego en sí.

5. La receta del "Superestudiante"

Los investigadores combinaron lo mejor de ambos mundos. En lugar de hacer "Memorizar" y luego "Jugar", hicieron que el estudiante hiciera ambos al mismo tiempo.

Cómo funciona: Imagina que el estudiante está resolviendo un problema. Una parte de su cerebro está revisando el libro de texto (SFT) y otra parte está experimentando con nuevas ideas (RL). Ellos promedian los consejos de ambas partes para actualizar su cerebro.
El Resultado: Este "Superestudiante" (Promedio en Paralelo) fue el mejor para resolver problemas. Obtuvo las respuestas correctas con más frecuencia que cualquier otro, y a diferencia de los estudiantes que solo memorizaron el libro de texto, no olvidó cómo hacer otras cosas (como la conversación general).

Resumen de las Grandes Conclusiones

No esperes: Puedes usar el Aprendizaje por Refuerzo (el juego) muy temprano en la vida de un modelo, incluso antes de que haya terminado su fase de "lectura".
Los datos importan más que el tamaño: Alimentar al modelo con tipos de datos específicos (como matemáticas) durante el preentrenamiento es más importante que simplemente hacer el modelo más grande.
El RL no es el villano: El RL no arruina las habilidades generales de un modelo ni solo lo "afila". Esos efectos negativos provienen del paso de "Memorizar" (SFT). El RL realmente ayuda a los modelos a explorar y encontrar nuevas soluciones.
Hazlo juntos: Los mejores resultados provienen de mezclar los pasos de "Memorizar" y "Jugar" simultáneamente, en lugar de hacerlos uno tras otro.

En resumen, el artículo sugiere que deberíamos dejar de tratar el Aprendizaje por Refuerzo como un pulido final al final del proceso. En su lugar, debemos integrarlo en el proceso de entrenamiento mucho antes y mezclarlo con otros métodos para obtener modelos más inteligentes y capaces.

Resumen Técnico: Excursiones de RL durante el Pre-entrenamiento

Planteamiento del Problema

El flujo de entrenamiento estándar para los Grandes Modelos de Lenguaje (LLMs) típicamente restringe el Aprendizaje por Refuerzo (RL) a la fase de post-entrenamiento, aplicado únicamente después de un extenso pre-entrenamiento de predicción del siguiente token (NTP) y Ajuste Fino Supervisado (SFT). Este enfoque secuencial plantea dos preguntas fundamentales:

Temporalidad: ¿Es fundamentalmente necesario esperar hasta el final del pre-entrenamiento para aplicar RL, o puede el RL ser efectivo antes?
Mecanismo: ¿El RL inherentemente "afila" la distribución de salida existente de un modelo (limitando la exploración), o expande las capacidades? La literatura reciente sugiere que el RL principalmente afila las distribuciones, pero no está claro si esto es un artefacto del flujo de trabajo estándar SFT→RL en lugar del objetivo de RL en sí mismo.

Además, existe un debate sobre si el RL erosiona las capacidades generales heredadas del pre-entrenamiento.

Metodología

Los autores llevan a cabo un estudio controlado a gran escala para aislar los efectos del RL del régimen de entrenamiento estándar.

Modelo y Datos: Pre-entrenan un modelo de 1B de parámetros (basado en la arquitectura OLMo2) desde cero en un corpus de alta calidad y con carga de razonamiento (mezcla DOLMino, 50B de tokens). También experimentan con un modelo de 4B y un modelo de 1B entrenado con 60B de tokens (con datos matemáticos adicionales).
Checkpoints: En lugar de esperar al modelo final, guardan checkpoints a lo largo del proceso de pre-entrenamiento (desde 4B hasta 50B de tokens).
Flujos de Entrenamiento: Para cada checkpoint $M_t$ $M_{t}$ , aplican cuatro estrategias distintas de post-entrenamiento:
1. RL Directo ( $M^R_t$ ): Aplicar RL (específicamente GRPO con recompensas verificables) directamente al checkpoint base sin SFT previo.
2. SFT ( $M^{SFT}_t$ ): Ajuste Fino Supervisado utilizando una única solución de verdad fundamental por problema.
3. SFT-Gold ( $M^{SFT-Gold}_t$ ): SFT utilizando todas las soluciones de verdad fundamental disponibles por problema (un escenario que suele ser impráctico en la realidad).
4. Pipeline Estándar ( $M^{SFT \to RL}_t$ ): SFT seguido de RL, representando el estándar actual de la industria.
5. Promedio en Paralelo ( $M^{Parallel}_t$ ): Un método propuesto donde los gradientes de RL y SFT se computan en paralelo desde un mismo snapshot de parámetros y se promedian para actualizar los pesos.
Evaluación: El rendimiento se mide en GSM8K (nivel de escuela primaria) y MATH (nivel de competición) utilizando métricas pass@k ( $k=1, 8, 32$ ). Las capacidades generales se evalúan en seis benchmarks no matemáticos (ej. LAMBADA, HellaSwag).

Contribuciones Clave y Resultados

1. El RL es Efectivo Temprano en el Pre-entrenamiento

Contrario a la suposición de que el RL requiere un modelo base altamente capaz, los autores encuentran que el RL es efectivo sorprendentemente temprano.

Ganancias Tempranas: El RL directo mejora el rendimiento en GSM8K comenzando desde tan solo 4B de tokens de pre-entrenamiento, mucho antes del recuento de tokens óptimo de Chinchilla.
Competitividad: Para los 10B de tokens, el RL directo iguala el rendimiento del flujo estándar SFT→RL en pass@1 y pass@32, a pesar de no haber visto nunca trazas de razonamiento de verdad fundamental.
Escasez de Datos: Cuando las demostraciones de verdad fundamental son escasas (una sola solución por prompt), el RL supera significativamente al SFT. El SFT solo supera al RL cuando se le proporcionan múltiples soluciones de alta calidad (SFT-Gold), una condición que rara vez se cumple en la práctica.

2. Composición de Datos de Pre-entrenamiento > Escala del Modelo

Para tareas de razonamiento más difíciles (dataset MATH), la efectividad del RL depende más de la composición de los datos de pre-entrenamiento que de la escala del modelo.

Escalado de Datos: Añadir datos dirigidos con alta carga matemática a la mezcla de pre-entrenamiento (aumentando de 50B a 60B de tokens) potencia significativamente las ganancias alcanzables por el RL directo.
Escalado de Modelo: Aumentar el tamaño del modelo de 1B a 4B mejora el rendimiento absoluto del modelo base, pero no mejora sustancialmente la ganancia relativa proporcionada por el RL.
Diagnóstico: La precisión pass@k del modelo base en el conjunto de prueba sirve como un predictor ligero de si el entrenamiento de RL producirá ganancias posteriores.

3. El RL Expande vs. Afila las Distribuciones

El artículo desafía la afirmación de que el RL inherentemente afila las distribuciones.

Expansión: Cuando se aplica directamente a los checkpoints base, el RL expande la distribución del modelo, mejorando tanto pass@1 como pass@32. El modelo descubre nuevas rutas de razonamiento mediante el aprendizaje on-policy.
Artefacto de Afilamiento: El efecto de "afilamiento" (mejora en pass@1 pero degradación en pass@32) observado en trabajos recientes surge solo cuando el RL sigue al SFT. Los autores hipotetizan que el SFT restringe la exploración al exponer el modelo a soluciones de verdad fundamental, causando que el RL subsiguiente simplemente refine las rutas existentes en lugar de descubrir nuevas.

4. Preservación de Capacidades Generales

Degradación por SFT: El SFT degrada consistentemente las capacidades generales (no matemáticas) entre un 4 y un 8 por ciento en los benchmarks.
Preservación por RL: El RL directo deja las capacidades generales esencialmente sin cambios.
Promedio en Paralelo: El método de promedio en paralelo propuesto ( $M^{Parallel}_t$ ) combina las fortalezas de ambos: logra los puntajes de pass@32 más fuertes (superando el pipeline estándar) mientras preserva las capacidades generales, evitando la regresión vista en los regímenes basados en SFT.

Significancia

El artículo argumenta que muchas suposiciones sobre el RL (ej. que requiere un modelo base maduro, que inherentemente afila las distribuciones o que erosiona las capacidades generales) son artefactos del actual régimen de entrenamiento SFT→RL más que propiedades inherentes del objetivo de RL.

Los autores concluyen que:

Viabilidad: Introducir el RL más temprano en el flujo de entrenamiento es factible y, a menudo, preferible.
Palancas de Datos: La composición de los datos de pre-entrenamiento dirigidos es una palanca más fuerte para la efectividad del RL que el escalado del modelo.
Sinergia de Objetivos: Los objetivos de RL y SFT son complementarios. El enfoque de promedio en paralelo demuestra que combinarlos puede generar capacidades de razonamiento superiores (pass@32) sin sacrificar la inteligencia general.

El trabajo sugiere un cambio de paradigma donde el RL sea tratado como un objetivo de entrenamiento de primer orden integrado a lo largo del proceso de pre-entrenamiento y ajuste fino, en lugar de ser un paso final de post-entrenamiento.