Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

Resumen Técnico: El Entrenamiento Intermedio con Datos Auto-Generados Mejora el Aprendizaje por Refuerzo en Modelos de Lenguaje

Planteamiento del Problema
Los avances recientes en Modelos de Lenguaje de Gran Escala (LLM) han destacado el Aprendizaje por Refuerzo (RL) como una técnica potente para mejorar las capacidades de razonamiento, particularmente a través de la escalabilidad en tiempo de inferencia. Sin embargo, la efectividad del RL depende en gran medida de los priores establecidos en el modelo antes del entrenamiento de RL. La literatura existente sugiere que el RL con recompensas verificables (RLVR) a menudo realiza un "afilado distribucional", amplificando selectivamente comportamientos ya presentes en el modelo base en lugar de inducir capacidades genuinamente nuevas. Cuando un modelo carece de exposición a enfoques diversos de resolución de problemas para una sola tarea, el entrenamiento posterior de RL puede tener dificultades para mejorar el rendimiento o incluso degradarlo bajo ciertas métricas de evaluación (por ejemplo, pass@k). El desafío central abordado es cómo equipar eficazmente a un modelo base con un conjunto rico de estrategias de razonamiento diversas antes de aplicar el RL, permitiendo así que el proceso de RL componga y refine estas estrategias en lugar de simplemente reforzar un conjunto limitado de comportamientos existentes.

Metodología
Los autores proponen un marco de entrenamiento intermedio que sirve como paso intermedio entre el pre-entrenamiento y el RL. Esta fase utiliza datos auto-generados diversos para exponer al modelo a múltiples trayectorias de solución válidas para el mismo problema.

1. Generación de Datos Guiada por Heurísticas:

   • El marco se inspira en las heurísticas de resolución de problemas de George Pólya (por ejemplo, Analogía, Descomposición y Recomposición, Trabajo hacia atrás).
   • Para cada pregunta en un conjunto de datos semilla (GSM8K), se solicita al modelo base que genere múltiples respuestas candidatas mediante descripciones específicas de heurísticas y ejemplos de pocos disparos (few-shot).
   • Este proceso se inicia de forma autónoma: el modelo genera sus propios datos de entrenamiento sin depender de la destilación de modelos docentes más fuertes.
   • Filtrado y Selección: Las respuestas generadas se filtran por corrección utilizando verificadores basados en reglas (por ejemplo, Math-Verify). Los candidatos restantes se puntúan mediante un modelo de recompensa ($R_\phi$) basándose en la adherencia a la heurística específica. Se selecciona la respuesta con la puntuación más alta para cada par pregunta-heurística.
   • El conjunto de datos resultante ($D_{Pólya}$) contiene $n$ variantes de solución distintas por pregunta, donde $n$ representa el número de heurísticas aplicadas.

2. Entrenamiento Intermedio (Ajuste Fino Supervisado):

   • El modelo base se ajusta finamente sobre $D_{Pólya}$. A diferencia del SFT estándar que empareja una pregunta con una única respuesta, este enfoque empareja cada pregunta con $n$ trayectorias diversas.
   • El objetivo es minimizar la log-verosimilitud negativa sobre estas múltiples trayectorias, incentivando al modelo a asignar una probabilidad no despreciable a varias opciones de siguiente token en puntos de ramificación, creando efectivamente una distribución de siguiente token N-modal.

3. Aprendizaje por Refuerzo:

   • Tras el entrenamiento intermedio, el modelo se somete a entrenamiento de RL utilizando Optimización de Política Relativa por Grupos (GRPO) en un conjunto de datos separado (DAPO-Math-17k).
   • El estudio compara modelos inicializados con diferentes números de heurísticas ($n \in \{1, 2, \dots, 64\}$) frente a líneas base: Zero-Shot, RL Vanilla (directamente sobre el modelo base) y STaR+RL (Razonador Auto-enseñado seguido de RL).

Perspectiva Teórica
El artículo proporciona un análisis teórico de cómo el entrenamiento intermedio influye en las actualizaciones del gradiente de política:

• Regímenes Unimodales vs. N-modales: En un régimen unimodal (alta confianza en un único token), una actualización del gradiente de política resulta en cambios insignificantes ($\propto \epsilon^2$). En contraste, en un régimen N-modal (masa de probabilidad dividida entre $N$ modos dominantes), la actualización induce cambios conservadores pero apreciables ($\propto 1/N$).
• Composición de Estrategias: Los autores demuestran que bajo una actualización de ventaja negativa, la masa de probabilidad eliminada de un token muestreado se redistribuye predominantemente hacia los restantes $N-1$ modos dominantes. Este mecanismo incentiva al modelo a aprender a combinar diferentes enfoques de resolución de problemas dentro de una sola respuesta durante el RL, en lugar de colapsar hacia una única estrategia.

Resultados Clave
Se realizaron experimentos en Llama 3.2–3B–Instruct y Qwen2.5–7B–Instruct en seis benchmarks de razonamiento matemático (Math-500, AIME 2024/2025, AMC 2023, HMMT 2025, OlympiadBench) y tareas fuera de dominio (HumanEval, MuSR).

• Mejoras en el Rendimiento: El entrenamiento intermedio con datos auto-generados diversos mejora consistentemente el rendimiento del RL, particularmente en valores más altos de $k$ (pass@64).
  • En Math-500, el pass@64 mejoró del 87.76% (Zero-Shot) al 88.94% ($n=64$).
  • En AIME 2025, el pass@64 aumentó del 12.84% al 18.66%.
  • Los modelos con entrenamiento intermedio con mayor diversidad de razonamiento ($n=64$) superaron tanto a las líneas base de RL Vanilla como a STaR+RL en todos los benchmarks.
• Diversidad vs. Cantidad: Un experimento controlado mostró que aprender múltiples enfoques por pregunta (menos problemas, más enfoques) produce mayores beneficios para el RL que aprender un único enfoque a través de un mayor número de problemas, dado un presupuesto de entrenamiento fijo.
• La Corrección es Esencial: El entrenamiento intermedio con enfoques diversos que conducen a respuestas incorrectas no logró mejorar el rendimiento del RL, lo que indica que la corrección es un prerrequisito para los beneficios de la diversidad.
• Superioridad sobre la Destilación: Los datos auto-generados exhibieron una mayor diversidad (Puntuación Vendi 13.81) en comparación con los datos destilados de un modelo docente más fuerte (QwQ-32B, Puntuación Vendi 10.95), lo que condujo a un mejor rendimiento aguas abajo.
• Generalización: A pesar del carácter centrado en matemáticas de las heurísticas de Pólya, las estrategias aprendidas se generalizaron a la generación de código (HumanEval) y al razonamiento narrativo (MuSR), con ganancias significativas en tareas de razonamiento de múltiples pasos.

Significado y Afirmaciones
El artículo afirma que la contribución principal es demostrar que la exposición a múltiples enfoques de resolución de problemas mediante datos auto-generados durante el entrenamiento intermedio moldea fundamentalmente los priores del modelo, permitiendo que el RL posterior componga eficazmente estas estrategias.

• Mecanismo de Mejora: El estudio postula que el RL no necesariamente crea capacidades de razonamiento "emergentes" desde cero, sino que compone comportamientos existentes. El entrenamiento intermedio asegura que estos comportamientos sean diversos y estén disponibles para su composición.
• Utilidad Práctica: El enfoque ofrece un método simple, efectivo y escalable para mejorar el RL sin requerir anotación humana ni modelos docentes más fuertes.
• Perspectiva Teórica: El trabajo cierra la brecha entre el éxito empírico del RL y la comprensión teórica, mostrando cómo las distribuciones N-modales previenen el colapso de modos y facilitan el aprendizaje de cadenas de razonamiento compuestas.

Los autores mantienen una postura modesta respecto a la precisión de una sola muestra (pass@1), señalando que su enfoque está en comprender cómo la exposición diversa moldea el comportamiento del RL y en mejorar el rendimiento en escenarios que requieren múltiples intentos de muestreo (pass@k). Reconocen que, aunque las heurísticas están centradas en matemáticas, la generalización resultante a otros dominios sugiere que el procedimiento revela y consolida capacidades latentes dentro del modelo base.