Learn Hard Problems During RL with Reference Guided Fine-tuning

Este trabajo presenta ReGFT, un método que utiliza soluciones de referencia parciales para generar trayectorias de razonamiento dentro del espacio del modelo, superando así la escasez de recompensas en el aprendizaje por refuerzo y mejorando significativamente el rendimiento en problemas matemáticos complejos.

Lo esencial

🧠 El Problema: El Estudiante se Queda en Blanco

Imagina que tienes un estudiante brillante, pero cuando le das un problema de matemáticas extremadamente difícil, se queda en blanco. No sabe por dónde empezar.

En el mundo de la Inteligencia Artificial, esto se llama escasez de recompensa.

• La situación: Le das al modelo un problema difícil. El modelo intenta resolverlo 100 veces, pero en las 100 ocasiones falla.
• El resultado: Como nunca acierta, el sistema de aprendizaje (que funciona como un profesor que da "puntos" o recompensas por aciertos) no le da ningún punto.
• La consecuencia: Sin puntos positivos, el modelo no sabe qué hizo bien y no puede aprender. Se estanca. Es como intentar empujar un coche que no tiene gasolina; por mucho que empujes (más computación), no se moverá.

📚 La Solución Tradicional (y por qué falla)

Normalmente, cuando un humano no sabe resolver algo, leemos la solución en un libro de texto.

• El error: Si simplemente le copiamos al modelo la solución escrita por un humano, el modelo a menudo no la entiende. Es como si un niño intentara copiar una ecuación de física avanzada sin saber álgebra básica. El modelo intenta imitar el texto, pero no entiende la lógica interna, por lo que no mejora realmente.

💡 La Nueva Idea: "ReGFT" (El Tutor que da Pistas)

Los autores proponen una técnica llamada ReGFT (Ajuste Fino Guiado por Referencia). Imagina que en lugar de darle al estudiante la solución completa, le das una pista parcial.

La Analogía del "Rompecabezas con Pistas"

1. El Problema: Tienes un rompecabezas muy difícil.
2. La Vieja Forma: Le das al estudiante la foto completa de la caja (la solución humana). Él la copia, pero no sabe cómo encajar las piezas.
3. La Nueva Forma (ReGFT):
   • Le das al estudiante las primeras piezas del rompecabezas ya ensambladas (la parte inicial de la solución humana).
   • Le dices: "Aquí tienes el inicio, ahora tú termina de armar el resto usando tu propia lógica".
   • El estudiante debe pensar y conectar las piezas restantes por sí mismo.

¿Por qué funciona esto?

• Alineación: El estudiante (el modelo) está pensando con su propia lógica, no copiando ciegamente.
• Éxito: Al tener las primeras piezas (la pista), es mucho más probable que logre terminar el rompecabezas correctamente.
• Aprendizaje: Ahora, el modelo tiene una solución correcta que él mismo construyó. Esto le da un "punto" de recompensa real.

🚀 El Resultado: Un Entrenamiento Más Fuerte

Una vez que el modelo ha practicado con estas "pistas" y ha aprendido a resolver problemas difíciles por sí mismo, lo ponemos a entrenar con el método de aprendizaje por refuerzo (RL) habitual.

• Sin ReGFT: El modelo entra al entrenamiento y falla todo el tiempo. Se aburre y no aprende.
• Con ReGFT: El modelo entra al entrenamiento ya sabiendo resolver muchos de esos problemas difíciles porque ya los practicó con las pistas. Recibe muchos más "puntos" de recompensa, aprende más rápido y llega a un nivel mucho más alto.

🏆 En Resumen

El paper dice que para que una IA aprenda a resolver problemas que no puede resolver por sí sola, no basta con darle la respuesta. Hay que darle una pista estratégica que la obligue a pensar y generar su propia solución correcta.

• Sin pistas: El modelo se queda atascado (escasez de recompensa).
• Con pistas (ReGFT): El modelo genera sus propias soluciones correctas, gana confianza y luego, cuando le enseñan a ser un "genio" con el entrenamiento final, ya tiene una base sólida para volar alto.

Es como si, antes de dejar que un atleta corra una maratón, le dieras un entrenador que le enseñara a respirar y a correr los primeros kilómetros. Cuando llega el día de la carrera, el atleta ya no se agota en la primera milla; ¡está listo para romper récords! 🏃‍♂️💨

Resumen técnico

Resumen Técnico: ReGFT para Razonamiento Matemático

1. El Problema: La Esparsidad de Recompensas en RL

El aprendizaje por refuerzo (RL) ha demostrado ser efectivo para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM), como se ha visto en sistemas como OpenAI o1 y DeepSeek R1. Sin embargo, en el contexto del razonamiento matemático, el RL enfrenta un obstáculo fundamental: la esparsidad de recompensas.

• Mecanismo de fallo: En el marco de RL con recompensas verificables (RLVR), el modelo recibe una señal de aprendizaje (recompensa positiva) solo si genera una trayectoria de razonamiento que conduce a la respuesta correcta.
• El cuello de botella: Para problemas complejos o fuera del alcance inicial del modelo, este falla al generar cualquier trayectoria correcta. Como resultado, el modelo recibe recompensas cero o nulas en la mayoría de los intentos.
• Consecuencia: Sin señales de gradiente significativas, el entrenamiento se estanca. El modelo no puede aprender a resolver problemas que inicialmente no puede resolver, desperdiciando recursos computacionales en trayectorias que no aportan información.

2. Metodología: Ajuste Fino Guiado por Referencia (ReGFT)

Los autores proponen ReGFT (Reference-Guided Fine-Tuning) como una solución para superar esta barrera antes de iniciar el entrenamiento por refuerzo. La idea central es utilizar las soluciones de referencia escritas por humanos (disponibles en conjuntos de datos como AoPS) para sintetizar trayectorias de entrenamiento positivas, pero con una restricción crucial: mantener la alineación con el espacio de razonamiento del modelo.

El proceso de ReGFT:

1. Identificación de problemas difíciles: Se seleccionan problemas donde el modelo base tiene una tasa de acierto baja (ej. <25% con 16 muestras).
2. Muestreo Guiado por Referencia: En lugar de hacer fine-tuning directo sobre la solución humana completa (lo cual a menudo falla porque el modelo no puede imitar patrones de razonamiento ajenos a su distribución), se proporciona al modelo una referencia parcial (ej. los primeros 80% de la solución humana como pista o "hint").
3. Generación del Modelo: Se instruye al modelo para que complete el razonamiento basándose en esa pista, pero generando su propia trayectoria de pensamiento.
   • Esto asegura que la solución final sea correcta (gracias a la guía) pero que la estructura del razonamiento pertenezca a la distribución del modelo.
4. Entrenamiento Híbrido: El modelo se ajusta finamente sobre una mezcla de:
   • Trayectorias correctas generadas autónomamente por el modelo (como en métodos anteriores como ReFT).
   • Trayectorias guiadas por referencia (ReGFT) para los problemas que el modelo no podía resolver solo.

Diferencia clave con enfoques previos:

• ReFT (Reasoning with Reinforced Fine-Tuning): Solo usa trayectorias que el modelo ya puede generar correctamente. No ayuda en problemas donde el modelo falla totalmente.
• Ajuste directo (SFT) en referencias completas: A menudo lleva a una mala generalización porque el modelo intenta copiar un estilo de razonamiento ajeno.
• ReGFT: Actúa como un puente. Usa la referencia para "desbloquear" la capacidad de resolver el problema, pero obliga al modelo a construir el puente de razonamiento, preservando su estilo intrínseco.

3. Contribuciones Clave

• Mitigación de la Esparsidad de Recompensas: ReGFT transforma problemas que inicialmente daban recompensa cero en problemas con trayectorias correctas y densas, proporcionando señales de gradiente significativas para la fase posterior de RL.
• Inicialización Superior para RL: Demuestra que un checkpoint inicial mejorado mediante ReGFT permite que el RL converja más rápido y alcance un rendimiento final superior.
• Validación de la Necesidad de Razonamiento Propio: El estudio abla (ablación) confirma que simplemente mostrar la solución humana no es suficiente; el modelo debe generar su propia trayectoria de razonamiento guiada para que el aprendizaje sea robusto y generalizable.
• Mejora en la Escalabilidad en Tiempo de Inferencia (Pass@k): Los modelos entrenados con ReGFT muestran mejoras sostenidas a medida que aumenta el presupuesto de cómputo (k), a diferencia de otros métodos que se estancan rápidamente.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el modelo base Qwen3-4B y el conjunto de datos OmniMath (4,428 problemas de olimpiadas matemáticas), evaluando en benchmarks AIME'24, AIME'25 y Beyond-AIME. Se utilizó el algoritmo de RL DAPO.

• Rendimiento en RL: Los modelos inicializados con ReGFT superaron consistentemente a los checkpoints "crudos" (Raw) y a los inicializados con ReFT en todos los benchmarks.
  • Convergencia más rápida: Mejoraron su precisión en las etapas tempranas y medias del entrenamiento.
  • Plafón de rendimiento más alto: Alcanzaron una precisión final superior, indicando que ReGFT expandió el límite de capacidad del modelo.
• Comparativa ReFT vs. ReGFT: Mientras que ReFT aceleró el entrenamiento inicial, ReGFT logró una precisión asintótica más alta, demostrando que las demostraciones guiadas por referencia permiten al modelo resolver problemas que ReFT no podía abordar.
• Escalabilidad (Pass@k): En la evaluación de pass@k (probabilidad de éxito con k intentos), ReGFT + DAPO mostró un crecimiento robusto y consistente a medida que aumentaba k, superando a las líneas base en AIME'25 y Beyond-AIME. Esto sugiere una mayor cobertura del espacio de soluciones.
• Análisis de Problemas No Solucionables: En el conjunto de entrenamiento, el muestreo guiado por referencia permitió resolver un 5.85% adicional de problemas que el muestreo estándar no podía resolver, demostrando la capacidad de ReGFT para expandir el "frente de resolución" del modelo.

5. Significado e Impacto

Este trabajo aborda un problema fundamental en la escalabilidad del razonamiento de IA: cómo enseñar a un modelo a resolver problemas que aún no puede resolver.

• Paradigma de Entrenamiento: ReGFT introduce un enfoque de "pre-RL" donde se utiliza el conocimiento humano (referencias) de manera inteligente para elevar la competencia base del modelo antes de aplicar RL. Esto hace que el RL sea más eficiente y menos propenso a fallar por falta de señales.
• Eficiencia Computacional: Al reducir la esparsidad de recompensas, se evita el desperdicio de recursos en intentos de RL que no aprenden nada.
• Generalización: A diferencia de métodos que simplemente memorizan soluciones, ReGFT fomenta la internalización de patrones de razonamiento, lo que resulta en una mejor generalización a problemas no vistos (Out-of-Distribution).

En conclusión, ReGFT demuestra que la combinación estratégica de ajuste fino supervisado con guías parciales y aprendizaje por refuerzo es una vía superior para desbloquear capacidades de razonamiento matemático avanzado en LLMs, superando las limitaciones de los enfoques de RL puro o el ajuste fino directo.