Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions

El artículo presenta ReLIFT, un nuevo enfoque de entrenamiento que alterna el aprendizaje por refuerzo con el ajuste fino en línea para superar las limitaciones del primero al incorporar nuevos conocimientos y patrones de razonamiento, logrando así mejoras significativas en benchmarks de alto nivel con una fracción mínima de datos de demostración.

Lo esencial

¡Claro que sí! Imagina que estás entrenando a un estudiante muy inteligente (un modelo de Inteligencia Artificial) para que resuelva problemas de matemáticas muy difíciles.

Este paper, titulado "Aprendiendo lo que el Aprendizaje por Refuerzo no puede: Entrenamiento Intercalado para las Preguntas Más Difíciles", propone una nueva forma de entrenar a estos estudiantes para que sean genios reales, no solo buenos recordando lo que ya saben.

Aquí te lo explico con una analogía sencilla:

El Problema: Dos Métodos que no son Perfectos

Imagina que tienes dos profesores para entrenar a tu estudiante:

1. El Profesor "Práctica Pura" (Reinforcement Learning - RL):

   • Cómo funciona: Le da al estudiante un montón de problemas. Si el estudiante acierta, le da una medalla (recompensa). Si falla, le dice "inténtalo de nuevo".
   • Su superpoder: Es increíble para pulir lo que el estudiante ya sabe. Si el estudiante ya entiende un concepto, este profesor lo hace más rápido y eficiente.
   • Su debilidad: Si el estudiante no sabe nada sobre un tema nuevo, este profesor no puede ayudarle. El estudiante sigue dando vueltas en círculos, intentando adivinar, pero nunca aprende el concepto desde cero. Es como intentar enseñar a alguien a tocar el piano solo diciéndole "toca las teclas correctas" sin darle las partituras.

2. El Profesor "Clases Particulares" (Fine-Tuning - SFT):

   • Cómo funciona: Le da al estudiante problemas ya resueltos con explicaciones paso a paso (como un libro de soluciones).
   • Su superpoder: Es genial para enseñar nuevas cosas. Si el estudiante no sabe resolver un problema, el profesor le muestra cómo se hace.
   • Su debilidad: Si el estudiante ya sabe resolverlo, este profesor puede aburrirlo o confundirlo haciéndole repasar cosas que ya domina, y a veces el estudiante se vuelve "rígido" y pierde su capacidad de pensar por sí mismo.

La Solución: ReLIFT (El Entrenador Híbrido)

Los autores del paper dicen: "¿Por qué elegir uno? ¡Usemos a los dos!". Pero no de cualquier manera.

Presentan ReLIFT (Aprendizaje por Refuerzo Intercalado con Ajuste Fino en Línea). Imagina que es un entrenador deportivo muy inteligente que observa al atleta en tiempo real:

1. La mayoría del tiempo, el atleta entrena solo (RL): El estudiante resuelve problemas por su cuenta, recibe medallas por aciertos y mejora su velocidad y precisión en lo que ya sabe.
2. El momento crítico (La "Detección de Dificultad"): El entrenador observa y ve que el estudiante está atascado en un problema muy difícil. El estudiante no tiene ni idea de cómo resolverlo.
3. La intervención (SFT): Justo en ese momento, el entrenador interrumpe la práctica. Le dice: "Espera, este problema es demasiado difícil para ti ahora mismo. Mira, aquí tienes la solución paso a paso de un experto".
4. El ciclo: El estudiante aprende ese nuevo truco, y luego vuelve a la práctica libre para intentar aplicar lo aprendido.

La magia está en el "Interleaved" (Intercalado): No es primero clases y luego práctica. Es práctica, se detecta un bloqueo, se da una clase rápida sobre ese bloqueo específico, y se vuelve a practicar.

¿Por qué es tan genial este método?

• Ahorra tiempo y dinero: No necesitas escribir millones de soluciones manuales para todo. Solo necesitas soluciones para los problemas más difíciles donde el modelo se queda atascado. Es como tener un tutor que solo te ayuda cuando realmente te trabas.
• Resultados más rápidos: En los experimentos, este método logró ser el mejor en matemáticas y lógica, superando a los métodos que solo usaban práctica pura o solo clases.
• Respuestas más cortas y directas: A diferencia de los modelos que solo hacen "clases" (que a veces divagan mucho), ReLIFT aprende a ser eficiente. Resuelve el problema sin dar vueltas innecesarias.

En resumen

Imagina que quieres aprender a cocinar:

• Si solo practicas (RL), mejorarás mucho en los platos que ya sabes hacer, pero nunca aprenderás a cocinar un plato nuevo y complejo.
• Si solo sigues recetas (SFT), aprenderás muchos platos, pero quizás no desarrollarás tu propio estilo o intuición.
• ReLIFT es como un chef maestro que te deja cocinar solo. Cuando te equivocas en un plato difícil, el chef te muestra el truco secreto justo en ese momento, y luego te deja volver a cocinar para que lo integres.

El resultado: Un cocinero (o una IA) que no solo cocina rápido, sino que también sabe cocinar cosas que antes le eran imposibles, todo con menos esfuerzo y menos ingredientes (datos).

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions", presentado en ICLR 2026.

1. Problema y Motivación

A pesar de los avances recientes en el razonamiento de los Modelos de Lenguaje Grandes (LLM) mediante Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), como los observados en modelos tipo o1 o DeepSeek-R1, existe una limitación fundamental: el RL actual no logra inducir capacidades que excedan las limitaciones inherentes del modelo base.

• Limitaciones del RL: El RL es principalmente on-policy (aprende de sus propias respuestas generadas). Esto tiende a reforzar comportamientos y patrones de razonamiento que el modelo ya conoce, optimizando el conocimiento existente pero fallando en adquirir nuevos conocimientos o patrones de razonamiento completamente nuevos. En tareas complejas ("las más difíciles"), el RL a menudo converge en patrones estrechos y no logra mejorar significativamente la precisión.
• Limitaciones del Ajuste Fino Supervisado (SFT): El SFT es excelente para inculcar nuevos conocimientos y patrones de razonamiento mediante datos de demostración de alta calidad. Sin embargo, depende fuertemente de grandes volúmenes de datos de demostración costosos y a menudo sufre de problemas de generalización fuera de distribución (OOD) y sobreajuste. Además, el SFT puro puede degradar el rendimiento en preguntas que el modelo ya sabía resolver.

La pregunta central: ¿Cómo combinar RL y SFT para superar las limitaciones cognitivas actuales de los modelos, mejorar la generalización OOD y reducir la dependencia de datos de demostración masivos?

2. Metodología: ReLIFT

Los autores proponen ReLIFT (Reinforcement Learning Interleaved with Online Fine-Tuning), una estrategia de entrenamiento novedosa que alterna dinámicamente entre RL y SFT, basándose en el análisis de la dificultad de las preguntas.

Análisis Preliminar de Dinámicas de Entrenamiento

Antes de proponer el método, los autores analizaron cómo evolucionan la precisión y la longitud de la respuesta en RL y SFT para preguntas de diferentes dificultades (Fácil, Medio, Difícil, Muy Difícil):

• RL: Mejora consistentemente el rendimiento en preguntas de baja y media dificultad (dentro de las capacidades existentes del modelo) pero tiene poco impacto en las preguntas "Muy Difíciles".
• SFT: Es superior para enseñar al modelo a resolver las preguntas "Muy Difíciles" (aquellas donde el modelo base tiene 0% de precisión). Sin embargo, aplicar SFT en preguntas fáciles puede degradar el rendimiento y aumentar innecesariamente la longitud de la respuesta.

El Algoritmo ReLIFT

El marco de trabajo se ilustra en la Figura 2 del artículo y funciona de la siguiente manera:

1. Entrenamiento Principal con RL: El modelo se entrena principalmente utilizando GRPO (Group Relative Policy Optimization), un algoritmo de RL estándar.
2. Detección Online de "Preguntas Más Difíciles": Durante la fase de rollout (generación de respuestas), el sistema identifica preguntas donde el modelo falla completamente (precisión = 0).
3. Recolección de Soluciones de Alta Calidad: Para estas preguntas difíciles identificadas, se obtienen soluciones de razonamiento (Chain-of-Thought) de alta calidad. Estas pueden provenir de un modelo más fuerte (ej. DeepSeek-R1) o de anotadores humanos. Se filtran las respuestas incorrectas para asegurar la calidad.
4. Buffer de SFT: Las pares (pregunta, solución) difíciles se almacenan en un buffer de ajuste fino.
5. Interleaved Fine-Tuning (Entrenamiento Entrelazado): Una vez que el buffer alcanza un umbral predefinido ($M$), se realiza un paso de SFT utilizando solo estas preguntas difíciles.
   • La función de pérdida incluye una pérdida de entropía regularizada para evitar que el SFT restrinja demasiado el comportamiento exploratorio del modelo.
6. Ciclo Adaptativo: El proceso alterna entre RL (para refinar habilidades existentes) y SFT puntual (para adquirir nuevos conocimientos en los puntos débiles del modelo).

3. Contribuciones Clave

1. Análisis Sistemático de Dinámicas: Demostración empírica de que RL y SFT tienen roles complementarios: RL refina habilidades existentes en problemas resolubles, mientras que SFT es esencial para adquirir conocimientos en problemas que superan las capacidades actuales del modelo.
2. Propuesta de ReLIFT: Un marco que integra dinámicamente el RL con un ajuste fino online dirigido exclusivamente a los ejemplos más difíciles, identificados en tiempo real durante el entrenamiento.
3. Eficiencia y Rendimiento: Logro de un estado del arte (SOTA) con significativamente menos datos de demostración y tiempo de entrenamiento en comparación con métodos híbridos anteriores.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el modelo base Qwen2.5-Math-7B en cinco benchmarks de razonamiento matemático (AIME 2024/2025, AMC, OlympiadBench, MATH500) y uno de generalización fuera de distribución (MMLU-Pro).

• Rendimiento General: ReLIFT alcanzó una precisión promedio del 52.6%, superando a todos los baselines, incluidos métodos puros de SFT, puros de RL, y enfoques híbridos como SFT then RL, RL w/ SFT loss y LUFFY.
• Eficiencia de Recursos:
  • Datos: ReLIFT requiere solo 8K muestras de demostración (frente a 46K en otros métodos), ya que solo se recopilan datos para las preguntas más difíciles.
  • Tiempo: Reduce las horas de GPU necesarias en comparación con métodos que entrenan con grandes conjuntos de datos o múltiples etapas secuenciales.
• Calidad de Respuesta: ReLIFT genera soluciones más concisas (longitud promedio de tokens menor) en comparación con el SFT puro, manteniendo una alta precisión.
• Generalización: El método demostró robustez en benchmarks OOD (MMLU-Pro) y se validó exitosamente en modelos más pequeños (Qwen2.5-Math-1.5B) y arquitecturas diferentes (Llama-3.1-8B), manteniendo la superioridad sobre SFT y RL individuales.
• Análisis de Comportamiento: El análisis de palabras clave mostró que ReLIFT fomenta una mejor planificación y razonamiento estratégico, con menos "re-pensamiento" (rethinking) innecesario en comparación con el SFT, indicando mayor confianza y eficiencia en el proceso de resolución.

5. Significado e Impacto

El trabajo de ReLIFT es significativo porque aborda la "ceguera" del RL puro al no poder aprender lo que no conoce. Al identificar estratégicamente los puntos de fallo del modelo y aplicar SFT solo en esos casos críticos, ReLIFT:

• Rompe el techo de capacidad: Permite que los modelos aprendan patrones de razonamiento nuevos que el RL por sí solo no podría descubrir.
• Optimiza recursos: Elimina la necesidad de costosos conjuntos de datos de demostración masivos, haciendo que el entrenamiento de modelos de razonamiento avanzados sea más accesible y escalable.
• Equilibrio dinámico: Proporciona una solución elegante al dilema entre la exploración (RL) y la explotación de nuevos conocimientos (SFT), demostrando que la combinación inteligente y selectiva de ambos paradigmas es superior a su aplicación secuencial o simple mezcla.

En conclusión, ReLIFT representa un paradigma más eficiente y potente para el desarrollo de modelos de razonamiento, demostrando que el futuro de la mejora de LLMs no reside solo en escalar el RL, sino en saber cuándo y cómo inyectar conocimiento nuevo de manera dirigida.