🤖 machine learning

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

Este artículo demuestra que el método estándar de SFT seguido de RL supera a los métodos de política mixta, revelando que investigaciones recientes reportaron resultados erróneos debido a dos errores de implementación en optimizadores y agregación de pérdidas que penalizaban injustamente el rendimiento del SFT.

Autores originales: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Publicado 2026-04-28

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Error de los "Entrenadores de Inteligencia Artificial"

Imagina que estás organizando un concurso de matemáticas para niños. Tienes dos formas de prepararlos:

El Método Tradicional (SFT-then-RL): Primero, les das un libro de texto con todos los problemas resueltos paso a paso para que aprendan la lógica (esto es el SFT o Aprendizaje Supervisado). Una vez que ya saben resolver problemas, los dejas practicar solos y les das una estrella cada vez que aciertan (esto es el RL o Aprendizaje por Refuerzo).
El Método "Moderno" (Mixed-Policy): En lugar de enseñarles primero, intentas que aprendan la teoría y practiquen al mismo tiempo, mezclando el libro de texto con los intentos de resolver problemas en una sola sesión intensa.

Recientemente, muchos científicos dijeron: "¡Oigan! El método moderno es mucho mejor que el tradicional". Pero este nuevo estudio acaba de descubrir que no es que el método moderno sea mejor, es que el método tradicional estaba siendo evaluado con "profesores con sueño" que cometían errores sin darse cuenta.

¿Qué salió mal? (Las dos "trampas" invisibles)

Los investigadores descubrieron que las herramientas que usaban los científicos para entrenar a la IA tenían dos fallos técnicos (bugs) que hacían que el método tradicional pareciera un desastre.

1. El error del "Olvidadizo" (El bug del optimizador)

Imagina que un profesor le dicta 10 frases a un alumno para que las memorice. Pero el profesor tiene un problema: solo anota la primera frase y se olvida de las otras 9. Al final, el alumno cree que solo tiene que aprenderse una frase y el examen sale fatal.

En la IA: Debido a un error en el software (DeepSpeed), la IA solo "aprendía" de la primera parte de sus datos y descartaba el resto. Parecía que el método tradicional no servía, pero en realidad, la IA simplemente no estaba recibiendo toda la información.

2. El error del "Promedio Mal Calculado" (El bug de la agregación de pérdida)

Imagina que un profesor califica un examen de 10 preguntas. Un alumno responde 1 pregunta muy larga y otro responde 9 preguntas muy cortas. El profesor, por error, decide que el examen de la pregunta larga vale lo mismo que el de las 9 cortas, sin importar cuántas palabras escribieron. Esto distorsiona la nota real del alumno.

En la IA: El software estaba calculando las "notas" de aprendizaje de forma desigual, dándole el mismo peso a grupos de datos que tenían mucha información que a otros que tenían poca. Esto hacía que el aprendizaje fuera inestable y confuso.

La Gran Revelación: El método de siempre gana

Cuando los investigadores arreglaron estos dos errores, ocurrió algo sorprendente: el método tradicional (primero estudiar el libro y luego practicar) volvió a ser el rey.

Es más inteligente: Superó a todos los métodos "modernos" en exámenes de matemáticas difíciles.
Es más eficiente: Es como si, gracias a que el alumno estudió bien el libro primero, solo necesitara 50 minutos de práctica para ser un genio, mientras que los otros métodos necesitaban horas de práctica mezclada para llegar a la mitad de su nivel.

En resumen...

Este estudio es como descubrir que un corredor de maratones parecía lento solo porque le habían puesto zapatos rotos y le habían dado la mitad de la comida. Una vez que le dieron los zapatos correctos y la nutrición adecuada, resultó ser el más rápido de todos.

La lección para la ciencia: Antes de inventar un método "revolucionario", asegúrate de que tus herramientas básicas no tengan errores escondidos.

1. El Problema: Baselines Defectuosos en el Entrenamiento de Razonamiento

En el último año, el entrenamiento de Modelos de Lenguaje Grandes (LLM) para tareas de razonamiento complejo (como matemáticas) ha seguido dos caminos principales:

El pipeline estándar (SFT $\rightarrow$ RL): Primero se realiza un Ajuste Fino Supervisado (SFT) con demostraciones de expertos y luego se aplica Aprendizaje por Refuerzo (RL) para refinar la política.
Métodos de política mixta (Mixed-Policy): Métodos recientes que intentan combinar señales de SFT y RL de forma simultánea o intercalada para evitar la escasez de recompensas en RL.

El problema identificado por los autores es que muchos de los avances reportados por los métodos de política mixta son artificiales. Estos métodos parecen superar al pipeline estándar solo porque el pipeline estándar se estaba evaluando utilizando baselines (líneas de base) de SFT que estaban degradados por errores de software (bugs) en los frameworks de entrenamiento más utilizados.

2. Metodología: Identificación de Bugs en Frameworks

Los autores descubrieron dos errores críticos en los frameworks de entrenamiento de código abierto que afectan silenciosamente la calidad del SFT:

Bug del Optimizador con Offloading de CPU (DeepSpeed): En configuraciones que usan ZeRO Stage 1 o 2 con optimizadores movidos a la CPU para ahorrar memoria GPU, existe un error en la rutina de acumulación de gradientes. El código solo copia al CPU el gradiente del primer micro-batch, ignorando la suma acumulada de los micro-batches intermedios. Esto provoca que el modelo no aprenda correctamente de la totalidad de los datos. Afecta a TRL, OpenRLHF y Llama-Factory.
Bug de Agregación de Pérdida (OpenRLHF): Un error común en la acumulación de gradientes donde se calcula el promedio de los promedios de cada mini-batch, en lugar del promedio real por token. Dado que las respuestas varían en longitud, esto asigna un peso incorrecto a los mini-batches, distorsionando la señal de aprendizaje. Afecta a OpenRLHF, Llama-Factory y versiones tempranas de verl.

3. Contribuciones Clave

Corrección de Baselines: Los autores identificaron, corrigieron y validaron estos bugs, enviando incluso pull requests a los repositorios originales (DeepSpeed y OpenRLHF).
Validación de la Superioridad de SFT $\rightarrow$ RL: Demostraron que, una vez corregidos los errores, el método secuencial (SFT seguido de RL) es superior a los métodos mixtos.
Eficiencia Computacional: Demostraron que el pipeline secuencial es más eficiente en términos de FLOPs, ya que un SFT robusto proporciona una señal de recompensa densa desde el inicio del RL, mientras que los métodos mixtos luchan por aprender y refinar simultáneamente con señales débiles.

4. Resultados Principales

Los experimentos se realizaron con los modelos Qwen2.5-Math-7B y Llama-3.1-8B:

Qwen2.5-Math-7B: Tras corregir los bugs, el pipeline SFT $\rightarrow$ RL superó al mejor método de política mixta publicado (SRFT) por +3.8 puntos en benchmarks matemáticos.
Llama-3.1-8B: La diferencia fue aún más drástica, superando al competidor más cercano por +22.2 puntos. Esto se debe a que Llama, al ser un modelo de propósito general, depende críticamente de un SFT fuerte para adquirir capacidades matemáticas que no tiene nativamente.
Versión Truncada: Los autores demostraron que incluso realizando solo 50 pasos de RL (en lugar de los 500 habituales) tras un SFT correcto, se superan los métodos mixtos utilizando menos cómputo.

5. Significancia e Implicaciones

Este trabajo tiene una importancia crítica para la comunidad de IA por dos razones:

Restauración del Paradigma: Reafirma la validez del pipeline secuencial (SFT $\rightarrow$ RL) como el estándar de oro para el entrenamiento de modelos de razonamiento, desmitificando la necesidad de métodos de política mixta complejos que no ofrecen beneficios reales.
Advertencia sobre la Validación de Frameworks: Subraya un riesgo sistémico en la investigación de ML: los errores silenciosos en frameworks ampliamente utilizados pueden invalidar comparaciones de rendimiento en múltiples estudios independientes. Los autores enfatizan la necesidad de la validación cruzada entre diferentes implementaciones para asegurar que los avances reportados sean reales y no producto de errores de software.