🤖 machine learning

RL Fine-Tuning Heals OOD Forgetting in SFT

Este artículo desafía la noción de que "SFT memoriza y RL generaliza" al demostrar, mediante análisis por puntos de control y espectrales, que SFT a menudo provoca un olvido fuera de la distribución que posteriormente es restaurado por RL, un proceso de recuperación vinculado a la rotación de los vectores singulares en lugar de cambios en los valores singulares.

Autores originales: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Publicado 2026-05-12

📖 6 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Panorama General: La Danza de "Dos Pasos" del Entrenamiento de la IA

Imagina que estás enseñando a un estudiante brillante pero inexperto (un Modelo de Lenguaje Grande) a resolver rompecabezas complejos. La receta estándar para convertir a este estudiante en un experto en razonamiento implica dos pasos:

Paso 1: Ajuste Fino Supervisado (SFT) – Le das al estudiante un libro de texto con respuestas y dices: "Memoriza estos patrones y copia el estilo".
Paso 2: Aprendizaje por Refuerzo (RL) – Pones al estudiante en un juego donde gana puntos por respuestas correctas y pierde puntos por las incorrectas, diciendo: "Ahora, descubre la lógica tú mismo para ganar".

Durante mucho tiempo, la comunidad de la IA creyó una historia simple: "El SFT hace que el estudiante memorice el libro de texto (bueno para problemas conocidos), y el RL hace que el estudiante generalice y piense creativamente (bueno para problemas nuevos)."

Este artículo dice que esa historia está incompleta. Los autores descubrieron que, aunque el SFT es excelente al principio, en realidad comienza a perjudicar la capacidad del estudiante para resolver nuevos tipos de rompecabezas si le permites estudiar el libro de texto durante demasiado tiempo. Entonces, el RL no necesariamente les enseña nuevos superpoderes; principalmente repara el daño que causó el SFT.

El Descubrimiento: El "Pico y el Colapso"

Los investigadores observaron el progreso del estudiante cada día durante el proceso de entrenamiento. Encontraron un patrón sorprendente:

La Victoria Temprana: Al muy inicio del "estudio del libro de texto" (SFT), el estudiante se vuelve muy bueno resolviendo nuevos tipos de rompecabezas (tareas fuera de distribución o OOD). Es como si el estudiante de repente entendiera la lógica subyacente de las matemáticas.
El Colapso: A medida que el estudiante sigue estudiando el libro de texto, comienza a obtener peores resultados en los rompecabezas nuevos, aunque obtiene mejores resultados en los problemas específicos del libro de texto. Se vuelven tan obsesionados con el formato exacto de las respuestas del libro de texto que olvidan cómo aplicar la lógica a situaciones ligeramente diferentes.
La Solución: Cuando finalmente cambian a la fase de "juego" (RL), el rendimiento del estudiante en los rompecabezas nuevos se recupera y sube.

La Analogía:
Imagina a un chef aprendiendo a cocinar.

SFT Temprano: El chef aprende las reglas básicas del sabor. Puede cocinar una gran comida con cualquier ingrediente.
SFT Tardío: El chef se ve obligado a memorizar un libro de recetas específico. Se vuelve increíble cocinando ese plato exacto, pero olvida cómo ajustar los sabores si se le dan ingredientes diferentes. Ha "olvidado" su intuición general de cocina.
RL: Se pone al chef en una competencia donde gana puntos por comida sabrosa, independientemente de la receta. Esto lo obliga a dejar de seguir ciegamente el libro y comenzar a usar su intuición nuevamente. Recupera sus habilidades generales de cocina, pero no se convierte repentinamente en un chef mejor de lo que era al inicio de su entrenamiento.

El Hallazgo Clave: El RL es un "Restaurador", no un "Creador"

El artículo desafía la idea de que el RL crea nuevas capacidades de razonamiento desde cero. En cambio, los autores encontraron:

El SFT Olvida: Si entrenas demasiado tiempo con datos específicos, el modelo "olvida" su capacidad para manejar situaciones extrañas o nuevas.
El RL Recupera: El RL actúa como un vendaje. Parcha los agujeros que hizo el SFT, restaurando el modelo al nivel de rendimiento que tenía en el pico de la fase de SFT.
El Techo: El RL rara vez hace que el modelo sea mejor que ese pico temprano. Simplemente lo devuelve a donde estaba antes de volverse demasiado especializado.

La Zona "Ricitos de Oro":
Los investigadores descubrieron que el RL solo funciona si lo inicias en el momento correcto.

Si inicias el RL demasiado pronto (antes de que el modelo conozca lo básico), falla porque el modelo está demasiado confundido.
Si inicias el RL demasiado tarde (después de que el modelo ha olvidado todo), las señales del "juego" son demasiado desordenadas para que el modelo aprenda de ellas.
Existe un "punto dulce" específico (un rango de puntos de control) donde el RL puede sanar con éxito el olvido.

El Mecanismo Secreto: La "Brújula Giratoria"

Para entender por qué sucede esto, los autores miraron dentro del cerebro del modelo utilizando una herramienta matemática llamada Descomposición en Valores Singulares (SVD). Imagina que el conocimiento del modelo es una brújula gigante con muchas agujas apuntando en diferentes direcciones.

El Tamaño de las Agujas (Valores Singulares): Los investigadores descubrieron que la fuerza de estas agujas (cuánto conocimiento se almacena) apenas cambia durante el entrenamiento. Se mantienen estables.
La Dirección de las Agujas (Vectores Singulares): Sin embargo, la dirección a la que apuntan las agujas cambia drásticamente.

La Analogía:
Imagina que el conocimiento del modelo es un mapa.

El SFT no borra el mapa (el tamaño de los datos permanece igual), pero rota el mapa. Gira la brújula para que el "Norte" apunte hacia los ejemplos específicos del libro de texto, haciendo difícil encontrar el "Norte" para ubicaciones nuevas y diferentes.
El RL rota la brújula de nuevo. No añade nueva tierra al mapa; simplemente re-alinea la brújula para que el "Norte" apunte a la lógica general nuevamente, permitiendo que el modelo navegue por nuevos terrenos.

Resumen para el Lector Cotidiano

Antigua Creencia: "El SFT memoriza, el RL generaliza".
Nueva Realidad: "El SFT olvida (por sobre-especializarse), y el RL recupera (re-alineando)".
La Lección: No sigas entrenando tu IA con los mismos datos específicos para siempre. Perderá su capacidad de pensar con flexibilidad. Si quieres que sea inteligente sobre cosas nuevas, necesitas detener la fase de "memorización" en el momento correcto y usar la fase de "juego" para corregir el enfoque, en lugar de esperar que el juego le enseñe habilidades completamente nuevas desde cero.

El artículo concluye que el mejor rendimiento para resolver problemas nuevos y difíciles a menudo ocurre temprano en el proceso de entrenamiento, y la segunda etapa (RL) está principalmente allí para salvarnos de los errores que cometimos al entrenar demasiado tiempo en la primera etapa.

Resumen Técnico: El Ajuste Fino con RL Sana el Olvido OOD en SFT

Declaración del Problema

La pipeline estándar de post-entrenamiento para Modelos de Lenguaje Grandes (LLMs) típicamente implica un Ajuste Fino Supervisado (SFT) seguido de un Ajuste Fino con Aprendizaje por Refuerzo (RLFT). Una hipótesis predominante en el campo es que "el SFT memoriza, el RL generaliza", lo que sugiere que el SFT conduce a un sobreajuste en la distribución de entrenamiento, mientras que el RL mejora la generalización Fuera de Distribución (OOD). Sin embargo, las dinámicas subyacentes de cómo evoluciona el rendimiento OOD durante estas dos etapas permanecen poco claras. Específicamente, no se comprende bien si el RL crea nuevas capacidades de razonamiento o simplemente recupera las perdidas, ni tampoco está completamente caracterizado el mecanismo detrás de la degradación OOD durante el SFT.

Metodología

Los autores realizan un análisis exhaustivo punto por punto (checkpoint-wise) del proceso de ajuste fino en dos etapas utilizando dos modelos de código abierto: LLaMA-3.2-11B-Vision y Qwen-2.5-7B.

Configuración Experimental:
- Tareas: El estudio utiliza entornos de razonamiento controlados para definir explícitamente las divisiones Dentro de Distribución (ID) y Fuera de Distribución (OOD): GeneralPoints (razonamiento aritmético con reglas de cartas modificadas), Navegación (razonamiento espacial con cambios de dirección) y Cálculo de Determinante de Rango (álgebra lineal).
- Protocolo: Los modelos experimentan un SFT de parámetros completos, seguido de RL (usando PPO o GRPO). Crucialmente, los autores no solo comparan el checkpoint final de SFT con el checkpoint final de RL. En su lugar, aplican RL partiendo de varios checkpoints intermedios de SFT para mapear la evolución del rendimiento.
- Evaluación: El rendimiento se rastrea tanto en tareas ID como OOD a lo largo de toda la trayectoria de entrenamiento.
Análisis Mecanístico:
- Análisis SVD: Los autores realizan una Descomposición en Valores Singulares (SVD) en matrices de parámetros clave (Autoatención $W_Q, W_K, W_V$ y capas MLP). Realizan estudios de ablación donde restauran valores singulares o vectores singulares de checkpoints específicos (por ejemplo, intercambiando los vectores singulares de un checkpoint tardío de SFT con los de un checkpoint "pico" temprano) para aislar el impacto de los cambios espectrales en el rendimiento.
- Análisis de la Distribución de la Ventaja: Analizan la distribución de las estimaciones de ventaja durante los despliegues (rollouts) de RL para comprender las condiciones bajo las cuales el RL recupera exitosamente el rendimiento OOD.

Hallazgos Clave

1. El Fenómeno "El SFT Olvida, el RL Recupera"

Contrario a la narrativa simple de "el SFT memoriza, el RL generaliza", los autores observan una dinámica más matizada:

Pico Temprano en SFT: El rendimiento en razonamiento OOD a menudo alcanza su punto máximo muy temprano en el proceso de SFT (denotado como $SFT_{MaxOOD}$ ).
Olvido OOD: A medida que el SFT continúa más allá de este pico, el rendimiento OOD se degrada significativamente, incluso mientras el rendimiento ID (pérdida de entrenamiento/prueba) continúa mejorando. Esto indica que el modelo se está especializando en exceso en el formato o las reglas específicas de los datos de entrenamiento, "olvidando" efectivamente la capacidad de razonamiento general requerida para tareas OOD.
RL como Restaurador: El RL típicamente no supera el mejor rendimiento OOD logrado por el SFT temprano. En su lugar, el RL actúa como un mecanismo de recuperación, restaurando la capacidad OOD perdida durante las etapas posteriores del SFT. Esta recuperación es efectiva solo dentro de un rango acotado de checkpoints de SFT (por ejemplo, donde la precisión ID está aproximadamente entre el 40% y el 80%).

2. Mecanismo: Rotación de Vectores Singulares

El análisis espectral revela la causa raíz de estas dinámicas:

Valores Singulares Estables: Los valores singulares de las matrices de parámetros permanecen mayormente estables durante ambas etapas, SFT y RL. El ajuste fino no amplifica ni disminuye significativamente la magnitud de estos valores.
Vectores Singulares Rotando: La degradación y recuperación del rendimiento OOD se correlacionan fuertemente con la rotación de los vectores singulares.
- Durante la fase de "olvido" del SFT, los vectores singulares giran alejándose de las direcciones asociadas con la robustez OOD.
- Durante el RL, los vectores singulares giran de vuelta, restaurando parcialmente la alineación original del subespacio.
Evidencia de Ablación: Restaurar los vectores singulares de un checkpoint temprano de SFT (cuando el OOD era alto) a un checkpoint tardío de SFT (cuando el OOD era bajo) recupera el rendimiento OOD, confirmando que la rotación de vectores es el motor principal del olvido.

3. Restricciones de la Distribución de la Ventaja

La efectividad del RL en la recuperación del rendimiento OOD depende de la distribución de las señales de ventaja. El RL es más efectivo cuando la distribución de la ventaja está equilibrada (baja asimetría, alta entropía y baja divergencia KL de una distribución normal). Si el checkpoint de SFT es demasiado avanzado (colapso de la entropía de la política) o demasiado temprano (falta de competencia en la tarea), las señales de ventaja se vuelven sesgadas o inestables, impidiendo una recuperación efectiva.

Significado y Afirmaciones

El artículo afirma proporcionar una comprensión más precisa y mecanicista de las dinámicas de post-entrenamiento:

Refinamiento del Paradigma: Cuestiona la visión binaria de SFT vs. RL, proponiendo que el SFT puede olvidar y el RL puede recuperar. El mejor rendimiento OOD a menudo se encuentra en checkpoints tempranos de SFT, no necesariamente después del RL.
Valor Diagnóstico: El estudio destaca que los métodos tradicionales de detección de sobreajuste (monitorear la pérdida ID) fallan en capturar el olvido OOD, ya que la pérdida ID puede continuar disminuyendo mientras el rendimiento OOD cae.
Implicación Algorítmica: Los hallazgos sugieren una dirección potencial para el SFT Protegido, donde las actualizaciones se ortogonalizan contra las direcciones de vectores singulares de rango superior asociadas con capacidades OOD para prevenir su rotación y el subsiguiente olvido. Los experimentos preliminares con este enfoque muestran promesa en preservar la precisión OOD mientras se mantiene el rendimiento ID.
Generalizabilidad: El patrón de "olvido y recuperación" se observa en diferentes modelos (LLaMA, Qwen), diferentes tareas de razonamiento y diferentes algoritmos de RL (PPO, GRPO, DAPO), lo que sugiere que es una propiedad fundamental del proceso de ajuste fino en dos etapas.

En conclusión, los autores argumentan que el RL no es un generador universal de nuevas capacidades de razonamiento, sino más bien una herramienta poderosa para mitigar el olvido OOD inducido por un SFT prolongado, siempre que se inicialice desde un checkpoint con una distribución de ventaja equilibrada.