💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

Este artículo demuestra que el Ajuste Fino Supervisado (SFT) excesivo puede comprimir la distribución de rollout, causando un colapso de entropía que conduce a la inversión de rango y a la degradación del rendimiento en el entrenamiento posterior mediante la Optimización de Política Relativa de Grupo (GRPO), un modo de fallo que puede predecirse y mitigarse mediante el monitoreo de la entropía pre-RL y la dinámica temprana de GRPO.

Autores originales: Siddharth Aphale, Kelly Liu

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Siddharth Aphale, Kelly Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: La trampa de lo "demasiado perfecto"

Imagina que estás entrenando a un robot para escribir código. La receta estándar consta de dos pasos:

Ajuste Fino Supervisado (SFT): Le muestras al robot miles de ejemplos de código correcto para que aprenda los patrones.
Aprendizaje por Refuerzo (RL): Dejas que el robot intente resolver nuevos problemas por su cuenta. Si lo logra, recibe un premio (una recompensa); si falla, no recibe nada.

El Problema: El artículo descubrió que si entrenas al robot demasiado en el Paso 1 (Sobreentrenamiento de SFT), este se vuelve peor en el Paso 2.

Normalmente pensamos: "Cuantos más ejemplos memorice el robot en el Paso 1, mejor será". Los autores descubrieron lo contrario: el robot que más memoriza en el Paso 1 es, en realidad, el que peor se desempeña en el Paso 2. De hecho, el robot que menos memoriza termina siendo el campeón.

La metáfora: El bailarín rígido vs. El bailarín flexible

Para entender por qué sucede esto, imagina a dos bailarines preparándose para una competición donde deben improvisar una rutina basada en música aleatoria.

El Bailarín "Sobreentrenado" (SFT Profundo): Este bailarín practicó las mismas 10 rutinas perfectas miles de veces. Es increíblemente preciso. Pero cuando la música cambia, se queda congelado. Solo conoce esos 10 movimientos. No tiene idea de cómo moverse de ninguna otra manera.
El Bailarín "Justo en su punto" (SFT Superficial): Este bailarín practicó los conceptos básicos pero mantuvo su cuerpo suelto y flexible. Conoce las reglas, pero aún puede zigzaguear, retorcerse y probar cosas nuevas cuando la música cambia.

La Competición (RL):
La competición requiere que los bailarines intenten muchos movimientos diferentes a la vez para ver cuál funciona mejor.

El Bailarín Sobreentrenado intenta hacer exactamente el mismo movimiento perfecto cada vez. Como todos se ven iguales, los jueces (el algoritmo) no pueden distinguir qué movimiento es mejor. El bailarín se queda estancado y no puede aprender nada nuevo.
El Bailarín Flexible intenta una gran variedad de movimientos. Los jueces pueden ver: "¡Ah, este movimiento funcionó, aquel no!". Y el bailarín aprende rápidamente.

El "Porqué" Técnico: El Colapso de la Entropía

El artículo utiliza una palabra elegante para referirse a la "variedad" o "flexibilidad": Entropía.

Colapso de la Entropía: Cuando el robot está sobreentrenado, su "mente" se vuelve demasiado estrecha. Deja de explorar diferentes posibilidades y simplemente repite las mismas pocas respuestas. En términos del artículo, su entropía colapsa.
La señal muere: El algoritmo de aprendizaje (llamado GRPO) funciona comparando diferentes respuestas. Si el robot da la misma respuesta 8 veces seguidas, el algoritmo se confunde. No puede calcular un "gradiente" (una dirección para mejorar) porque no hay diferencia que comparar. Es como intentar conducir un coche cuando el volante está bloqueado hacia adelante.
La Inversión de Rango: Esto conduce a un resultado extraño llamado Inversión de Rango.
- Antes de la segunda fase de entrenamiento, el robot sobreentrenado parece un genio (obtiene la respuesta correcta el 100% de las veces en el examen de práctica).
- Después de la segunda fase de entrenamiento, se convierte en un desastre.
- Mientras tanto, el robot "menos perfecto", que parecía un poco peor al principio, se convierte en la superestrella.

Los Dos Modelos: Una historia de dos ciudades

Los autores probaron esto en dos cerebros de robot (modelos) diferentes:

Qwen (La Víctima): Este modelo cayó en la trampa. Cuanto más lo entrenaban en el Paso 1, más se volvía rígido. El "mejor" punto de control (con la puntuación más alta) resultó ser el peor punto de partida para la siguiente fase.
DeepSeek (El Superviviente): Este modelo era naturalmente más flexible. Incluso después de un entrenamiento intensivo, no se volvió rígido. Se mantuvo en la "zona segura" donde aún podía aprender. Esto demostró que el problema no era la segunda fase de entrenamiento en sí, sino específicamente cómo la primera fase arruinó la flexibilidad del modelo Qwen.

La Solución: Un chequeo de dos pasos

Los autores no solo encontraron el problema; construyeron una herramienta de diagnóstico para detectarlo antes de perder tiempo y dinero.

Paso 1: La prueba de "Estiramiento" (Entropía Pre-RL): Antes de comenzar la segunda fase de entrenamiento, comprueban qué tan "suelta" está la mente del robot. Si el robot es demasiado rígido (baja entropía), lo marcan como de alto riesgo.
Paso 2: El monitor de "Alerta Temprana": Si comienzan la segunda fase, vigilan los primeros minutos. Si el robot deja de intentar cosas nuevas y comienza a repetirse inmediatamente, detienen el entrenamiento temprano para ahorrar recursos.

¿Qué no funcionó?

Los autores intentaron arreglar al robot roto con trucos estándar, como:

Añadir una penalización: "No te desvíes demasiado de tu entrenamiento original". (Esto lo empeoró).
Suavizar las etiquetas: "Sé un poco menos seguro de tus respuestas". (Esto hizo que el robot pareciera confiado de nuevo, pero aun así falló en la competición).

La Conclusión: No puedes arreglar a un bailarín rígido diciéndole que "se esfuerce más" durante la competición. Tienes que dejar de entrenarlo de forma tan rígida desde el principio. El artículo demuestra que la variedad (entropía) es más importante que la perfección cuando quieres que un modelo siga aprendiendo.

Resumen Técnico: El sobreentrenamiento de SFT predice la inversión de rango mediante el colapso de la entropía bajo RLVR

Planteamiento del problema
La heurística estándar para el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) en la generación de código consiste en seleccionar el punto de control (checkpoint) de Ajuste Fino Supervisado (SFT) con la puntuación pass@1 más alta para inicializar la fase de RL (por ejemplo, GRPO). Este artículo demuestra que esta heurística falla cuando el sobreentrenamiento de SFT comprime la distribución de los rollouts del modelo. Específicamente, un SFT prolongado conduce al "colapso de la entropía", donde la diversidad de la salida del modelo disminuye hasta el punto de que el algoritmo de RL no puede generar una señal de gradiente significativa. En este régimen, seleccionar el checkpoint con el mayor pass@1 identifica sistemáticamente al peor inicializador de RL, lo que resulta en una "inversión de rango" donde los checkpoints de SFT más superficiales superan a los más profundos tras el entrenamiento de RL.

Metodología
El estudio aisla la duración de SFT como la única variable independiente a través de dos familias de modelos: Qwen2.5-Coder-3B-Base y DeepSeek-Coder-6.7B-Base.

Configuración Experimental: Ambos modelos fueron ajustados finamente en 5,000 problemas de dificultad media de KodCode-V1. Se seleccionaron checkpoints en diversas profundidades de SFT (1.0 a 5.8 épocas para Qwen; 1.0 a 9.6 épocas para DeepSeek).
Entrenamiento de RL: Todos los checkpoints se sometieron a un entrenamiento GRPO idéntico (400 pasos, tamaño de grupo $g=8$ , recompensa de corrección binaria) en un conjunto de datos de validación.
Métricas: El rendimiento se midió mediante pass@1 y pass@10 (usando un estimador insesgado) en un subconjunto congelado de 40 problemas de HumanEval+. Crucialmente, los autores rastrearon la entropía pre-RL (entropía media del siguiente token en $T=1.0$ ) y la entropía durante el entrenamiento para diagnosticar el colapso de la distribución.
Intervenciones: Para probar si el fallo era un artefacto de hiperparámetros, los autores aplicaron una penalización KL a la política de referencia durante GRPO y suavizado de etiquetas (label smoothing) durante SFT para restaurar artificialmente la entropía.

Contribuciones Clave

Umbral Teórico para el Colapso del Gradiente: Los autores derivan que para recompensas binarias, la varianza esperada de la ventaja dentro del grupo es $E[\sigma^2_G] = p(1-p)(g-1)/g$ . Identifican un umbral crítico $p^*(g)$ donde, si la probabilidad de un rollout correcto ( $p$ ) cae por debajo de este valor, la señal relativa del grupo colapsa estructuralmente (la mayoría de los grupos reciben recompensas idénticas), causando que el gradiente se desvanezca.
Estudio de Caso de Inversión de Rango: En Qwen2.5-Coder-3B, el artículo documenta una clara inversión de rango: a medida que aumenta la profundidad de SFT, el pass@1 pre-RL aumenta, pero el pass@10 pico post-RL disminuye monótonamente (de 0.806 a 0.481). El checkpoint con el mayor pass@1 (5.8 épocas) es el que peor se desempeña bajo RL.
Validación Contrastiva: En DeepSeek-Coder-6.7B, donde el pass@1 pre-RL permanece significativamente por encima del umbral de colapso teórico $p^*(8)$ , no ocurre inversión de rango. En su lugar, los rangos se comprimen y todos los checkpoints mejoran, validando la hipótesis del umbral.
Diagnóstico de Dos Etapas: Los autores proponen un protocolo de diagnóstico para identificar checkpoints de alto riesgo antes o al inicio de RL:
- Etapa 1 (Pre-RL): Marcar checkpoints donde la entropía media del siguiente token caiga por debajo de un umbral ( $\tau_H = 0.18$ nats).
- Etapa 2 (RL Temprano): Monitorear la caída relativa de la entropía del peor token entre los pasos 10 y 150 de GRPO. Una caída superior al 50% indica colapso.
Localización del Fallo: El estudio muestra que las intervenciones simples (penalizaciones KL o suavizado de etiquetas) fallan en rescatar los checkpoints colapsados, lo que sugiere que el fallo radica en la pérdida de plasticidad y entropía de la etapa de SFT, más que en un problema de hiperparámetros ajustables de GRPO.

Resultados

Qwen2.5-Coder-3B: Existe una fuerte correlación negativa ( $\rho = -0.75$ ) entre el pass@1 pre-RL y el pass@10 pico post-RL. El checkpoint de 5.8 épocas, a pesar de tener el mayor pass@1 pre-RL (0.187), colapsó a un pass@10 pico de 0.481, mientras que el de 1.0 época alcanzó 0.806. La entropía del modelo de 5.8 épocas cayó un 78% durante el entrenamiento, comparado con el 37% del modelo de 1.0 época.
DeepSeek-Coder-6.7B: Todos los checkpoints mantuvieron un pass@1 pre-RL muy por encima del umbral de colapso ( $p \geq 4.2 \times p^*(8)$ ). En consecuencia, todos los brazos mejoraron bajo GRPO, y el ranking pre-RL se preservó perfectamente post-RL ( $\rho = +1.00$ ).
Intervenciones: Añadir una penalización KL ( $\beta=0.01$ ) redujo el rendimiento tanto para los checkpoints superficiales como para los profundos, pero no revirtió la inversión de rango. El suavizado de etiquetas en el checkpoint de 5.8 épocas aumentó el pass@1 pre-RL a 0.600, pero resultó en el pass@10 post-RL más bajo (0.214), indicando que aplanar artificialmente la distribución sin restaurar la diversidad de soluciones subyacente es insuficiente.

Significancia y Reivindicaciones
El artículo sostiene que la práctica estándar de seleccionar el checkpoint de SFT con el mayor pass@1 para RL es engañosa en regímenes donde el sobreentrenamiento de SFT conduce al colapso de la entropía. Los autores argumentan que el pass@1 mide la capacidad en la temperatura incorrecta (codiciosa, $T=0$ ) y no logra capturar la diversidad requerida para RL en $T=1.0$ .

La significancia reside en identificar el colapso de la entropía como el vínculo mecánico entre el sobreentrenamiento de SFT y el fallo de RL. El artículo postula que el fallo no es un artefacto trivial de los hiperparámetros de GRPO, sino un problema fundamental de pérdida de plasticidad durante el SFT. El diagnóstico de dos etapas propuesto ofrece un método práctico y agnóstico al modelo (basado en señales de orden y riesgo en lugar de umbrales universales) para filtrar checkpoints que ya han agotado su señal de aprendizaje antes de gastar cómputo en RL. Los autores concluyen que preservar la entropía durante el SFT es un prerrequisito para un RLVR exitoso, y que una vez que la entropía colapsa, las variantes estándar de RL no pueden recuperar la política.