🤖 machine learning

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

Este artículo desafía la suposición de que la autodestilación on-policy es un enfoque superior para el entrenamiento continuo posterior, demostrando mediante experimentos de SDPO que, si bien acelera la especialización en el dominio, a menudo conduce a un mayor olvido y colapso del modelo en comparación con los métodos de aprendizaje por refuerzo on-policy debido al aumento de la deriva de parámetros y la amplificación de artefactos de formato.

Autores originales: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

Publicado 2026-07-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Por qué "Más" no siempre es "Mejor"

Imagina que estás enseñando nuevas habilidades a un estudiante (un Modelo de Lenguaje Extenso) a lo largo del tiempo. Quieres que aprenda matemáticas, luego ciencia, luego programación, sin olvidar cómo realizar las materias anteriores.

Recientemente, un método popular llamado Autodestilación (Self-Distillation) se convirtió en el "boleto dorado". La idea era simple: dejar que el estudiante genere una respuesta y luego hacer que ese mismo estudiante (actuando como profesor) califique cada una de las palabras de esa respuesta en tiempo real. Debido a que el profesor está dando retroalimentación sobre cada palabra (supervisión densa), parecía que el estudiante aprendería súper rápido y nunca olvidaría las lecciones anteriores.

Este artículo dice: "Espera. Así no es como funciona".

Los autores descubrieron que, si bien esta tutoría "palabra por palabra" es excelente para dominar un tema específico rápidamente, es en realidad peligrosa cuando intentas enseñar al modelo muchas cosas diferentes de forma consecutiva. A menudo provoca que el modelo olvide todo lo que aprendió antes, llegando incluso a romperse por completo.

El Conflicto Central: El "Frenesí" vs. La "Mano Firme"

El artículo compara dos estilos de enseñanza:

El Tutor "Palabra por Palabra" (SDPO): Este es el método de autodestilación. El profesor mira el borrador del estudiante y corrige cada palabra inmediatamente.
- La Analogía: Imagina a un entrenador que corre al lado de un velocista, gritando: "¡Mueve el pie izquierdo! ¡No, más rápido! ¡Dobla la rodilla! ¡Mira tu brazo!" por cada paso que da.
- El Resultado: El velocista se vuelve muy rápido corriendo esa pista específica en este momento. Pero si el entrenador cambia de opinión sobre la técnica cada pocos segundos, o si el entrenador comienza a imitar los errores del velocista, el velocista se confunde, pierde el equilibrio y olvida cómo correr por completo.
El Entrenador de la "Línea de Meta" (GRPO): Este es el método tradicional de Aprendizaje por Refuerzo. El estudiante corre toda la carrera y el entrenador solo da una calificación al final (por ejemplo, "Buen trabajo, terminaste en 10 segundos").
- La Analogía: El entrenador deja que el corredor corra su propia carrera. No interfiere en cada paso. Solo da retroalimentación sobre el resultado final.
- El Resultado: El corredor aprende un poco más lento, pero desarrolla un estilo natural y estable. Cuando cambia a una nueva pista (un nuevo tema), no pierde el equilibrio. Recuerda cómo correr.

Hallazgos Clave Explicados con Metáforas

1. El Problema del "Profesor Frágil"

En el método "Palabra por Palabra", el profesor es el propio modelo. El artículo encontró que si el profesor se actualiza demasiado rápido (intentando ser "fresco"), se vuelve inestable.

La Metáfora: Imagina a un profesor que también es estudiante. Si el profesor cambia de opinión sobre la respuesta "correcta" cada 5 minutos basándose en lo que el estudiante acaba de decir, el estudiante sufre un dolor de cabeza. Comienza a copiar la confusión del profesor.
La Solución: El artículo encontró que el profesor necesita ser estable. Es mejor tener un profesor que se mantenga igual durante un tiempo y luego reciba una actualización rápida, en lugar de uno que esté cambiando constantemente.

2. La "Cámara de Eco" de los Errores

Cuando el modelo se corrige a sí mismo palabra por palabra, puede reforzar accidentalmente los malos hábitos.

La Metáfora: Imagina a un estudiante que accidentalmente escribe un símbolo extraño (como un emoji fallido) en su ensayo. El profesor "Palabra por Palabra" ve esto, piensa "Ah, eso es parte del estilo", y le dice al estudiante que lo escriba de nuevo. El estudiante lo escribe de nuevo, el profesor lo elogia de nuevo, y pronto el estudiante solo está escribiendo símbolos extraños.
El Resultado: El modelo "colapsa". Deja de responder preguntas y simplemente repite errores de formato una y otra vez porque el ciclo de retroalimentación amplificó un pequeño error en un hábito masivo.

3. La Trampa del "Punto Medio" (Olvido)

El artículo descubrió un patrón extraño en lo que el modelo olvida.

La Metáfora: Imagina que estás aprendiendo a tocar el piano.
- Si aprendes una canción que es muy similar a lo que ya sabes, mejoras en ambas.
- Si aprendes una canción que es completamente diferente (como pasar del piano a la batería), tus habilidades de piano se mantienen seguras porque son tan diferentes.
- El Peligro: Si aprendes una canción que es algo similar pero tiene algunas reglas diferentes, tu cerebro se confunde. Intentas aplicar las reglas viejas a la nueva canción, y arruinas ambas.
El Hallazgo: El método "Palabra por Palabra" es excelente para las tareas "muy similares", pero terrible para las tareas "algo similares". Provoca que el modelo olvide las habilidades previas que eran lo suficientemente cercanas como para interferir, pero no lo suficiente como para ayudar.

4. La "Deriva" (Drift)

El artículo miró dentro del "cerebro" del modelo (sus parámetros) para ver qué estaba cambiando.

La Metáfora: El entrenador de la "Línea de Meta" (GRPO) hace ajustes pequeños y cuidadosos en los zapatos del corredor. El entrenador "Palabra por Palabra" (SDPO) está reconstruyendo constantemente las piernas del corredor y cambiando su zancada.
El Resultado: El método "Palabra por Palabra" causa que el modelo se aleje tanto de su yo original que pierde su capacidad para manejar situaciones nuevas e inesperadas. Se convierte en un especialista que no puede pensar fuera de la caja.

La Conclusión Final

El artículo concluye que la supervisión densa (corregir cada palabra) es un arma de doble filo.

Cuando funciona: Si tienes un profesor muy estable y una tarea muy clara, ayuda al modelo a especializarse rápidamente.
Cuando falla: En un escenario de "Aprendizaje Continuo" (aprender una cosa tras otra), es demasiado agresivo. Amplifica el ruido, refuerza los errores de formato y provoca que el modelo olvide el conocimiento previo.

La Lección: No asumas que darle a un modelo más retroalimentación (cada palabra) lo hace más inteligente o más estable. A veces, un enfoque más lento y constante (como el entrenador de la "Línea de Meta") es mejor para el aprendizaje a largo plazo. El artículo nos advierte que no tratemos la autodestilación como un estabilizador mágico; necesita una gestión cuidadosa para evitar romper el modelo.

Resumen Técnico: MÁS DENSO ≠ MEJOR: LÍMITES DE LA AUTO-DISTILACIÓN ON-POLICY PARA EL POST-ENTRENAMIENTO CONTINUO

Declaración del Problema

El post-entrenamiento continuo es esencial para permitir que los modelos fundacionales adquieran nuevo conocimiento a través de diversos dominios mientras preservan sus capacidades existentes. Mientras que la literatura reciente sugiere que el ajuste fino por refuerzo (RFT) on-policy mitiga mejor el olvido catastrófico que el ajuste fino supervisado (SFT), un paradigma más reciente —la auto-distilación on-policy— ha emergido como una alternativa prometedora. Este enfoque, ejemplificado por la Optimización de Auto-Distilación de Política (SDPO), convierte las ejecuciones (rollouts) generadas por el modelo en supervisión densa a nivel de token, utilizando al propio modelo como maestro condicionado por un contexto privilegiado (por ejemplo, soluciones, retroalimentación o demostraciones).

El problema central abordado en este trabajo es si la visión optimista de la auto-distilación on-policy es cierta en entornos de aprendizaje continuo. Específicamente, los autores investigan si la SDPO hereda los beneficios de retención atribuidos al RL on-policy o si la densidad de la supervisión a nivel de token introduce nuevos modos de falla, tales como inestabilidad, interferencia y colapso, cuando se aplica a través de tareas secuenciales.

Metodología

El estudio emplea un marco experimental comparativo que analiza la Optimización de Auto-Distilación de Política (SDPO) frente a la Optimización de Política Relativa de Grupo (GRPO), un método de optimización de recompensa a nivel de secuencia.

Configuración Experimental:
- Modelos: Los experimentos utilizan series de modelos Qwen3-4B y Olmo-3-7B.
- Tareas: El entrenamiento ocurre a través de cuatro dominios: Matemáticas (MATH), Ciencia (SCIENCE), Uso de Herramientas (TOOLUSE) y Codificación (CODING).
- Evaluación: El rendimiento se mide en benchmarks de distribución interna y tareas fuera de distribución (OOD) (p. ej., AIME, GPQA, BFCLv4, MMLU-R) para evaluar especialización, retención y transferencia.
- Entorno Continuo: Los modelos son entrenados secuencialmente (MATH → SCIENCE → TOOLUSE → CODING) para simular el post-entrenamiento continuo.
Variaciones Clave:
- Estabilidad del Maestro: Los autores varían la tasa de actualización de la Media Móvil Exponencial (EMA) ( $\alpha$ ) del modelo maestro para probar el compromiso entre "frescura" y "estabilidad temporal". Introducen una estrategia de "Reiniciar y Congelar" (StableSDPO) para desacoplar estos factores.
- Densidad de Supervisión: El estudio compara la SDPO estándar con variantes que destilan tokens de Cadena de Pensamiento (CoT) para evaluar si la supervisión más densa (nivel de token vs. nivel de secuencia) mejora el aprendizaje.
- Diagnósticos: Los autores analizan la deriva de parámetros mediante métricas de Descomposición en Valores Singulares (SVD) (desplazamiento espectral, rotación del ángulo principal, superposición de máscaras) y desplazamientos del manifold de respuesta mediante similitud de embeddings. También proporcionan un análisis teórico utilizando un marco de "exceso de deriva KL".

Contribuciones Clave

El artículo realiza cuatro contribuciones primarias:

Desacoplamiento de Datos y Objetivo: Los autores separan la fuente de los datos (on-policy) del objetivo de entrenamiento. Demuestran que, si bien los datos on-policy son beneficiosos, el objetivo específico de la auto-distilación densa no hereda automáticamente el sesgo de actualización conservador del RL on-policy a nivel de secuencia.
Fragilidad de las Señales Densas: Se demuestra que la SDPO es un método de especialización poderoso pero una señal de aprendizaje continuo frágil. Su eficacia es altamente condicional a la estabilidad del maestro y la fiabilidad del token. El estudio revela que la destilación de CoT y las actualizaciones rápidas del maestro pueden amplificar el ruido y los artefactos de formato.
Compromisos del Aprendizaje Continuo: En entornos continuos, las variantes de SDPO exhiben una retención significativamente más débil que GRPO. El olvido no es uniforme; se concentra en tareas de "distancia intermedia": tareas lo suficientemente cercanas como para verse afectadas por las actualizaciones del dominio de origen, pero lo suficientemente desalineadas como para no beneficiarse de ellas.
Diagnósticos Mecanicistas: El artículo diagnostica las causas del fallo de la SDPO a través de:
- Deriva de Parámetros/Respuesta: La SDPO induce mayores desplazamientos espectrales y cambios en el manifold de respuesta que GRPO.
- Amplificación de Artefactos: Un bucle de "sesgo de confirmación" donde los artefactos de formato (p. ej., tokens repetidos) son reforzados por el bucle maestro-estudiante, llevando al colapso del modelo.
- Exceso Teórico de KL: Una prueba que muestra que la proyección a nivel de token de la SDPO hacia un maestro privilegiado induce un exceso de deriva KL en comparación con la proyección de recompensa de secuencia mínima de KL, prediciendo un olvido adicional.

Resultados

Especialización vs. Retención: La SDPO sobresale en la especialización inmediata (p. ej., mejorando significativamente las puntuaciones de Math500 tras el entrenamiento en MATH), pero falla en retener capacidades a través de cambios de dominio. En una secuencia de entrenamiento continuo de cuatro etapas, la SDPO con un maestro rápido ( $\alpha=5\%$ ) colapsó a un rendimiento cercano a cero, mientras que GRPO mantuvo y mejoró las capacidades en todos los dominios.
Estabilidad del Maestro: No existe una tasa de EMA única que sea globalmente óptima. Las actualizaciones rápidas ( $\alpha=5\%$ ) a menudo degradan el rendimiento debido a la inestabilidad temporal. La estrategia "Reiniciar y Congelar" supera significativamente a la EMA continua, sugiriendo que las actualizaciones periódicas y estables del maestro son cruciales.
Destilación de CoT: La destilación de tokens de CoT mejora el rendimiento en trazas cortas y estructuradas (Uso de Herramientas), pero perjudica el rendimiento en tareas de razonamiento largas y ruidosas (Matemáticas, Ciencia), donde los tokens intermedios a menudo contienen artefactos o auto-verificaciones redundantes que diluyen la asignación de crédito.
Interferencia de Distancia Intermedia: La generalización OOD sigue un patrón no monotónico. Las tareas muy cercanas al dominio de entrenamiento o muy alejadas suelen preservarse o mejorar. Sin embargo, las tareas a una distancia intermedia sufren el olvido más significativo, un fenómeno consistente con la teoría de interferencia en modelos lineales.
Modos de Colapso: El estudio identifica un modo de falla específico donde el modelo colapsa en la repetición de tokens de formato (p. ej., \boxed). Esto se atribuye al bucle de autorrefuerzo de artefactos de alta frecuencia en la auto-distilación densa.

Significancia y Reivindicaciones

El artículo concluye que la auto-distilación on-policy no es un estabilizador por defecto para el post-entrenamiento continuo. Si bien ofrece una señal poderosa para la especialización rápida cuando los objetivos del maestro son estables y la supervisión a nivel de token es fiable, introduce un compromiso: la supervisión más densa fortalece las señales de aprendizaje local pero aumenta la sensibilidad al ruido, el desajuste de dominio y los artefactos acumulados.

Los autores argumentan que la intuición de que "más denso es mejor" es errónea en el contexto del aprendizaje continuo. A diferencia de los métodos a nivel de secuencia como GRPO, que se adaptan de forma conservadora y preservan las capacidades previas, las actualizaciones agresivas a nivel de token de la SDPO pueden conducir al olvido catastrófico y al colapso del modelo. El artículo sugiere que el futuro de la auto-distilación on-policy en el aprendizaje continuo no depende de aumentar la densidad de la señal, sino de salvaguardar la señal mediante el pesaje de tokens, controles del maestro y el equilibrio de datos para asegurar la estabilidad y la conciencia de los artefactos.