Resumen Técnico: Rethinking On-Policy Distillation (OPD)

1. Problema y Contexto

La Destilación en Política (On-Policy Distillation - OPD) se ha convertido en una técnica central para el entrenamiento posterior (post-training) de Modelos de Lenguaje Grandes (LLM), utilizada por actores industriales clave como Qwen3, MiMo y GLM-5. A diferencia de la destilación off-policy (que entrena al estudiante sobre secuencias fijas generadas por el maestro y sufre de sesgo de exposición), la OPD hace que el estudiante genere sus propias trayectorias y utiliza las log-probabilidades del maestro como una señal de recompensa densa a nivel de token.

A pesar de su éxito, la OPD es frágil y mal comprendida. Se ha observado un modo de fallo sorprendente: un maestro más fuerte puede fallar completamente al mejorar a un estudiante, mientras que un maestro más débil tiene éxito. La comunidad carecía de una comprensión sistemática sobre:

1. Bajo qué condiciones la OPD tiene éxito o falla.
2. El mecanismo a nivel de token que impulsa la alineación.
3. Cómo recuperar configuraciones de entrenamiento que están fallando.

2. Metodología y Enfoque

Los autores realizaron un estudio sistemático que abarca desde el análisis fenomenológico hasta la mecánica a nivel de token y estrategias prácticas.

• Configuraciones Experimentales: Se utilizaron múltiples familias de modelos (DeepSeek, Qwen) con diferentes tamaños (1.5B, 1.7B, 4B, 7B) y estados de entrenamiento (Base, RL post-entrenado).
• Experimentos Clave:
  • Destilación Inversa (Reverse Distillation): Entrenar un modelo "fuerte" (post-RL) usando un modelo "débil" (pre-RL) como maestro para aislar el efecto de la capacidad del modelo frente a los patrones de pensamiento.
  • Análisis de Métricas Dinámicas: Monitoreo de la Ratio de Superposición (Overlap Ratio), la Ventaja de Tokens Superpuestos (Overlap-Token Advantage) y la Brecha de Entropía durante el entrenamiento.
  • Ablaciones: Pruebas de destilación restringida solo a tokens superpuestos vs. no superpuestos, y variaciones en el tamaño del soporte ($k$) en Top-$k$ OPD.
  • Estrategias de Recuperación: Prueba de Cold Start (inicio en frío) fuera de política y selección de prompts alineados con el maestro.

3. Contribuciones Clave y Hallazgos

A. Fenomenología: Condiciones para el Éxito

El paper identifica dos condiciones necesarias para que la OPD funcione:

1. Consistencia de Patrones de Pensamiento (Thinking-Pattern Consistency):

   • El estudiante y el maestro deben compartir patrones de razonamiento compatibles.
   • Hallazgo: Un maestro con puntuaciones de referencia (benchmarks) más altas pero con un patrón de pensamiento incompatible (ej. un modelo "no pensante" vs. uno entrenado con RL) genera una baja superposición inicial de tokens. Esta brecha inicial impide que la destilación recupere el rendimiento, incluso si el maestro es técnicamente más fuerte.
   • Evidencia: En experimentos de destilación inversa, un estudiante (JustRL-1.5B) destilado hacia su propio checkpoint pre-RL (más débil) regresó a su rendimiento original, borrando las ganancias del RL. Sin embargo, destilar hacia un modelo 7B de la misma familia (más fuerte) no mejoró el estudiante; ambos maestros indujeron la misma distribución local en los estados visitados por el estudiante.

2. Nuevos Conocimientos, no solo Puntuaciones (New Knowledge, Not Just Scale):

   • Tener un patrón de pensamiento consistente y un maestro con mejores puntuaciones no es suficiente si el maestro no ofrece conocimientos genuinamente nuevos que el estudiante no haya visto.
   • Hallazgo: Si el maestro y el estudiante fueron entrenados en los mismos datos y recetas (aunque a diferentes escalas), convergen a distribuciones similares. La OPD falla porque no hay señal transferible. El éxito requiere que el maestro posea capacidades adquiridas (ej. mediante RL adicional) que el estudiante aún no domina.

B. Mecanismo: Alineación Progresiva en Tokens de Alta Probabilidad

El estudio revela cómo funciona la OPD a nivel de token:

• Alineación Progresiva: El éxito de la OPD se caracteriza por un aumento constante en la superposición de los tokens de alta probabilidad (Top-$k$) entre el estudiante y el maestro en los estados visitados por el estudiante.
• Suficiencia de la Superposición:
  • Los tokens superpuestos concentran el 97%–99% de la masa de probabilidad combinada.
  • Ablación Crítica: Optimizar únicamente sobre los tokens superpuestos (Overlap Top-$k$) es suficiente para lograr el mismo rendimiento que la destilación completa. Los tokens no superpuestos contribuyen poco al gradiente.
  • Dinámica Virtuosa: Una vez que un token entra en la región de alta probabilidad compartida, las actualizaciones de KL inverso concentran más masa en él, empujando a los tokens no superpuestos fuera del Top-$k$ del estudiante, creando un ciclo de retroalimentación positiva.

C. Receta Práctica: Cómo Recuperar OPD Fallida

Para casos donde la OPD falla debido a una brecha en el patrón de pensamiento, los autores proponen dos estrategias:

1. Inicio en Frío Fuera de Política (Off-Policy Cold Start):

   • Realizar una fase de Supervised Fine-Tuning (SFT) en el estudiante utilizando rollovers generados por el maestro antes de iniciar la OPD.
   • Resultado: Esto eleva la ratio de superposición inicial, permitiendo que la OPD comience desde un estado compatible y logre un rendimiento final superior.

2. Selección de Prompts Alineados con el Maestro:

   • Utilizar prompts que coincidan con los datos de post-entrenamiento del maestro (tanto en plantilla como en contenido).
   • Resultado: Mejora la alineación en tokens de alta probabilidad. Sin embargo, esto reduce la entropía del estudiante; se recomienda mezclar estos prompts con datos fuera de distribución para mantener la capacidad de exploración.

D. Limitaciones y Costos

• Degradación de la Recompensa: La calidad de la señal de recompensa del maestro se degrada sistemáticamente con la profundidad de la trayectoria (longitud de la respuesta). En secuencias muy largas (>10k tokens), la incertidumbre del maestro aumenta, lo que lleva a inestabilidad y colapso del entrenamiento.
• Geometría de Optimización: Incluso cuando la recompensa global es informativa (correlacionada con la corrección), la OPD puede fallar si la geometría local de los gradientes es anisotrópica (se cancelan entre sí), especialmente con maestros muy grandes que tienen patrones de pensamiento incompatibles.

4. Resultados Cuantitativos Destacados

• Recuperación de Brecha: En la familia Qwen, un maestro post-entrenado con RL recuperó un 58.6% de la brecha de rendimiento entre maestro y estudiante, frente a solo un 15.6% con un maestro sin RL.
• Fallo de Escala: En la familia DeepSeek, un maestro 7B (más fuerte) solo recuperó un 5.3% de la brecha, mientras que un maestro 7B post-entrenado (Skywork) recuperó un 16.9%.
• Eficacia de Tokens Superpuestos: La optimización restringida a tokens superpuestos (Overlap Top-$k$) igualó el rendimiento de la destilación completa (Student Top-$k$), confirmando que el resto de la vocabulario es ruido para el proceso de aprendizaje en OPD.
• Longitud de Trayectoria: El rendimiento se estanca o decae significativamente más allá de 10k-15k tokens debido a la degradación de la señal del maestro.

5. Significado e Impacto

Este trabajo es fundamental porque:

1. Desmitifica la OPD: Demuestra que "más grande" o "mejor puntuado" no garantiza un mejor maestro para destilación. La compatibilidad de patrones de pensamiento es más crítica que la capacidad bruta.
2. Explica el Mecanismo Interno: Identifica que la OPD no aprende "todo" el conocimiento del maestro, sino que se enfoca en refinar la distribución sobre un pequeño conjunto de tokens compartidos de alta probabilidad.
3. Proporciona un Manual de Reparación: Ofrece estrategias concretas (Cold Start, Prompt Alignment) para salvar configuraciones de entrenamiento que de otro modo fracasarían.
4. Advierte sobre Límites: Señala que la OPD actual tiene dificultades para escalar a tareas de razonamiento de muy largo horizonte (long-horizon) debido a la degradación de la señal de recompensa, sugiriendo la necesidad de enfoques híbridos (recompensas densas cortas + recompensas dispersas largas).

En resumen, el paper transforma la OPD de una "caja negra" práctica a un proceso comprensible y optimizable, estableciendo que el éxito depende de la alineación de patrones y la novedad del conocimiento, no simplemente de la jerarquía de tamaño del modelo.