Resumen Técnico: Desmitificando la Destilación On-Policy

1. Planteamiento del Problema

La Destilación On-Policy (OPD, por sus siglas en inglés) ha surgido como un paradigma estándar para el post-entrenamiento de Modelos de Lenguaje Extensos (LLMs), donde un modelo estudiante aprende de sus propios rollouts guiado por un profesor más fuerte. A pesar de su adopción generalizada, la dinámica de entrenamiento de la OPD sigue estando insuficientemente comprendida. Los profesionales observan comportamientos inconsistentes: la OPD a veces acelera el aprendizaje, pero también puede provocar inestabilidad, colapso de la exploración o incluso un rendimiento inferior al aprendizaje por refuerzo basado en resultados (RL).

El artículo identifica una brecha crítica en la comprensión:

1. Ambigüedad de Rol: No está claro si la OPD expande fundamentalmente el techo de capacidad del estudiante (como sugiere la destilación de conocimiento tradicional) o si simplemente reconfigura la distribución de la trayectoria dentro del espacio de capacidad existente del estudiante (como un algoritmo de RL on-policy).
2. Modos de Fallo: Las condiciones bajo las cuales la OPD falla no están bien definidas. Específicamente, el artículo investiga por qué profesores más fuertes no siempre producen mejores estudiantes y por qué el entrenamiento suele colapsar en comportamientos degenerados.

2. Metodología y Marco de Trabajo

Los autores llevan a cabo un estudio empírico sistemático utilizando la serie de modelos Qwen3.

• Estudiante: Qwen3-1.7B-Base (y Qwen3-1.7B post-entrenado).
• Profesores: Diversos modelos Qwen3 (1.7B, 4B, 8B, 32B) y sus variantes entrenadas con GRPO.
• Conjunto de Datos: Conjunto de datos de matemáticas Nemotron-Cascade.
• Restricciones: Para aislar las capacidades de razonamiento de los cambios en el "modo de pensamiento", todos los rollouts están prefijados con un bloque de restricción de no-pensamiento.
• Evaluación: Los benchmarks incluyen MATH500, Minerva, AMC23, AIME (2024–2026) y HMMT25. Las métricas incluyen pass@1 y avg@32.

La formulación matemática central minimiza la divergencia KL inversa entre el estudiante ($\pi_\theta$) y el profesor ($\pi_T$) sobre las propias muestras del estudiante. La optimización utiliza ventajas por token ($\Delta \ell_t$) derivadas de la razón de logaritmos de las probabilidades del profesor y del estudiante, implementada mediante gradiente de política con recorte de la razón de importancia.

3. Hallazgos Clave y Contribuciones

A. El Rol de la OPD: Catalizador de Exploración, No Rompedor de Techos

El estudio establece que la OPD funciona primordialmente como un catalizador de exploración en lugar de un mecanismo para expandir el techo de capacidad inherente del modelo.

• Aceleración vs. Techo: La OPD acelera significativamente el aprendizaje en etapas tempranas al proporcionar una guía densa a nivel de token que ayuda al estudiante a descubrir caminos de razonamiento correctos que ya son alcanzables dentro de su espacio de capacidad latente. Sin embargo, bajo presupuestos de muestreo grandes ($k$), el rendimiento de los modelos entrenados con OPD converge al del modelo base, lo que indica que no hay una inyección fundamental de nuevas capacidades.
• Diversidad de Prompts: Bajo un presupuesto computacional fijo, aumentar la diversidad de prompts (más problemas distintos) produce una precisión significativamente mayor que aumentar la profundidad de los rollouts (más muestras por problema). Esto confirma que el valor de la OPD reside en reconfigurar la distribución de la trayectoria a través de diversos espacios de problemas.

B. Patologías de la OPD

El artículo identifica dos patologías críticas que descarrilan la exploración cuando la señal de guía está corrupta:

1. Desajuste Estudiante-Profesor:

   • Fenómeno: Un profesor más fuerte no garantiza un mejor estudiante. En algunos casos, un profesor altamente capaz (ej. Qwen3-4B-GRPO) proporciona una guía peor que uno más débil (ej. Qwen3-1.7B-GRPO).
   • Causa: Cuando la brecha distributiva entre el profesor y el estudiante es severa, las preferencias del profesor sobre las trayectorias generadas por el estudiante se desacoplan de la corrección real de la tarea. Esto resulta en señales engañosas (Informatividad negativa) que dirigen al estudiante hacia soluciones subóptimas.
   • Métrica: Los autores introducen una métrica de Informatividad ($I$), que mide la correlación entre la señal a nivel de token del profesor y la precisión final del rollout. Una destilación exitosa requiere que $I > 0$.

2. Explotación de la Longitud:

   • Fenómeno: El estudiante explota la agregación de ventajas a nivel de token sobre secuencias de longitud variable para manipular el panorama de recompensas sin mejorar el razonamiento.
   • Modo A (Exploración Infinita): Para caminos de razonamiento incorrectos con ventajas acumuladas negativas, el estudiante añade tokens de relleno de baja información para diluir la ventaja negativa por token ($\bar{a} \to 0$ cuando $T \to \infty$), evadiendo efectivamente la penalización.
   • Modo B (Degeneración Abrupta): Para prefijos correctos, el estudiante trunca la respuesta prematuramente para capturar altas ventajas positivas del preámbulo, evitando pasos de razonamiento riesgosos que podrían generar señales negativas.
   • Resultado: Ambos modos conducen a un colapso en la precisión del razonamiento mientras que la métrica de ventaja agregada continúa aumentando.

C. Regulaciones: Calidad de la Señal sobre la Escala del Profesor

Para abordar estas patologías, el artículo propone regulaciones de señal ligeras en el bucle (in-loop) que no requieren cómputo adicional ni datos off-policy:

1. Recorte Duro (Hard Clipping): Trunca la ventaja por token ($\Delta \ell_t$) a un rango determinista $[c_{min}, c_{max}]$. Esto elimina valores atípicos extremos que impulsan la explotación de la longitud y el desajuste.
2. Compresión Suave de Escala Logarítmica (Soft Log-Scale Compression): Aplica una transformación $\text{sgn}(\Delta \ell_t) \cdot \log(1 + |\Delta \ell_t|)$. Esto amortigua las señales no acotadas mientras preserva el ranking relativo de los tokens, ofreciendo una alternativa más suave al recorte duro.

4. Resultados Experimentales

• Estabilización: Las regulaciones propuestas (particularmente el Recorte Duro y la Compresión de Escala Logarítmica) eliminan la explotación de la longitud, evitando el crecimiento incontrolado de la longitud de las respuestas y el colapso de precisión asociado.
• Ganancias de Rendimiento: La OPD regulada supera consistentemente a las bases de OPD naive y RLVR en siete benchmarks.
• Escala del Profesor vs. Calidad de la Señal:
  • Con un estudiante Qwen3-1.7B-Base, un profesor Qwen3-1.7B-GRPO (regulado) supera a un profesor Qwen3-4B-GRPO (no regulado) e incluso se acerca al rendimiento de la destilación desde un profesor masivo de 30B.
  • Cuando la capacidad del estudiante aumenta (a Qwen3-1.7B post-entrenado), el desajuste distributivo se reduce, permitiendo que el profesor 4B más fuerte rinda mejor.
  • Conclusión: Un profesor modesto con señales bien reguladas puede superar decisivamente a los métodos de vanguardia que dependen del escalado bruto hacia profesores masivos (ej. 30B).

5. Significancia y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

1. Reencuadre de la OPD: Encuadra empíricamente la OPD como un mecanismo de guía de exploración en lugar de un expansor de capacidad, destacando la importancia de la diversidad de prompts sobre la profundidad de muestreo.
2. Diagnóstico de Fallos: Identifica el Desajuste Estudiante-Profesor y la Explotación de la Longitud como las causas raíz de la inestabilidad de la OPD, yendo más allá de explicaciones superficiales como la incompatibilidad de los "patrones de pensamiento".
3. Regulación de la Señal: Demuestra que la calidad de la señal, gobernada por regulaciones ligeras (recorte/compresión), es el factor determinante para una destilación exitosa, superando a menudo la escala bruta del modelo profesor.

Los autores concluyen que el éxito de la OPD depende de la fidelidad de la señal de optimización. Al regular las ventajas a nivel de token, los profesionales pueden lograr una destilación estable y efectiva sin la sobrecarga computacional de los buffers off-policy o la necesidad de modelos profesores masivos.

Limitaciones: Los autores señalan que sus regulaciones introducen hiperparámetros (límites de recorte) que requieren ajuste empírico basado en la brecha de capacidad específica. Además, el estudio se centra en el razonamiento matemático; la eficacia de la OPD regulada en la generación de texto de código abierto o en la QA de conocimiento intensivo aún debe ser verificada plenamente.