Resumen Técnico: Sobre la Geometría de la Destilación On-Policy

Planteamiento del Problema

Los Modelos de Razonamiento Grande (LRM) han avanzado significativamente mediante paradigios de post-entrenamiento, principalmente el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Recientemente, la Destilación On-Policy (OPD) ha emergido como un enfoque complementario, entrenando a un modelo estudiante sobre sus propias trayectorias muestreadas utilizando una guía densa a nivel de token de un profesor más fuerte. Aunque la OPD demuestra utilidad empírica, su dinámica en el espacio de parámetros permanece insuficientemente comprendida. Específicamente, no está claro si la OPD representa una simple interpolación entre las huellas geométricas de SFT y RLVR, o si induce una trayectoria de optimización distinta. El artículo aborda tres preguntas centrales:

1. ¿Dónde se sitúa la OPD dentro del espectro del espacio de parámetros entre SFT y RLVR?
2. ¿Qué trayectoria de actualización intrínseca sigue la OPD durante el entrenamiento?
3. ¿Qué componente del objetivo de la OPD controla esta trayectoria?

Metodología

Los autores analizan la geometría de las actualizaciones de la OPD utilizando un conjunto de diagnósticos del espacio de parámetros aplicados a checkpoints de la familia Qwen3 (específicamente Qwen3-8B). La configuración experimental compara tres paradigmas inicializados desde un ancla SFT compartida (para OPD y RLVR) o desde un preentrenado base (para SFT):

• SFT: Ajuste fino supervisado estándar sobre demostraciones offline.
• RLVR: Optimización de política utilizando recompensas dispersas a nivel de resultado (GRPO).
• OPD: Destilación on-policy utilizando supervisión de profesor densa a nivel de token.

El análisis emplea cuatro diagnósticos primarios para caracterizar las actualizaciones ($\Delta W = W_+ - W_0$):

1. Sparsidad de la Actualización: Midiendo la fracción de pesos que permanecen sin cambios en precisión bfloat16.
2. Rotación de Ángulo Principal: Cuantificando la rotación de los subespacios singulares dominantes ($U, V$) entre los pesos iniciales y finales.
3. Deriva Espectral: Midiendo el desplazamiento espectral normalizado (NSS) de los valores singulares.
4. Solapamiento de Máscara de Actualización: Determinando si las actualizaciones visibles se concentran en pesos principales (de alta curvatura) o de baja magnitud.

Para investigar la dinámica de entrenamiento, los autores rastrean las actualizaciones acumuladas ($\Delta W_t$) a través de checkpoints utilizando rango estable (stable rank), normas de Frobenius y estimaciones de la cola de Hill. Además, realizan experimentos de control perturbando tres factores: la densidad de supervisión de tokens (esparsificación), la política de rollout (generación off-policy) y la composición del objetivo (interpolación de las ventajas de OPD y RLVR).

Contribuciones Clave y Resultados

1. La OPD Ocupa un Régimen de "Relajación Fuera de lo Principal"

El estudio ubica a la OPD en una región distinta del espacio de parámetros, intermedia entre SFT y RLVR, pero sesgada hacia el lado de RLVR.

• Sparsidad: La OPD exhibe una sparsidad de actualización intermedia (51.6% de pesos sin cambios), situándose entre las actualizaciones densas de SFT (8.1% de pesos sin cambios) y las actualizaciones dispersas de RLVR (77.2% de pesos sin cambios).
• Geometría: La OPD induce menos rotación de subespacio y deriva espectral que SFT, pero más que RLVR.
• Localización: Las actualizaciones de la OPD se desplazan de los pesos principales hacia regiones de baja magnitud, de forma similar a RLVR, pero con un soporte visible mayor (menor selectividad).
• Interpretación: Los autores proponen una visión de "Tres Puertas Relajadas". La OPD retiene el sesgo de preservación geométrica de RLVR (Puerta II: la geometría del modelo dirige las actualizaciones lejos de las direcciones principales) pero relaja la selectividad debido a la supervisión densa a nivel de token (Puerta I: ancla de distribución), permitiendo que más coordenadas crucen el umbral de realización de precisión (Puerta III).

2. Bloqueo de Subespacio (Subspace Locking)

La OPD sigue una trayectoria distinta caracterizada por el bloqueo de subespacio.

• Convergencia Temprana: A diferencia de SFT (que expande su subespacio de actualización) o RLVR (que se contrae tardíamente), la OPD entra rápidamente en una banda de actualización estrecha y de baja dimensión al inicio del entrenamiento.
• Estabilidad: Este canal de baja dimensión emerge tempranamente (dentro de los primeros checkpoints medidos) y permanece persistente durante todo el entrenamiento.
• Suficiencia Funcional: Restringir el entrenamiento posterior al subespacio de baja dimensión (rango-16) formado tempranamente en el entrenamiento de la OPD preserva el rendimiento de la OPD. En contraste, la misma restricción degrada significativamente el rendimiento de SFT. Esto indica que el subespacio bloqueado es funcionalmente suficiente para el aprendizaje de la OPD.
• Magnitud: La OPD acumula una norma de actualización acumulada sustancialmente mayor que RLVR mientras mantiene un rango estable comparable, lo que descarta la posibilidad de que la baja dimensionalidad sea simplemente un artefacto de un movimiento de parámetros insignificante.

3. La Composición del Objetivo Controla la Trayectoria

Los experimentos de control revelan que el mecanismo de bloqueo de subespacio es robusto a las perturbaciones en tiempo de ejecución, pero sensible a la composición del objetivo.

• Robustez: La esparsificación de tokens (reducción de la densidad de supervisión) y los rollouts off-policy (usando datos generados por el profesor) preservan la trayectoria de rango estable de la OPD, afectando únicamente la escala de la actualización.
• Sensibilidad: La interpolación del objetivo de la OPD con la señal de ventaja de RLVR altera la dinámica del rango. Cuando se debilita el componente de la OPD, la trayectoria se desvía del régimen bloqueado.
• Mecanismo: Los autores argumentan que la esparsificación de tokens y los rollouts off-policy simplemente reescalan la covarianza del gradiente, preservando las direcciones espectrales dominantes. En cambio, mezclar los objetivos cambia la fuente del gradiente mismo, alterando la geometría de la covarianza dominante y rompiendo la trayectoria de bloqueo.

Significado y Reivindicaciones

El artículo sostiene que la OPD no es meramente un punto final intermedio entre SFT y RLVR, sino que induce su propia y única geometría de actualización. El significado principal radica en identificar el bloqueo de subespacio como una propiedad fundamental del entrenamiento de la OPD.

Los autores sugieren que los futuros algoritmos de OPD deben diseñarse con la control de la geometría en mente, en lugar de tratar la densidad de supervisión a nivel de token como el eje de diseño principal. Las recetas efectivas deberían:

• Monitorear y explotar el canal de actualización de baja dimensión, persistente y de aparición temprana.
• Utilizar la composición de objetivos como la palanca principal para regular la geometría de la actualización.
• Tratar la selección de tokens y las políticas de rollout como factores secundarios que influyen en la escala de la actualización, más que en la estructura espectral fundamental.

El artículo concluye que estos diagnósticos proporcionan un relato del espacio de parámetros de la OPD, ofreciendo una base para estrategias de optimización conscientes de la geometría, más estables, interpretables y transferibles. Los autores señalan las limitaciones respecto al enfoque en entornos de razonamiento Qwen3 controlados y la dependencia de diagnósticos basados en checkpoints en lugar de teorías causales formales.