Resumen Técnico: Sobre el Sesgo de Posición en la Destilación On-Policy

Planteamiento del Problema

La Destilación On-Policy (OPD, por sus siglas en inglés) mejora la eficiencia del aprendizaje en el Aprendizaje por Refuerzo (RL) para Modelos de Lenguaje Extensos (LLMs) al proporcionar una supervisión densa a nivel de token desde un modelo profesor hacia un modelo estudiante que genera sus propios rollouts. Sin embargo, los objetivos estándar de OPD promedian uniformemente las pérdidas a nivel de token (típicamente mediante la divergencia KL), asumiendo implícitamente un valor igual para todos los tokens en una secuencia.

Los autores identifican un Sesgo de Posición crítico en este enfoque: a medida que los rollouts del estudiante se extienden, la trayectoria generada se desvía cada vez más de la distribución del profesor. En consecuencia, la calidad de la supervisión del profesor se degrada en las posiciones posteriores. Las observaciones empíricas revelan que:

1. Asimetría en el Valor de la Supervisión: Entrenar utilizando solo el primer 30% de los tokens (prefijo) produce un rendimiento comparable o superior al de utilizar todos los tokens, mientras que entrenar con el último 30% (sufijo) proporciona beneficios de aprendizaje insignificantes.
2. Divergencia Persistente: Incluso después de la convergencia, la divergencia KL entre el profesor y el estudiante sigue siendo significativa, lo que sugiere que la OPD solo optimiza al estudiante dentro de una región local pequeña del espacio de la política.
3. Ineficiencia: El ponderar uniformemente todos los tokens desperdicia el presupuesto limitado de actualización de gradientes en los tokens posteriores donde el estudiante ya se ha desviado hacia regiones Fuera de la Distribución (OOD) respecto al profesor, haciendo que la señal de supervisión sea ruidosa o de poca ayuda.

Metodología: Destilación On-Policy con Ponderación por Importancia (IW-OPD)

Para abordar este sesgo, los autores proponen la Destilación On-Policy con Ponderación por Importancia (IW-OPD), un método que ajusta dinámicamente los pesos de los tokens basándose en la discrepancia acumulada entre las distribuciones del estudiante y el profesor.

Fundamento Teórico

Los autores enmarcan la OPD como un problema de optimización con restricciones (una proyección local) donde la política del estudiante se actualiza dentro de una región de confianza definida por un presupuesto de divergencia KL $\rho$.

• Derivación de la Política Óptima: Resolver la minimización restringida de $D_{KL}(q \| \pi_T)$ sujeta a $D_{KL}(q \| \pi_\theta) \leq \rho$ produce una política óptima de forma cerrada $q^\star$.
• Reponderación por Razón de Verosimilitud: La solución $q^\star$ repondera la política del estudiante $\pi_\theta$ mediante la razón de verosimilitud $(\pi_T / \pi_\theta)^\alpha$. Esto implica que los tokens donde la probabilidad del profesor es significativamente mayor que la del estudiante (alta compatibilidad) deben recibir un mayor peso, mientras que los tokens donde el estudiante se ha desviado (baja razón) deben ser penalizados con un menor peso.

Implementación Práctica

El uso directo de la razón de verosimilitud bruta es numéricamente inestable debido a la acumulación exponencial de probabilidades en secuencias largas. IW-OPD introduce una discrepancia de prefijo acumulada sin signo estable como un proxy para el peso de importancia:

1. Discrepancia Acumulada: En lugar de la razón bruta, el método suma las ventajas absolutas a nivel de token ($|A^{OPD}_k|$) desde el inicio de la secuencia hasta el token actual $t$. Esto captura la "deriva" total del camino preferido por el profesor.
2. Normalización: La discrepancia acumulada se estandariza dentro de cada muestra a un rango $[0, 1]$, asegurando una escala estable.
3. Interpolación: Para evitar la eliminación completa de la supervisión para los tokens desviados, el peso final es una interpolación entre la señal de la OPD estándar (peso 1) y el peso de importancia derivado de la discrepancia.
   • Fórmula: $\tilde{r}^{IW-OPD}_t = 1 + \gamma \cdot (1 - \frac{\sum_{k<t} |A^{OPD}_k|}{\sum_{k<T} |A^{OPD}_k|})$.
   • Aquí, $\gamma$ controla la contribución de la ponderación por importancia.

Este enfoque aumenta naturalmente el peso de los tokens tempranos (donde el prefijo es compatible con el profesor) y reduce el peso de los tokens posteriores (donde la deriva acumulada es grande), reasignando efectivamente el presupuesto de gradiente a las partes más informativas de la trayectoria.

Contribuciones Clave

1. Identificación del Sesgo de Posición: El artículo demuestra empíricamente y explica teóricamente que la OPD sufre de un sesgo de posición donde los tokens tempranos proporcionan una supervisión significativamente más valiosa que los tokens posteriores debido a la deriva de la distribución.
2. Perspectiva de Optimización Restringida: Los autores proporcionan una comprensión fundamentada de la OPD como una proyección local restringida, derivando que la estrategia de actualización óptima requiere intrínsecamente una reponderación basada en razones.
3. Algoritmo IW-OPD: Proponen IW-OPD, un algoritmo práctico y estable que estima la importancia del token utilizando la discrepancia de prefijo acumulada sin signo. No requiere evaluaciones adicionales del profesor más allá de la OPD estándar.
4. Validación Empírica: Experimentos extensos muestran que IW-OPD converge más rápido y logra un rendimiento final superior al de la OPD estándar en diversas escalas de modelos y configuraciones de profesor-estudiante.

Resultados Experimentales

Los autores evaluaron IW-OPD utilizando modelos Qwen3 (0.6B, 1.7B, 4B, 30B y 235B) como profesores y estudiantes en tareas de razonamiento matemático (AIME-2024, AIME-2025, HMMT-2025) y generación de código (HumanEval+, MBPP+) benchmarks.

• Ganancias de Rendimiento: IW-OFD supera consistentemente a la OPD estándar.
  • En la configuración de estudiante Qwen3-1.7B con un profesor Qwen3-30B, IW-OPD mejoró la precisión de AIME-2025 en +6.9 puntos en el paso 10 y en +1.7 puntos en la convergencia.
  • En todas las escalas de estudiantes (0.6B a 30B) y configuraciones de profesor, IW-OPD mejoró la puntuación de rendimiento promedio.
• Eficiencia de Muestreo: IW-OPD converge significativamente más rápido. En varios casos, el checkpoint de IW-OPD en el paso 10 igualó o superó el rendimiento final de la OPD estándar.
• Efectos de Escala:
  • Profesores más Fuertes: IW-OPD hace que los profesores más fuertes sean más eficientes en términos de muestras. Mientras que la OPD estándar tiene dificultades inicialmente con las brechas más grandes entre profesor y estudiante (requiriendo más pasos para beneficiarse del profesor más fuerte), IW-OPD aprovecha inmediatamente la señal del profesor más fuerte.
  • Estudiantes más Pequeños: Las ganancias relativas de IW-OPD aumentan a medida que el modelo estudiante se vuelve más pequeño (por ejemplo, +9.5% de ganancia relativa para el estudiante de 0.6B frente a +1.8% para el de 4B), lo que indica que es particularmente efectivo en la destilación de escalas cruzadas donde la deriva es más severa.

Significado y Reivindicaciones

El artículo sostiene que una supervisión on-policy efectiva debe tener en cuenta el contexto de la trayectoria, no solo el desacuerdo a nivel de token. Al reconocer que la supervisión del profesor no es uniformemente confiable a lo largo de una trayectoria generada por el estudiante, IW-OPD reasigna el presupuesto de gradiente finito a los prefijos "compatibles con el profesor".

Los autores concluyen que esta modificación simple —reducir el peso de los tokens donde el estudiante se ha desviado de la distribución del profesor— mejora significativamente tanto la eficiencia de muestreo como el rendimiento final de la destilación on-policy. Esta idea sugiere que los métodos on-policy futuros deberían considerar la historia acumulada del rollout (el prefijo) al asignar créditos o pesos de supervisión, en lugar de tratar todos los tokens en una trayectoria como independientes e igualmente valiosos.