Resumen Técnico: No Todo Desacuerdo es Aprendible: Enseñabilidad de Tokens en Destilación On-Policy

Enunciado del Problema

La destilación on-policy (OPD) entrena un modelo de lenguaje estudiante sobre sus propias trayectorias utilizando supervisión a nivel de token desde una política docente. Aunque los métodos recientes de OPD selectiva intentan mejorar la eficiencia priorizando tokens "salientes" —tales como aquellos con alta entropía o alto desacuerdo entre docente y estudiante (divergencia KL)—, estos enfoques se basan en la suposición de que un alto desacuerdo equivale a un alto valor de aprendizaje.

El artículo identifica un defecto crítico en esta suposición: el desacuerdo KL crudo es un proxy tosco para el aprendizaje. Confunde dos escenarios cualitativamente diferentes:

1. Desacuerdo Aprendible: El docente asigna masa de probabilidad correctiva a tokens que ya se encuentran dentro del soporte predictivo actual del estudiante (top-$K$).
2. Desacuerdo Incompatible: El docente asigna masa a tokens muy alejados del soporte actual del estudiante. Aunque esto genera una brecha KL grande, el estudiante no puede absorber fácilmente esta corrección, lo que conduce a efectos de aprendizaje local débiles o negativos.

El problema central es distinguir qué señales docentes a nivel de token son realmente aprendibles (es decir, capaces de inducir una mejora local) frente a aquellas que son meramente salientes o incompatibles.

Metodología

1. Diagnóstico de Contexto Fijo

Para aislar el valor de aprendizaje de tokens específicos del ruido de las trayectorias y los cambios de contexto aguas abajo, los autores introducen un diagnóstico de contexto fijo.

• Protocolo: Se recopilan y congelan los prefijos generados por el estudiante como un banco de contextos. Tanto el modelo estudiante inicial (pre-actualización) como el entrenado se reevalúan frente a la misma distribución docente en estos contextos fijos.
• Métrica: La Ganancia de Token de Contexto Fijo ($G^{\text{fix}}_{i,t}$) se define como la reducción en la divergencia KL entre el docente y el estudiante después del entrenamiento, medida sobre el mismo prefijo.
• Objetivo: Esto permite a los autores correlacionar las señales pre-actualización (como el KL crudo) con la mejora local real, controlando la varianza de muestreo.

2. Formalización de la Enseñabilidad del Token

Utilizando el diagnóstico, los autores descomponen el desacuerdo en dos componentes basados en la compatibilidad del soporte local:

• Soporte Local ($S^S_t(K)$): El conjunto de los top-$K$ tokens del estudiante.
• Masa de Compatibilidad ($C_t$): La masa de probabilidad total que el docente asigna al soporte local del estudiante $S^S_t(K)$.
• Descomposición:
  • Desacuerdo Aprendible ($D^L_t$): Alto desacuerdo donde la corrección del docente está alineada con el soporte del estudiante (Alta $C_t$).
  • Desacuerdo Incompatible ($D^I_t$): Alto desacuerdo donde la corrección del docente cae fuera del soporte del estudiante (Baja $C_t$).

La Puntuación de Enseñabilidad se define como el producto del desacuerdo normalizado y la compatibilidad:
$$s^{\text{teach}}_t = \tilde{D}_t \cdot \tilde{C}_t$$
donde $\tilde{D}_t$ es el desacuerdo normalizado y $\tilde{C}_t$ es la masa de compatibilidad normalizada.

3. OPD Consciente de la Enseñabilidad (TA-OPD)

Basándose en el hallazgo de que $D^L_t$ predice la ganancia de contexto fijo mejor que el KL crudo, los autores proponen TA-OPD, un método ligero de selección de posiciones de tokens:

• Selección: Para un presupuesto dado (por ejemplo, el 5% o 10% de los tokens), TA-OPD selecciona las top-$N$ posiciones con las puntuaciones de enseñabilidad más altas ($s^{\text{teach}}_t$).
• Implementación: Solo requiere las probabilidades de tokens del docente y del estudiante (específicamente los log-probs top-$K$) disponibles durante la OPD estándar. No requiere modelos de recompensa, verificadores ni etiquetas adicionales.
• Contraste: A diferencia de los métodos anteriores que seleccionan basándose en la entropía o la divergencia cruda (TIP), TA-OPD filtra explícitamente las correcciones "alineadas con el soporte".

Contribuciones Clave

1. Diagnóstico de Contexto Fijo: Un método para medir la reducción de KL en el mismo contexto, vinculando las señales de token pre-actualización con la mejora local de OPD sin confundir el ruido de las trayectorias.
2. Formalización de la Enseñabilidad del Token: La demostración de que el desacuerdo KL crudo confunde señales aprendibles e incompatibles. El artículo prueba que el desacuerdo alineado con el soporte es el predictor fiable de un aprendizaje útil.
3. Algoritmo TA-OPD: Un método de selección práctico y ligero que aplica la pérdida de OPD solo a posiciones de alta enseñabilidad, mejorando la eficiencia sin herramientas externas.
4. Validación Empírica: Experimentos extensos que muestran que seleccionar por enseñabilidad produce un mejor rendimiento aguas abajo que seleccionar por saliencia, incluso con presupuestos de tokens significativamente reducidos.

Resultados Experimentales

Los autores evaluaron TA-OPD en cuatro configuraciones de docente-estudiante que involucran modelos Qwen3 (4B, 8B, 14B) y Qwen2.5 (3B), utilizando puntos de referencia como AIME, GPQA-Diamond, HumanEval y MATH-500.

• Rendimiento vs. OPD Completo: En muchas configuraciones, TA-OPD igualó o superó a la OPD de token completo utilizando solo el 5% de los tokens. Por ejemplo, en la configuración Qwen3-4B $\to$ 1.7B, TA-OPD logró una puntuación promedio de 44.89 en comparación con los 42.37 de la OPD Completa, a pesar de utilizar un presupuesto del 10% (y superando a la OPD completa en métricas específicas).
• Comparación con Líneas Base: TA-OPD superó consistentemente a las líneas base basadas en entropía, basadas en divergencia y TIP (Importancia del Token en OPD).
  • En la configuración de columna vertebral cruzada (DeepSeek-R1-Distill-Qwen-14B $\to$ Qwen2.5-3B), TA-OPD mejoró la puntuación promedio a 30.62, superando significativamente al modelo Base (29.98) y a la OPD Completa (28.76).
• Sensibilidad al Presupuesto: Los resultados indican que el rendimiento de OPD está limitado por la calidad del token y no puramente por el presupuesto. Aumentar el presupuesto de tokens más allá del 10% a menudo no produjo ganancias adicionales y en ocasiones degradó el rendimiento, reforzando que no toda supervisión adicional es beneficiosa.
• Robustez: La "brecha de ganancia de alto soporte" positiva (la diferencia en rendimiento entre tokens de alta enseñabilidad y baja enseñabilidad) se mantuvo consistente a través de diferentes contextos (matemáticas, GSM8K-COT), escalas de docentes (8B, 14B) y tamaños de soporte ($K=8, 16, 32$).

Significado y Afirmaciones

El artículo replantea la destilación on-policy selectiva no como un problema de seleccionar tokens "salientes" o "inciertos", sino como un problema de identificar señales docentes localmente aprendibles.

• Afirmación Central: Las ganancias de OPD dependen de la compatibilidad entre la corrección del docente y el soporte predictivo actual del estudiante. La alta divergencia KL por sí sola es insuficiente; el docente debe asignar masa a tokens que el estudiante ya considera plausibles.
• Impacto Práctico: TA-OPD ofrece una forma de reducir drásticamente el costo computacional de la destilación (filtrando tokens incompatibles) mientras mantiene o mejora el rendimiento del modelo. Logra esto sin la sobrecarga de modelos de recompensa o verificadores, haciéndolo aplicable a pipelines de entrenamiento estándar.
• Limitaciones: Los autores señalan que su análisis se centra en el razonamiento intensivo en matemáticas y en modelos de la familia Qwen. Aunque el diagnóstico es agnóstico al modelo, se necesita una validación más amplia en diálogo, código y columnas vertebrales no Qwen para confirmar la generalización. Además, el "presupuesto de tokens" se refiere a la densidad de supervisión, no necesariamente a la aceleración en tiempo real, ya que el método selecciona posiciones en lugar de podar el cómputo del transformador.

En conclusión, el trabajo sugiere que una destilación efectiva requiere una estrategia de supervisión consciente de la compatibilidad, donde el estudiante aprende mejor de señales docentes que son tanto correctivas como localmente alcanzables.