Resumen Técnico: Combatiendo la Decadencia de la Fidelidad de la Supervisión en la Destilación On-Policy

Problema: Decadencia de la Fidelidad de la Supervisión (SFD)

El artículo identifica un cuello de botella crítico en la Destilación On-Policy (OPD), un paradigma donde un modelo estudiante aprende de sus propias trayectorias generadas utilizando retroalimentación a nivel de token de un modelo profesor. Aunque la OPD ha sido efectiva para transferir capacidades de razonamiento, los autores observan que su rendimiento se degrada significativamente a medida que aumenta la longitud de la generación (por ejemplo, el rendimiento se estanca alrededor de los 16k tokens y declina a los 39k tokens).

Los autores atribuyen esto a la Decadencia de la Fidelidad de la Supervisión (SFD). A medida que el estudiante genera secuencias más largas, sus salidas se desvían progresivamente de la distribución de entrenamiento del profesor (Fuera de Distribución o OOD). Esta deriva provoca que la distribución de siguiente token del profesor sea menos confiable y menos discriminativa.

• Mecanismo: En la destilación reverse-KL estándar, la señal de aprendizaje (ventaja) depende de la diferencia entre la log-probabilidad del estudiante y la log-probabilidad del profesor. A medida que la distribución del profesor se vuelve difusa (alta entropía) debido a la SFD, la varianza en las log-probabilidades del profesor colapsa.
• Consecuencia: La contribución discriminativa del profesor al gradiente se desvanece. La señal de aprendizaje se reduce efectivamente a una señal de "solo estudiante" que refuerza los modos existentes del estudiante sin corrección. Esto crea un bucle de retroalimentación auto-reforzado donde la deriva se acumula, reduciendo el horizonte de aprendizaje efectivo y estableciendo un techo en la longitud del razonamiento.

Metodología: Recompensa de Grupo de Mirada Adelante (LGR)

Para abordar la SFD, los autores proponen la Recompensa de Grupo de Mirada Adelante (LGR), un método que mantiene activamente la calidad de la supervisión optimizando para la confianza futura del profesor en lugar del emparejamiento local actual.

Idea Central

Incluso cuando la supervisión local del profesor en la posición $t$ ha colapsado (es decir, la distribución es cercana a la uniforme), diferentes elecciones de tokens en $t$ pueden conducir a niveles de confianza del profesor significativamente distintos en la siguiente posición ($t+1$). El artículo demuestra teóricamente que la discriminabilidad de un paso adelante puede sobrevivir incluso cuando la supervisión local falla. Al seleccionar tokens que maximizan la confianza del profesor en el paso subsecuente, el estudiante puede ralentizar la tasa de deriva.

Diseño del Algoritmo

1. Recompensa de Confianza: En cada posición $t$, el método evalúa la probabilidad máxima de siguiente token del profesor ($\max_v \pi_T(v|x_{<t}, x_t)$) para los $K$ candidatos principales del estudiante. Este valor sirve como una señal de recompensa que indica qué tan bien un candidato preserva la capacidad del profesor para proporcionar supervisión de alta calidad en el siguiente paso.
2. Normalización de Grupo: Para manejar la varianza en los niveles absolutos de confianza a través de diferentes tareas y posiciones, las recompensas brutas se normalizan dentro del grupo de los $K$ candidatos principales (similar a GRPO). Esto retiene el ranking relativo de los candidatos mientras elimina el ruido de escala absoluta.
3. Activación por Disparo de Entropía: Calcular la recompensa de mirada adelante para todos los tokens es computacionalmente costoso. Los autores observan que la SFD y la necesidad de guía de mirada adelante son más críticas en posiciones de alta entropía (donde el estudiante tiene incertidumbre). Por lo tanto, la recompensa de confianza solo se calcula para posiciones donde la entropía de generación del estudiante supera un umbral $\tau$. Esto reduce la sobrecarga computacional de 4 a 7 veces.
4. Mecanismo de Atención de Árbol: Para evaluar eficientemente $K$ candidatos para múltiples posiciones sin volver a ejecutar el prefill del profesor para cada candidato, los autores emplean un mecanismo de atención de árbol. Este construye una secuencia extendida donde la rama principal es la trayectoria del estudiante y los tokens candidatos se añaden como ramas. Una máscara de atención dispersa permite que el profesor procese todos los candidatos en una sola pasada hacia adelante, logrando una aceleración teórica de hasta 1000$\times$ en comparación con una implementación ingenua.

La función de pérdida final combina la ventaja reverse-KL estándar con la recompensa de confianza de mirada adelante, ponderada por un hiperparámetro $\gamma$.

Contribuciones Clave

1. Identificación de la SFD: El artículo caracteriza formalmente la Decadencia de la Fidelidad de la Supervisión como un modo de falla fundamental de la destilación on-policy reverse-KL, demostrando que colapsa el gradiente en un bucle de deriva auto-reforzado que limita la longitud del razonamiento.
2. Recompensa de Grupo de Mirada Adelante (LGR): Los autores proponen un remedio principista que mira un paso adelante. En lugar de intentar emparejar una distribución degradada, LGR selecciona tokens que maximizan la confianza futura del profesor, dirigiendo efectivamente al estudiante hacia estados donde la supervisión sigue siendo confiable.
3. Implementación Eficiente: El diseño de un mecanismo de atención de árbol disparado por entropía hace que el proceso de mirada adelante, computacionalmente intensivo, sea práctico, permitiendo el entrenamiento en contextos largos (hasta 39k tokens) sin costos prohibitivos.

Resultados Experimentales

El método fue evaluado en seis benchmarks que cubren razonamiento matemático (AIME-24, AIME-25, AIME-26, HMMT-25, HMMT-26) y generación de código (LiveCodeBench v6).

• Ganancias de Rendimiento: Para un modelo estudiante de 7B, LGR mejoró la puntuación mean@8 en 2.57 puntos respecto a la OPD estándar (9k tokens) en promedio.
• Escalado de Contexto Largo: Los beneficios de LGR escalan con la longitud de la generación. En el benchmark AIME-26 a 3 9k tokens, LGR logró una ganancia de +4.92 puntos sobre la OPD. En contraste, el rendimiento de la OPD estándar se degradó significativamente a esta longitud.
• Comparación con Baselines: LGR superó a otros métodos de destilación, incluyendo JSD, REOPOLD y variantes de la OPD estándar. Notablemente, los métodos que solo estabilizan el entrenamiento (como REOPOLD) sin abordar la degradación de la calidad de la supervisión no lograron igualar el rendimiento de LGR.
• Estudios de Ablación:
  • Max-p vs. Entropía: El uso de la probabilidad máxima del profesor (Max-p) como métrica de confianza superó al uso de entropía o perplejidad, alineándose con el hallazgo teórico de que Max-p es un proxy directo de la proximidad a la variedad (manifold) in-distribution del profesor.
  • Sensibilidad del Peso: El peso de la recompensa de confianza $\gamma$ mostró un rendimiento óptimo en el rango de 1.0 a 1.5. Pesos excesivamente altos llevaron al reward hacking (secuencias repetitivas).

Significado y Reivindicaciones

El artículo afirma que LGR proporciona una solución estructuralmente diferente al problema del razonamiento de largo horizonte en la destilación. A diferencia de las estrategias que evitan pasivamente las regiones de supervisión débil (por ejemplo, el truncamiento) o que simplemente estabilizan la optimización, LGR dirige activamente al estudiante hacia trayectorias donde el profesor mantiene una alta fidelidad de supervisión.

Los autores enfatizan que su trabajo aborda la causa raíz de la degradación del rendimiento en cadenas de razonamiento largas: el efecto compuesto de la deriva del estudiante sobre la confianza del profesor. Al operacionalizar la idea de que "una mayor confianza en la siguiente posición implica una señal futura más discriminativa", LGR rompe el círculo vicioso de la decadencia de la supervisión, permitiendo que los modelos escalen efectivamente a cadenas de razonamiento mucho más largas (hasta 39k tokens) de lo que era posible anteriormente con la destilación on-policy estándar.