Resumen Técnico: Guía de Residuo Anclada para la Destilación On-Policy Privilegiada

1. Planteamiento del Problema

El artículo aborda un modo de fallo específico en la Destilación On-Policy Privilegiada (Privileged OPD). En la OPD estándar, un modelo estudiante aprende de las predicciones de un profesor sobre estados generados por el propio estudiante, mitigando el sesgo de exposición del ajuste fino supervisado (SFT). La Privileged OPD mejora esto utilizando un "auto-profesor" (el mismo modelo base) aumentado con información privilegiada (por ejemplo, trazas de oráculo, soluciones de oro) para proporcionar una supervisión densa y dirigida a la respuesta.

Sin embargo, los autores identifican que tratar a este profesor plenamente privilegiado como un objetivo de imitación absoluto crea un "desajuste de alcanzabilidad". Debido a que el profesor de visión completa condiciona en el contexto futuro completo (incluyendo la respuesta final), su distribución de probabilidad incorpora información con sesgo de retrospectiva (hindsight-biased). Esto desplaza la masa de probabilidad hacia tokens que son fácticamente correctos dados el futuro, pero que están causalmente no sustentados por el prefijo actual del estudiante.

• La Consecuencia: El estudiante es incentivado a saltarse pasos de razonamiento intermedios válidos en favor de "atajos localmente no sustentados" para coincidir con la distribución con sesgo de retrospectiva.
• La Patología: Esto conduce a la filtración de información privilegiada (privileged-information leakage), donde el modelo parece "hacer trampa" al anticipar respuestas que no puede derivar lógicamente de su estado actual, un fenómeno que empeora a medida que aumenta la longitud de la trayectoria (deriva de largo horizonte).

2. Metodología: Destilación de Residuo Anclado (AR-OPD)

Para resolver el desajuste entre el soporte predictivo local del estudiante y la distribución con sesgo de retrospectiva del profesor, los autores proponen AR-OPD, un marco de doble vista que descompone la supervisión privilegiada en dos componentes: un Ancla Localmente Compatible y un Residuo Dirigido al Destino.

Mecanismo Central

En lugar de forzar al estudiante a imitar al profesor plenamente privilegiado ($q_{full}$), AR-OPD construye una distribución objetivo ($q_\lambda$) utilizando la siguiente descomposición en el espacio de log-probabilidad:

$$\log q_\lambda(v | s_t) = \underbrace{\log q_{part}(v | s_t)}_{\text{Ancla}} + \lambda \underbrace{(\log q_{full}(v | s_t) - \log q_{part}(v | s_t))}_{\text{Residuo}} - C_t$$

1. El Ancla ($q_{part}$): Se construye un profesor parcialmente privilegiado mediante la truncación determinista del contexto privilegiado (por ejemplo, manteniendo el primer 50% de la traza de razonamiento, $\rho=0.5$). Este profesor proporciona un objetivo causalmente alcanzable que aísla al estudiante de la respuesta con sesgo de retrospectiva mientras mantiene la guía estructural.
2. El Residuo: La diferencia entre el profesor de visión completa y el profesor de visión parcial representa la previsión marginal (la señal "dirigida al destino").
3. El Parámetro de Control ($\lambda$): Este coeficiente escala el residuo.
   • Si $\lambda = 0$, el método se reduce a la OPD privilegiada parcial.
   • Si $\lambda = 1$, recupera el objetivo plenamente privilegiado.
   • Los autores encuentran que $\lambda < 1$ (régimen contractivo) es óptimo, manteniendo el objetivo anclado entre la visión parcial y la completa para evitar la sobretransferencia de información de retrospectiva.

Objetivo de Entrenamiento

El estudiante es entrenado mediante la divergencia KL hacia adelante para minimizar la distancia entre su política y este objetivo de residuo anclado $q_\lambda$ en los estados visitados por el estudiante, en lugar del objetivo monolítico de visión completa.

3. Contribuciones Clave

1. Diagnóstico de la Filtración por Retrospectiva: El artículo proporciona evidencia mecánica de que la OPD privilegiada monolítica induce patologías de optimización al atraer a los estudiantes hacia tokens fuera de su soporte predictivo local, particularmente en trayectorias de largo horizonte (>768 tokens).
2. Marco AR-OPD: La introducción de un método de destilación de doble vista que operacionaliza la separación de la alcanzabilidad local (Ancla) y la guía futura (Residuo).
3. Validación Empírica: Demostración de que el control del residuo de visión completa mejora el rendimiento sobre tanto el SFT estándar como la Full Privileged OPD, específicamente reduciendo los eventos de atajo y mitigando la deriva de etapa tardía.

4. Resultados Experimentales

Los autores evaluaron AR-OPD en cuatro dominios: Matemáticas (MATH500, AMC23), Código (HumanEval, MBPP), Ciencia (SciKnowEval) y Preguntas Médicas (MedQA, MedCQA), utilizando Qwen2.5-7B-Instruct como modelo base.

• Ganancias de Rendimiento: AR-OPD alcanzó la puntuación promedio más alta (70.3) en todos los benchmarks.
  • +12.1 puntos sobre el modelo base.
  • +7.9 puntos sobre el Ajuste Fino Supervisado (SFT).
  • +2.3 puntos sobre la fuerte línea base de Full Privileged OPD.
• Especificidad de Dominio: Las ganancias fueron más pronunciadas en el razonamiento matemático, donde AR-OPD alcanzó 74.6 en MATH500 (superando a Full OPD por 3.6 puntos).
• Robustez de Largo Horizonte: En trayectorias que exceden los 768 tokens, AR-OPD superó a Full OPD por 7.2 puntos, demostrando una estabilidad superior en tareas de razonamiento extendido.
• Verificación del Mecanismo:
  • Reducción de Atajos: AR-OPD redujo los "eventos de atajo" (instancias de filtración de información privilegiada) en un 21.7% en comparación con Full OPD.
  • Fiabilidad de la Señal: Los diagnósticos mostraron que la visión privilegiada parcial retiene casi tanta potencia predictiva para la corrección final (ROC-AUC 0.766) como la visión completa (0.779), mientras que la señal marginal completa menos parcial es significativamente más débil (0.585), justificando el enfoque de residuo.

5. Significado y Reivindicaciones

El artículo sostiene que la utilidad de la información privilegiada en la destilación no es una elección binaria (usar vs. descartar), sino un problema de diseño de objetivos.

• Reencuadre de la Privilegio: Los autores argumentan que las distribuciones de oráculo de visión completa contienen señales útiles dirigidas al destino, pero son peligrosas cuando se tratan como objetivos absolutos debido al sesgo de retrospectiva.
• Guía Controlada: Al anclar el objetivo a un estado localmente alcanzable e inyectar la previsión como un residuo controlado, AR-OPD permite que los modelos se beneficien de "ver más" sin sacrificar la integridad causal del proceso de razonamiento.
• Escalabilidad: El método es particularmente significativo para el razonamiento de largo horizonte, donde la fiabilidad de los objetivos de visión completa se degrada y el riesgo de deriva inducida por la retrospectiva es más alto.

Los autores concluyen que AR-OPD ofrece una receta robusta para los modelos de razonamiento post-entrenamiento, equilibrando la densidad de la supervisión privilegiada con la compatibilidad local requerida para un aprendizaje on-policy estable.