Resumen Técnico: TRACE - Destilación Donde Importa Mediante Enrutamiento de Tokens para Alineación Auto-En Política

1. Declaración del Problema

El artículo aborda las limitaciones de la Auto-Destilación En Política (Self-OPD) cuando se aplica al Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) de horizonte largo, particularmente en tareas de razonamiento matemático. Aunque los métodos Self-OPD (por ejemplo, SDPO, SRPO) densifican la señal de recompensa dispersa utilizando una instantánea de la política como docente para guiar al estudiante, los autores identifican un modo de fallo crítico en el entrenamiento de horizonte largo:

• Incompatibilidad de Granularidad: Los métodos existentes aplican la pérdida de Destilación de Conocimiento (KL) en todos los tokens de una respuesta. Sin embargo, el análisis muestra que aproximadamente el 97% de la masa de probabilidad en las trayectorias correctas ya es compartida entre el estudiante y el docente, lo que significa que la mayoría de los gradientes KL son redundantes.
• El "Impuesto de Destilación Uniforme": Aplicar KL a todos los tokens obliga al modelo a gastar gradientes en posiciones que no necesitan corrección. Esto conduce a:
  • Fuga de Información Privilegiada: El estudiante absorbe correlaciones presentes en el contexto privilegiado (por ejemplo, trazas verificadas) que están ausentes en la inferencia, causando degradación fuera de distribución (OOD).
  • Aumento de Entropía y Colapso del Razonamiento: Los autores observan un "colapso de tres síntomas" en el entrenamiento de horizonte largo: las longitudes de respuesta se acortan drásticamente, la entropía del actor por token aumenta (a menudo >4 veces la línea base) y la precisión de validación disminuye significativamente.
• La Pregunta Central: La unidad correcta de destilación no es la respuesta completa, sino el pequeño subconjunto de tokens de razonamiento decisivos donde la distribución del estudiante realmente necesita corrección.

2. Metodología: TRACE

Los autores proponen TRACE (Alineación Mediante Enrutamiento de Tokens para Razonamiento Crítico), un método que enruta las señales de destilación solo a intervalos de tokens específicos en lugar de aplicarlas uniformemente.

Componentes Principales

1. Auto-OPD con Enrutamiento de Tokens: En lugar de una pérdida KL global, TRACE utiliza un anotador privilegiado ($\pi_A$) para identificar intervalos específicos en una trayectoria:

   • Intervalos Clave ($K_y$): Pasos de razonamiento decisivos en trayectorias correctas (Recompensa=1).
   • Intervalos de Error ($E_y$): Errores de razonamiento de causa raíz en trayectorias incorrectas (Recompensa=0).
   • No-Intervalos ($N_y$): Todos los tokens restantes.
   • Restricción: La cobertura total de intervalos se limita a $\alpha = 0.25$ (25% de los tokens) para limitar la exposición a información privilegiada.

2. Enrutamiento de Diagnóstico Grosero:

   • El anotador emite una etiqueta de tipo grosera (por ejemplo, case_split, missed_case) pero no el texto del intervalo ni el contenido completo de la trayectoria.
   • El Docente ($\pi_T$) recibe el problema y esta etiqueta grosera como un prefijo de diagnóstico privado. Calcula los logits causalmente sobre el prefijo generado por el estudiante, pero no ve las ubicaciones ni el contenido específicos del intervalo.
   • El Estudiante ($\pi_S$) se entrena utilizando una pérdida enrutada donde el término KL se aplica solo a los intervalos enmascarados.

3. Enrutamiento de Divergencia Asimétrica:

   • KL Directo (FKL) en Intervalos Clave: Aplicado a trayectorias correctas. FKL ($KL(\pi_T \parallel \pi_S)$) proporciona un "impulso" a los tokens que el estudiante sub-aloca, independientemente de su masa de probabilidad actual.
   • KL Inverso (RKL) en Intervalos de Error (Opcional): Aplicado a trayectorias incorrectas. RKL ($KL(\pi_S \parallel \pi_T)$) suprime los tokens sobre los que el estudiante es excesivamente confiado pero que el docente desaprueba.
   • Sin KL en No-Intervalos: Estos tokens dependen exclusivamente de la pérdida estándar GRPO (Optimización de Política Relativa por Grupos).

4. Programa de Exposición Finita:

   • El peso KL ($\lambda_k$) se reduce a cero después de un breve calentamiento (por ejemplo, 40 pasos).
   • Esto asegura que la exposición acumulada de gradientes privilegiados permanezca finita durante el horizonte de entrenamiento, evitando la acumulación a largo plazo de correlaciones que degradan el OOD.

3. Análisis Teórico

El artículo proporciona justificación teórica para la estrategia de enrutamiento:

• Presión Puntual Asimétrica (Corolario 2):
  • FKL es efectivo para tokens sub-alocados (donde la probabilidad del estudiante $p \ll$ la probabilidad del docente $q$) porque la presión del gradiente escala con la brecha $(q-p)$ y no se desvanece cuando $p \to 0$.
  • RKL es efectivo para tokens seguros-erróneos (donde $p \gg q$) porque el gradiente escala con la sobre-confianza del estudiante ($p$).
• Límite de Exposición Acumulada (Proposición 3): Al combinar el enmascaramiento de intervalos (limitando el ancho de banda a $\alpha$) y la decadencia KL (limitando la duración), TRACE limita la exposición acumulada de gradientes privilegiados a $O(\alpha \Lambda^2)$, evitando el crecimiento ilimitado observado en las líneas base persistentes de KL en todos los tokens.
• Señal vs. Fuga: El método maximiza la señal de alineación en los intervalos clave mientras minimiza el riesgo de filtrar información privilegiada que causa correlaciones espurias.

4. Contribuciones Clave

1. Diagnóstico: Identificación de un "impuesto de destilación uniforme" en la Self-OPD de todos los tokens, vinculando el aumento de entropía, la supresión epistémica y la fuga de gradientes privilegiados a una incompatibilidad de granularidad.
2. Método y Teoría: Introducción de TRACE, que enruta $\{FKL, RKL, \emptyset\}$ según la clase de token (Clave, Error, No-intervalo) y decae el canal privilegiado. La teoría explica por qué FKL es dominante para intervalos clave en regímenes de base fuerte y por qué la esquina óptima se desplaza a RKL para intervalos de error en regímenes de base más débil.
3. Evidencia Empírica:
   • Rendimiento: En Qwen3-8B, TRACE mejora el promedio de 5 benchmarks en 2.76 puntos porcentuales sobre GRPO.
   • Estabilidad: A diferencia de SDPO/SRPO, TRACE preserva el rendimiento OOD del modelo base en GPQA-Diamond, donde las líneas base se degradan.
   • Auto-Anotación: El método funciona con un auto-anotador en línea (la propia política del estudiante), recuperando ~69% de la ganancia de un anotador de API externo fuerte, demostrando que las ganancias provienen del mecanismo de enrutamiento, no solo de la capacidad externa.
   • Adaptación Cross-Escala: En una base más débil (Qwen3-1.7B), la esquina de enrutamiento dominante se invierte naturalmente de FKL-en-Clave a RKL-en-Error, coincidiendo con las predicciones teóricas.

5. Resultados

• Qwen3-8B (Base Fuerte): TRACE (FKL en Intervalos Clave) alcanza una precisión promedio del 81.51% en 5 benchmarks (MATH-500, AIME 24/25, AMC 23, GPQA-Diamond), superando a GRPO (78.75%) y a la línea base Self-OPD previa más fuerte RLSD (78.99%). Crucialmente, mantiene la puntuación GPQA-Diamond del modelo base (58.33% vs 58.27% base), mientras que GRPO y las líneas base de todos los tokens caen significativamente.
• Qwen3-1.7B (Base Más Débil): TRACE (RKL en Intervalos de Error) alcanza un promedio del 60.16%, siendo el único método entrenado que supera al modelo base (58.77%). Las líneas base de todos los tokens (SDPO/SRPO) colapsan, cayendo 11–19 puntos por debajo de GRPO.
• Estudios de Ablación:
  • Localización de Máscara: Reemplazar las máscaras de intervalos específicas de TRACE con máscaras aleatorias del 25% o KL de todos los tokens resulta en caídas de rendimiento, confirmando que qué tokens se seleccionan importa más que la cantidad.
  • Calidad del Anotador: Utilizar al estudiante en entrenamiento activo como su propio anotador rinde +1.90 puntos, demostrando que el método no depende de importar capacidades de razonamiento "super-humanas" externas.

6. Significado y Afirmaciones

El artículo afirma que TRACE ofrece una solución geométrica de pérdida a la inestabilidad de la Self-OPD de horizonte largo, en lugar de una solución específica de dominio. Su significado radica en:

• Desacoplar la Destilación de la Inestabilidad: Al restringir la señal "privilegiada" a intervalos críticos y decaerla, TRACE evita el aumento de entropía y el colapso del razonamiento observados en SDPO y SRPO.
• Enrutamiento Adaptativo: Demuestra que la dirección óptima de destilación (FKL vs. RKL) no es un hiperparámetro fijo, sino que depende del perfil de errores del modelo base (sub-alocación vs. sobre-confianza).
• Viabilidad Práctica: Prueba que se puede lograr una destilación de alta calidad sin docentes externos ni rúbricas costosas por consulta, confiando en su lugar en una anotación diagnóstica ligera y grosera que puede ser auto-generada.

Los autores enfatizan que TRACE es un "marco enrutado por esquinas" en lugar de una receta fija, donde la acción de enrutamiento específica (FKL vs. RKL) debe elegirse en función del modo de error residual del modelo base.