Resumen Técnico: Localización del Crédito en la Divergencia

1. Planteamiento del Problema

El artículo aborda un cuello de botella fundamental en el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) para Modelos de Lenguaje Extensos (LLMs): la asignación de crédito a nivel de token.

En los flujos de trabajo estándar de RLVR (por ejemplo, GRPO), se muestrean un grupo de ejecuciones (rollouts), se califican mediante un verificador y se actualizan basándose en una ventaja escalar. Este escalar es idéntico para cada token en una trayectoria. En consecuencia, aunque el modelo aprenda que una trayectoria falló, no puede identificar dónde se originó el fallo. Una larga traza de razonamiento puede contener una configuración correcta, un único paso algebraico erróneo y una respuesta final derivada de ese error; la recompensa escalar trata toda la secuencia de manera uniforme, fallando al penalizar el punto específico de divergencia.

La autodestilación on-policy intenta resolver esto utilizando el modelo tanto como estudiante (condicionado al prompt) como profesor (condicionado al prompt más un contexto privilegiado, típicamente la respuesta de verdad absoluta $a^\star$). La divergencia de Kullback-Leibler (KL) entre las distribuciones del profesor y el estudiante proporciona un gradiente denso por cada token.

Sin embargo, los autores identifican un fallo crítico en la elección estándar del contexto privilegiado ($c = a^\star$): El Cuello de Botella del Contexto de Punto Final (Endpoint Context Bottleneck).

• En tareas con respuestas concisas (por ejemplo, AIME, donde la respuesta es un número de 3 dígitos), la respuesta de verdad absoluta restringe solo el segmento de tokens finales.
• No proporciona información sobre el camino de razonamiento intermedio requerido para alcanzar esa respuesta.
• Empíricamente, los profesores condicionados por la respuesta producen un "silencio" (un cambio predictivo cercano a cero) en la mayor parte de la cadena de razonamiento, con señales que aparecen solo cerca de la respuesta final. Esto deja al modelo sin guía en las posiciones exactas donde la corrección a nivel de ruta es más necesaria.

2. Metodología: Autodestilación de Perspectiva Retrospectiva (Hindsight Self-Distillation - HSD)

Los autores proponen la Autodestilación de Perspectiva Retrospectiva (HSD), un método que desplaza el contexto privilegiado de un punto final (la respuesta) a un camino (una trayectoria exitosa de un par).

Mecanismo Central

En lugar de condicionar al profesor únicamente en la respuesta de verdad absoluta $a^\star$, HSD condiciona al profesor en una trayectoria exitosa de un par ($o^+$) extraída del mismo grupo de entrenamiento, junto con la respuesta.

• Entrada: Para una ejecución fallida $o_i$, si el grupo contiene una ejecución exitosa $o^+$, el profesor se condiciona en $c_i = (a^\star, o^+)$.
• Reserva (Fallback): Si ningún par en el grupo tiene éxito ($S_i = \emptyset$), el método recurre al contexto de punto final estándar $c_i = a^\star$.
• Costo: Esto no requiere muestreo adicional. El par exitoso ya ha sido generado como parte del proceso estándar de muestreo relativo al grupo (por ejemplo, el grupo de $G$ ejecuciones de GRPO).

Justificación Teórica

• Crédito Ideal: El crédito ideal por token debería favorecer a los tokens que aumentan la probabilidad de éxito eventual del verificador.
• Información a Nivel de Ruta: Un par exitoso $o^+$ es una muestra exacta de la política condicionada al éxito $\pi^+$. Al proporcionar $o^+$ como contexto, el profesor obtiene acceso a la continuación completa y exitosa del camino de razonamiento.
• Localización: Cuando una ejecución fallida $o_i$ y un par exitoso $o^+$ comparten un prefijo hasta un punto de divergencia $\tau$:
  • Pre-divergencia ($t < \tau$): El profesor y el estudiante ven el mismo prefijo. El crédito es cercano a cero (el "suelo de silencio").
  • En la divergencia ($t = \tau$): El profesor ve la continuación exitosa $o^+_{\tau}$, mientras que el estudiante genera el token fallido. La divergencia KL tiene un pico, creando una señal de gradiente fuerte y localizada exactamente en el punto del error.
  • Post-divergencia ($t > \tau$): La señal decae a medida que el prefijo del estudiante se aleja más de la demostración.

3. Contribuciones Clave

1. Diagnóstico del Fallo del Contexto de Punto Final: El artículo demuestra que la autodestilación condicionada por la respuesta falla en benchmarks de respuestas concisas porque la respuesta impone un techo de información ($\log V_k$) que es insuficiente para restringir los caminos de razonamiento intermedios. El profesor permanece "silencioso" en los pasos de razonamiento que son más importantes.
2. Autodestilación de Perspectiva Retrospectiva (HSD): Una modificación mínima de una sola línea al bucle de entrenamiento que condiciona al profesor en una trayectoria exitosa de un par. Esto transforma el panorama de la asignación de crédito, localizando la señal de gradiente en la posición de la divergencia $\tau$.
3. Validación Empírica: Comparaciones controladas en Qwen3-8B y Qwen3-32B a través de benchmarks de matemáticas (MATH, GSM8K, AIME) y código (APPS, LiveCodeBench).
   • HSD logra resultados de vanguardia contra variantes de GRPO y líneas base de destilación on-policy (OPSD, SDPO, RLSD).
   • Las ganancias son más pronunciadas en tareas de respuesta concisa (por ejemplo, AIME), donde el contexto de punto final es más débil. Por ejemplo, HSD supera a la línea base de GRPO en >5 puntos en AIME-24 y >7 puntos en AIME-24 para el modelo de 32B.

4. Resultados y Análisis

• Rendimiento: HSD supera a todas las líneas base en benchmarks de matemáticas y código en ambas escalas de modelos. La mejora sobre la línea base más fuerte que no es HSD (un híbrido de GRPO y OPSD) es consistente, lo que sugiere que la supervisión basada en rutas añade valor más allá de las combinaciones lineales de recompensas dispersas y la destilación de punto final.
• Localización del Crédito: El análisis del perfil de crédito por token muestra que HSD concentra aproximadamente el 55% de su masa de crédito dentro de ±8 tokens del punto de divergencia $\tau$. En contraste, los métodos de la línea base (OPSD) distribuyen el crédito uniformemente o permanecen en la banda de silencio.
• Cobertura: La efectividad de HSD depende de la existencia de un par exitoso. La probabilidad de tener un par exitoso alcanza su máximo cuando la tasa de éxito del grupo $p$ es moderada (alrededor de 0.25 para un tamaño de grupo de 8). Esto se alinea con la observación de que HSD genera las mayores ganancias en AIME (donde las tasas de éxito son bajas a moderadas) en comparación con HumanEval+ (donde las tasas de éxito son altas, dejando menos ejecuciones fallidas para supervisar).
• Costo Computacional: HSD incurre en un gasto adicional modesto (aproximadamente un 25% más de tiempo de ejecución por paso que OPSD) debido al contexto más largo del profesor, pero no requiere ejecuciones adicionales.

5. Significado y Reivindicaciones

El artículo sostiene que la limitación principal de la destilación on-policy actual no es el método de destilación, sino la elección del contexto privilegiado. Al pasar de un contexto de punto final (respuesta) a un contexto de ruta (par exitoso), HSD desbloquea la capacidad de localizar la asignación de crédito sin requerir modelos de recompensa externos o muestreo adicional.

Los autores posicionan a HSD como una modificación simple y efectiva que resuelve el "silencio" de los profesores en tareas de respuesta concisa. El trabajo sugiere que la "perspectiva retrospectiva" de un par exitoso dentro del mismo grupo de entrenamiento es una señal suficiente y poderosa para guiar a los modelos de razonamiento, convirtiendo efectivamente el mecanismo de muestreo relativo al grupo en una fuente de supervisión densa a nivel de ruta.

Limitaciones Reconocidas:

• HSD depende de la existencia de un par exitoso; si todo el grupo falla, recurre a la señal de punto final más débil.
• El método se evalúa en matemáticas y código con verificadores programáticos; su aplicabilidad a recompensas ruidosas, interacciones de múltiples turnos o puntos de partida ajustados por instrucciones aún no se ha establecido.
• La "cola difícil" de dificultad (donde las tasas de éxito son extremadamente bajas) puede sufrir de baja cobertura, un área potencial para el trabajo futuro que involucre el almacenamiento de éxitos pasados.