Resumen Técnico: Relay-OPD (Pasar el Testigo)

1. Declaración del Problema: Fallo de Prefijo en la Destilación On-Policy

La destilación on-policy (OPD) mejora la transferencia de conocimiento de modelos maestros fuertes a modelos estudiantes más débiles al fundamentar la supervisión a nivel de token en las propias trayectorias generadas por el estudiante. Sin embargo, este enfoque sufre un defecto crítico conocido como fallo de prefijo (prefix failure). En tareas de razonamiento de cadena larga, si un modelo estudiante se compromete con una dirección de razonamiento incorrecta al inicio de la generación, todos los tokens subsiguientes se construyen sobre esta desviación. Esto resulta en continuaciones largas y mal dirigidas que:

1. Provocan una supervisión poco fiable y potencialmente perjudicial por parte del maestro.
2. Desperdician un sustancial cómputo de entrenamiento en trayectorias que no pueden ser corregidas.

Las soluciones existentes tienen limitaciones estructurales:

• Truncamiento de longitud fija (ej. FastOPD, ESR): Corta las ejecuciones en posiciones rígidas independientemente de dónde ocurra el fallo de razonamiento real.
• Reescritura offline (ej. TRD): Repara las trayectorias solo después de su finalización, dejando a menudo artefactos visibles.
• Mezcla a nivel de token (ej. SKD): Cambia basándose en un desacuerdo distributivo genérico en lugar de señales explícitas de fallo de razonamiento.

Existe una falta de un mecanismo que actúe online, corrigiendo los fallos a medida que surgen, e intervenga basándose específicamente en el estado del propio razonamiento.

2. Metodología: Destilación Relay On-Policy (Relay-OPD)

Los autores proponen Relay-OPD, un método que intercala la generación del estudiante con breves y dirigidos relevos del maestro en los puntos detectados de fallo.

2.1 Percepción Central: Asimetría de Continuación Maestro-Estudiante

El método se basa en una asimetría observada en los prefijos fallidos:

• El Estudiante: Tiende a continuar a lo largo de la dirección actual (incorrecta).
• El Maestro: Tiende a detenerse, reexaminar y redirigir el razonamiento (usualmente utilizando tokens de "reflexión" como Pero, Espera, Sin embargo).

Esta divergencia sirve como un disparador de traspaso sin etiquetas (label-free handoff trigger). Cuando el token más probable siguiente del maestro es un token de reflexión, pero el conjunto de soporte top-$K$ del estudiante no contiene tales tokens, se activa un relevo.

2.2 Construcción de la Trayectoria de Relevo (Relay Trajectory)

Cuando se dispara un disparador, el maestro toma el control brevemente para producir una etapa del maestro (teacher leg), tras la cual el estudiante reanuda la generación.

• Disparador de Relevo ($\phi(h)$): Definido como $1[a_T(h) \in \mathcal{R}] \cdot 1[K_S(h) \cap \mathcal{R} = \emptyset]$, donde $\mathcal{R}$ es el conjunto de tokens de reflexión, $a_T$ es el token superior del maestro y $K_S$ es el conjunto top-$K$ del estudiante.
• Presupuesto de Relevo ($M, L$): Para evitar que la trayectoria se aleje demasiado de la política del estudiante, un presupuesto limita la intervención:
  • $M$: Número máximo de relevos del maestro.
  • $L$: Número de párrafos adicionales generados por el maestro tras el token de reflexión.
• Proceso: El estudiante genera de forma autorregresiva. Al detectar un disparador (y si queda presupuesto), el maestro genera $L$ párrafos (comenzando con el token de reflexión). El estudiante reanuda entonces la generación desde el prefijo corregido.

2.3 Objetivo de Optimización

Relay-OPD optimiza la política del estudiante sobre la trayectoria de relevo resultante $z$. A diferencia de la OPD estándar que utiliza los tokens originales del estudiante, Relay-OPD utiliza los tokens realmente generados $z_t$ de la trayectoria de relevo (incluyendo los tokens generados por el maestro).
El objetivo utiliza una ventaja de muestra única de tipo reverse-KL:
$$A_t^{Relay} = \log \pi_T(z_t | h_t^z) - \log \bar{\pi}_\theta(z_t | h_t^z)$$
Esto se optimiza mediante una pérdida de estilo PPO recortado (clipped PPO), permitiendo que el estudiante absorba selectivamente las señales correctivas del maestro en lugar de ajustarse totalmente a la distribución del maestro.

2.4 Implementación Eficiente

Para evitar la sobrecarga de alternar entre dos procesos de generación, Relay-OPD unifica el proceso dentro de un único motor de decodificación especulativa:

• El Estudiante actúa como el modelo de borrador (draft model).
• El Maestro actúa como el modelo objetivo (target model).
• El motor cambia dinámicamente la política objetivo ($\pi_{tgt}$) entre el estudiante y el maestro basándose en el estado actual (etapa del estudiante vs. etapa del maestro).
• Las etapas del maestro realizan una decodificación especulativa estándar contra el maestro, mientras que las etapas del estudiante aceptan todos los borradores. Esto asegura que la identidad distributiva de la trayectoria de relevo se preserve exactamente.

3. Contribuciones Clave

1. Identificación de la Asimetría: El artículo identifica que la divergencia maestro-estudiante en los prefijos fallidos es una señal fiable y sin etiquetas para la intervención. Los experimentos muestran que corregir el fallo de prefijo requiere solo una intervención temprana y local, con los tokens del maestro componiendo tan solo el 0.35% de los tokens generados en total.
2. Marco de Trabajo Relay-OPD: Un método novedoso que convierte esta asimetría en una ejecución de relevo presupuestada, unificando la generación de estudiante y maestro en un único motor de decodificación especulativa.
3. Superioridad Empírica: Demostrada a través de ocho benchmarks de razonamiento matemático y dos escalas de estudiante (0.6B y 1.7B).

4. Resultados Experimentales

Los autores evaluaron Relay-OPD utilizando Qwen3-4B-Instruct-2507 como maestro y Qwen3-0.6B/1.7B-Non-Thinking como estudiantes en ocho benchmarks (AIME 2024/2025/2026, MATH500, AMC 2023, OlympiadBench, HMMT Feb/Nov).

• Rendimiento:
  • Estudiante 1.7B: Logró los mejores resultados o el segundo mejor en todos los benchmarks.
    • Precisión promedio: 46.96% (frente al 41.23% de la OPD estándar, una mejora de +5.73%).
    • Superó al baseline más fuerte, FastOPD, por +1.49%.
  • Estudiante 0.6B: Ganancias consistentes, mejorando la precisión promedio en +3.01% respecto a la OPD estándar.
• Eficiencia:
  • Longitud de Entrenamiento: Redujo la longitud promedio de la trayectoria de entrenamiento en >50% (de 4,658 a 2,296 tokens para el 1.7B).
  • Convergencia: Alcanzó el mejor checkpoint en menos pasos (Paso 35 vs. Paso 55 para OPD).
  • Inferencia: Redujo la longitud media de respuesta en un 14–28% comparado con FastOPD, mejorando simultáneamente la precisión.
• Estudios de Ablación:
  • Necesidad de la Etapa del Maestro: Simplemente detenerse en el disparador (Trigger-stop) produjo un 43.48% de precisión; añadir la etapa del maestro ($L=3$) la elevó a 46.25%, probando el valor del contexto corregido.
  • Objetivo: El objetivo de estilo reverse-KL sobre los tokens generados superó tanto al de "Token de Borrador del Estudiante" como al de "FKL del Maestro", confirmando el beneficio de la absorción selectiva de señales correctivas.

5. Significado y Reivindicaciones

El artículo afirma que el fallo de prefijo es un cuello de botella fundamental en la destilación on-policy que los métodos de truncamiento o reescritura existentes no logran abordar de forma dinámica. Relay-OPD aborda esto mediante:

• Actuar Online: Corrigiendo los fallos a medida que surgen en lugar de hacerlo post-hoc.
• Minimizar la Intervención: Utilizando un enfoque de "relevo" donde el maestro solo interviene brevemente para redirigir, manteniendo la trayectoria cerca de la distribución de la política del estudiante.
• Eficiencia: Reduciendo significativamente el coste de cómputo del entrenamiento al acortar las trayectorias y evitar el cómputo desperdiciado en errores irrecuperables.

Los autores concluyen que Relay-OPD ofrece un mecanismo robusto y sin etiquetas para la destilación de fuerte-a-débil en tareas de razonamiento, logrando resultados de vanguardia (state-of-the-art) mientras reduce drásticamente los costes de entrenamiento.