Resumen Técnico: Generalización de Débil a Fuerte mediante la Destilación Directa On-Policy

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) se ha convertido en un paradigma dominante para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs). Sin embargo, el RLVR es computacionalmente costoso porque cada actualización de entrenamiento requiere que el modelo objetivo genere ejecuciones (rollouts), reciba puntuaciones verificables y actualice su política. A medida que la escala de los modelos aumenta, el costo de generar estas ejecuciones crece, convirtiendo la reejecución de RLVR desde cero para cada nuevo modelo más fuerte en un cuello de botella significativo.

El artículo aborda el desafío de la Generalización de Débil a Fuerte: ¿Puede un modelo entrenado mediante RL en un modelo "maestro" más pequeño y débil utilizarse para mejorar un modelo "estudiante" más grande y fuerte?

• La Limitación de la Destilación Ingenua: Destilar simplemente la política final de un maestro débil post-RL (Destilación On-Policy o OPD) es insuficiente. La política final del maestro entrelaza las mejoras útiles aprendidas mediante RL con los límites intrínsecos de capacidad del modelo más pequeño. Si el estudiante ya es más fuerte que el maestro, imitar la distribución final del maestro puede degradar el rendimiento del estudiante al sobrescribir sus comportamientos superiores.
• La Pregunta Central: ¿Cómo se puede transferir el señal de mejora inducida por RL de un modelo débil a un modelo fuerte sin heredar el techo de capacidad del modelo débil?

2. Metodología: Destilación Directa On-Policy (Direct-OPD)

Los autores proponen Direct-OPD, un paradigma que transfiere el desplazamiento de la política inducido por el RL en un modelo débil, en lugar de la política final del maestro en sí misma.

2.1 La Señal Central: El Desplazamiento de la Política como Recompensa Implícita

En lugar de entrenar al estudiante para que coincida con la distribución de salida del maestro $\pi_T$, Direct-OPD aisla el cambio causado por el RL contrastando el maestro post-RL $\pi_T$ con su referencia pre-RL $\pi_{Tref}$.
El desplazamiento de la política se define como:
$$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$$
Bajo el marco de RL con regularización KL, este cociente de logaritmos es matemáticamente equivalente a la señal de recompensa implícita que entrenó al maestro (hasta un factor de escala y una constante). Por lo tanto, el par de puntos de control $(\pi_{Tref}, \pi_T)$ codifica la señal de recompensa directamente en el espacio de la política.

2.2 La Función Objetivo

Direct-OPD aplica este desplazamiento de la política a los propios estados on-policy del estudiante. Sea $\pi_\theta$ la política del estudiante inicializada desde $\pi_S$. El objetivo optimiza al estudiante para que siga la dirección del desplazamiento del maestro mientras se regulariza para no alejarse demasiado de su propia inicialización:
$$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$$

• Recompensa Implícita Densa: El término $\Delta_T$ actúa como una recompensa densa por cada token. Para un token $v$ en el estado $s_t$, la recompensa inmediata es $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$.
• Muestreo On-Policy: El estudiante muestrea sus propias trayectorias. El gradiente se calcula sobre los prefijos visitados por el estudiante, asegurando que la señal se aplique a los estados que el estudiante realmente encuentra.
• Aproximación Top-K: Para hacer eficiente el entrenamiento, el método restringe el cálculo de la recompensa a los $k$ mejores tokens del estudiante en cada paso, utilizando un estimador de Rao-Blackwellized para reducir la varianza.

2.3 Control KL Adaptativo

La magnitud de la recompensa implícita $\Delta_T$ depende de los hiperparámetros de entrenamiento del maestro (específicamente el presupuesto de KL $\beta$), que son desconocidos para el estudiante. Un coeficiente KL fijo $\alpha$ puede no escalar de forma robusta entre diferentes pares maestro-estudiante.
Los autores introducen un controlador KL adaptativo ligero que ajusta $\alpha$ basándose en la media a nivel de lote de la señal de desplazamiento ponderada. Si el desplazamiento promedio es positivo (indicando que el RL del maestro generalmente aumentó la probabilidad en los tokens retenidos), $\alpha$ aumenta para evitar la sobreamplificación; si es negativo, $\alpha$ disminuye para permitir que el estudiante se aleje de los tokens suprimidos.

3. Contribuciones Clave

1. Un Nuevo Paradigma de Débil a Fuerte: El artículo redefine el RL en modelos pequeños no como una fuente de una política final para imitar, sino como un generador económico de una señal de recompensa implícita. Al evaluar el desplazamiento de la política del maestro en los propios estados del estudiante, Direct-OPD transfiere la dirección de la mejora en lugar de la capacidad del maestro.
2. Ganancias Consistentes a través de Escalas: El método mejora consistentemente a estudiantes más fuertes utilizando maestros más débiles. Notablemente, mejora a estudiantes (por ejemplo, R1-Distill-7B, Qwen3-4B) que ya superan al maestro post-RL, un escenario donde la destilación estándar falla.
3. Eficiencia Computacional: Direct-OPD es significativamente más barato que ejecutar RL directamente en modelos grandes. Aprovecha la estabilidad y velocidad del RL de modelos pequeños y añade solo una fase de transferencia corta y económica.
4. Composición Secuencial: El método permite la composición secuencial de múltiples desplazamientos de política de diferentes pares de maestros, permitiendo la acumulación de distintas capacidades de razonamiento en un solo estudiante.

4. Resultados Experimentales

Los autores evalúan Direct-OPD en tareas de razonamiento matemático (AIME 2024 y AIME 2025) utilizando diversas familias de modelos (Qwen3, R1-Distill, Nemotron).

• Transferencia de Débil a Fuerte:
  • Qwen3-1.7B: Mejoró de 48.3% a 58.3% en AIME 2024 en solo 4 horas usando 8 GPUs A100, transfiriendo el desplazamiento de un maestro de 1.5B.
  • Estudiantes Más Fuertes: Mejoró con éxito a R1-Distill-7B (inicialmente 56.7%) y Qwen3-4B (inicialmente 72.5%), ambos los cuales comenzaron con una precisión mayor que el maestro post-RL (51.3%). La OPD estándar degradó el rendimiento en estos casos.
• Comparación con RL Directo:
  • Bajo un presupuesto de pasos equivalentes, ejecutar RL en un modelo de 1.5B y transferir vía Direct-OPD superó la ejecución de RL directamente en un modelo de 7B tanto en precisión como en tiempo de cómputo.
  • La fase de transferencia añade un tiempo insignificante (~4 horas) comparado con las semanas requeridas para el RL directo a gran escala.
• Composición Secuencial:
  • Aplicar dos desplazamientos de política distintos (de los maestros JustRL y QuestA) secuencialmente a Qwen3-1.7B resultó en ganancias acumulativas, elevando la precisión de AIME 2024 de 48.3% a 63.8%.
• Propiedades de Generalización:
  • Solapamiento de Tokens: A diferencia de la OPD estándar, Direct-OPD no requiere un alto solapamiento de tokens top-k entre el maestro y el estudiante. Funciona incluso cuando los patrones de pensamiento del estudiante difieren significativamente de los del maestro.
  • Horizonte: El entrenamiento de horizonte corto (2k tokens) se generaliza efectivamente a ejecuciones largas, capturando la señal transferible sin el ruido de secuencias muy largas.

5. Significado y Reivindicaciones

El artículo afirma que los resultados del RL pueden reutilizarse a través de escalas de modelos como señales de recompensa implícitas, no meramente como modelos finales para imitar.

• Reencuadre del RL: El trabajo cambia la perspectiva del entrenamiento de RL de producir un "modelo final" a producir un "desplazamiento de política" que codifica un paisaje de recompensa. Este desplazamiento es un activo transferible que es independiente de la capacidad específica del modelo que lo generó.
• Escalabilidad: Al desacoplar la búsqueda costosa de RL (realizada en modelos pequeños) del despliegue final (en modelos grandes), Direct-_OPD ofrece un camino escalable para modelos de razonamiento post-entrenamiento sin el costo prohibitivo de volver a ejecutar RL en cada nueva arquitectura más grande.
• Robustez: El método es robusto a desajustes en las familias de modelos y capacidades iniciales, siempre que el desplazamiento inducido por RL sea significativo en los estados visitados por el estudiante.

Los autores concluyen que Direct-OPD proporciona un mecanismo práctico, eficiente y teóricamente fundamentado para la generalización de débil a fuerte, permitiendo la reutilización de señales de supervisión de RL a través de diferentes escalas y arquitecturas de modelos.