Resumen Técnico: Más Allá de GRPO y la Destilación En Política

Enunciado del Problema

En el post-entrenamiento de modelos de lenguaje grandes (LLM) para tareas verificables (por ejemplo, razonamiento matemático), los datos de entrenamiento etiquetados constituyen el principal cuello de botella. A diferencia de los datos de preentrenamiento o las simulaciones del profesor, que pueden escalar con la capacidad de cómputo, los datos etiquetados para tareas con respuestas verificables (que requieren un calificador) son escasos y costosos de generar.

La práctica estándar de la industria consiste en aplicar estos escasos datos etiquetados directamente al modelo de despliegue (el "estudiante") utilizando algoritmos de aprendizaje por refuerzo (RL) de recompensa dispersa como GRPO. Este trabajo argumenta que esta asignación es ineficiente. Un modelo de despliegue pequeño a menudo carece de la capacidad para generar trayectorias exitosas con la frecuencia suficiente para aprender eficazmente de recompensas dispersas a nivel de secuencia. En consecuencia, la señal del gradiente colapsa y los datos etiquetados producen resultados subóptimos.

Metodología Central: El Principio de Densidad de Recompensa

El trabajo propone un Principio de Densidad de Recompensa para optimizar la asignación de los escasos datos etiquetados. Postula que las recompensas dispersas a nivel de secuencia y las recompensas densas a nivel de token derivadas del profesor existen en el mismo eje de un objetivo de política regularizado por KL, pero cumplen roles diferentes dependiendo de la capacidad del modelo:

1. Recompensa Dispersa (Descubrimiento en el Lado del Profesor): Las recompensas dispersas son imparciales, pero requieren una política capaz de muestrear trayectorias exitosas para ser informativas. Deben aplicarse a un modelo profesor más grande y potente que pueda convertir señales dispersas en una distribución "conformada por recompensas".
2. Recompensa Densa (Compresión en el Lado del Estudiante): Las recompensas densas (derivadas de las log-probabilidades del profesor) proporcionan una señal en cada token, pero están sesgadas hacia el profesor. Son ideales para comprimir el comportamiento del profesor en un estudiante de despliegue más pequeño.

La Pipeline Propuesta

Los autores proponen una pipeline de tres etapas que reordena la secuencia estándar de post-entrenamiento:

• Etapa 1: Descubrimiento en el Lado del Profesor. Aplicar recompensa dispersa (por ejemplo, GRPO) a un gran modelo profesor utilizando los escasos datos etiquetados. Esto crea una política de profesor conformada por recompensas ($\pi_T$).
• Etapa 2: El Puente Doble de Densidad. Transferir el comportamiento del profesor al estudiante mediante un proceso de dos pasos para garantizar estabilidad y cobertura:
  • Calentamiento Forward-KL (FKL): Entrenar al estudiante sobre las simulaciones del profesor para cubrir el soporte del profesor (cobertura de modos). Esto corrige la "mismatch de soporte" donde las simulaciones iniciales del estudiante no se superponen con los estados útiles del profesor.
  • Destilación En Política (OPD): Entrenar al estudiante sobre sus propias simulaciones utilizando las log-probabilidades del profesor como una señal de recompensa densa ($r_T(s, y) = \beta \log \pi_T(y|s)$). Esto es equivalente a RL de máxima entropía con una recompensa densa.
• Etapa 3: RL del Estudiante Post-Puente (Opcional). Si quedan datos etiquetados, aplicar recompensa dispersa directamente al estudiante ahora preparado. El puente asegura que el estudiante sea lo suficientemente "entrenable" para beneficiarse de esta señal dispersa final.

Contribuciones Clave

El trabajo realiza tres contribuciones principales, validadas en tareas matemáticas verificables (MATH, AIME 2024/2025) utilizando las familias de modelos Qwen3 y Llama:

1. Asignación Primero al Profesor: Asignar los escasos datos etiquetados al RL en el lado del profesor seguido de una transferencia densa produce un estudiante más fuerte que asignar los mismos datos al RL directo del estudiante. Es crucial que el profesor esté conformado por recompensas; transferir un profesor crudo o solo SFT rinde menos que el GRPO directo, demostrando que la escala por sí sola es insuficiente.
2. Superioridad del Puente de Dos Etapas: Un puente compuesto por un calentamiento Forward-KL seguido de OPD supera consistentemente a las alternativas de una sola etapa (SFT con Muestreo del Profesor o solo OPD). El calentamiento asegura que el estudiante ingrese a la región de soporte del profesor, haciendo que la etapa posterior de OPD en política esté bien condicionada.
3. Eficacia del RL del Estudiante Post-Puente: Una vez establecido el puente, el RL con recompensa dispersa en el estudiante se vuelve efectivo. El GRPO directo en un estudiante "frío" es débil, pero el GRPO en un estudiante que ha pasado por el puente eleva significativamente el rendimiento (por ejemplo, +3.1 puntos en MATH) y supera a los controles de reproducción que reutilizan datos del puente.

Resultados Experimentales

Los experimentos se realizaron con un tamaño fijo de estudiante de despliegue (Qwen3-1.7B) y tamaños de profesor variables (8B, 14B y 70B Llama).

• Ganancias de Rendimiento:
  • MATH: La pipeline propuesta (Profesor 8B con RL + Puente) logró una precisión del 79.3%, superando al GRPO directo en el estudiante 1.7B (75.9%) y a la transferencia desde un profesor 8B crudo (71.5%).
  • AIME 2024: La pipeline logró un 25.2%, en comparación con el 19.8% del GRPO directo.
  • Validación Llama: El mismo orden se mantuvo para los modelos Llama: Transferencia Raw-70B (55.4%) < GRPO Directo (59.8%) < Transferencia RL'd-70B (62.1%).
• Hallazgos de Ablación:
  • Calidad del Profesor: Transferir un profesor antes de que experimente RL disperso resulta en un rendimiento peor que el GRPO directo del estudiante. El profesor debe descubrir primero un comportamiento conformado por recompensas.
  • Necesidad del Puente: Eliminar el calentamiento Forward-KL (solo OPD) o reemplazar el puente con SFT de Muestreo del Profesor resulta en un rendimiento inferior, confirmando la necesidad de una cobertura de soporte fuera de política y un refinamiento en política.
  • Asignación de Datos: Utilizar todos los datos etiquetados aguas arriba para el profesor (Ruta Lado del Profesor) produjo resultados ligeramente mejores (79.3%) que dividir los datos para el RL del estudiante post-puente (78.5%), aunque esta última sigue siendo una alternativa competitiva y de menor costo.

Significado e Implicaciones Operativas

El trabajo reencuadra el panorama del post-entrenamiento no como un menú de algoritmos competidores (SFT vs. RL vs. Destilación), sino como un problema de asignación basado en la densidad de recompensa.

• Lección Operativa: Evitar utilizar datos etiquetados escasos en la política menos preparada (el estudiante frío). En su lugar, utilizar recompensa dispersa aguas arriba en un profesor capaz para descubrir comportamiento, convertir ese comportamiento en supervisión densa mediante un puente de dos etapas, y solo entonces considerar recompensa dispersa en el estudiante si los datos lo permiten.
• Perspectiva Teórica: El trabajo unifica la Destilación En Política (OPD) y el RL disperso bajo un marco de objetivo único, diferenciándose únicamente en la densidad de la señal de recompensa y el modelo que la recibe. Demuestra que la "destilación" es efectivamente RL con recompensa densa, y su eficacia está estrictamente limitada por la calidad de la distribución del profesor.
• Limitaciones: La evidencia está actualmente limitada a tareas matemáticas verificables y familias de modelos específicas (Qwen y Llama) con tokenizadores compartidos. El trabajo no afirma que el principio se aplique a tareas abiertas sin verificadores o a transferencias entre familias sin vocabularios compartidos.