Resumen Técnico: SAF-OPD (Fusión de Ventaja Estable para la Destilación On-Policy)

Planteamiento del Problema

El artículo aborda la inestabilidad y las limitaciones de rendimiento derivadas de la fusión de dos señales de aprendizaje por refuerzo distintas: el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) y la Destilación On-Policy (OPD).

• RLVR (p. ej., GRPO): Proporciona una ventaja esparcida a nivel de respuesta ($A^{GRPO}_i$) verificada por un crítico basado en reglas. Esta señal está acotada y normalizada dentro de un grupo de muestreo, pero es gruesa, tratando cada token en una respuesta como igualmente responsable del resultado.
• OPD: Proporciona una ventaja densa a nivel de token ($A^{OPD}_{i,t}$) derivada de la brecha de log-probabilidad entre una política estudiante y un profesor más fuerte. Esta señal es densa pero no está acotada y es relativa a la distribución del profesor, independientemente de la corrección del mismo.

El Problejo Central: Simplemente sumar estas dos ventajas con un coeficiente fijo ($A^{total} = A^{GRPO} + A^{OPD}$) conduce a dos formas distintas de descalibración que desestabilizan el entrenamiento:

1. Desajuste de Magnitud: La ventaja de la OPD a nivel de token no está acotada y tiene colas pesadas. Una pequeña fracción de tokens puede producir valores órdenes de magnitud mayores que la ventaja acotada de GRPO, causando que estos tokens específicos dominen numéricamente la actualización del gradiente y borren la señal de RLVR.
2. Desajuste Temporal: El valor de una guía del profesor a plena potencia no es constante. Al principio del entrenamiento, una guía fuerte es beneficiosa, pero a medida que el estudiante converge, mantener la OPD a plena potencia atrae la política demasiado estrechamente hacia el profesor. Esto suprime la exploración (causando colapso de entropía) y limita el rendimiento del estudiante al nivel de calidad del profesor, impidiendo que este supere al profesor mediante la señal de RLVR verificada.

Metodología: SAF (Fusión de Ventaja Estable)

Los autores proponen SAF, un marco ligero que fusiona las ventajas mediante un flujo de cuatro etapas aplicado únicamente a la rama de la OPD antes de combinarse con la ventaja GRPO no modificada. Cada etapa es independientemente conmutable y añade un overhead despreciable.

1. Control de Magnitud (Esparcir-luego-Comprimir)

Esta etapa aborda el desajuste de magnitud limitando la influencia de los tokens individuales.

• Etapa 1: Esparcimiento Top-k%: Para cada secuencia de respuesta, el método retiene solo los tokens cuyo valor absoluto de la ventaja de la OPD supera el percentil $(1-k\%)$ de esa secuencia específica. Todos los demás tokens se anulan. Esto se adapta a la distribución local de las señales de la OPD en lugar de aplicar un corte global.
• Etapa 2: Compresión Tanh Acotada: Los tokens restantes se pasan a través de una transformación acotada: $c \cdot \tanh(A^{OPD}_{i,t})$. Esto asegura que incluso los tokens más salientes estén confinados en un rango $(-c, c)$, evitando que abrumen la señal de GRPO mientras preserva el orden relativo de las señales más pequeñas cerca de cero.

2. Control Temporal (Calentamiento-luego-Enfriamiento)

Esta etapa aborda el desajuste temporal ajustando dinámicamente la fuerza global de la señal de la OPD a lo largo de la trayectoria de entrenamiento.

• Etapa 3: Calentamiento Activado por KL: El coeficiente de la OPD aumenta linealmente de 0 a 1. Sin embargo, la duración del calentamiento no es fija; termina anticipadamente si la reducción relativa en la divergencia KL inversa estudiante-profesor alcanza un umbral $\delta$ (es decir, $(KL_0 - KL_s)/KL_0 \ge \delta$). Esto evita la sobre-imitación al inicio del entrenamiento.
• Etapa 4: Enfriamiento Lineal: Una vez finalizado el calentamiento, el coeficiente de la OPD se reduce linealmente de 1 hasta un suelo mínimo $c_{min}$ durante los pasos de entrenamiento restantes. Esto desplaza gradualmente el enfoque de la optimización de nuevo hacia la señal de RLVR, permitiendo que el estudiante explore más allá de la distribución del profesor.

La ventaja fusionada final se calcula como:
$$A^{total}_{i,t} = A^{GRPO}_i + \text{opd\_coef}(s) \cdot \text{scale}(s) \cdot A^{OPD, \tanh}_{i,t}$$

Contribuciones Clave

1. Diagnóstico de Asimetría: El artículo identifica que la fusión de ventajas de RLVR (acotadas y normalizadas) y ventajas de la OPD (no acotadas y recomputadas en línea) crea una asimetría fundamental. Esto se manifiesta como desajustes de magnitud y temporales que un único coeficiente fijo no puede resolver.
2. Marco SAF: La propuesta de un flujo conmutable de cuatro etapas que desacopla el control de magnitud (esparcimiento + compresión) del control temporal (calentamiento + enfriamiento).
3. Validación Empírica: Experimentos extensos en siete benchmarks (razonamiento matemático y generación de código) utilizando modelos Qwen3 (1.7B, 4B, 8B) demuestran que SAF supera consistentemente a la fusión de coeficiente fijo y evita el colapso de entropía asociado con dicha fusión.

Resultados

• Ganancias de Rendimiento: SAF mejora la puntuación agregada respecto a la fusión de coeficiente fijo de GRPO+OPD entre un 0.51% y un 2.70% en todas las seis configuraciones de dominio del modelo.
  • En razonamiento matemático, las ganancias oscilan entre 0.97% (8B) y 1.85% (1.7B).
  • En generación de código, las ganancias oscilan entre 0.51% (1.7B) y 2.70% (4B).
• Dinámica de Entrenamiento: El análisis de las trayectorias de entrenamiento revela que la fusión de coeficiente fijo causa un colapso temprano de la entropía (cayendo de 0.35 a ~0.30) y un estancamiento prematuro de la precisión. En contraste, SAF mantiene una entropía de política saludable (0.35–0.38), preserva la capacidad de exploración y logra una mayor precisión final y puntuaciones del crítico.
• Ablación: El estudio confirma que el control de magnitud por sí solo es insuficiente para la precisión final; el controlador temporal (específicamente el esquema de enfriamiento) es crítico para elevar el techo de rendimiento.

Significado y Reivindicaciones

El artículo sostiene que fusionar una señal de recompensa verificada y esparcida con una señal basada en un proxy, densa, no debe reducirse a un único coeficiente de mezcla. En su lugar, requiere mecanismos de control separados para la magnitud de la señal (para evitar la dominación numérica por valores atípicos) y su nivel de confianza a lo largo del tiempo (para equilibrar la imitación con la exploración).

Los autores posicionan a SAF como un reemplazo directo para los procesos existentes de GRPO+OPD que estabiliza las dinámicas de entrenamiento, evita el "colapso de entropía" que detiene la exploración y permite que los estudiantes superen el techo de rendimiento impuesto por la calidad del profesor. El trabajo sugiere que controlar la "confianza" en la señal del profesor de manera dinámica es esencial para una destilación on-policy exitosa en tareas complejas de razonamiento.