💬 NLP

SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling

Este artículo presenta la Destilación On-Policy con Compuerta de Signo (SG-OPD, por sus siglas en inglés), un método que mejora la destilación on-policy mediante el empleo de un verificador binario para controlar las señales del profesor a través de un muestreo por fases y comprobaciones de consistencia de signo, mejorando así significativamente el rendimiento en evaluaciones de razonamiento matemático de nivel de competición.

Autores originales: Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

Publicado 2026-06-09

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un joven aprendiz (el Estudiante) cómo resolver acertijos matemáticos complejos. Tienes a un matemático maestro (el Profesor) que conoce las respuestas, pero el aprendiz apenas está comenzando y a menudo se pierde.

El documento presenta un nuevo método de enseñanza llamado SG-OPD. Para entender por qué es especial, veamos los problemas de las formas antiguas de enseñar y cómo SG-OPD los soluciona.

El Problema: Dos formas en que los métodos antiguos fallan

Previamente, los investigadores probaron dos enfoques principales, pero ambos tenían trampas ocultas:

El Problema del "Fantasma" (Desajuste de Trayectoria):
Imagina que el aprendiz es tan nuevo que sus primeros intentos para resolver un acertijo son completamente erráticos y equivocados. Si lo obligas a copiar la solución perfecta del Maestro inmediatamente, las instrucciones del Maestro no tendrán sentido para el aprendiz porque su punto de partida es muy diferente. Es como intentar enseñarle cálculo a un niño pequeño mostrándole una tesis de doctorado. La "señal" del profesor se ve ahogada por el ruido porque el estudiante está demasiado rezagado.
El Problema del "Mal Consejo" (Fiabilidad de los Tokens):
Incluso cuando el aprendiz va por el camino correcto, el Maestro no es perfecto en cada paso. A veces, el Maestro puede preferir una palabra o número específico que en realidad aleja al estudiante de la respuesta correcta, incluso si el resultado final parece estar bien. Si el estudiante copia ciegamente cada movimiento del Maestro, podría aprender a tomar un camino equivocado solo porque el Maestro lo dijo, para darse cuenta más tarde de que era un callejero sin salida.

La Solución: SG-OPD (El Entrenador Inteligente)

Los autores proponen SG-OPD, que actúa como un entrenador inteligente que utiliza un Verificador Binario (un simple comprobador de "Correcto/Incorrecto") para decidir cuándo confiar en el Maestro y cuándo ignorarlo. Esto sucede en dos etapas:

1. La Fase de Calentamiento: "La Red de Seguridad" (Muestreo de Profesor por Fases)

La Metáfora: Cuando el aprendiz apenas está comenzando (el "arranque en frío"), está vagando en la oscuridad. El entrenador trae algunos ejemplos verificados del cuaderno del Maestro; solo aquellos que el comprobador dice que son definitivamente correctos.
Cómo funciona: Al principio, el estudiante aprende de estos ejemplos seguros y verificados del Maestro para obtener un punto de apoyo. A medida que el estudiante mejora, el entrenador deja de mostrarle gradualmente las notas del Maestro y lo obliga a practicar por su cuenta. Esto cierra la brecha entre los intentos desordenados iniciales del estudiante y la lógica perfecta del Maestro.

2. La Fase Paso a Paso: "La Señal de Confianza" (Puerta de Consistencia de Signo)

La Metáfora: Ahora el estudiante está resolviendo problemas por su cuenta. El entrenador observa cada palabra (token) que el estudiante escribe.
- Escenario A (Acuerdo): El estudiante escribe un paso, el comprobador de "Correcto/Incorrecto" dice "¡Buen trabajo!" (señal positiva) y el Maestro también dice "¡Buen trabajo!" (señal positiva).
  - Acción: El entrenador grita: "¡Sigue así!" y le dice al estudiante que amplifique este paso aún más. Esto se llama Extrapolación.
- Escenario B (Conflicto): El estudiante escribe un paso, el comprobador dice "¡Buen trabajo!" (señal positiva), pero el Maestro dice "No me gusta esa palabra, cámbiala" (señal negativa).
  - Acción: El entrenador dice: "Espera, no escuches al Maestro aquí". El estudiante ignora el feedback negativo del Maestro en este paso específico y mantiene la dirección que el comprobador aprobó. Esto se llama Interpolación.

Por qué funciona mejor

Los autores probaron esto en competiciones matemáticas difíciles (como AIME y HMMT). Esto es lo que encontraron:

Mejores Puntuaciones: SG-OPD superó consistentemente a los métodos estándar. En promedio, mejoró la "tasa de aprobación" (obtener la respuesta correcta al menos una vez) por un margen significativo en comparación con el método antiguo.
Estabilidad: Cuando los investigadores intentaron hacer que los métodos antiguos fueran "más agresivos" (presionando al estudiante para que aprendiera más rápido), los métodos antiguos colapsaron y fallaron. SG-OPD, sin embargo, se mantuvo estable y siguió mejorando porque sabía exactamente cuándo confiar en el Maestro y cuándo ignorarlo.
Sin "Colapso": En algunos entrenamientos de IA, presionar demasiado hace que el modelo deje de explorar y simplemente repita las mismas respuestas aburridas. SG-OPD logró obtener puntuaciones altas mientras mantenía el proceso de pensamiento del estudiante diverso y creativo.

Resumen

SG-OPD es una estrategia de enseñanza que utiliza un simple comprobador de "Correcto/Incorrecto" para actuar como un filtro. Utiliza el conocimiento del Maestro para que el estudiante comience de forma segura, pero luego utiliza el comprobador para decidir, paso a paso, si el consejo del Maestro es realmente útil o si está desviando al estudiante. Esto permite que el estudiante aprenda más rápido y con mayor precisión que antes.

Resumen Técnico: Destilación On-Policy con Compuerta de Signo (SG-OPD)

1. Planteamiento del Problema

El artículo aborda las limitaciones de la Destilación On-Policy (OPD), una técnica en la que un modelo estudiante es entrenado utilizando sus propias trayectorias mediante una supervisión densa por token proveniente de un modelo profesor más fuerte. Si bien la OPD suele superar a la destilación off-policy y al aprendizaje por refuerzo (RL) estándar, los autores identifican que su efectividad depende de dos supuestos implícitos que frecuentemente fallan en la práctica, particularmente en configuraciones de fuerte-a-débil (por ejemplo, destilar un modelo de razonamiento grande en uno más pequeño):

Alineación Frágil a Nivel de Trayectoria: En escenarios de arranque en frío (cold-start), las ejecuciones (rollouts) de un estudiante débil suelen alejarse mucho del soporte de la trayectoria del profesor. En consecuencia, la señal de KL inversa (el núcleo de la OPD) se ve dominada por el ruido en lugar de por una supervisión informativa, lo que conduce a una inestabilidad durante las primeras etapas del entrenamiento.
Fiabilidad No Uniforme a Nivel de Token: Incluso en ejecuciones verificadas como correctas por un verificador externo, las preferencias por token del profesor pueden contradecir la dirección de la "corrección del verificador". El profesor podría asignar una baja probabilidad a tokens que son en realidad necesarios para una ruta de solución válida. Amplificar ciegamente el gradiente de la KL inversa en estos tokens penaliza las trayectorias válidas.

2. Metodología: SG-OPD

Los autores proponen la Destilación On-Policy con Compuerta de Signo (SG-OPD), un marco que utiliza un verificador binario como señal de confianza para el profesor en dos granularidades complementarias: nivel de muestra y nivel de token.

A. Nivel de Muestra: Muestreo de Profesor por Fases (PTS)
Para abordar el fallo de alineación a nivel de trayectoria en el arranque en frío, SG-POD introduce una pérdida auxiliar basada en ejecuciones del profesor verificadas.

Mecanismo: Durante las etapas iniciales del entrenamiento, el mini-lote (mini-batch) se divide. Una fracción de los prompts se muestrea del profesor ( $\pi^*$ ), y solo se retienen las trayectorias verificadas como correctas. Estas sirven como un "ancla" mediante una pérdida de Entropía Cruzada (CE).
Atenuación (Annealing): Esta guía del profesor se pondera mediante un esquema de coseno de tres fases ( $\alpha(t)$ ). Comienza con un valor alto durante el arranque en frío para cerrar la brecha de distribución y decae a cero, asegurando que la distribución de entrenamiento asintótica permanezca totalmente on-policy (generada por el estudiante).

B. Nivel de Token: Compuerta de Consistencia de Signo
Para abordar el fallo de fiabilidad a nivel de token, SG-OPD enruta las actualizaciones basándose en el acuerdo entre el resultado de la señal del verificador y la señal de preferencia del profesor.

Señales:
- $a_1(t)$ : La ventaja a nivel de resultado de un verificador binario (por ejemplo, estilo GRPO), que indica si la trayectoria es correcta.
- $a_2(t)$ : La ventaja de la KL inversa del profesor (señal de OPD).
La Compuerta: Se define una compuerta binaria $g_t$ $g_{t}$ como $1[a_1(t) \cdot a_2(t) > 0]$ $1 [a_{1} (t) \cdot a_{2} (t) > 0]$ .
- Tokens de Consenso ( $g_t=1$ ): El verificador y el profesor coinciden en la dirección. Estos tokens experimentan una extrapolación (actualización amplificada) utilizando una mayor fuerza de extrapolación ( $\lambda_{high}$ ).
- Tokens de Conflicto ( $g_t=0$ ): Las señales discrepan (por ejemplo, el profesor suprime un token que conduce a una respuesta correcta). Estos tokens experimentan una interpolación (actualización suavizada) o son enmascarados, evitando que el estudiante sea alejado de las soluciones verificadas.
Estabilidad: Se aplica un peso de recorte desvinculado (detached clipping weight) para evitar que las ventajas atípicas de gran magnitud dominen el gradiente.

El objetivo final combina la pérdida de gradiente de política con compuerta a nivel de token con la pérdida de anclaje de profesor por fases a nivel de muestra.

3. Contribuciones Clave

Identificación de Modos de Fallo: El artículo identifica y analiza explícitamente dos limitaciones estructurales de la OPD: la fragilidad de la alineación a nivel de trayectoria en el arranque en frío y la fiabilidad no uniforme de las preferencias del profesor incluso en trayectorias correctas.
Marco SG-OPD: La propuesta de un marco de dos granularidades que trata al verificador binario como una señal de confianza. Combina el Muestreo de Profesor por Fases para estabilizar el arranque en frío y la Compuerta de Consistencia de Signo para extrapolar o interpolar selectivamente las actualizaciones de los tokens según el acuerdo de las señales.
Validación Empírica: Experimentos extensos en tareas de razonamiento matemático de nivel de competición demuestran que SG-OPD supera consistentemente a la OPD estándar y a las variantes extrapoladas (ExOPD), particularmente en regímenes donde la extrapolación uniforme causa el colapso del entrenamiento.

4. Resultados Experimentales

Los experimentos se realizaron utilizando Qwen3-1.7B como estudiante y Qwen3-4B-Non-Thinking-RL-Math (paso 500) como profesor, evaluados en cuatro bancos de pruebas: AIME24, AIME25, HMMT25-Feb y HMMT25-Nov.

Ganancias de Rendimiento: SG-OPD logró los puntajes promedio más altos en todas las métricas.
- avg@32: 29.53% (una mejora de +1.98 sobre OPD y +1.54 sobre ExOPD).
- pass@32: 59.17% (una mejora de +7.50 sobre OPD y +5.00 sobre ExOPD).
Estudios de Ablación:
- Se encontró que la Compuerta de Consistencia de Signo amplía el "rango seguro" para la fuerza de extrapolación. Mientras que la extrapolación uniforme (ExOPD) colapsó con un $\lambda$ alto (por ejemplo, $\lambda=1.8$ ), SG-OPD mantuvo o mejoró el rendimiento con esa misma fuerza.
- El PTS por sí solo mejoró el rendimiento respecto a OPD, pero la combinación de PTS y la Compuerta de Signo produjo ganancias casi aditivas, confirmando su ortogonalidad.
Dinámicas de Entrenamiento: SG-OPD logró recompensas de entrenamiento y una entropía de política más altas en comparación con OPD y ExOPD, lo que indica que el mecanismo de compuerta amplifica el consenso sin colapsar la exploración.

5. Significado y Reivindicaciones

El artículo afirma que SG-OPD proporciona un enfoque más robusto y estable para la destilación on-policy al manejar explícitamente la desalineación entre las trayectorias del estudiante y las preferencias del profesor.

Señal de Confianza: Demuestra que un verificador binario puede servir como una señal de confianza fiable para el profesor, permitiendo que el modelo "retroceda" donde el profesor es poco fiable (tokens de conflicto) y "se incline hacia adelante" donde coinciden (tokens de consenso).
Estabilidad: El método se mantiene estable en fuerzas de extrapolación que causan la divergencia de los métodos de extrapolación uniforme, convirtiendo efectivamente regímenes "no entrenables" en otros de alto rendimiento.
Alcance: Los autores señalan que la validación actual se limita al razonamiento matemático con verificadores binarios. Sugieren que el enfoque se generaliza a otras tareas de tipo verificador (por ejemplo, código con pruebas unitarias), pero reconocen que los certificados a nivel de proceso (verificación paso a paso) serían una extensión necesaria para tareas donde la respuesta final es incorrecta pero los pasos intermedios son útiles.

El trabajo se presenta como una mejora metodológica al flujo de destilación, ofreciendo una solución a modos de fallo estructurales específicos observados en configuraciones de destilación de fuerte-a-débil.