Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation

Resumen Técnico: Enseñanza con Prefijo, Desvanecimiento con Sufijo: Colapso Local de la Enseñabilidad en la Destilación en Política Fuerte-a-Débil

1. Definición del Problema

El artículo aborda un modo de fallo específico en la Destilación en Política (OPD), particularmente en configuraciones fuerte-a-débil donde un modelo docente significativamente mayor supervisa a un modelo estudiante más pequeño. Mientras que la literatura previa asume que la supervisión densa a lo largo de toda una trayectoria generada es uniformemente beneficiosa siempre que exista retroalimentación del docente, los autores argumentan que esta suposición es demasiado grosera.

El problema central identificado es el Colapso Local de la Enseñabilidad. En la OPD fuerte-a-débil, incluso cuando persiste una ventaja no nula entre docente y estudiante a lo largo de una respuesta, el contraste local de la retroalimentación del docente a menudo decae en los segmentos posteriores. Específicamente:

• El docente puede continuar proporcionando una señal de preferencia global (ventaja media no nula).
• Sin embargo, el poder discriminatorio de esta señal disminuye; el docente falla en distinguir claramente entre las acciones candidatas principales del estudiante en la región local.
• Aplicar supervisión densa a estas regiones de bajo contraste optimiza sobre "ruido de baja información" en lugar de proporcionar una priorización significativa para el estudiante, lo que potencialmente degrada el rendimiento o falla en preservar capacidades fuera de dominio.

2. Metodología

Los autores proponen una regla de liberación específica de la trayectoria para mitigar el colapso local de la enseñabilidad. En lugar de aplicar una supervisión uniforme o utilizar una longitud de prefijo global fija, el método determina dinámicamente dónde truncar la supervisión densa basándose en la utilidad local de la señal del docente.

Componentes Clave del Método:

1. Margen Docente Local al Estado:

   • En lugar de depender de la varianza de la ventaja de token muestreada ($A_t$), que puede ser inestable, el método evalúa la capacidad del docente para discriminar entre las acciones alcanzables del estudiante.
   • En cada prefijo, se construye el conjunto de los $K$ mejores candidatos del estudiante ($C_t$).
   • El margen del competidor más cercano del docente ($M_t$) se calcula como la diferencia en log-probabilidad entre los candidatos 1 y 2 del docente dentro de $C_t$:
     $$M_t = \log p_T(a^{(1)}_t) - \log p_T(a^{(2)}_t)$$
   • Una caída sostenida en $M_t$ indica que la guía del docente se ha vuelto localmente plana (menos accionable).

2. Agregación a Nivel de Oración:

   • Para mitigar artefactos a nivel de token, los márgenes se agregan sobre segmentos de oraciones tokenizados con NLTK ($B_i$).
   • La señal a nivel de segmento $S_i$ se define como:
     $$S_i = \log \left(1 + \frac{1}{|B_i|} \sum_{t \in B_i} M_t \right)$$

3. Detección de Puntos de Cambio Estilo BIC:

   • La secuencia de señales de segmento $\{S_i\}$ se analiza para detectar un desplazamiento hacia abajo.
   • El método compara un modelo de "sin cambio" ($H_0$) contra un modelo de "una caída" ($H_1$) donde existe un punto de cambio $\tau$ tal que la señal media cae ($\mu_{pre} > \mu_{post}$).
   • Se utiliza un criterio RSS-BIC Perfilado para seleccionar el punto de cambio óptimo $\tau^*$, penalizando la complejidad del modelo para evitar falsos positivos derivados de fluctuaciones aleatorias.
   • Si se detecta un cambio significativo hacia abajo, la supervisión densa se enmascara para todos los tokens que siguen al límite del segmento detectado.

4. Reescalado de la Masa de Pérdida:

   • Para asegurar que la magnitud del gradiente permanezca consistente a pesar del truncamiento, las ventajas de prefijo retenidas se reescalan:
     $$A'_t = A_t \cdot q_t \cdot \frac{\sum l_t}{\sum l_t q_t}$$
   • Aquí, $q_t$ es la máscara de prefijo (1 antes del corte, 0 después), y $l_t$ es la máscara de pérdida original.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Identificación del Colapso Local de la Enseñabilidad: Los autores diagnostican que en la OPD fuerte-a-débil, la ventaja entre docente y estudiante puede permanecer no nula mientras que el poder discriminatorio local (contraste) decae. Esto revela que la supervisión densa en toda la trayectoria no siempre es óptima.
2. Una Regla de Liberación Específica de la Trayectoria: Introducen un mecanismo para determinar si la retroalimentación del docente sigue siendo localmente accionable. Esta regla utiliza el margen 1/2 del docente sobre los $K$ mejores candidatos del estudiante, lo agrega sobre segmentos de oraciones y termina la supervisión después de un punto de cambio estadístico hacia abajo.
3. Validación Empírica: El método se valida en diversas configuraciones de destilación fuerte-a-débil de Qwen3 (estudiantes de 1.7B, 4B y 8B). La regla de liberación supera consistentemente a la OPD completa de trayectoria estándar y a las líneas base de prefijo fijo en benchmarks dentro de dominio, y preserva mejor las capacidades fuera de dominio.

4. Resultados Experimentales

Los experimentos se realizaron utilizando la familia de modelos Qwen3 (Docente: Qwen3-30B-A3B-Instruct-2507; Estudiantes: 1.7B, 4B, 8B) en cinco benchmarks matemáticos dentro de dominio (AIME25, HMMT25, MATH500, Minerva) y un benchmark fuera de dominio (GPQA).

• Ganancias de Rendimiento: Para el estudiante de 1.7B, el método propuesto logró una puntuación promedio de 40.1% en los cinco benchmarks matemáticos, en comparación con 36.8% para la OPD completa estándar y 39.3% para la mejor línea base de prefijo fijo (2048 tokens).
• Preservación Fuera de Dominio: El método mejoró las puntuaciones de GPQA (42.4%) en comparación con la OPD completa (40.7%), sugiriendo una mejor preservación de las capacidades generales.
• Escalado: Los beneficios persistieron para estudiantes más grandes (4B y 8B), donde la regla de liberación superó consistentemente a la OPD completa y a otras líneas base (por ejemplo, 55.2% AVG para 8B frente a 53.1% para OPD completa).
• Ablación: Un control de "liberación aleatoria" (permutando los puntos de liberación entre muestras) produjo un rendimiento inferior (38.0% AVG), confirmando que el punto de liberación debe acoplarse a la señal de enseñabilidad local específica de la trayectoria.
• Sensibilidad al Tamaño de Soporte: El método fue robusto a variaciones en el tamaño de soporte $K$ de los mejores candidatos del estudiante ($K \in \{2, 4, 16, 32\}$), con $K=4$ produciendo los mejores resultados.

5. Significado y Afirmaciones

El artículo afirma que la destilación en política fuerte-a-débil efectiva requiere evaluar no solo la disponibilidad de la guía del docente, sino también su utilidad local.

• Insight Central: La supervisión densa debe concentrarse en las regiones de la trayectoria donde la retroalimentación del docente sigue siendo discriminatoria. Una vez que el contraste local del docente colapsa (se vuelve plano), continuar con supervisión densa proporciona señales de aprendizaje neglijibles y puede introducir ruido.
• Implicación Práctica: La regla de liberación propuesta ofrece una manera principial de "desvanecer" la supervisión (Enseñanza con Prefijo, Desvanecimiento con Sufijo) sin alterar el objetivo subyacente de OPD. Asegura que la retroalimentación generada permanezca "enseñable" para el estudiante.
• Modestia: Los autores notan que su implementación actual realiza un pase de diagnóstico después de la generación completa del despliegue y no acorta inherentemente el proceso de generación (a diferencia de FastOPD), lo que significa que las ganancias de eficiencia son una consideración secundaria frente a la validación de la señal de enseñabilidad. Declaran explícitamente que la regla es una heurística práctica para validar la afirmación central en lugar de una garantía teórica de que todos los tokens posteriores a la liberación son perjudiciales.