Resumen Técnico: ¿Cuándo debe moverse el profesor? Acoplamiento temporal y estabilidad en la autodestilación on-policy

1. Planteamiento del problema

La autodestilación on-policy entrena una política estudiante contra un profesor derivado de su propio historial de parámetros. Si bien este enfoque elimina la necesidad de profesores externos, introduce una tensión fundamental respecto al acoplamiento temporal: el esquema que gobierna cuándo se actualiza el profesor en relación con el estudiante.

Trabajos previos han tratado los mecanismos de actualización del profesor (por ejemplo, intervalos fijos, Media Móvil Exponencial) como detalles de implementación en lugar de variables críticas para la estabilidad. Este artículo identifica que la falta de un estudio sistemático sobre el esquema de actualización del profesor conduce a dos modos de fallo distintos en el entrenamiento de largo horizonte:

1. Colapso de Referencia: Ocurre cuando el profesor sigue al estudiante demasiado de cerca (acoplamiento estrecho), causando que la señal de destilación desaparezca a medida que la distribución del profesor converge hacia la distribución actual del estudiante, la cual puede ser subóptima.
2. Colapso de Oblivio de Estado: Ocurre en esquemas de refresco duro de intervalo fijo. Si un refresco es activado por una señal de reloj durante un periodo de inestabilidad transitoria del estudiante (por ejemplo, un pico de entropía o una meseta de recompensa), el profesor copia irreversiblemente este estado corrupto. A diferencia de los métodos de seguimiento suave, el refresco duro no ofrece una vía de recuperación parcial, lo que conduce a un fallo catastrófico invisible bajo una evaluación de corto horizonte.

2. Metodología y Análisis

Marco de Diagnóstico

Los autores introducen un marco de diagnóstico para caracterizar la dinámica del entrenamiento, utilizando tres métricas clave:

• Estructura KL Temporal: Distingue entre refrescos "correctivos" (que producen picos transitorios de KL a medida que el estudiante se re-adapta) y patrones "contaminantes" (donde la KL permanece baja pero la entropía deriva al alza).
• Shock de Refresco: Analiza el impacto inmediato de una actualización del profesor en la estabilidad del estudiante.
• Riesgo de Cola de Longitud: Identifica que la expansión de la longitud de secuencia en la cola de la distribución suele preceder al colapso total, sirviendo como una señal de alerta temprana antes de que las métricas de entropía media o recompensa se degraden.

Requisitos Estructurales para la Estabilidad

A través de un barrido de esquemas controlado en Qwen3-8B (tarea de Química), el artículo establece dos requisitos estructurales necesarios para una autodestilación estable:

1. Independencia de Parámetros: El profesor debe permanecer congelado durante una duración significativa (un periodo de aislamiento) entre actualizaciones. Esto evita que el profesor absorba las fluctuaciones del estudiante y asegura que la divergencia KL siga siendo una señal correctiva significativa. El artículo argumenta que los periodos de aislamiento, no la edad del profesor, son el habilitador clave de la estabilidad.
2. Conciencia de Estado: Las actualizaciones deben ser disparadas por evidencia de una consolidación genuina del estudiante (por ejemplo, mejora de la recompensa) en lugar de por el paso del tiempo. Los esquemas basados en reloj fallan este requisito, arriesgándose a copiar una deriva transitoria.

Solución Propuesta: Refresco del Profesor con Puerta de Consolidación (CGTR)

Para satisfacer ambos requisitos simultáneamente, los autores proponen CGTR, un mecanismo que preserva el aislamiento estructural mientras condiciona las actualizaciones basándose en evidencia observable. El profesor se actualiza solo cuando se cumplen tres condiciones:

1. Puerta de Aislamiento: Ha pasado un periodo de aislamiento mínimo ($M_{min}$) desde el último refresco.
2. Puerta de Recompensa: La media de la ventana rodante de la recompensa supera la recompensa registrada en el último refresco por un umbral $\delta_r$. Esto actúa como un trinquete, asegurando que cada actualización capture estrictamente un rendimiento mejorado.
3. Puerta de Cola de Longitud: La longitud máxima de la secuencia se mantiene por debajo de un umbral de seguridad ($L_{max}$), evitando la copia de estados que exhiben explosión de generación.

CGTR no requiere inferencia de modelos adicional ni componentes aprendidos; todas las condiciones se evalúan a partir de las ejecuciones (rollouts) del entrenamiento.

3. Resultados Clave

Análisis de Corto Horizonte (100 Pasos)

• El Aislamiento es la Clave: El refresco duro disperso (por ejemplo, $M=50$) superó tanto al refresco estrecho ($M \le 2$) como a la EMA. $M=50$ logró la puntuación de prueba más alta (0.755) y la entropía más baja.
• Edad vs. Estructura: Una línea base de EMA alineada con el retraso (que iguala la edad promedio del profesor de $M=50$) no logró igualar la estabilidad del refresco duro, confirmando que el aislamiento estructural, no la edad del profesor, es lo que impulsa el rendimiento.

Análisis de Largo Horizonte (300 Pasos)

• Fallo de los Esquemas Fijos: El esquema óptimo de corto horizonte ($M=50$) sufrió un colapso de oblivio de estado en el paso 189. Un refresco duro se activó durante un pico transitorio de entropía, copiando un estado corrupto al profesor, lo que causó que la puntuación de prueba cayera a 0.000.
• Fallo de EMA: La EMA ($\alpha=0.04$) evitó el colapso catastrófico pero sufrió de contaminación de estado estacionario, donde la deriva se acumuló sin límites, causando que la entropía aumentara y el rendimiento se estancara en 0.713.
• Rendimiento de CGTR: CGTR logró la mejor puntuación final (0.806) con cero colapso. Se autorreguló su frecuencia de refresco (3 actualizaciones en Química) basándose en la dinámica de la tarea, manteniendo una entropía baja y una alta estabilidad.

Generalización entre Tareas

Evaluado en tareas de Biología, Física y ToolUse sin reajuste por dataset:

• Biología: $M=50$ colapsó en el paso 130; CGTR evitó el colapso y superó a la EMA.
• Física: Todos los métodos evitaron el colapso, pero CGTR logró la puntuación final más alta (0.703) y la entropía más baja.
• ToolUse: Tanto $M=50$ como la EMA mostraron degradación de rendimiento; CGTR mantuvo la mejor puntuación final (0.536) y la entropía más baja.

4. Significado y Reivindicaciones

El artículo afirma llenar un vacío crítico en la literatura de autodestilación al tratar el acoplamiento temporal como una variable de estabilidad de primer orden. Sus principales contribuciones son:

1. Identificación de Periodos de Aislamiento: Establecer que el congelamiento completo del profesor entre actualizaciones es la propiedad estructural fundamental que permite un aprendizaje estable, distinta del concepto de edad del profesor.
2. Descubrimiento del Colapso de Oblivio de Estado: Revelar un modo de fallo de largo horizonte donde los refrescos duros de intervalo fijo causan una pérdida de capacidad irreversible, un fallo invisible en las evaluaciones de corto horizonte y mecánicamente distinto de la contaminación crónica de la EMA.
3. Propuesta de CGTR: Demostrar que un único conjunto de parámetros con una puerta adaptativa y consciente del estado puede lograr cero colapso y un rendimiento superior en diversas tareas (Química, Biología, Física, ToolUse) sin necesidad de ajuste por dataset.

Los autores concluyen que, para que el aprendizaje autodirigido sea estable en horizontos largos, las actualizaciones del profesor deben responder a una consolidación genuina del estudiante en lugar de a señales de reloj, preservando la independencia estructural necesaria para que el objetivo de la destilación siga siendo correctivo.