Resumen Técnico: Flujo Oculto Privilegiado para la Auto-destilación On-Policy

Declaración del Problema

La auto-destilación on-policy (OPSD, por sus siglas en inglés) es una técnica para entrenar modelos de razonamiento donde un modelo estudiante muestrea sus propios rollouts y es supervisado por un profesor "privilegiado". Este profesor posee la misma arquitectura de modelo pero está condicionado con información adicional, como una solución de referencia verificada, mientras que el estudiante solo ve el prompt del problema.

Los objetivos de la OPSD existente se centran exclusivamente en igualar la distribución de salida (las probabilidades del siguiente token) entre el estudiante y el profesor privilegiado. Si bien esto alinea las predicciones finales, no supervisa la computación interna que produce dichas predicciones. Específicamente, el contexto privilegiado influye en los estados ocultos intermedios y en la trayectoria de estos estados a través de las capas de la red. Los métodos actuales solo restringen la cabeza de salida final, dejando el "flujo oculto" —cómo evolucionan las representaciones internas del modelo paso a paso a lo largo del rollout— sin restricciones. El artículo postula que destilar este proceso interno podría mejorar el rendimiento del razonamiento sin alterar la configuración fundamental del entrenamiento on-policy.

Metodología: Flujo Oculto Privilegiado (PHF)

Los autores proponen el Flujo Oculto Privilegiado (PHF), un método que aumenta la OPSD estándar destilando el movimiento de los estados ocultos en lugar de los estados mismos.

Mecanismo Central

En lugar de forzar al vector oculto del estudiante $h^S_{\ell,t}$ a coincidir con el vector del profesor $h^T_{\ell,t}$ en la misma posición de token (coincidencia punto a punto), el PHF iguala las transiciones entre las posiciones de los tokens.

1. Definición de Transición: Para un conjunto de posiciones generadas seleccionadas $W = \{w_1, \dots, w_m\}$, la transición oculta local se define como la diferencia entre posiciones vecinas: $\Delta h_{\ell,i} = h_{\ell, w_{i+1}} - h_{\ell, w_i}$.
2. Normalización: Estas transiciones se normalizan a direcciones unitarias para centrarse en la geometría del movimiento en lugar de la magnitud.
3. Componentes de Pérdida:
   • Pérdida de Dirección ($L_{dir}$): Alinea la dirección de las transiciones del estudiante con las transiciones del profesor en cada capa.
   • Pérdida de Geometría ($L_{geo}$): Iguala la matriz de Gram de las direcciones de transición. Esto captura la estructura relacional de la trayectoria (por ejemplo, qué pasos son paralelos, ortogonales u opuestos) en lugar de las coordenadas absolutas.
   • Relación de Capas Vecinas ($L_{adj}$): Calcula la relación entre las direcciones de transición en capas adyacentes ($\ell$ y $\ell+1$) para asegurar que la transformación del movimiento a través de la profundidad sea consistente con el profesor.

Invarianzas Estructurales

Una contribución teórica clave del PHF son sus propiedades de invarianza, que abordan el problema de la "deriva representacional" donde las coordenadas ocultas cambian durante el entrenamiento:

• Invarianza de Desplazamiento (Offset Invariance): La pérdida no cambia si se añade un desplazamiento constante a toda la trayectoria de la de estudiante o del profesor.
• Invarianza de Escala: La pérdida es invariante a la multiplicación escalar positiva de las transiciones (antes de la normalización).
• Invarianza Ortogonal: El término de geometría es invariante a transformaciones ortogonales independientes de los conjuntos de transiciones del estudiante y del profesor.

Estas propiedades permiten al PHF supervisar la forma y la dirección del proceso de razonamiento sin requerir que el estudiante y el profesor ocupen exactamente los mismos puntos en el espacio oculto de alta dimensión.

Receta de Entrenamiento

• Fuente del Profesor: El profesor privilegiado es un Promedio Móvil Exponencial (EMA) del estudiante en línea, condicionado con la solución de referencia.
• Agregación: El método agrega la pérdida de transición a través de todas las capas en lugar de seleccionar un subconjunto, y combina la pérdida de transición local con la relación de la capa adyacente.
• Objetivo: La pérdida final es $L_{PHF} = L_{OPSD} + \alpha L_{Flow}$, donde $L_{Flow}$ combina las pérdidas locales y adyacentes. El coeficiente $\alpha$ es fijo (0.05) en todas las escalas.
• Restricciones: El método utiliza una ventana fija de 128 posiciones generadas para gestionar la memoria y no introduce modelos de recompensa, enrutamiento de corrección ni rollouts adicionales.

Principales Contribuciones

1. Objetivo de Transporte de Transición Privilegiada: Introduce una nueva pérdida que iguala las transiciones ocultas normalizadas de token a token y su geometría de trayectoria, yendo más allá de la coincidencia de estados punto a punto.
2. Caracterización Teórica: Demuestra que la pérdida de transporte posee invarianzas algebraicas exactas respecto a los desplazos de la trayectoria y las transformaciones ortogonales, distinguiéndose de la coincidencia estándar de estados ocultos.
3. Agregación de Todas las Capas: Demuestra que el promedio de la pérdida de transición sobre todas las capas, combinado con una relación de capa adyacente fija, produce mejoras consistentes sin requerir la selección manual de capas.
4. Validación Empírica: Valida la receta fija a través de tres escalas de modelos (Qwen3-1.7B, 4B y 8B) bajo el protocolo oficial de razonamiento matemático de OPSD.

Resultados Experimentales

Los autores evaluaron el PHF en los benchmarks AIME 2024, AIME 2025 y HMMT 2025 utilizando la métrica Average@12 (corrección media sobre 12 muestras por problema).

• Ganancias de Rendimiento: Bajo un esquema de entrenamiento fijo de 100 pasos, el PHF mejoró el Aggregate@12 respecto a la línea base de OPSD reproducida:
  • Qwen3-1.7B: +2.2 puntos (40.83 $\to$ 43.06)
  • Qwen3-4B: +1.5 puntos (61.89 $\to$ 63.39)
  • Qwen3-8B: +1.7 puntos (64.26 $\to$ 65.94)
• Consistencia: Las ganancias fueron positivas en todas las escalas y en casi todas las celdas individuales de los benchmarks.
• Estudios de Ablación:
  • Dirección vs. Geometría: Ni las variantes de solo dirección ni las de solo geometría igualaron la receta completa de PHF en todas las escalas, lo que indica que ambos componentes son necesarios.
  • Selección de Capas: Un control de "capas seleccionadas" (igualando un pequeño subconjunto seleccionado a mano) funcionó peor que la agregación de todas las capas, lo que respalda la decisión de promediar a través de la profundidad.
  • Coincidencia Punto a Punto: El artículo señala que la coincidencia de estado oculto punto a punto es un control de frontera competitivo, pero es menos robusta a la deriva representacional que el enfoque basado en transiciones.

Significado y Reivindicaciones

El artículo afirma que el PHF ofrece una mejora modesta pero significativa al marco de trabajo de OPSD mediante el uso más estructural de la información privilegiada.

• Supervisión a Nivel de Proceso: El principal significado es demostrar que las referencias privilegiadas inducen un "proceso oculto" específico (cómo se mueve el modelo a través de su propio rollout) que puede ser destilado. El PHF captura este proceso sin requerir que el estudiante coincida con las coordenadas ocultas absolutas del profesor.
• Compatibilidad de Despliegue: A diferencia de los métodos que requieren modelos de recompensa o verificadores externos en el tiempo de ejecución, el PHF mantiene la configuración de despliegue de OPSD: el modelo evaluado es el estudiante en línea, y no se necesita información privilegiada durante la inferencia.
• Eficiencia: El método añade solo un coeficiente de pérdida escalar y una ventana de almacenamiento de estados ocultos, evitando la sobrecarga computacional de rollouts adicionales o mecanismos de enrutamiento complejos.
• Alcance de las Reivindicaciones: Los autores son explícitos en que su evidencia se limita a una receta fija, una familia de modelos específica (Qwen3) y tareas de razonamiento matemático. No afirman que el emparejamiento del flujo oculto mejore todos los aspectos del razonamiento (por ejemplo, la calidad de la prueba o la calibración) o que sea una solución universal, sino que proporciona un cambio agregado positivo y consistente cuando se aplica a la auto-destilación on-policy.