Resumen Técnico: Destilación de Auto-Política con Escalamiento de Temperatura (TS-OPSD)

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha mejorado significativamente las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs), particularmente en dominios matemáticos y lógicos. Sin embargo, este progreso enfrenta un cuello de botella crítico conocido como colapso de entropía. A medida que la optimización de la política progresa, la distribución de salida del modelo se vuelve cada vez más concentrada (aguda), lo que conduce a:

• Reducción de la Diversidad de Rollouts: El modelo genera trayectorias repetitivas, limitando la exploración del espacio de soluciones.
• Disminución de las Señales de Aprendizaje: La información de gradiente efectiva se concentra en una pequeña fracción de tokens de alta entropía en puntos críticos de ramificación del razonamiento. Una vez que la política colapsa, estas señales desaparecen, estancando la mejora continua.

Los remedios existentes intentan mitigar esto ya sea:

1. Modificando el Objetivo de RL: Utilizando regularización de entropía o recorte adaptativo (adaptive clipping). Estos métodos imponen restricciones externas que pueden entrar en conflicto con la maximización de la recompensa.
2. Ajustando la Temperatura de Muestreo: Aumentando la temperatura durante la recolección de rollouts. Aunque esto altera la política de comportamiento, no cambia la distribución parametrizada subyacente del modelo, creando un desajuste entre la política de comportamiento y la política optimizada.

Estos enfoques siguen siendo externos a los parámetros del modelo. El artículo postula que el efecto exploratorio de la temperatura debe ser internalizado directamente en los pesos del modelo para proporcionar una mejor inicialización para el RL continuo.

2. Metodología: TS-OPSD

Los autores proponen la Destilación de Auto-Política con Escalamiento de Temperatura (TS-OPSD), un método de "recalentamiento de política" ligero diseñado para restaurar la entropía sin profesores externos, datos privilegiados o costos de inferencia adicionales.

Mecanismo Central

TS-OPSD opera como una intervención entre etapas de RL. Partiendo de un checkpoint con colapso de entropía ($\theta_{RL-collapse}$), el método construye un auto-profesor y destila una distribución más suave hacia el modelo estudiante ($\theta_{reheat}$).

1. Construcción del Auto-Profesor: Dada la distribución de logits actual del estudiante $z_\theta$, se genera una distribución de auto-profesor $p_T$ aplicando una transformación de softmax de alta temperatura ($T > 1$) a los logits. Crucialmente, los logits del profesor tienen el gradiente detenido (stop-gradient), y no se utiliza ningún modelo externo.
   $$p_T(v | x_{<t}) = \frac{\exp(z_{\theta,v}/T)}{\sum_u \exp(z_{\theta,u}/T)}$$
2. Destilación On-Policy: El estudiante es entrenado para minimizar la divergencia de Kullback-Leibler (KL) entre su distribución actual $q_\theta$ y el auto-profesor de alta temperatura $p_T$, utilizando rollouts on-policy muestreados de su propia $q_\theta$.
   $$\mathcal{L} = D_{KL}(p_T \parallel q_\theta) \quad \text{(KL Directa/Forward KL)}$$
   $$\mathcal{L} = D_{KL}(q_\theta \parallel p_T) \quad \text{(KL Inversa/Reverse KL)}$$

Propiedades Estructurales

• Preservación de Rango: Dado que $p_T$ es una transformación de potencia monótona de $q_\theta$ ($p_T(v) \propto q_\theta(v)^{1/T}$), el orden de los tokens se preserva. El profesor y el estudiante comparten el mismo soporte local y orden de preferencia semántica; solo difiere la agudeza de la distribución.
• Internalización: A diferencia de los ajustes estándar de temperatura de decodificación, TS-OPSD actualiza los pesos del modelo para codificar permanentemente el comportamiento más suave y de mayor entropía. Esto elimina el desajuste entre entrenamiento e inferencia.
• Dinámica de Gradientes:
  • Forward KL (FKL): El gradiente toma la forma $q_\theta(v) - p_T(v)$. Esto realiza un "suavizado estructurado", reponderando las alternativas suprimidas basándose en los propios juicios previos del modelo.
  • Reverse KL (RKL): Bajo el acoplamiento de auto-temperatura, minimizar la RKL es localmente equivalente a maximizar la entropía del estudiante, donde la temperatura actúa solo como un multiplicador escalar en la magnitud del gradiente.

3. Contribuciones Clave

1. Marco de Recalentamiento de Política: Introduce TS-OPSD, un método para internalizar el efecto exploratorio de la temperatura en los parámetros del modelo, sirviendo como una intervención post-colapso.
2. Perspectiva Teórica: Demuestra que bajo el acoplamiento de auto-temperatura, el desajuste profesor-estudiante se minimiza (preservación de rango), y la RKL se reduce a una actualización directa de maximización de entropía.
3. Validación Empírica: Muestra que recalentar un checkpoint con colapso de entropía proporciona una inicialización superior para el RL continuo en comparación con el entrenamiento continuo estándar o los ajustes de temperatura a nivel de rollout.
4. Análisis de Dinámicas: Caracteriza el fenómeno del "salto de entropía", donde la recuperación de la entropía ocurre en dos fases (suavizado lento seguido de un salto discontinuo brusco), y analiza la reversibilidad de estas actualizaciones de parámetros.

4. Resultados Experimentales

Los experimentos se realizaron en Qwen3-4B-Base y Qwen3-8B-Base utilizando el conjunto de datos DAPO-Math-17K y se evaluaron en MATH-500, AIME24/25/26 y OlymMATH.

• Ganancias de Rendimiento: TS-OPSD (específicamente con Forward KL, PR-FKL) superó consistentemente tanto a la línea base estándar de DAPO como al Rollout Reheating (DAPO con RR).
  • En Qwen3-8B-Base, PR-FKL logró un Avg pass@8 de 54.74, comparado con 51.60 para DAPO estándar y 52.66 para Rollout Reheating.
  • Las ganancias fueron más pronunciadas en evaluaciones más difíciles (AIME, OlymMATH).
• Recuperación de Entropía: Tras el recalentamiento, los modelos reanudaron el RL desde una inicialización de mayor entropía y alcanzaron recompensas finales más altas que el DAPO estándar, que permaneció suprimido.
• Comparación con Rollout Reheating: Aunque aumentar la temperatura de muestreo durante los rollouts (RR) proporcionó ganancias no triviales, el Policy Reheating (PR) produjo resultados superiores. Esto sugiere que el beneficio proviene de la distribución de política más suave actuando como un mejor fundamento para la optimización, más que solo de un muestreo con más ruido.
• Preservación de Capacidades: Los análisis mostraron que TS-OPSD realiza una redistribución de probabilidad que preserva el soporte:
  • Representaciones Intermedias: Los puntajes CKA lineales entre las capas base y recalentadas se mantuvieron cerca de 1.0, indicando que las representaciones internas cambiaron poco.
  • Capacidad de Razonamiento: La precisión en las tareas de MATH-500 y GPQA se mantuvo estable durante todo el proceso de destilación, confirmando que la recuperación de la entropía no degradó las habilidades de razonamiento.
  • Conjuntos de Candidatos: El solapamiento de los top-10 tokens y la retención de la masa de probabilidad fueron cercanos a 1.0, indicando que las preferencias semánticas del modelo se preservaron mientras que los márgenes se suavizaron.

5. Significado y Afirmaciones

El artículo afirma que la restauración de la entropía puede desacoplarse del objetivo de RL e insertarse como una operación modular entre etapas cuando una política se vuelve demasiado determinista.

• Intervención Modular: TS-OPSD ofrece un mecanismo simple y ligero para extender el RL orientado al razonamiento más allá del cuello de botella del colapso de entropía sin alterar el algoritmo central de RL.
• Estabilidad en Entornos de Escasez de Datos: En experimentos con datos reducidos (2048 prompts), el entrenamiento de RL estándar se volvió inestable (picos de gradiente, degradación de recompensa) debido a un severo colapso de entropía. TS-OPSD actuó como un mecanismo estabilizador, permitiendo un entrenamiento más largo y estable.
• Eficiencia Computacional: La intervención de recalentamiento añade aproximadamente un 15–17% al tiempo total de entrenamiento de RL. Cuando se normaliza por tamaño de lote, el costo por muestra es comparable o incluso menor que los pasos estándar de RL.
• Limitaciones: Los autores señalan que los experimentos están limitados a escalas de modelos específicas (4B/8B) y que los criterios de parada para el recalentamiento (umbral de entropía) son actualmente empíricos en lugar de basados en principios. Sugieren que trabajos futuros podrían explorar esquemas en cascada de alternancia entre OPSD y RL.

En resumen, TS-OPSD demuestra que "internalizar" la temperatura mediante la auto-destilación restaura eficazmente la capacidad exploratoria de las políticas colapsadas, permitiendo que el RL continuo alcance techos de rendimiento más altos mientras preserva las estructuras de razonamiento adquiridas durante el entrenamiento.