Resumen Técnico: Exploración Condicionada por Instrucciones con Aprendizaje por Refuerzo Asimétrico y Auto-destilación

1. Planteamiento del Problema

El post-entrenamiento mediante Aprendizaje por Refuerzo (RL) se ha convertido en un método estándar para mejorar los Modelos de Lenguaje Grande (LLMs), particularmente para tareas con resultados verificables. Sin embargo, los autores argumentan que los métodos clásicos de exploración de RL, que dependen de la selección de acciones estocásticas (por ejemplo, $\epsilon$-greedy o inyección de ruido), no son adecuados para los LLMs. En los LLMs, las "acciones" son tokens extraídos de vastos vocabularios que deben formar secuencias coherentes; la perturbación aleatoria a nivel de token suele resultar en texto incoherente en lugar de trayectorias novedosas y viables.

Además, estudios recientes indican que el post-entrenamiento de RL tiende a "afilar" la distribución de salida del modelo, aumentando la probabilidad de respuestas correctas conocidas mientras reduce la cobertura de comportamientos diversos (reducción del soporte o support shrinkage). Esto limita la capacidad del modelo para descubrir nuevas estrategias de razonamiento. Los métodos de exploración existentes operan ya sea a nivel de token (fallando en abordar la diversidad semántica) o dependen de la mediación de contexto que carece de mecanismos explícitos para transferir los comportamientos del tiempo de entrenamiento a las políticas de tiempo de inferencia. El desafío central es inducir una exploración diversa durante el entrenamiento sin comprometer el rendimiento de la política no condicionada utilizada en la inferencia.

2. Metodología

El artículo propone un marco de dos partes: Exploración Condicionada por Instrucciones (ICE) para la diversidad en el tiempo de entrenamiento y Asymmetric-RL/SD para la transferencia de comportamiento.

2.1 Exploración Condicionada por Instrucciones (ICE)

ICE es un enfoque basado en plantillas para la "composición de soporte". En lugar de depender de perturbaciones aleatorias de tokens, ICE complementa el prompt de la tarea $x$ con una instrucción de comportamiento $I$ muestreada de un conjunto fijo $\mathcal{I} = \{I_1, \dots, I_N\}$.

• Política Maestro (Teacher Policy): Durante el entrenamiento, el modelo (actuando como maestro) genera ejecuciones (rollouts) condicionadas en $x + I$. Estas instrucciones proporcionan guía de alto nivel (por ejemplo, "¿Pregunta: qué simetría tiene este problema?") para empujar al modelo hacia distintas estrategias de resolución de problemas.
• Política Compuesta (Composite Policy): La política de entrenamiento se convierte en una mezcla: $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$. Esto amplía el soporte de la distribución de texto generado en relación con un único prompt de tarea.
• Compromiso (Trade-off): Si bien esto aumenta la cobertura de las estrategias, conlleva el riesgo de introducir instrucciones inútiles que reduzcan la precisión.

2.2 Asymmetric-RL/SD

Para transferir los comportamientos aprendidos por el maestro condicionado por instrucciones a la política no condicionada en el tiempo de prueba, los autores introducen Asymmetric-RL/SD, un objetivo de auto-destilación que combina Aprendizaje por Refuerzo y Destilación de Conocimiento.

• Maestro ($\pi^T_\theta$): La política condicionada por instrucciones.
• Estudiante ($\pi^S_\theta$): La política no condicionada (utilizada en el tiempo de prueba), que comparte parámetros $\theta$ con el maestro.
• Función Objetivo: El objetivo de entrenamiento $J(\theta)$ combina:
  1. Término de RL: Un término de maximización de recompensa para la política maestra (usando la variante DAPO de GRPO).
  2. Término de Destilación: Un término de divergencia forward-KL ($J^{KL}_S$) que atrae a la política estudiante hacia las ejecuciones correctas del maestro.
• Asimetría: A diferencia de la auto-destilación estándar que a menudo equilibra las recompensas para ambas políticas, Asymmetric-RL/SD establece el peso de la recompensa del estudiante $\alpha=1$ (maximización de recompensa solo para el maestro) y aplica el término KL solo al estudiante, filtrando las ejecuciones del maestro para incluir solo aquellas con respuestas correctas ($R=1$). Esto asegura que el estudiante aprenda a replicar comportamientos útiles y verificados descubiertos por el maestro sin ser penalizado por la exploración de caminos incorrectos del maestro.

3. Contribuciones Clave

1. Exploración Condicionada por Instrucciones (ICE): Un método novedoso para inducir ejecuciones diversas durante el post-entrenamiento de RL condicionando la generación en un conjunto de instrucciones de comportamiento de alto nivel distintas, ampliando así el soporte de la política durante el entrenamiento.
2. Objetivo Asymmetric-RL/SD: Un nuevo objetivo de entrenamiento que combina RL en una política maestra con auto-destilación forward-KL hacia un estudiante no condicionado. Esto transfiere explícitamente los beneficios de la exploración condicionada por instrucciones a la política de tiempo de prueba.
3. Validación Empírica: Un estudio multisemilla a través de diferentes escalas de modelos (1.7B, 4B) y longitudes de contexto (4K, 8K) que demuestra la eficacia del enfoque en tareas de razonamiento matemático.

4. Resultados

Los experimentos se realizaron utilizando modelos Qwen3 en evaluaciones de razonamiento matemático (AIME, HMMT, MATH-500).

• Configuración 1.7B / 4K:

  • ICE con Asymmetric-RL/SD mejoró el pass@1 en un 5.0% respecto al baseline de DAPO.
  • Esta configuración logró 5/5 victorias en los benchmarks con un intervalo de confianza de bootstrap del 95% que excluye el cero.
  • La mejora sobre el uso de RL solo con instrucciones (sin el término de destilación) fue menor y menos certera, lo que sugiere que la señal de destilación explícita es crucial para la transferencia.
  • El entrenamiento no se ralentizó por la inclusión de instrucciones diversas.

• Configuración 1.7B / 8K:

  • Se observó una mejora menor pero persistente del 3.5% (3/5 victorias), lo que indica que el método se generaliza a contextos más largos, aunque la ganancia es más débil.

• Configuración 4B / 4K:

  • El método no mejoró respecto a DAPO (resultando en un cambio de -3.3%). Los autores señalan que el modelo base de 4B puede poseer ya una capacidad suficiente, dejando menos "margen de mejora" (headroom) para que las estrategias exploratorias aporten valor en comparación con el modelo de 1.7B.

• Cobertura vs. Precisión:

  • Mientras que el post-entrenamiento de RL típicamente aumenta el pass@1 pero disminuye el pass@k (cobertura) para valores altos de $k$, Asymmetric-RL/SD mejoró el pass@1 sobre DAPO manteniendo una cobertura comparable.
  • El muestreo con las instrucciones de comportamiento en la inferencia (incluso para el modelo base) recuperó una alta cobertura, lo que sugiere que las instrucciones mismas hacen emerger soluciones correctas independientemente del proceso de RL.

5. Significancia y Reivindicaciones

El artículo afirma que la exploración condicionada por instrucciones, junto con un mecanismo de transferencia de auto-destilación explícito, puede mejorar las capacidades de razonamiento de modelos de lenguaje pequeños (específicamente a la escala de 1.7B) más allá de los estándares de RL como DAPO.

Las implicaciones clave destacadas por los autores incluyen:

• Eficiencia de Costos: El método no añade costo de inferencia; la política en tiempo de prueba es no condicionada y estándar. Las ganancias se logran enteramente a través de un proceso de entrenamiento modificado.
• Utilidad de Modelos Pequeños: Mejorar los modelos pequeños es crítico para el despliegue en dispositivos de consumo (teléfonos, laptops) donde los modelos más grandes son inviables.
• Mecanismo de Acción: Los resultados sugieren que el simple compartir de parámetros es insuficiente para transferir los comportamientos del maestro; la señal de destilación forward-KL explícita es necesaria para incorporar las estrategias descubiertas por el maestro en la política estudiante.

Los autores mantienen la modestia respecto al alcance, señalando que las ganancias no se transfirieron al modelo de 4B bajo las condiciones probadas y que el estudio se limita al razonamiento matemático con recompensas binarias. Posicionan el trabajo como un paso hacia la caracterización de dónde se mantienen estas ganancias a través de diferentes escalas de modelos y contextos.