Resumen Técnico: TREK – Destilar para Explorar, Reforzar para Refinar

1. Planteamiento del Problema

El artículo aborda un modo de fallo específico de la Optimización de Política Relativa de Grupo (GRPO) cuando se aplica a tareas de razonamiento complejo. Aunque GRPO es efectivo cuando la política actual (estudiante) ya muestrea trayectorias de solución útiles, a menudo se estanca en prompts difíciles donde los modos de solución correctos se encuentran fuera del soporte on-policy actual del estudiante.

En estos regímenes difíciles, el estudiante muestrea repetidamente trayectorias incorrectas que son plausibles pero estructuralmente similares. La escasez no es la señal de recompensa (los verificadores pueden puntuar soluciones correctas si las encuentran), sino la cobertura de exploración del espacio de soluciones. El GRPO estándar, al ser un método on-policy, no puede reforzar comportamientos que no muestrea. En consecuencia, grupos de rollout más grandes o ventajas relativas más agudas a menudo fallan en escapar de la región estrecha del soporte actual del estudiante.

Los métodos de destilación y de información por profesor existentes se centran principalmente en mejorar la supervisión o la asignación de crédito para las trayectorias que el estudiante ya alcanza. No abordan directamente el régimen donde el estudiante rara vez muestrea ninguna trayectoria que genere recompensa. El desafío central es: ¿Cómo podemos hacer que un comportamiento útil sea muestreable en absoluto cuando la exploración sin ayuda del estudiante falla?

2. Metodología: TREK

Los autores proponen TREK (Exploración Dirigida por Profesor vía KL Forward), un procedimiento por etapas que replantea la destilación como una expansión del soporte de exploración en lugar de una simple imitación.

Filosofía Central

TREK trata a un profesor (externo o auto-aumentado) no como un objetivo de comportamiento universal, sino como un mecanismo de propuesta. El método utiliza una interfaz de solo salida, lo que significa que requiere únicamente trayectorias de salida verificadas, no logits, estados ocultos o probabilidades del profesor. Esto permite el uso de profesores de caja negra, de caja blanca o del mismo modelo con contexto adicional en tiempo de inferencia (por ejemplo, reflexión, presupuestos de razonamiento más largos o lecciones de error).

El Algoritmo TREK

El procedimiento separa la disponibilidad de propuestas a nivel de prompt de la alcanzabilidad a nivel de trayectoria:

1. Enrutamiento de Prompts (Minería de Prompts Difíciles):

   • Para cada prompt $x$, el sistema estima la tasa de éxito sin ayuda del estudiante $p_S(x)$ muestreando $K$ rollouts.
   • Si $p_S(x) \leq \tau_{low}$ (lo que indica un prompt difícil donde el estudiante falla), el prompt se dirige a la fase de propuesta. Los prompts fáciles permanecen en el flujo estándar de GRPO.

2. Generación y Selección de Propuestas:

   • Una fuente de propuestas $\pi_T$ (un modelo más fuerte o el mismo modelo con contexto adicional) genera soluciones candidatas para los prompts difíciles enrutados.
   • Las trayectorias son filtradas por un verificador $V$. Solo se conservan los éxitos verificados.
   • Filtrado de Alcanzabilidad: Entre las trayectorias verificadas, el sistema las clasifica por la verosimilitud del estudiante actual (medida mediante un log-verosimilitud negativa recortada y normalizada por longitud, $d_S$).
   • Se retienen las $r$ propuestas verificadas más próximas al estudiante. Esto asegura que no se le pida al estudiante imitar soluciones que estén demasiado lejos de sus capacidades actuales, enfocándose en cambio en modos que puede alcanzar de forma plausible.

3. Consolidación de Forward-KL (Arranque en Caliente):

   • Las trayectorias retenidas forman un conjunto de datos $D_{scaf}$.
   • Se aplica una breve actualización de Forward-KL: $\min KL(q_{prop} \parallel \pi_\theta)$.
   • Este objetivo penaliza al estudiante por asignar una probabilidad baja a los modos de propuesta verificados, efectivamente "atrayendo" estos modos de solución hacia el soporte del estudiante. Esto es distinto de la destilación estándar (que a menudo minimiza $KL(\pi_\theta \parallel q_{prop})$ o utiliza destilación on-policy).

4. Refinamiento On-Policy:

   • Tras el breve arranque en caliente de Forward-KL, los prompts regresan al flujo de rollout estándar de GRPO.
   • El estudiante, habiendo expandido ahora su soporte para incluir los modos verificados, puede muestrearlos y recibir ventajas relativas del verificador para refinar la política aún más.

3. Contribuciones Clave

1. Identificación de un Modo de Fallo: El artículo identifica la "falta de soporte de exploración" como un cuello de botella distintivo para GRPO en prompts de razonamiento difíciles, separado de la escasez de recompensa.
2. La Destilación como Exploración: Formula una visión de la destilación específicamente para expandir el soporte alcanzable del estudiante, en lugar de solo densificar la supervisión sobre las trayectorias ya muestreadas.
3. El Procedimiento TREK: Un algoritmo enrutado simple que desacopla la dificultad del prompt de la alcanzabilidad de la trayectoria, utilizando una fase corta de Forward-KL para consolidar las propuestas verificadas antes de regresar a GRPO.
4. Compatibilidad de Caja Negra: Al requerir solo salidas verificadas, el método es compatible con profesores de caja negra externos, profesores de caja blanca o aumentos de auto-contexto, lo que lo hace ampliamente aplicable en entornos prácticos.
5. Eficiencia de Entrenamiento: Demuestra que la inyección de modos de solución verificados antes de que comience el RL acelera significamente el aprendizaje en los tipos de tareas más difíciles, reduciendo los pasos de optimización necesarios para alcanzar un alto rendimiento.

4. Resultados Experimentales

Los autores evaluaron TREK en tareas de razonamiento matemático (AIME 2024/2025) y tareas de planificación agéntica (ALFWorld, ScienceWorld).

Razonamiento Matemático (Modelos Qwen3)

• Configuración: Probado en modelos Qwen3 de 1.7B, 8B y 14B. Las propuestas provinieron de DeepSeek-V4 (externo) o del mismo modelo Qwen3 con auto-contexto (lecciones de error).
• Rendimiento: TREK superó consistentemente a GRPO directo en todas las escalas.
  • Qwen3-8B: Mejoró AIME 2025 del 36.9% al 40.3% y AIME 2024 del 47.9% al 51.1% (usando propuestas de DeepSeek-V4).
  • Variante de Auto-Contexto: Incluso sin un profesor externo, la variante de auto-contexto mejoró AIME 2025 al 38.5% y AIME 2024 al 49.6%.
• Ablación: Reemplazar la consolidación de Forward-KL con supervisión de tipo Destilación On-Policy (OPD) resultó en un menor rendimiento, confirmando que el objetivo de Forward-KL es superior para expandir la cobertura de modos en prompts difíciles.

Tareas Agénticas (Qwen2.5-7B-Instruct)

• ALFWorld: La tasa de éxito aumentó del 75.8% (GRPO) al 82.8% (TREK con DeepSeek-V4) y 80.4% (auto-contexto).
• ScienceWorld: La tasa de éxito se más que duplicó, subiendo del 12.5% (GRPO) al 26.7% (TREK con DeepSeek-V4) y 23.4% (auto-contexto).
• Análisis de Dificultad de Tarea: Las ganancias se concentraron en los tipos de tareas más difíciles (ej., "Heat & Place", "Examine in Light") donde el rendimiento base de GRPO era más bajo. Las tareas fáciles mostraron poca o ninguna mejora, confirmando que el método apunta al cuello de botella de la exploración.
• Dinámica de Entrenamiento: TREK alcanzó altas tasas de éxito mucho antes en el entrenamiento comparado con GRPO. Por ejemplo, en ALFWorld, TREK superó el 60% de éxito en el paso 20, mientras que GRPO se mantuvo por debajo del 50% y requirió ~5x más pasos para alcanzar el mismo nivel.

5. Significado y Reivindicaciones

El artículo afirma que TREK ofrece un marco generalizable para mejorar los sistemas de razonamiento on-policy cuando el cuello de botella principal es la incapacidad de muestrear trayectorias que generen recompensa.

• Complementariedad: TREK se presenta como complementario a los métodos existentes (como el pesaje de tokens o las mejoras en la asignación de crédito) que operan dentro del soporte actual del estudiante. TREK opera antes de eso, asegurando que el soporte exista.
• Eficiencia: La ventaja principal no es necesariamente elevar el techo asintótico (ya que GRPO puede alcanzar niveles similares con un cómputo masivo), sino reducir drásticamente el presupuesto de entrenamiento requerido para descubrir modos de solución difíciles.
• Practicidad: La dependencia de salidas verificadas en lugar de los internos del profesor hace que el método sea robusto para el despliegue en el mundo real, donde los profesores de caja negra o los bucles de auto-reflexión son comunes, pero los estados internos del modelo son inaccesibles.

Los autores concluyen que este paradigma de "Destilar para Explorar, Reforzar para Refinar" puede extenderse a otros marcos de post-entrenamiento (ej., DAPO, GSPO), proporcionando una forma estructurada de introducir nuevas capacidades mediante propuestas verificadas antes de estabilizarlas mediante el refuerzo on-policy.