Resumen Técnico: ExpRL: RL Exploratorio para el Mid-Training de LLMs

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) se ha convertido en un mecanismo estándar para mejorar el razonamiento de los Grandes Modelos de Lenguaje (LLM), particularmente para tareas con recompensas binarias dispersas (por ejemplo, la corrección de la respuesta final). Sin embargo, el éxito del RL de recompensa dispersa depende críticamente de la cobertura del modelo base: la masa de probabilidad que el modelo asigna a trayectorias de razonamiento productivas antes de comenzar el entrenamiento.

Si un modelo base rara vez muestrea pasos intermedios útiles o estrategias de solución diversas para problemas difíciles, las recompensas dispersas proporcionan señales de aprendizaje insuficientes. El modelo puede fallar al intentar explorar más allá de sus patrones de razonamiento iniciales, que suelen ser subóptimos. Las estrategias actuales de mid-training para abordar esto —como el Ajuste Fino Supervisado (SFT) sobre trazas curadas o la autodestilación— a menudo requieren la especificación manual de habilidades o dependen de la imitación a nivel de token. Estos enfoques pueden interrumpir las capacidades de razonamiento nativas del modelo o fallar al generalizar a estrategias de resolución de problemas más amplias, necesarias para tareas combinatorias o matemáticas complejas.

El desafío central es automatizar el "cebado" (priming) de un modelo base para aumentar su cobertura sobre trayectorias de razonamiento productivas (medida por $pass@k$) sin depender de la imitación, creando así una inicialización más sólida para un posterior RL de recompensa dispersa.

2. Metodología: RL Exploratorio (ExpRL)

ExpRL es un enfoque de mid-training basado en RL on-policy que utiliza soluciones de referencia no como objetivos de imitación, sino como andamios de recompensa (reward scaffolds). El método opera sobre un conjunto de datos de problemas difíciles $\mathcal{D}_{mid}$ con soluciones de referencia asociadas $y^*$.

Principio de Diseño Central

En lugar de exponer las soluciones de referencia al modelo de política como demostraciones (lo que sesgaría la política hacia la imitación), ExpRL oculta las referencias a la política. La política muestrea trayectorias $y$ únicamente a partir del prompt del problema $x$. Un juez LLM compara la trayectoria muestreada contra la referencia oculta $y^*$ para asignar recompensas densas. Esto aprovecha la "brecha de verificación-generación", donde los LLMs suelen ser mejores verificando el progreso parcial contra una referencia que generando una solución correcta desde cero.

Mecanismos de Recompensa

ExpRL define dos variantes de recompensas densas:

1. ExpRL-Outcome: Asigna una puntuación densa y graduada a la trayectoria completa basada en la alineación con la solución de referencia. El juez evalúa toda la traza contra una rúbrica, proporcionando retroalimentación incluso si la respuesta final es incorrecta. Esto recompensa la corrección parcial y las reducciones intermedias útiles.
2. ExpRL-Process: Asigna puntuaciones densas a los prefijos intermedios de la trayectoria. Para mejorar la asignación de crédito, el método calcula ventajas por segmento $A_t$. Un segmento recibe una ventaja positiva solo si mejora la puntuación de alineación del juez respecto al prefijo anterior ($s_t - s_{t-1}$), incentivando a la política a construir sobre el progreso intermedio y penalizando el retroceso.

Optimización

La política $\pi_\theta$ se optimiza utilizando RL on-policy (GRPO para recompensas de resultado, REINFORCE para recompensas de proceso) con un término de regularización KL contra la política base $\pi_0$. El objetivo maximiza la recompensa densa esperada mientras se mantiene dentro de un espacio KL alcanzable del modelo base:
$$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$$

Aplicación Posterior (Downstream)

Después del mid-training, la política cebada sirve como la inicialización para una fase de RL de recompensa dispersa estándar de Etapa-II en un conjunto de datos posterior $\mathcal{D}'$. En esta etapa, toda la información de referencia se elimina y el modelo se entrena utilizando únicamente recompensas binarias de la respuesta final.

3. Contribuciones Clave

• Construcción Automatizada de Cobertura: ExpRL propone un método para ampliar automáticamente la cobertura del modelo sobre trayectorias de razonamiento productivas utilizando soluciones de referencia como andamios de recompensa en lugar de objetivos de imitación.
• Andamiaje de Recompensa Densa: El artículo introduce un mecanismo para convertir las soluciones de referencia en rúbricas de calificación densas y específicas del problema mediante un juez LLM, permitiendo el refuerzo del progreso parcial y las reducciones intermedias que las recompensas dispersas omiten.
• Asignación de Crédito a Nivel de Proceso: Al utilizar la puntuación basada en prefijos y ventajas por segmento, ExpRL proporciona retroalimentación granular sobre la calidad de los pasos de razonamiento, fomentando comportamientos como la descomposición y la autocorrección.
• Validación Empírica del Cebado (Priming): El trabajo demuestra que ExpRL produce una inicialización superior para el RL de recompensa dispersa en aplicaciones posteriores en comparación con los baselines de SFT, GRPO de recompensa dispersa y autodestilación.

4. Resultados Experimentales

Los experimentos se realizaron en tareas desafiantes de razonamiento matemático (AIME, HMMT, IMO-AnswerBench) y se extendieron a entornos mixtos (ciencia, programación).

• Rendimiento Posterior (Downstream): Los modelos inicializados con ExpRL lograron un $pass@1$y$pass@k$ más altos en benchmarks no vistos tras el RL de recompensa dispersa de Etapa-II en comparación con todos los baselines. Notablemente, en AIME 2026, ExpRL-Process alcanzó una precisión del 63.41%, superando al mejor baseline (GRPO) con un 58.75%.
• Mejoras en la Etapa-I: Incluso antes del RL posterior, los modelos cebados con ExpRL mostraron mejoras significativas en $pass@1$y$pass@16$ en la distribución de mid-training, lo que indica que el método expande con éxito el conjunto de problemas resolubles que el modelo puede muestrear.
• Cambios de Comportamiento: El análisis de los comportamientos de razonamiento reveló que ExpRL aumenta la frecuencia de comportamientos orientados a la búsqueda, tales como la verificación, la autocorrección y el retroceso (backtracking), en comparación con el modelo base. En contraste, el SFT tendió a reducir los comportamientos de verificación.
• Escalabilidad de Dominios Mixtos y del Juez:
  • ExpRL-Outcome logró mejorar exitosamente una política de 8B utilizando un juez de 4B más pequeño a través de los dominios de matemáticas, ciencia y programación, lo que sugiere que el juez no necesita coincidir con la escala de la política si está condicionado por la referencia.
  • Limitación en Programación: ExpRL mostró resultados mixtos en tareas de programación (LiveCodeBench). Aunque mejoró la política base, el GRPO disperso basado en ejecución siguió siendo más fuerte. Los autores atribuyen esto al hecho de que las recompensas de programación dependen fuertemente de la corrección funcional (ejecución) más que del andamiaje de la solución de referencia, donde el progreso parcial es más difícil de definir mediante una ruta de referencia.
• Fiabilidad de la Recompensa: Las pruebas de calibración confirmaron que la señal de recompensa densa depende de la presencia de una referencia correcta y acorde al problema. Eliminar la referencia o usar una referencia incorrecta degradó significamente la capacidad del juez para discriminar entre ejecuciones correctas e incorrectas.

5. Significado y Reivindicaciones

El artículo afirma que ExpRL aborda el "cuello de botella de la exploración" en el RL de LLMs al desplazar la carga de la exploración hacia la fase de mid-training. Al recompensar el progreso parcial y las diversas estrategias de razonamiento mediante recompensas densas guiadas por referencias, ExpRL construye un "prior de exploración" más fuerte.

Los autores argumentan que este enfoque es superior al mid-training basado en imitación (SFT) porque evita los problemas de clonar trazas que el modelo base podría no generar naturalmente, lo que puede conducir a un cambio de distribución e inestabilidad. En su lugar, ExpRL mantiene la política en su propia distribución mientras la guía hacia regiones productivas de la solución.

El trabajo posiciona a ExpRL como una interfaz de cebado general que puede combinarse con otras estrategias de exploración (por ejemplo, generación guiada por prefijos) y sugiere que la clave para escalar el RL en problemas difíciles reside en asegurar que el modelo base tenga suficiente cobertura de trayectorias de razonamiento productivas antes de que comience la optimización de recompensa dispersa. El artículo mantiene la modestia, señalando que el método requiere datos de referencia auxiliares y que su efectividad varía según el dominio (por ejemplo, siendo menos crítico para la programación donde la retroalimentación de ejecución está disponible).