Resumen Técnico: Optimización Asíncrona de Un Solo Rollout para Aprendizaje por Refuerzo Agéntico

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) se ha convertido en un componente crítico en el post-entrenamiento de Grandes Modelos de Lenguaje (LLMs), particularmente para tareas agénticas que involucran horizontes largos, codificación y razonamiento complejo. Sin embargo, los pipelines de RL existentes son predominantemente sincrónicos y con intercalado de lotes (batch-interleaved). En estos sistemas, la política genera un lote de rollouts, y la optimización solo comienza después de que se ha recolectado el lote completo. Este enfoque es ineficiente para las cargas de trabajo agénticas donde las longitudes de las trayectorias varían significamente; los rollouts cortos terminan rápidamente mientras que los largos actúan como rezagados, causando un tiempo de inactividad sustancial en el clúster de GPUs.

Si bien el RL asíncrono —que actualiza el modelo continuamente a medida que llegan los rollouts— ofrece una solución para mejorar la utilización y la eficiencia del tiempo de ejecución (wall-clock efficiency), introduce dos desafíos primarios:

1. Inestabilidad de Entrenamiento y Deriva Off-Policy: En entornos asíncronos, los rollouts son generados por múltiples versiones anteriores del modelo de política. Este "retraso de la política" (policy lag) crea un comportamiento off-policy impredecible que puede desestabilizar el entrenamiento.
2. Incompatibilidad con el Muestreo por Grupos: Algoritmos ampliamente utilizados como la Optimización de Política Relativa de Grupo (GRPO) dependen de muestrear un grupo de respuestas por cada prompt para estimar las ventajas mediante el promedio a nivel de grupo. Este enfoque basado en grupos no es compatible con el entrenamiento asíncrono porque el grupo debe esperar al miembro más lento para terminar, reintroduciendo latencia y sesgo off-policy. Además, el muestreo por grupos es poco adecuado para entornos online o agénticos complejos donde el entorno suele proporcionar únicamente una retroalimentación de trayectoria por prompt.

Metodología: Optimización Asíncrona de Un Solo Rollout (SAO)

Los autores proponen SAO, un marco diseñado para estabilizar el entrenamiento de RL asíncrono preservando su eficiencia. SAO reemplaza el muestreo por grupos con muestreo de un solo rollout (un solo rollout por prompt) e introduce mecanismos específicos para manejar los desafíos resultantes de variance y off-policy.

1. Muestreo de Importancia Doble Directo (DIS)

Para abordar el "retraso de la política" entre el motor de rollout y el modelo de entrenamiento sin el costo computacional de rastrear un historial de políticas antiguas:

• Cálculo de Ratio Simplificado: SAO utiliza directamente la política de rollout ($\pi_{rollout}$) como el proxy de comportamiento y la política actual ($\pi_\theta$) para el muestreo de importancia, eliminando efectivamente la necesidad de una política "antigua" ($\pi_{old}$) separada y potencialmente obsoleta. El ratio de probabilidad se calcula directamente desde los logs del rollout: $r_t(\theta) = \exp(\log \pi_\theta - \log \pi_{rollout})$.
• Recorte de Doble Lado a Nivel de Token: A diferencia del recorte estándar de PPO, SAO emplea una estrategia de recorte de doble lado estricto. Restringe la región de confianza al intervalo $[1-\epsilon_\ell, 1+\epsilon_h]$. Los tokens que caen fuera de este rango son enmascarados completamente de la computación del gradiente. Este enmascaramiento agresivo evita las inestabilidades causadas por la divergencia extrema de la política.

2. Muestreo de Un Solo Rollout con Modelado de Valor Mejorado

Reemplazar el muestreo por grupos con actualizaciones de un solo rollout reduce la latencia pero aumenta la varianza del gradiente. Para mitigar esto, SAO introduce estrategias específicas de entrenamiento del modelo de valor:

• Actualizaciones de Valor Más Rápidas: La red de valor ($V_\phi$) se actualiza con mayor frecuencia que la política ($\pi_\theta$). Específicamente, por cada actualización de gradiente de política individual, la red de valor experimenta $K$ actualizaciones (donde $K=2$ en los experimentos). Esto asegura que las estimaciones de valor se adapten rápidamente a la política actual antes de ser utilizadas para el cálculo de la ventaja.
• Entrenamiento de Atención Congelada: Para estabilizar el modelo de valor, los autores observan que la inestabilidad se origina principalmente en las capas de Atención Completa (Full Attention). En consecuencia, congelan los parámetros de atención en el modelo de valor y solo optimizan las proyecciones de Mezcla de Expertos (MoE). Esto regulariza el modelo de valor, aprovechando los pesos de atención pre-entrenados mientras permite que el modelo aprenda funciones de valor específicas de la tarea.
• GAE de Salto de Observación a Nivel de Token: Para tareas agénticas con acciones intercaladas ($a_i$) y observaciones del entorno ($o_i$), el GAE estándar (Generalized Advantage Estimation) introduce ruido al calcular las ventajas a través de la frontera donde el modelo no genera la observación. SAO deriva un GAE de Salto de Observación que vincula el valor de la acción actual directamente con el valor de la siguiente acción, omitiendo los tokens de retroalimentación del entorno externo.

3. Escalamiento del Preentrenamiento del Modelo de Valor

Los autores enfatizan que una inicialización robusta es crítica. Escalan significativamente los datos utilizados para el preentrenamiento del modelo de valor para abordar el problema del "arranque en frío" (cold start), asegurando que el modelo de valor sea efectivo desde las etapas tempranas del entrenamiento de un solo rollout.

Contribuciones Clave

1. Mecanismo de Estabilización: Introducción de una estrategia de muestreo de importancia a nivel de token, simplificada pero agresiva (DIS), que elimina la necesidad de rastrear la historia de la política mientras impone un estricto recorte de doble lado para mantener la estabilidad del entrenamiento.
2. Paradigma de Un Solo Rollout: Un cambio del muestreo por grupos al de un solo rollout para eliminar las barreras de sincronización en el RL asíncrono, junto con diseños específicos de entrenamiento del modelo de valor (actualizaciones más rápidas, atención congelada) para gestionar la varianza resultante.
3. Estimador Específico para Agentes: Derivación de un estimador GAE a nivel de token de Salto de Observación que maneja correctamente la discontinuidad entre las acciones generadas por el modelo y la retroalimentación del entorno en trayectorias de múltiples turnos de agentes.
4. Validación Empírica: Demostración de que SAO puede entrenar de manera estable durante más de 1,000 pasos, superando a GRPO y sus variantes en diversos benchmarks.

Resultados Experimentales

SAO fue evaluado en benchmarks de razonamiento matemático y de codificación agéntica, incluyendo SWE-Bench Verified, AIME2025, BeyondAIME, HMMT Nov 2025 e IMOAnswerBench.

• Desempeño: SAO superó consistentemente a la línea base (Qwen3-30B-A3B SFT) y a las variantes de GRPO en todos los benchmarks.
  • En AIME2025, SAO alcanzó una precisión del 97.3% en comparación con el 84.2% de GRPO (con python) y el 80.4% de la línea base SFT.
  • En SWE-Bench Verified, SAO alcanzó un 29.8% de precisión, superando a GRPO (27.0%) y a la línea base (23.0%).
• Estabilidad: Mientras que el GRPO estándar sufrió un colapso de rendimiento alrededor de los 160 pasos de entrenamiento, SAO mantuvo un desempeño estable y continuó mejorando hasta los 1,000 pasos.
• Estudios de Ablación: Eliminar componentes como las "Actualizaciones de Valor Más Rápidas" o la "Atención Congelada" resultó en una degradación del desempeño, confirmando la necesidad de estas elecciones de diseño.
• Aprendizaje Online: En un entorno simulado de aprendizaje online con preferencias de recompensa cambiantes (estilos de escritura), SAO demostró un rápido realineamiento de la política, mientras que una línea base de Media Corriente (Running Mean) exhibió un retraso de adaptación significativo.

Significado y Reivindicaciones

El artículo afirma que SAO aborda con éxito el compromiso entre eficiencia y estabilidad en el RL asíncrono para LLMs. Al alejarse del muestreo por grupos inherente a GRPO, SAO permite un entrenamiento asíncrono real donde los rollouts se consumen inmediatamente tras su llegada, eliminando los efectos de los rezagados.

Los autores sostienen que su enfoque es particularmente efectivo para tareas agénticas y escenarios de aprendizaje online donde la retroalimentación de trayectoria única es la norma. El despliegue exitoso de SAO en el pipeline de entrenamiento del modelo abierto GLM-5.2 (750B-A40B) sirve como una validación práctica de la escalabilidad y robustez del método en entornos reales de gran escala. El trabajo sugiere que, con un diseño adecuado del modelo de valor y corrección off-policy, el RL asíncrono puede ser una alternativa estable y superior a los métodos de lotes sincrónicos para tareas de razonamiento de largo horizonte y complejas.