🤖 AI

SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL

SPO++ mejora la eficiencia del aprendizaje en línea del aprendizaje por refuerzo agéntico asíncrono mediante la corrección del desajuste entre el centrado de la ventaja a nivel de trayectoria y la optimización del actor ponderada por tokens a través de la normalización de la medida de acción-token y la organización de evidencia alineada con eventos.

Autores originales: Kai Ruan, Jinghao Lin, Qianshan Wei, Ziqi Zhou, Zihe Huang

Publicado 2026-08-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kai Ruan, Jinghao Lin, Qianshan Wei, Ziqi Zhou, Zihe Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el campo de la inteligencia artificial, que evoluciona rápidamente, los investigadores están enseñando a los programas informáticos a resolver problemas complejos permitiéndoles intentar, fallar y aprender de los resultados. Este proceso, conocido como aprendizaje por refuerzo, es particularmente útil para entrenar grandes modelos de lenguaje para que actúen como agentes que pueden usar herramientas, navegar por entornos virtuales o resolver problemas matemáticos. Un desafío central en este trabajo es cómo medir el éxito cuando el camino hacia una respuesta es largo e impredecible. Los métodos tradicionales a menudo requieren que el sistema genere muchos intentos diferentes del mismo problema simultáneamente, esperando a que cada uno termine antes de poder aprender de los resultados. Esto crea un cuello de botella: si un intento tarda mucho tiempo en completarse porque se queda atascado o intenta muchas herramientas, todo el proceso de aprendizaje se detiene, esperando a que ese intento más lento se ponga al día.

Para resolver esta ineficiencia, se desarrolló un enfoque más nuevo llamado Optimización de Política de Flujo Único (Single-stream Policy Optimization). En lugar de esperar a un grupo de intentos, este método permite que el sistema aprenda de un intento a la vez, utilizando una memoria persistente de éxitos y fracasos pasados para guiar decisiones futuras. Sin embargo, un equipo de investigadores liderado por Kai Ruan y Jinghao Lin descubrió que, si bien este método eliminó el tiempo de espera, introdujo un desajuste sutil pero significativo en la forma en que la computadora calculaba su progreso. Encontraron que la forma en que el sistema promediaba sus recompensas no se alineaba con la forma en que realmente procesaba los pasos de una solución. Al corregir esta alineación, crearon una versión mejorada del método, que llamaron SPO++, que permite que la inteligencia artificial aprenda de manera significativamente más rápida y eficiente.

El núcleo del problema radicaba en cómo la computadora manejaba la longitud de sus respuestas. En el método original, el sistema calculaba una única puntuación para todo un intento, como si un robot lograra limpiar una habitación o un resolvedor de matemáticas encontrara la respuesta correcta. Luego, distribuía esta única puntuación a través de cada palabra o "token" que el modelo generaba durante ese intento. Esto parecía lógico, pero creaba una distorsión. Si un intento era muy largo y otro era corto, el intento largo diluía su puntuación entre muchas palabras, mientras que el intento corto concentraba su puntuación en pocas palabras. Cuando el sistema intentaba aprender de estas puntuaciones, la longitud de la respuesta cambiaba silenciosamente el centro de gravedad del aprendizaje, haciendo que el modelo optimizara las cosas equivocadas. Era como si el sistema estuviera tratando de equilibrar una balanza, pero los pesos en la balanza se desplazaran dependiendo de cuántos artículos se colocaran en ella, en lugar de depender del valor de los propios artículos.

Los investigadores identificaron dos áreas específicas donde ocurría este desalineamiento. Primero, el sistema estaba rastreando cuándo recibía los resultados de un intento en lugar de cuándo se generaba realmente el intento. En un sistema asíncrono donde las tareas se envían y se completan a diferentes velocidades, el orden en que llegan los resultados es a menudo aleatorio y depende de la velocidad de la red o de la carga de la computadora. El método original utilizaba este orden de llegada para actualizar su memoria, lo que significaba que la señal de aprendizaje estaba influenciada por la temporización del sistema informático en lugar de la lógica de la tarea en sí. Segundo, y más críticamente, el método de promediar las puntuaciones no tenía en cuenta el hecho de que el modelo aprende de cada palabra que genera, no solo del resultado final. Los investigadores se dieron cuenta de que, para arreglar el proceso de aprendizaje, necesitaban estandarizar las puntuaciones basadas en el número de palabras de acción generadas, asegurando que la señal de recompensa coincidiera con el volumen real de trabajo que el modelo estaba realizando.

Para abordar estos problemas, el equipo introdujo SPO++, que realiza dos cambios clave en el proceso de aprendizaje. Primero, reorganizaron el sistema de memoria para rastrear el "evento de política" (policy event), que es el momento específico en que se envió una solicitud, en lugar de cuando regresó el resultado. Esto asegura que la memoria del sistema sobre los éxitos pasados esté ligada al estado del modelo en el momento en que se creó la tarea, haciendo que la señal de aprendizaje sea consistente independientemente de cuánto tiempo tardó en terminar la tarea. Segundo, cambiaron la forma en que se promedian las puntuaciones. En lugar de tratar cada intento como una unidad única, el nuevo método calcula la puntuación promedio basada en el número total de palabras de acción generadas en todos los intentos. Esto asegura que la señal de aprendizaje esté perfectamente alineada con la forma en que el modelo actualiza sus conocimientos, palabra por palabra.

Los resultados de estos cambios fueron probados en dos tipos diferentes de tareas: un conjunto de 128 tareas domésticas simuladas donde un agente debe mover objetos a ubicaciones específicas, y un conjunto de datos de 1,500 problemas matemáticos que requieren el uso de una calculadora Python. Los investigadores realizaron experimentos utilizando dos tamaños diferentes de modelos de lenguaje, uno con 0.8 mil millones de parámetros y otro con 2 mil millones de parámetros. En cada una de las pruebas, el nuevo método, SPO++, aprendió más rápido que el enfoque original. En la tarea de las tareas domésticas, la mejora fue sustancial, con el nuevo método logrando una recompensa total significativamente mayor a lo largo del entrenamiento. En los problemas matemáticos, las ganancias fueron menores pero constantes, mostrando que el modelo alcanzaba un nivel de rendimiento más alto con mayor rapidez. Los investigadores encontraron que la parte más poderosa del nuevo método fue el cambio en la forma en que se promediaban las puntuaciones, lo cual, por sí solo, representó la mayor parte de la mejora.

Estos hallazgos sugieren que, en el complejo mundo del entrenamiento de agentes de inteligencia artificial, los detalles de cómo se procesan los datos pueden ser tan importantes como los datos mismos. Al asegurar que la forma en que un sistema mide su progreso coincida con la forma en que realmente aprende, los investigadores pueden desbloquear ganancias significativas de eficiencia sin necesidad de más potencia de cómputo o modelos más grandes. El trabajo demuestra que incluso los pequeños desalineamientos en el proceso de aprendizaje pueden frenar el progreso, y que corregir estos desajustes permite que el sistema se concentre su energía en resolver el problema en lugar de compensar una medición defectuosa. A medida que la inteligencia artificial continúa abordando tareas más difíciles y variadas, métodos como SPO++ ofrecen un camino más claro, asegurando que cada paso que da el modelo se mida con precisión y contribuya efectivamente a su crecimiento.

Resumen Técnico: SPO++: Optimización de Política Alineada con el Flujo para RL Agéntico Asíncrono

Planteamiento del Problema
El Aprendizaje por Refuerzo (RL) para agentes de modelos de lenguaje suele depender de la Optimización de Política Relativa al Grupo (GRPO), que estima las ventajas comparando múltiples salidas para un único prompt. Aunque es efectivo, GRPO requiere esperar a que terminen todas las ejecuciones ("rollouts") de los "hermanos" antes de actualizar, lo que crea un cuello de botella para las trayectorias de uso de herramientas de longitud variable y larga duración, donde los tiempos de finalización varían significamente. La Optimización de Política de Flujo Único (SPO) aborda esto eliminando la dependencia de grupo, utilizando una estimación de valor a nivel de prompt persistente para permitir actualizaciones asíncronas de un solo rollout por prompt.

Sin embargo, los autores identifican dos desajustes de consistencia críticos en la receta original de SPO que degradan la eficiencia de la optimización:

Desalineación Temporal: SPO rastrea la evidencia del prompt basándose en el orden de recepción de los resultados por parte del learner en lugar de en el evento de la política (policy event o instantánea) que los generó. En sistemas asíncronos, esto vincula la línea base (baseline) al tiempo del sistema en lugar de al estado de la política.
Desajuste de Medida: La receta original de SPO blanquea las ventajas a nivel de trayectoria (centrándolas a través de las trayectorias) y luego transmite el escalar resultante a todos los tokens en una trayectoria. Cuando la pérdida del actor se promedia sobre los tokens, esto crea un desajuste: si la longitud de la trayectoria se correlaciona con la ventaja, la media ponderada por tokens que ve el optimizador no está centrada, sesgando silenciosamente la actualización.

Metodología: SPO++
SPO++ mantiene la arquitectura central de SPO (dependencia de un solo rollout y dependencia de resultados terminales), pero introduce dos modificaciones específicas para alinear la línea base persistente y la normalización de la ventaja con la medida de optimización del actor.

Memoria de Prompt en Tiempo de Evento:
En lugar de actualizar la línea base del prompt basándose en cuándo el learner recibe un resultado, SPO++ congela el valor del prompt en el momento en que se realiza la solicitud (dispatch). La línea base se asocia con la instantánea específica de la política (coordenada de evento $z$ ) utilizada para generar la solicitud. Cuando regresa un resultado, este se adjunta a ese evento de política específico. La acumulación de evidencia (conteos de éxito/fallo) se decae basándose en la distancia en los eventos de la política ( $z_q - z_i$ ) en lugar del tiempo de reloj o el orden de recepción. Esto asegura que la estimación de la línea base sea invariante al orden en que llegan los resultados asíncronos, siempre que el historial visible esté fijo.
Normalización de Acción-Token-Medida:
Los autores reemplazan el estándar blanqueo por trayectoria (Ecuación 4 en el artículo) con un esquema de normalización que respeta la naturaleza ponderada por tokens del actor.

SPO Original: Calcula la media y la varianza a través de las trayectorias ( $\mu_{traj}, \sigma_{traj}$ ) y normaliza $A_i$ . Esto resulta en una media distinta de cero cuando se promedia sobre los tokens si la longitud de la trayectoria ( $L_i$ ) y la ventaja ( $A_i$ ) co-varían.
SPO++: Calcula la media y la varianza ponderadas por el número de tokens de acción válidos ( $L_i$ ) en cada trayectoria (Ecuación 6). La ventaja normalizada $\tilde{A}^{tok}_i$ se construye de tal manera que la suma ponderada por tokens $\sum L_i \tilde{A}^{tok}_i$ es exactamente cero. Esto preserva la granularidad de crédito a nivel de trayectoria mientras asegura que el escalar de la ventaja esté correctamente centrado para la función de pérdida de media de tokens.

Contribuciones Clave

Identificación del Desajuste de Medida: El artículo demuestra que el blanqueo de ventajas de trayectoria seguido de una pérdida de actor de media de tokens crea un sesgo sistemático cuando la longitud de la respuesta y la ventaja co-varían.
Normalización de Acción-Token-Medida: Una nueva técnica de normalización que estandariza las ventajas bajo la misma medida de acción-token consumida por la pérdida, preservando la granularidad de recompensa y crédito mientras elimina el desajuste de centrado.
Rastreador de Prompt en Tiempo de Evento: Una formulación para el rastreo de evidencia de prompt que es invariante al orden de recepción, anclando la línea base al evento de la política que generó la trayectoria en lugar del tiempo de recepción del learner.
Validación Empírica: Evaluación en dos escalas de modelo (0.8B y 2B) en ALFWorld y en Math-TIR, mostrando mejoras consistentes en la eficiencia del aprendizaje en línea.

Resultados
Los autores evaluaron SPO++ frente a SPO utilizando ejecuciones independientes emparejadas con los mismos checkpoints, prompts e hiperparámetros (excepto por los componentes específicos de la receta que se prueban).

ALFWorld: SPO++ mostró mejoras significativas en el área de la curva de recompensa normalizada (AUC). Para el modelo de 0.8B, el área aumentó en +19.00 puntos porcentuales, y para el de 2B, en +15.92 puntos porcentales. Las métricas de recompensa final también mejoraron.
Math-TIR: SPO++ logró una ganancia menor pero positiva de +2.50 puntos porcentuales en AUC y +5.03 puntos porcentales en la recompensa final.
Estudio de Ablación: Una ablación específica que aisló la medida de normalización (manteniendo otros factores constantes) reveló que la normalización de acción-token-medida contribuyó por sí sola con +10.70 puntos porcentuales al compuesto de aprendizaje en la tarea de ALFWorld de 0.8B, identificándola como el componente más fuerte de la mejora.
Diagnóstico de Optimización: SPO++ exhibió una divergencia KL de PPO y fracciones de recorte (clip fractions) más bajas en comparación con SPO ante gradientes de magnitud comparable, lo que sugiere una dinámica de optimización más estable.

Significancia y Reivindicaciones
El artículo afirma que SPO++ mejora la eficiencia del aprendizaje en línea al resolver inconsistencias fundamentales entre la estimación de la línea base persistente y la medida de pérdida del actor en el RL agéntico asíncrono. Los autores enfatizan que el RL de flujo único acopla la reducción de dependencia con estadísticas persistentes; para que estas sean efectivas, las estadísticas deben alinearse tanto con el "reloj de la política" (tiempo de evento) como con la "medcura del actor" (pérdida ponderada por tokens).

El trabajo es modesto en su alcance, señalando que los experimentos se realizaron con modelos Qwen3.5 pequeños con presupuestos de entrenamiento limitados. Los autores reconocen que la comparación de extremo a extremo cambia varias variables (seguimiento de eventos, retención, Dual-Clip) simultáneamente, aunque el estudio de ablación aísla el componente de normalización. Concluyen que, si bien SPO++ ofrece una receta robusta para la ejecución asíncrona, es necesario realizar trabajos futuros para extender estos hallazgos a horizontes más largos y tareas fuera de la distribución (out-of-distribution). La contribución principal es una corrección metodológica que permite que el RL de flujo único escale más eficientemente sin requerir un crítico o rollouts basados en grupos.

Más como este