🤖 AI

SRPO: Setwise Relative Policy Optimization for Multi-Agent LLMs

El artículo presenta SRPO (Optimización de Política Relativa por Conjuntos), un nuevo marco de aprendizaje por refuerzo para LLMs multi-agente que unifica la división del trabajo y la coevolución conjunta al tratar el conjunto mínimo de salidas consumidas en una sola transición de estado como una acción unificada, permitiendo así un entrenamiento estable y efectivo a través de diversos flujos de trabajo y escalas de modelos.

Autores originales: Shengtian Yang, Ziyu Xiong, Yu Li, Yewen Li, Qingpeng Cai, Lei Feng

Publicado 2026-09-09✓ Author reviewed ⓘ

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shengtian Yang, Ziyu Xiong, Yu Li, Yewen Li, Qingpeng Cai, Lei Feng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los modelos de lenguaje extensos han aprendido a actuar como agentes, capaces de razonar, buscar información y utilizar herramientas para resolver problemas complejos. Cuando estos modelos trabajan solos, siguen un único camino de pensamiento. Sin embargo, para abordar desafíos más difíciles, los investigadores suelen desplegar múltiples agentes que colaboran, de forma muy parecida a un equipo de especialistas. A veces, estos equipos dividen una tarea de modo que cada miembro se encarga de un rol específico, mientras que en otras ocasiones generan varias ideas diferentes simultáneamente para refinar una solución juntos. La dificultad central al entrenar tales equipos ha sido determinar cómo recompensarlos. Los métodos tradicionales suelen tratar la salida de cada agente como un evento separado, incluso cuando varios agentes trabajan juntos para producir un único resultado. Esto crea un desajuste: el sistema aprende de piezas individuales del rompecabezas en lugar de la imagen completa que forman juntas, lo que dificulta el entrenamiento de equipos que alternan entre trabajar solos y trabajar conjuntamente.

Un equipo de investigadores ha abordado este desajuste proponiendo un nuevo método de entrenamiento llamado Optimización de Política Relativa por Conjuntos, o SRPO (por sus siglas en inglés). En lugar de observar las respuestas individuales, este enfoque trata a todo el grupo de salidas que provocan un cambio en el entorno como una única unidad de acción. Imagine a un equipo de exploradores llegando a una bifurcación en el camino; ya sea que una persona elija un camino, o que todo el grupo debata y luego elija una ruta juntos, la decisión que los hace avanzar es el resultado colectivo. Los investigadores descubrieron que, al agrupar estas salidas en lo que llaman un "conjunto activo", podían entrenar al sistema para comprender que el esfuerzo conjunto del equipo es la verdadera acción. Este método permite que las mismas reglas de entrenamiento se apljen ya sea que el equipo esté trabajando en una estricta división del trabajo, donde una persona hace una cosa, o en un modo de coevolución conjunta, donde varias personas contribuyen a una idea compartida al mismo tiempo.

Los investigadores probaron esta idea en dos tipos de tareas muy diferentes: resolver problemas matemáticos difíciles y realizar búsquedas de varios turnos para encontrar hechos específicos. En los experimentos matemáticos, el sistema tenía que generar soluciones candidatas y luego verificarlas, un proceso que a veces requería que un agente resolviera y otro comprobara, y otras veces requería que varios agentes propusieran diferentes derivaciones a la vez. En los experimentos de búsqueda, el sistema tenía que decidir cuándo pedir más información, con múltiples agentes potencialmente emitiendo consultas de búsqueda simultáneamente antes de que un agregador combinara los resultados. A través de cuatro tamaños diferentes de modelos de lenguaje, el nuevo método superó consistentemente a los enfoques existentes. En los parámetros matemáticos, el sistema logró un promedio de precisión donde aproximadamente el 61 o 62 por ciento de sus soluciones generadas eran correctas, y encontró al menos una respuesta correcta para alrededor del 78 por ciento de los problemas. En las tareas de búsqueda, la mejora fue aún más pronunciada, con el nuevo método encontrando respuestas correctas para más del 60 por ciento de las consultas en promedio, un salto significativo respecto a los métodos anteriores.

Una parte clave del descubrimiento fue comprender cómo equilibrar las contribuciones de múltiples agentes. Si el sistema simplemente sumara los cambios realizados por cada agente, un equipo más grande parecería tener un impacto mucho mayor que uno más pequeño, simplemente porque hay más voces. Los investigadores resolvieron esto normalizando la contribución del grupo, asegurando que un equipo de cinco agentes no fuera penalizado injustamente frente a un solo agente solo por su tamaño. También demostraron que el sistema podía aprender a cambiar entre estos modos dinámicamente. En algunos casos, el sistema aprendió que un único agente especializado era la mejor opción, mientras que en otros, activaba a un pequeño grupo de agentes para trabajar juntos. Esta flexibilidad significó que el proceso de entrenamiento no necesitaba ser reescrito para diferentes estructuras de equipo; la misma lógica subyacente manejaba ambos escenarios sin problemas.

El estudio también examinó de cerca el costo de estas mejoras. Los investigadores se aseguraron de que los mejores resultados no se debieran simplemente a que el nuevo método estuviera generando más texto o utilizando más potencia de cómputo. Midieron el número de tokens generados y el número de llamadas a herramientas, encontrando que las mejoras provenían de una mejor coordinación en lugar de la fuerza bruta. De hecho, el proceso de entrenamiento a menudo condujo a respuestas más cortas y eficientes con el tiempo. Los investigadores señalaron que, si bien los resultados fueron sólidos, se basaron en parámetros específicos y comparaciones con otros métodos publicados, y que el trabajo futuro necesitará explorar cómo estos avances se mantienen en despliegues reales a largo plazo. No obstante, el hallazgo central se mantiene: al definir la salida colectiva del equipo como la unidad fundamental de acción, es posible entrenar sistemas multiagente que son más estables, eficientes y efectivos para resolver problemas complejos, independientemente de si trabajan solos o juntos.

Resumen Técnico: SRPO para Multi-Agent LLMs

Declaración del Problema
Los sistemas multi-agente (MAS) que utilizan Modelos de Lenguaje de Gran Escala (LLMs) resuelven tareas complejas mediante la colaboración, típicamente a través de la división del trabajo (roles especializados) o la coevolución conjunta (generación simultánea de propuestas). Si bien el Aprendizaje por Refuerzo (RL) ofrece un camino para la optimización de extremo a extremo de estos sistemas, los métodos existentes sufren un desajuste fundamental entre la unidad de actualización y la acción del sistema.

Los enfoques actuales de MAS-RL definen la unidad de optimización basándose en flujos de trabajo de colaboración específicos (por ejemplo, por agente, por turno o por grupo). En consecuencia, el optimizador trata la acción como una respuesta única o una trayectoria fija, incluso cuando múltiples salidas causan conjuntamente una única transición de estado en el entorno. Esto genera inconsistencias: la misma decisión ambiental puede recibir actualizaciones diferentes dependiendo del número o el orden de los agentes contribuyentes. Existe una falta de una formulación unificada e independiente del flujo de trabajo que pueda manejar flujos de trabajo multi-agente fijos, mixtos y con enrutamiento dinámico bajo una única regla de optimización.

Metodología: Optimización de Política Relativa por Conjuntos (SRPO)
Los autores proponen SRPO, un marco de optimización de políticas que redefine la acción multi-agente como el conjunto activo.

Definición del Conjunto Activo:
El conjunto activo ( $S_e$ ) se define como el conjunto mínimo de salidas recién muestreadas consumidas por el entorno para producir una única transición de estado.
- Si $|S_e| = 1$ , representa la división del trabajo (una acción de un solo elemento).
- Si $|S_e| > 1$ , representa la coevolución conjunta (una acción de múltiples miembros).
- Esta definición es independiente de la identidad del agente, el orden de ejecución o el diseño de la orquestación.
Formulación del Objetivo por Conjuntos:
SRPO modifica la Optimización de Política Relativa estándar (por ejemplo, PPO/GRPO) para operar a nivel de conjunto en lugar de a nivel de token o de respuesta única:
- Log-Ratio Normalizado por Cardinalidad: En lugar de recortar (clipping) las proporciones individuales, SRPO agrega los log-ratios de todos los miembros en el conjunto activo. Calcula un log-ratio de conjunto normalizado ( $L^{set}_e$ ) sumando los log-ratios de los miembros y escalando por $1/\sqrt{K_e}$ (donde $K_e$ es la cardinalidad del conjunto). Esto evita que la escala de actualización crezca proporcionalmente con el número de agentes.
- Asignación de Ventaja Única: Se asigna una única ventaja relativa ( $\hat{A}_e$ ) a todo el evento basada en el retorno del equipo, compartida por todos los miembros del conjunto activo.
- Recorte por Conjuntos (Setwise Clipping): La optimización aplica una restricción de recorte única a toda la proporción del conjunto ( $\rho^{SRPO}_e$ ) basada en la ventaja del evento, en lugar de recortar cada miembro de forma independiente.
Implementación:
El marco trata al conjunto activo como la unidad proximal para la optimización. La generación de rollouts, el diseño de recompensas y la estimación de la ventaja siguen siendo intercambiables con sistemas existentes. El sistema requiere un "loteo atómico de eventos" (event-atomic batching), asegurando que todas las filas pertenecientes a un evento de decisión permanezcan en el mismo mini-lote para mantener la integridad de la proporción del conjunto.

Contribuciones Clave

Acción MAS Independiente del Flujo de Trabajo: El artículo introduce el "conjunto activo" como una representación de acción unificada que abarca la división del trabajo, la coevolución conjunta y sus mezclas dentro de un único proceso de decisión.
Objetivo Simple por Conjuntos: SRPO proporciona una actualización relativa normalizada por cardinalidad que trata al conjunto activo como la acción de la política. Recupera la optimización ordinaria a nivel de respuesta cuando el tamaño del conjunto es uno.
Interfaz de Entrenamiento General: Los autores demuestran una interfaz práctica que soporta flujos de trabajo fijos, mixtos y con enrutamiento dinámico a través de cuatro escalas de modelos. Proporcionan diagnósticos para la escala del gradiente, la longitud de la respuesta, la cardinalidad del conjunto y la completitud del evento.

Resultados Experimentales
Los autores evaluaron SRPO en Razonamiento Matemático (usando Qwen3-4B/8B) y Búsqueda de Multi-turno (usando Qwen2.5-3B/7B).

Razonamiento Matemático: SRPO logró los mejores resultados de promedio macro (Avg@16 y Pass@16) a través de seis benchmarks (incluyendo AIME, AMC, MATH500) en comparación con GRPO de un solo agente y las líneas base de MAS existentes (Dr. MAS). Para Qwen3-4B, SRPO alcanzó un Avg@16 de 61.3% y un Pass@16 de 77.9%, superando a la línea base más fuerte por 0.2 puntos.
Búsqueda de Multi-Turn: SRPO mostró mejoras significativas, particularmente en el modelo 3B, donde mejoró el promedio macro en 3.2 puntos en Avg@16 y 3.1 puntos en Pass@16 respecto a la mejor línea base.
Estudios de Ablación:
- Cardinalidad: Las acciones de búsqueda conjunta (tamaño de conjunto 5) con SRPO superaron a las acciones de un solo elemento (tamaño de conjunto 1) bajo la normalización de raíz cuadrada.
- Normalización: La propuesta de escalado $1/\sqrt{K}$ (SRPO) superó tanto a las sumas no normalizadas como al promedio simple ( $1/K$ ), confirmando la necesidad de la normalización por cardinalidad para una optimización estable.
Dinámica de Entrenamiento: Los diagnósticos mostraron que SRPO mantiene gradientes estables y maneja eficazmente tamaños de conjuntos activos variables, incluyendo escenarios de router adaptativo donde el tamaño promedio del conjunto no era un entero (1.638).

Significancia y Reivindicaciones
El artículo afirma que SRPO llena un vacío crítico en el RL multi-agente al proporcionar una unidad de optimización común para diversos paradigmas de colaboración. Al definir la acción como el conjunto de salidas consumidas por una transición, SRPO unifica la división del trabajo y la coevolución conjunta, permitiendo que una única interfaz de entrenamiento maneje flujos de trabajo fijos, mixtos y dinámicos.

Los autores enfatizan que el principio central es que "las salidas que cambian el entorno juntas deben optimizarse juntas". Si bien los resultados muestran mejoras en los promedios macro y estabilidad, el artículo se mantiene modesto respecto a la eficiencia de costos, señalando que el análisis de costos actual se basa en proxies del lado de la salida (conteos de tokens) en lugar de tiempo de GPU de extremo a extremo o latencia de herramientas. El trabajo establece un marco fundacional para escalar sistemas de LLM multi-agente sin requerir reglas de optimización distintas para diferentes estrategias de orquestación.

Resumen Técnico: SRPO para Multi-Agent LLMs

Más como este