Resumen Técnico: UnityMAS-O

Declaración del Problema

Los sistemas actuales de agentes múltiples basados en Modelos de Lenguaje Grande (LLM) suelen descomponer tareas complejas en roles interactivos (por ejemplo, planificadores, recuperadores, programadores), pero dependen de flujos de trabajo orquestados manualmente definidos mediante prompts, herramientas y reglas de control. Si bien estos sistemas son efectivos en la inferencia, los propios agentes rara vez se optimizan mediante una interfaz unificada de aprendizaje por refuerzo (RL). Los marcos existentes de post-entrenamiento por RL (por ejemplo, TRL, OpenRLHF, verl) se dirigen principalmente a la optimización de una sola política. Carecen de las abstracciones necesarias para optimizar sistemas de agentes múltiples definidos por el usuario que requieren interacción estructurada, asignación de crédito específica por rol y compartición de parámetros configurable. En consecuencia, el entrenamiento de pipelines de agentes múltiples a menudo da lugar a implementaciones específicas de tareas que no pueden comparar fácilmente diferentes regímenes de compartición de parámetros ni reutilizar la infraestructura entre flujos de trabajo.

Metodología: UnityMAS-O

UnityMAS-O es un marco general de optimización por RL diseñado para tratar un flujo de trabajo completo de agentes múltiples como la unidad de optimización, en lugar de una sola respuesta o trayectoria de política. Construido extendiendo el marco verl con un tiempo de ejecución de topología estelar basado en Ray, introduce cuatro abstracciones de primera clase para desacoplar el diseño lógico del agente de los parámetros físicos del modelo:

1. Roles Lógicos de Agente: Los usuarios definen roles (por ejemplo, planificador, verificador) con prompts específicos, esquemas de E/S y acceso a herramientas. Estos son objetos a nivel de flujo de trabajo, no vinculados a conjuntos de parámetros únicos.
2. Mapeos Agente–Modelo ($\phi$): Un mapeo configurable de roles lógicos a instancias físicas de LLM. Esto soporta tres regímenes:
   • Compartición Total: Todos los roles se mapean a un único modelo.
   • Separación Total: Cada rol se mapea a un modelo independiente.
   • Compartición Parcial: Grupos de roles relacionados comparten parámetros mientras que otros utilizan modelos distintos.
3. Grafos de Flujo de Trabajo ($G$): Grafos de computación dirigidos que representan el flujo de ejecución (secuencial, paralelo, iterativo o híbrido). La ejecución produce trayectorias estructuradas que contienen estados, acciones y dependencias de control.
4. Funciones de Recompensa Específicas por Rol: Las recompensas se definen a nivel de nodo, turno y trayectoria. El marco soporta recompensas diferidas y señales de mejora marginal (por ejemplo, $\Delta$F1 o $\Delta$puntuación), asignando crédito a los agentes específicos responsables de estados intermedios o resultados finales.

Arquitectura del Sistema:
El sistema emplea un controlador central y grupos de trabajadores locales al modelo.

• Controlador Central: Ejecuta el flujo de trabajo definido por el usuario, enruta las invocaciones de agentes lógicos al grupo de trabajadores apropiado basado en $\phi$, registra trayectorias estructuradas y ensambla recompensas.
• Grupos de Trabajadores: Asociados con instancias físicas específicas de LLM, estos grupos manejan la inferencia asíncrona, almacenan en búfer tensores de despliegue (probabilidades de registro, valores), calculan ventajas y realizan actualizaciones de política distribuidas al estilo PPO.
• Separación de Datos: Los metadatos de control del flujo de trabajo permanecen "delgados" y centrales, mientras que los tensores pesados de entrenamiento permanecen "gruesos" y locales a los grupos de trabajadores, minimizando la sobrecarga de comunicación.

Contribuciones Clave

El artículo presenta las siguientes contribuciones:

• Abstracción Unificada: Un marco que representa conjuntamente grafos de flujo de trabajo definidos por el usuario, roles lógicos de agente, mapeos de agente a modelo y trayectorias estructuradas de agentes múltiples.
• Compartición de Parámetros Configurable: Soporte nativo para compartición total, separación total y compartición parcial, permitiendo el estudio controlado de la especialización, el costo de recursos y el comportamiento de optimización sin reescribir el pipeline de entrenamiento.
• Tiempo de Ejecución Distribuido: Una arquitectura basada en Ray + verl que cuenta con control central del flujo de trabajo, despliegue asíncrono, almacenamiento en búfer local al modelo y actualizaciones de política por modelo.
• Interfaz de Optimización General: Una interfaz que permite a los usuarios definir flujos de trabajo, agentes, mapeos de modelos y recompensas para sistemas diversos sin modificar la infraestructura de optimización subyacente.
• Implementación de Código Abierto: Lanzamiento del marco en https://github.com/chenyiqun/UnityMAS-O.

Resultados Experimentales

Los autores instan a UnityMAS-O en dos familias de tareas verificables: Respuesta a Preguntas (QA) aumentada por recuperación y generación de código reflexiva.

QA y Búsqueda Agéntica:
Se realizaron experimentos en Natural Questions (NQ) y HotpotQA utilizando flujos de trabajo que van desde la recuperación paralela hasta bucles de búsqueda iterativa (M-ASK).

• Mejoras de Rendimiento: El entrenamiento de RL de agentes múltiples (MARL) mejoró el rendimiento en todos los flujos de trabajo evaluados y escalas de modelos (de 0.5B a 14B).
• Impacto en Modelos Pequeños: Las ganancias fueron particularmente pronunciadas para modelos más pequeños (por ejemplo, los agentes de 0.5B mejoraron de ~0.02 a ~0.44 F1 en NQ), lo que sugiere que MARL ayuda a los agentes especializados en roles a cumplir con los protocolos del flujo de trabajo y coordinarse efectivamente.
• Compartición de Parámetros: Los experimentos que comparan modelos compartidos frente a independientes (por ejemplo, 3B compartido frente a 4x3B independientes) mostraron que los modelos compartidos convergen ligeramente más lento pero alcanzan niveles de rendimiento final similares, demostrando la viabilidad de entrenar flujos de trabajo lógicos de agentes múltiples con parámetros físicos compartidos.

Generación de Código Reflexiva:
Se probó un flujo de trabajo de tres rondas planificar–codificar–verificar–reflexionar en tareas de código retenidas.

• Métricas Estrictas: Bajo la métrica estricta "todos aprobados", el flujo de trabajo 3xQwen3-4B mejoró de 0.255 a 0.686, y el 3xQwen3-8B de 0.290 a 0.738.
• Eficiencia: El entrenamiento de MARL redujo el número promedio de vueltas de verificación requeridas para resolver un problema (de ~2.5 a ~1.7), lo que indica un comportamiento de parada interna mejorado y una mayor eficiencia de ejecución.

Significado y Afirmaciones

El artículo afirma que el principal cuello de botella en muchos sistemas de agentes múltiples basados en LLM no es el diseño del flujo de trabajo en sí, sino la falta de una interfaz de optimización principista para el flujo de trabajo después del diseño. UnityMAS-O aborda esto convirtiendo sistemas de agentes múltiples especificados manualmente en políticas de agentes múltiples entrenables.

Los autores posicionan a UnityMAS-O como un sustrato de optimización reutilizable que permite:

1. Optimización Sistemática: Convertir flujos de trabajo diversos en sistemas de RL entrenables con asignación de crédito explícita.
2. Flexibilidad: Estudiar las compensaciones entre la especialización y la eficiencia de recursos mediante la compartición de parámetros configurable.
3. Eficiencia: Mejorar no solo la corrección final, sino también la coordinación y la eficiencia de ejecución de las interacciones de agentes múltiples.

El trabajo se presenta como un sustrato de sistemas práctico para entrenar sistemas complejos de agentes múltiples y como una plataforma para estudiar la coordinación, la especialización y la escalabilidad en dichos sistemas, en lugar de una herramienta de evaluación comparativa para tareas específicas. Los autores señalan que se están llevando a cabo experimentos en curso en agentes encarnados e ingeniería de software para validar aún más la generalidad del marco.