Resumen Técnico: Evaluación Comparativa de la Coordinación Multiaente de Código Abierto en Agentes de Lenguaje

Planteamiento del Problema

A medida que los Modelos de Lenguaje Extensos (LLMs) se despliegan cada vez más como agentes autónomos, deben operar en entornos multiagente donde el éxito depende de la coordinación con otros a lo largo de horizontes extensos. Sin embargo, las evaluaciones existentes rara vez prueban estas demandas de forma simultánea. Los benchmarks actuales suelen centrarse en tareas de un solo agente, interacciones cortas o entornos multiagente altamente estructurados (por ejemplo, roles fijos, objetivos preespecificados). Existe una falta de evaluaciones que combinen interacción de largo horizonte, estructuras de tareas de código abierto y demandas de coordinación explícitas y generadas procedimentalmente. En consecuencia, los mecanismos requeridos para una coordinación multiagente sostenida —como comunicar la intención, asignar roles, mantener planes compartidos y alinear acciones a lo largo del tiempo— siguen estando insuficientemente comprendidos.

Metodología: El Benchmark ALEM

Para abordar estas brechas, los autores presentan ALEM (Alem significa "mundo" en amhárico), un benchmark basado en JAX para la coordinación multiagente de código abierto construido sobre la dinámica de tipo Craftax.

Diseño del Entorno

ALEM es un juego estocástico parcialmente observable (POSG) que presenta entornos generados procedimentalmente donde los agentes exploran, comercian, fabrican, construyen y luchan. El benchmark se distingue por cuatro ejes clave:

1. Generación Procedimental de Coordinación: A diferencia del trabajo previo donde los requisitos de coordinación son fijos, ALEM genera procedimentalmente la propia estructura de coordinación en cada episodio. Las tareas (minería, construcción, combate, fabricación) se asignan tipos de coordinación (sincrónica o de entrega/handover) y conteos de agentes requeridos (de 2 a N).
2. Espectro de Coordinación: El benchmark abarca un espectro completo de acoplamiento de coordinación basado en la separación temporal ($\Delta t$) entre acciones acopladas:
   • Largo alcance: Un agente recolecta recursos que otro utilizará más tarde (gran $\Delta t$).
   • Entrega (Handover): Un agente inicia una tarea y otro debe completarla dentro de una ventana corta (pequeño $\Delta t$).
   • Sincrónica: Los agentes actúan sobre el mismo objetivo en el mismo instante de tiempo ($\Delta t = 0$).
3. Especialización Suave: En lugar de puertas de rol rígidas, los agentes tienen una especialización "suave". Los especialistas tienen éxito de forma determinista, mientras que los no especialistas tienen éxito con una probabilidad de $1-\alpha$. Esto recompensa la asignación efectiva de roles permitiendo la adaptación en línea.
   4.Dificultad Controlable: Un único parámetro escalar $\alpha \in [0, 1]$ escala la dificultad de la coordinación sin alterar el diseño subyacente del mundo. Un $\alpha$ más alto endurece las restricciones de ejecución (por ejemplo, ventanas de entrega más cortas, mayores requisitos de N-agentes, menor eficiencia de los no especialistas).

Protocolo de Evaluación

Los autores evaluaron 13 LLMs modernos en equipos homogéneos zero-shot a través de configuraciones Easy, Medium y Hard.

• Modelos: Incluyeron modelos propietarios (GPT-5.4-High, Gemini-3.1-Pro-High) y modelos de pesos abiertos (Gemma-4, Llama-3.1/3.3, Qwen-3.5/3.6).
• Baselines: Agentes de Aprendizaje por Refuerzo Multiagente (MARL) entrenados (IPPO, MAPELO, PQN-VDN, HyperMARL-IPPO) que alcanzaron hasta 1 billón de pasos sirvieron como puntos de referencia.
• Interfaces: Los agentes interactuaron a través de una interfaz de texto estructurada que recibía observaciones, mensajes de compañeros y un bloc de notas (scratchpad), devolviendo acciones estructuradas.
• Métricas: El rendimiento se midió mediante el retorno normalizado del episodio, descompuesto en Base% (progreso de la tarea individual) y Coord.% (logros específicos de coordinación).

Resultados Clave

1. La Coordinación es un Cuello de Botella Distinto

Los agentes de LLM actuales siguen estando lejos de resolver ALEM, promediando solo un ~6% de retorno normalizado a través de las dificultades.

• Competencia Base vs. de Coordinación: Una alta competencia en tareas individuales no implica competencia en coordinación. Por ejemplo, GPT-5.4-High logró fuertes recompensas en tareas base pero recompensas de coordinación significativamente menores en comparación con modelos más pequeños como Gemma-4-26B-A4B-it.
• Comparación con MARL: En la configuración más difícil, Gemini-3.1-Pro-High (17.5% Coord.%) se acercó al rendimiento de los agentes MARL entrenados por un billón de pasos (17.6% Coord.%), demostrando que, aunque los LLMs tienen dificultades, los mejores modelos pueden alcanzar niveles de coordinación cercanos a MARL en contextos específicos.

2. Estudios de Ablación sobre Componentes del Agente

Los autores realizaron ablaciones de tres componentes del armazón del agente para determinar su impacto en la coordinación:

• Comunicación: Este fue el mayor contribuyente al rendimiento de la coordinación. Eliminar la comunicación causó la caída más significativa en el % de Coordinación (por ejemplo, Gemini-3.1-Pro-High cayó de 17.5% a 5.3%). Los agentes usaron la comunicación principalmente para transmitir intenciones, asignar acciones y alinear tiempos.
• Memoria (Scratchpad): La utilidad de la memoria dependió del modelo. Gemini-3.1-Pro-High utilizó los scratchpads como planificadores prospectivos (planes de múltiples líneas, en tiempo futuro e indexados por turno), y eliminarlo afectó su rendimiento. Gemma-4-31B-it utilizó los scratchpads principalmente para resúmenes de estado, y el impacto de su eliminación fue insignificante.
• Razonamiento: Reducir el razonamiento disminuyó tanto el Base% como el Coord.% para ambos modelos. El análisis cualitativo mostró que la reducción del razonamiento eliminó comportamientos de tipo planificador (por ejemplo, planes indexados por turno) y derivó en comunicaciones más cortas y menos directivas.

3. Equipos Heterogéneos

En experimentos iniciales con equipos heterogéneos (mezclando diferentes modelos), el rendimiento fue cercano al promedio de los baselines homogéneos constituyentes, en lugar de igualar al miembro más fuerte. Esto sugiere que añadir un modelo más fuerte no eleva automáticamente el rendimiento del equipo, probablemente debido a la falta de alineación en las convenciones de comunicación y los horizontes de planificación.

4. Modos de Fallo

• Estructura de Tareas: Los agentes tuvieron más dificultades con las tareas Synchronous-Hard que requieren acción simultánea, logrando solo un ~18% de cobertura incluso para el mejor LLM. Las tareas de Entrega (Handover) fueron comparativamente más accesibles.
• Escala: El rendimiento no escaló linealmente con el conteo de parámetros. Dentro de las familias de modelos (por ejemplo, Gemma-4, Qwen), el rendimiento de coordinación varió de forma no monotónica entre las variantes densas y las de mezcla de expertos (MoE).

Significación y Contribuciones

El artículo realiza tres contribuciones primarias:

1. Benchmark ALEM: Un benchmark basado en JAX, generado procedimentalmente para la coordinación multiagente de largo horizonte y código abierto con dificultad controlable y especialización suave.
2. Interfaces: Provisión de interfaces de píxeles, simbólicas y de texto para evaluar tanto agentes MARL como agentes LLM zero-shot bajo demandas de coordinación equivalentes.
3. Evaluación Sistemática: Una evaluación exhaustiva de 13 LLMs y 4 baselines MARL, identificando la coordinación como un cuello de botella distinto de la competencia en la tarea base.

Los autores concluyen que la coordinación es un cuello de botella distinto para los agentes de frontera de los LLM. Aunque los modelos actuales pueden sobrevivir y realizar tareas individuales, fallan al comunicar eficazmente, asignar roles y ejecutar planes compartidos en entornos de código abierto y largo horizonte. ALEM proporciona un banco de pruebas medible y controlado para desarrollar agentes capaces de estos complejos comportamientos cooperativos. El código está disponible en https://github.com/alem-world/alem-env.