Second MOASEI Competition at AAMAS'2026: A Technical Report

Resumen Técnico: Segunda Competencia MOASEI en AAMAS'2026

Planteamiento del Problema
El artículo aborda el desafío de evaluar sistemas de toma de decisiones multi-agente dentro de entornos de agentes abiertos. A diferencia de los sistemas cerrados tradicionales, estos entornos se caracterizan por cambios dinámicos donde los agentes, las tareas y las capacidades de los agentes pueden aparecer, desaparecer o evolucionar con el tiempo. La competencia se dirige específicamente a tres dimensiones de apertura:

• Apertura de Agentes (AO): Agentes que entran o salen del sistema.
• Apertura de Tareas (TO): Tareas que aparecen o desaparecen con el tiempo.
• Apertura de Marco (FO): Cambios en el estado interno o las capacidades de los agentes (por ejemplo, degradación del equipo o cambios de estado).

La competencia de 2026 tuvo como objetivo refinar la infraestructura de evaluación establecida en 2025, introduciendo nuevas formas de apertura y métricas más interpretables y centradas en las tareas para evaluar mejor las estrategias de coordinación, robustez y adaptación.

Metodología y Diseño de la Competencia
La competencia utilizó la suite de entornos free-range-zoo, que implementa dominios de referencia inspirados en sistemas de agentes abiertos. La edición de 2026 mantuvo tres pistas principales del año anterior mientras introducía modificaciones específicas:

1. Pistas de Evaluación:

   • Combate de Incendios Forestales (AO/TO): Los agentes colaboran con recursos limitados para combatir incendios que se propagan.
   • Combate de Incendios Forestales con Bonificación (AO/TO/FO): Una nueva pista que introduce la Apertura de Marco, donde los estados del equipo de los agentes (capacidades de supresión y rangos de extinción) varían con el tiempo, alterando su efectividad y alcance.
   • Ciberseguridad (AO): Agentes defensores compiten contra atacantes heurísticos para proteger nodos de red.
   • Transporte de Pasajeros (Ride-Sharing) (TO): Los agentes cooperan y compiten para entregar pasajeros, centrándose en la apertura de tareas donde los pasajeros entran al sistema dinámicamente.

2. Métricas:
   La evaluación se desplazó hacia métricas centradas en las tareas para mejorar la interpretabilidad. Más allá de las recompensas del dominio, la competencia enfatizó:

   • Completitud total de tareas.
   • Tiempo medio de completitud de tareas.
   • Valor medio de las tareas completadas.
   • Específicamente para el transporte de pasajeros: número de pasajeros, tiempo de espera, tiempo de viaje y valor de la tarifa.

3. Participación y Envío:
   Ocho equipos se registraron, pero solo un equipo, DLC, envió una solución final, apuntando a la pista de transporte de pasajeros. Por consiguiente, el análisis se centra exclusivamente en esta pista.

4. Enfoque Propuesto (DLC):
   El equipo ganador empleó una estrategia de planificación y replanificación. El agente resuelve un problema de rutas óptimas a través de la flota de agentes. Crucialmente, el sistema replanifica cada vez que nuevos pasajeros entran al entorno, lo que permite que la política se adapte a la apertura de tareas en tiempo real.

5. Comparación con Baselines:
   Para contextualizar la entrega de DLC, los autores evaluaron su desempeño frente a varias políticas de referencia (baselines) que no participaron en la competencia:

   • Sin operación (noop)
   • Aleatorio (Random)
   • Variantes de Primero en Entrar, Primero en Salir (FIFO) (tanto focus como global)
   • Variantes codiciosas (Greedy) (tanto focus como global)

Resultos Clave
La política DLC fue evaluada a través de seis configuraciones de transporte de pasajeros (tres para entrenamiento, tres para prueba) durante 213 episodios.

• Capacidad de Procesamiento (Throughput): DLC completó un promedio de 13.62 pasajeros, superando significativamente a los baselines FIFO (10.80) y Aleatorio (7.40). Se desempeñó de manera comparable al baseline codicioso más fuerte (15.38).
• Eficiencia (Tiempo de Espera): DLC logró un tiempo de espera medio de 24.13, el cual fue sustancialmente inferior a los baselines FIFO (~36–39) y competitivo con el baseline codicioso (25.48).
• Eficiencia (Tiempo de Viaje): Se observó un compromiso (trade-off) notable. El tiempo de viaje medio de DLC fue de 34.87, el cual es significativamente más largo que los baselines codiciosos (12.14) y FIFO (14–17).
• Estabilidad de Configuración: DLC mantuvo un throughput estable en todas las seis configuraciones (oscilando entre 13.08 y 14.91 pasajeros completados), aunque los tiempos de viaje variaron más, indicando sensibilidad a las diferencias espaciales y de llegada de tareas.

Contribuciones y Reivindicaciones Clave
El artículo realiza las siguientes contribuciones y afirmaciones modestas:

1. Validación de la Planificación en Sistemas Abiertos: La principal contribución empírica es un estudio de caso que demuestra que la replanificación basada en la planificación es un enfoque viable para entornos de apertura de tareas. El agente DLC se adaptó con éxito a las llegadas dinámicas de pasajeros, logrando conteos de completitud estables y tiempos de espera competitivos.
2. Identificación de Compromisos de Objetivos: Los resultados resaltan un compromiso específico en el dominio del transporte de pasajeros: la política DLC priorizó el throughput y el tiempo de espera (aceptando más tareas y recogiéndolas más rápido) a costa de la duración del viaje. Los autores señalan que el objetivo actual de la tabla de clasificación no equilibra explícitamente estos objetivos contrapuestos (completitud, tiempo de espera, tiempo de viaje, valor de la tarifa).
3. Evolución del Benchmark: La competencia introdujo con éxito la Apertura de Marco a través de la pista de combate de incendios con bonificación y refinó las métricas de evaluación para que fueran más centradas en las tareas.
4. Cierre de Brechas: Al asegurar una entrega para la pista de transporte de pasajeros (que no recibió ninguna en 2025), la competencia de 2026 proporciona una visión más completa de la toma de decisiones multi-agente a través de diferentes dimensiones de apertura cuando se combina con los resultados de 2025.

Significancia y Limitaciones
Los autores declaran explícitamente que, debido al número limitado de entregas finales (solo un equipo), la competencia no respalda conclusiones amplias sobre las fortalezas relativas de diferentes paradigmas de aprendizaje o planificación. En su lugar, la significancia reside en:

• Proporcionar un estudio de caso enfocado de una política basada en la planificación en un entorno de apertura de tareas.
• Documentar el diseño actualizado del benchmark, incluyendo la nueva pista de Apertura de Marco.
• Destacar la necesidad de funciones de objetivo más claras en futuras competencias para equilibrar métricas contrapuestas (por ejemplo, throughput vs. tiempo de viaje).
• Identificar la necesidad de mejores materiales de incorporación (políticas iniciales, documentación) para fomentar la participación en pistas complejas como el dominio de bonificación de incendios forestales.

El artículo concluye que, si bien el evento de 2026 tuvo una baja participación, los resultados de la pista de transporte de pasajeros ofrecen un benchmark valioso para la investigación futura en condiciones de planificación multi-agente bajo entornos de sistemas abiertos.