Second MOASEI Competition at AAMAS'2026: A Technical Report

Resumo Técnico: Segunda Competição MOASEI na AAMAS'2026

Definição do Problema
O artigo aborda o desafio de avaliar sistemas de tomada de decisão multiagente em ambientes de agentes abertos. Diferente dos sistemas fechados tradicionais, esses ambientes são caracterizados por mudanças dinâmicas onde agentes, tarefas e capacidades de agentes podem aparecer, desaparecer ou evoluir ao longo do tempo. A competição foca especificamente em três dimensões de abertura:

• Abertura de Agentes (AO - Agent Openness): Agentes entrando ou saindo do sistema.
• Abertura de Tarefas (TO - Task Openness): Tarefas aparecendo ou desaparecendo ao longo do tempo.
• Abertura de Quadro (FO - Frame Openness): Mudanças no estado interno ou nas capacidades dos agentes (ex: degradação de equipamentos ou mudanças de estado).
  A competição de 2026 visou refinar a infraestrutura de avaliação estabelecida em 2025, introduzindo novas formas de abertura e métricas mais interpretáveis e centradas em tarefas para melhor avaliar estratégias de coordenação, robustez e adaptação.

Metodologia e Design da Competição
A competição utilizou a suíte de ambientes free-range-zoo, que implementa domínios de referência inspirados em sistemas de agentes abertos. A edição de 2026 manteve três trilhas principais do ano anterior, introduzindo modificações específicas:

1. Trilhas de Avaliação:

   • Combate a Incêndios (Wildfire Fighting) (AO/TO): Agentes colaboram com recursos limitados para combater incêndios em propagação.
   • Combate a Incêndios Bônus (Bonus Wildfire Fighting) (AO/TO/FO): Uma nova trilha que introduz a Abertura de Quadro (Frame Openness), onde os estados dos equipamentos dos agentes (capacidades de supressão e alcances de combate ao fogo) variam ao longo do tempo, alterando sua eficácia e alcance.
   • Cibersegurança (Cybersecurity) (AO): Agentes defensores competem contra atacantes heurísticos para proteger nós de rede.
   • Ride-Sharing (Transporte por Aplicativo) (TO): Agentes cooperam e competem para entregar passageiros, focando na abertura de tarefas, onde passageiros entram no sistema dinamicamente.

2. Métricas:
   A avaliação mudou para métricas centradas na tarefa para melhorar a interpretabilidade. Além das recompensas do domínio, a competição enfatizou:

   • Conclusões totais de tarefas.
   • Tempo médio de conclusão de tarefa.
   • Valor médio das tarefas concluídas.
   • Especificamente para ride-sharing: contagem de passageiros, tempo de espera, tempo de viagem e valor da tarifa.

3. Participação e Submissão:
   Oito equipes se registraram, mas apenas uma equipe, a DLC, enviou uma solução final, visando a trilha de ride-sharing. Consequentemente, a análise foca exclusivamente nesta trilha.

4. Abordagem Proposta (DLC):
   A equipe vencedora empregou uma estratégia de planejamento e replanejamento. O agente resolve um problema de roteamento ótimo através da frota de agentes. Crucialmente, o sistema replaneja sempre que novos passageiros entram no ambiente, permitindo que a política se adapte à abertura de tarefas em tempo real.

5. Comparação com Baselines:
   Para contextualizar a submissão da DLC, os autores avaliaram o desempenho contra diversas políticas de baseline não competitivas:

   • Sem operação (noop)
   • Aleatória (Random)
   • Variantes FIFO (First-In-First-Out) (foco e global)
   • Variantes Greedy (gananciosa) (foco e global)

Principais Resultados
A política DLC foi avaliada em seis configurações de ride-sharing (três para treinamento, três para teste) ao longo de 213 episódios.

• Throughput (Vazão): A DLC completou uma média de 13,62 passageiros, superando significativamente as baselines FIFO (10,80) e Random (7,40). Teve desempenho comparável à baseline greedy mais forte (15,38).
• Eficiência (Tempo de Espera): A DLC alcançou um tempo de espera médio de 24,13, que foi substancialmente menor que as baselines FIFO (~36–39) e competitivo com a baseline greedy (25,48).
• Eficiência (Tempo de Viagem): Um trade-off notável foi observado. O tempo de viagem médio da DLC foi de 34,87, o que é significativamente mais longo que as baselines greedy (12,14) e FIFO (14–17).
• Estabilidade de Configuração: A DLC manteve um throughput estável em todas as seis configurações (variando de 13,08 a 14,91 passageiros completados), embora os tempos de viagem tenham variado mais, indicando sensibilidade a diferenças espaciais e de chegada de tarefas.

Principais Contribuições e Alegações
O artigo apresenta as seguintes contribuições e alegações modestas:

1. Validação de Planejamento em Sistemas Abertos: A principal contribuição empírica é um estudo de caso demonstrando que o planejamento baseado em replanejamento é uma abordagem viável para ambientes de abertura de tarefas. O agente DLC adaptou-se com sucesso às chegadas dinâmicas de passageiros, alcançando contagens de conclusão estáveis e tempos de espera competitivos.
2. Identificação de Trade-offs de Objetivos: Os resultados destacam um trade-off específico no domínio de ride-sharing: a política DLC priorizou o throughput e o tempo de espera (aceitando mais tarefas e coletando-as mais rápido) em detrimento da duração da viagem. Os autores observam que o objetivo atual do leaderboard não equilibra explicitamente esses objetivos concorrentes (conclusões, tempo de espera, tempo de viagem, valor da tarifa).
3. Evolução do Benchmark: A competição introduziu com sucesso a Abertura de Quadro (Frame Openness) através da trilha bônus de combate a incêndios e refinou as métricas de avaliação para serem mais centradas em tarefas.
4. Preenchimento de Lacunas: Ao garantir uma submissão para a trilha de ride-sharing (que não recebeu nenhuma em 2025), a competição de 2026 fornece uma visão mais abrangente do processo de tomada de decisão multiagente através de diferentes dimensões de abertura quando combinada com os resultados de 2025.

Significância e Limitações
Os autores declaram explicitamente que, devido ao número limitado de submissões finais (apenas uma equipe), a competição não suporta conclusões amplas sobre as forças relativas de diferentes paradigmas de aprendizado ou planejamento. Em vez disso, a significância reside em:

• Fornecer um estudo de caso focado de uma política baseada em planejamento em um ambiente de abertura de tarefas.
• Documentar o design atualizado do benchmark, incluindo a nova trilha de Abertura de Quadro.
• Destacar a necessidade de funções de objetivo mais claras em competições futuras para equilibrar métricas concorrentes (ex: throughput vs. tempo de viagem).
• Identificar a necessidade de melhores materiais de integração (políticas iniciais, documentação) para incentivar a participação em trilhas complexas como o domínio bônus de combate a incêndios.

O artigo conclui que, embora o evento de 2026 tenha tido baixa participação, os resultados da trilha de ride-sharing oferecem um benchmark valioso para pesquisas futuras em planejamento multiagente sob condições de sistemas abertos.