Resumo Técnico: Avaliação de Coordenação Multiagente de Código Aberto em Agentes de Linguagem

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como agentes autônomos, eles devem operar em ambientes multiagente onde o sucesso depende da coordenação com outros ao longo de horizontes longos. No entanto, as avaliações existentes raramente testam essas demandas simultaneamente. Os benchmarks atuais geralmente focam em tarefas de agente único, interações curtas ou configurações multiagente altamente estruturadas (ex: papéis fixos, objetivos pré-especificados). Há uma carência de avaliações que combinem interação de longo horizonte, estruturas de tarefas de código aberto e demandas de coordenação explicitamente geradas por procedimentos. Consequentemente, os mecanismos necessários para uma coordenação multiagente sustentada — como comunicar intenção, alocar papéis, manter planos compartilhados e alinhar ações ao longo do tempo — permanecem mal compreendidos.

Metodologia: O Benchmark ALEM

Para abordar essas lacunas, os autores introduzem o ALEM (Alem traduz-se como "mundo" em Amárico), um benchmark baseado em JAX para coordenação multiagente de código aberto construído sobre a dinâmica do Craftax.

Design do Ambiente

O ALEM é um jogo estocástico parcialmente observável (POSG) que apresenta ambientes gerados proceduralmente onde agentes exploram, negociam, fabricam, constroem e lutam. O benchmark é distinguido por quatro eixos principais:

1. Geração Procedural de Coordenação: Diferente de trabalhos anteriores onde os requisitos de coordenação são fixos, o ALEM gera proceduralmente a própria estrutura de coordenação a cada episódio. As tarefas (mineração, construção, combate, fabricação) recebem tipos de coordenação (síncrona ou de transferência/handover) e contagens de agentes necessárias (2 a N).
2. Espectro de Coordenação: O benchmark abrange um espectro completo de acoplamento de coordenação baseado na separação temporal ($\Delta t$) entre ações acopladas:
   • Longo alcance: Um agente coleta recursos que serão usados por outro posteriormente (grande $\Delta t$).
   • Transferência (Handover): Um agente inicia uma tarefa, e outro deve completá-la dentro de uma janela curta (pequeno $\Delta t$).
   • Síncrona: Agentes atuam no mesmo alvo no mesmo passo de tempo ($\Delta t = 0$).
3. Especialização Suave (Soft Specialisation): Em vez de portões de papéis rígidos, os agentes possuem especialização "suave". Especialistas têm sucesso deterministicamente, enquanto não especialistas têm sucesso com probabilidade $1-\alpha$. Isso recompensa a alocação de papéis eficaz enquanto permite a adaptação online.
4. Dificuldade Controlável: Um único parâmetro escalar $\alpha \in [0, 1]$ escala a dificuldade de coordenação sem alterar o layout subjacente do mundo. Valores mais altos de $\alpha$ tornam as restrições de execução mais rigorosas (ex: janelas de transferência mais curtas, maiores requisitos de N-agentes, menor eficiência de não especialistas).

Protocolo de Avaliação

Os autores avaliaram 13 LLMs modernos em equipes homogêneas zero-shot através de configurações Fácil, Média e Difícil.

• Modelos: Incluíram modelos proprietários (GPT-5.4-High, Gemini-3.1-Pro-High) e modelos de pesos abertos (Gemma-4, Llama-3.1/3.3, Qwen-3.5/3.6).
• Baselines: Agentes de Aprendizado por Reforço Multiagente (MARL) treinados (IPPO, MAPPO, PQN-VDN, HyperMARL-IPPO) treinados por até 1 bilhão de passos serviram como pontos de referência.
• Interfaces: Os agentes interagiram via uma interface de texto estruturada recebendo observações, mensagens de companheiros de equipe e um scratchpad (rascunho), retornando ações estruturadas.
• Métricas: O desempenho foi medido via retorno de episódio normalizado, decomposto em Base% (progresso de tarefa individual) e Coord.% (conquistas específicas de coordenação).

Resultados Principais

1. A Coordenação é um Gargalo Distinto

Os agentes de LLM atuais permanecem longe de resolver o ALEM, com uma média de apenas ~6% de retorno normalizado entre as dificuldades.

• Competência de Base vs. Coordenação: Alta competência em tarefas individuais não implica competência em coordenação. Por exemplo, o GPT-5.4-High alcançou fortes recompensas de tarefas de base, mas recompensas de coordenação significativamente menores do que modelos menores como o Gemma-4-26B-A4B-it.
• Comparação com MARL: Na configuração mais difícil, o Gemini-3.1-Pro-High (17.5% Coord.%) aproximou-se do desempenho de agentes MARL treinados por um bilhão de passos (17.6% Coord.%), demonstrando que, embora os LLMs tenham dificuldades, os melhores modelos podem atingir níveis próximos ao MARL em contextos específicos.

2. Estudos de Ablação de Componentes do Agente

Os autores realizaram ablações de três componentes do harness do agente para determinar seu impacto na coordenação:

• Comunicação: Este foi o maior contribuidor para o desempenho de coordenação. Remover a comunicação causou a queda mais significativa no Coord.% (ex: Gemini-3.1-Pro-High caiu de 17.5% para 5.3%). Os agentes usaram a comunicação principalmente para transmitir intenção, atribuir ações e alinhar o tempo.
• Memória (Scratchpad): A utilidade da memória foi dependente do modelo. O Gemini-3.1-Pro-High usou os scratchpads como planejadores prospectivos (planos de múltiplas linhas, tempo futuro, indexados por turno), e remover isso prejudicou o desempenho. O Gemma-4-31B-it usou os scratchpads principalmente para resumos de estado, e o impacto da remoção foi negligenciável.
• Raciocínio: Reduzir o raciocínio baixou tanto o Base% quanto o Coord.% para ambos os modelos. A análise qualitativa mostrou que a redução do raciocínio eliminou comportamentos do tipo planejador (ex: planos indexados por turno) e levou a comunicações mais curtas e menos diretivas.

3. Equipes Heterogêneas

Em experimentos iniciais com equipes heterogêneas (misturando diferentes modelos), o desempenho ficou próximo da média de seus baselines homogêneos constituintes, em vez de corresponder ao membro mais forte. Isso sugere que adicionar um modelo mais forte não eleva automaticamente o desempenho da equipe, provavelmente devido ao desalinhamento nas convenções de comunicação e horizontes de planejamento.

4. Modos de Falha

• Estrutura da Tarefa: Os agentes tiveram maior dificuldade com tarefas Síncronas-Difíceis que exigiam ação simultânea, alcançando apenas ~18% de cobertura mesmo para o melhor LLM. Tarefas de Transferência (Handover) foram comparativamente mais acessíveis.
• Escala: O desempenho não escalou linearmente com a contagem de parâmetros. Dentro das famílias de modelos (ex: Gemma-4, Qwen), o desempenho de coordenação variou de forma não monotônica entre variantes densas e de mistura de especialistas (MoE).

Significância e Contribuições

O artigo apresenta três contribuições primárias:

1. Benchmark ALEM: Um benchmark baseado em JAX, gerado proceduralmente, para coordenação multiagente de longo horizonte e código aberto, com dificuldade controlável e especialização suave.
2. Interfaces: Provisão de interfaces de pixels, simbólicas e de texto para avaliar tanto agentes MARL quanto agentes LLM zero-shot sob demandas de coordenação equivalentes.
3. Avaliação Sistemática: Uma avaliação abrangente de 13 LLMs e 4 baselines MARL, identificando a coordenação como um gargalo distinto da competência de tarefa de base.

Os autores concluem que a coordenação é um gargalo distinto para agentes de fronteira de LLM. Embora os modelos atuais possam sobreviver e realizar tarefas individuais, eles falham em comunicar efetivamente, alocar papéis e executar planos compartilhados em ambientes de código aberto e longo horizonte. O ALEM fornece um ambiente de teste mensurável e controlado para desenvolver agentes capazes desses comportamentos cooperativos complexos. O código está disponível em https://github.com/alem-world/alem-env.