Resumo Técnico: Coordenação Importa: Avaliação de Aprendizado por Reforço Multiagente Cooperativo

Declaração do Problema

Os benchmarks de Aprendizado por Reforço Multiagente Cooperativo (MARL) tradicionalmente dependem de métricas de resultado agregado — como retorno, taxa de sucesso ou tempo de conclusão — para avaliar o desempenho. Embora essenciais, os autores argumentam que essas métricas são insuficientes para diagnosticar como os agentes coordenam, particularmente em cenários onde agentes, tarefas e escolhas de atribuição conjunta escalonam-se combinatorialmente. Duas políticas podem alcançar retornos semelhantes enquanto dependem de padrões de interação fundamentalmente diferentes, ou um declínio no retorno pode confundir coordenação deficiente com outros fatores, como divisão de trabalho ineficiente ou gargalos específicos do domínio. Essa limitação é crítica para benchmarks destinados a avaliar o comportamento de escalonamento, onde aumentar o número de agentes ou tarefas pode alterar não apenas a dificuldade da tarefa, mas também a natureza estrutural da própria coordenação. O artigo postula que as avaliações atuais falham em revelar falhas no nível do processo, como atribuições redundantes ou distribuição inadequada de carga de trabalho, que são frequentemente mascaradas por pontuações agregadas.

Metodologia

O Campo de Testes STAT

Para abordar essa lacuna, os autores introduzem o STAT (Campo de Testes de Alocação Espacial de Tarefas), um ambiente controlado de alocação espacial de tarefas com restrição de compromisso. O STAT foi projetado para isolar a coordenação de alto nível na atribuição de tarefas, abstraindo a evasão de colisões e o planejamento de trajetória de baixo nível.

• Ambiente: Os agentes começam em uma origem fixa e devem distribuir-se por tarefas espacialmente distribuídas em uma grade 2D. O ambiente é totalmente observável.
• Estrutura de Compromisso: Os agentes operam sob uma estrutura de compromisso de estado finito. Uma vez que um agente seleciona uma tarefa, ele se compromete com essa atribuição, move-se em direção a ela, executa-a e somente então retorna a um estado de seleção. Isso cria pontos de decisão esparsos e de alto impacto.
• Resolução de Conflitos: Se múltiplos agentes selecionam a mesma tarefa simultaneamente, um mecanismo de resolução de conflitos retrospectivo atribui a tarefa ao agente mais próximo; os outros são forçados a ficar ociosos. Isso torna a alocação redundante uma falha observável no nível do processo, em vez de apenas uma causa latente de recompensa menor.
• Escalonamento: O STAT permite o escalonamento sistemático ao longo de três eixos: número de agentes, número de tarefas e tamanho do ambiente, mantendo fixas as regras das tarefas e o acesso às observações.

Diagnósticos no Nível do Processo

O artigo propõe uma perspectiva de "avaliação consciente da coordenação" que complementa o retorno com diagnósticos específicos no nível do processo, adaptados à estrutura de atribuição:

1. Total de Conflitos de Atribuição de Tarefas: A contagem de tarefas distintas selecionadas por mais de um agente antes da resolução (medindo a amplitude da atribuição redundante).
2. Taxa de Conflitos: Conflitos normalizados por passo de tempo para distinguir entre métodos que acumulam conflitos devido a episódios mais longos versus aqueles que os geram frequentemente.
3. Conflitos por Tarefa: Densidade de conflitos normalizada em relação ao tamanho do conjunto de tarefas.
4. Diversidade de Atribuição: O número de novas atribuições de tarefas distintas retidas pela equipe após a resolução de conflitos, medindo a amplitude da divisão de trabalho.
5. Taxa de Conclusão de Tarefas: O número de tarefas concluídas por passo de tempo, distinguindo falhas de coordenação de ineficiências espaciais (por exemplo, tempo de viagem).

Configuração Experimental

Os autores avaliam seis métodos representativos de MARL baseados em valor através de variados níveis de centralização:

• CTCE (Treinamento Centralizado, Execução Centralizada): DQN, FDQN.
• CTDE (Treinamento Centralizado, Execução Descentralizada): VDN, QMIX, QTRAN.
• DTDE (Treinamento Descentralizado, Execução Descentralizada): IQL.
  Os experimentos abrangem configurações "Base" (escalas menores) e "Extrema" (escalas maiores), variando agentes, tarefas e tamanho da grade independentemente.

Principais Resultados

1. O Retorno Sozinho é Insuficiente

O estudo demonstra que tendências de retorno semelhantes podem refletir mecanismos de coordenação distintos. Por exemplo, em experimentos de escalonamento de tarefas, aumentar o número de tarefas frequentemente levou a retornos mais altos (devido a mais oportunidades de recompensa), mas simultaneamente aumentou o total de conflitos e atribuições redundantes. Uma política pode parecer bem-sucedida com base no retorno enquanto, na verdade, sofre de ineficiências significativas de coordenação que os diagnósticos no nível do processo revelam.

2. Dinâmicas de Escalonamento

• Tamanho do Ambiente: Aumentar o tamanho da grade reduziu principalmente a taxa de conclusão e as oportunidades de atribuição (à medida que os agentes gastavam mais tempo se movendo) em vez de aumentar as taxas de conflito. Isso destaca que quedas de desempenho no escalonamento espacial são frequentemente devidas à redução da frequência de decisão e não a falhas de coordenação.
• Número de Tarefas: Aumentar as tarefas expandiu o espaço de atribuição, levando a conflitos absolutos mais altos. Embora os retornos tenham melhorado inicialmente, o ônus da coordenação acabou por compensar os ganhos. Métricas normalizadas (conflitos por tarefa) mostraram que a disputa nem sempre cresceu linearmente com a contagem de tarefas, mas as atribuições redundantes totais sim.
• Número de Agentes: Adicionar agentes não melhorou uniformemente o desempenho. Em configurações menores, agentes extras frequentemente degradaram o desempenho ao amplificar atribuições redundantes sem tarefas suficientes para justificar o paralelismo. Em configurações maiores, os retornos melhoraram, mas apenas para métodos capazes de converter a capacidade da equipe em trabalho coordenado. Aprendizes independentes (IQL) foram particularmente vulneráveis ao aumento das taxas de conflito sob escalonamento de agentes.

3. Comportamentos Específicos por Método

• Métodos Centralizados (DQN/FDQN): O FDQN, que utiliza uma representação centralizada fatorizada, permaneceu tratável e eficaz na redução de atribuições redundantes através das escalas, frequentemente superando outros nas métricas de coordenação. O DQN padrão foi limitado a escalas menores devido ao crescimento exponencial do espaço de ação conjunta.
• Métodos CTDE (VDN/QMIX/QTRAN): Esses métodos permaneceram escaláveis e competitivos em retorno, mas frequentemente exibiram taxas de conflito mais altas ou menor diversidade de atribuição em comparação com as abordagens centralizadas mais fortes, sugerindo que retornos comparáveis podem mascarar diferenças na qualidade da coordenação.
• Aprendizado Independente (IQL): O IQL mostrou a maior vulnerabilidade a atribuições redundantes em configurações altamente interdependentes, confirmando que aprendizes independentes lutam quando decisões de atribuição são fortemente acopladas.

Significado e Alegações

O artigo afirma que a avaliação consciente da coordenação é um complemento necessário ao benchmarking baseado em retorno para MARL cooperativo. Os autores argumentam que:

1. Diagnóstico de Modos de Falha: Diagnósticos no nível do processo permitem que pesquisadores distingam se um método falha devido a coordenação deficiente (atribuições redundantes), divisão de trabalho ineficiente ou restrições ambientais (escala espacial), algo que o retorno agregado não pode fazer.
2. Insights de Escalonamento: O desempenho sob escala é moldado não apenas pelo tamanho nominal do espaço de ação, mas também pela "pressão de atribuição", oportunidades de decisão esparsas e dependências entre agentes.
3. Design de Benchmark: Futuros benchmarks devem relatar diagnósticos no nível do processo para caracterizar como os agentes coordenam, e não apenas qual retorno eles alcançam. Os autores posicionam o STAT como um campo de testes controlado para isolar essas dinâmicas de coordenação, distinto de ambientes complexos como StarCraft ou Overcooked, onde múltiplos modos de falha (navegação, observabilidade parcial) estão entrelaçados.

O artigo conclui que, embora os benchmarks existentes tenham impulsionado o progresso, eles frequentemente obscurecem os mecanismos específicos de coordenação que permitem ou impedem o desempenho em regimes de escalonamento combinatório. Ao tornar conflitos de atribuição e diversidade diretamente observáveis, este trabalho fornece uma visão mais interpretável dos modos de falha do MARL.