Learning Large-Scale Competitive Team Behaviors with Mean-Field Interactions and Online Opponent Modeling

Título: Aprendizado de Comportamentos Competitivos de Equipes em Grande Escala com Interações de Campo Médio e Modelagem de Oponentes Online

1. Problema e Motivação

O Aprendizado por Reforço Multiagente (MARL) tem demonstrado eficácia em tarefas colaborativas e competitivas. No entanto, os algoritmos existentes (como MADDPG, MAAC e MAPPO) enfrentam desafios severos de escalabilidade quando o número de agentes aumenta, devido à "maldição da dimensionalidade".

• Limitação Atual: A maioria das abordagens de campo médio (Mean-Field - MF) foca exclusivamente em cenários totalmente cooperativos (Controle de Campo Médio - MFC) ou puramente competitivos (Jogos de Campo Médio - MFG).
• Lacuna: Cenários mistos de cooperação intra-equipe e competição inter-equipe (como esportes coletivos ou batalhas) em grandes populações permanecem pouco explorados. Além disso, métodos existentes frequentemente dependem de oráculos de população infinita (informação centralizada perfeita) ou não lidam bem com observabilidade parcial e modelagem de oponentes em tempo real.

O objetivo deste trabalho é preencher essa lacuna desenvolvendo um algoritmo escalável para Jogos de Equipe de Campo Médio de Soma Zero (ZS-MFTGs), capaz de lidar com milhares de agentes, cooperação interna e competição externa, mesmo em ambientes parcialmente observáveis.

2. Metodologia: MF-MAPPO

Os autores propõem o MF-MAPPO (Mean-Field Multi-Agent Proximal Policy Optimization), uma extensão do algoritmo PPO adaptada para jogos de soma zero com grandes populações.

Arquitetura e Componentes Chave:

• Políticas Idênticas: Assume-se que todos os agentes de uma mesma equipe seguem uma política idêntica. Isso reduz o espaço de busca e permite que a equipe seja modelada pela distribuição de estados da população (Campo Médio).
• Critic Minimamente Informado (Minimally-Informed Critic):
  • Diferente de métodos tradicionais que exigem o estado global ou ações de todos os agentes, o critic de cada equipe depende apenas das distribuições de campo médio (MF) de ambas as equipes ($\mu_t$ e $\nu_t$).
  • Isso preserva a privacidade das observações locais dos agentes e reduz drasticamente a dimensionalidade da entrada do critic, tornando o treinamento viável para grandes $N$.
• Actor Compartilhado (Shared-Team Actor):
  • Cada equipe possui um único actor que gera a política para todos os seus agentes.
  • O actor recebe a observação local do agente e as distribuições de campo médio (comuns a todos).
  • Utiliza-se um único buffer de replay por equipe, simplificando a coleta de experiências e reduzindo custos de memória.
• Treinamento em Simuladores Finitos: Ao contrário de métodos teóricos que treinam no limite de população infinita, o MF-MAPPO é treinado diretamente em simuladores com populações finitas, garantindo aplicabilidade em cenários reais.

Extensão para Observabilidade Parcial (D-PC e Regularização):
Em cenários onde a distribuição do oponente não é conhecida diretamente, o artigo introduz duas inovações:

1. Regularização de Gradiente: Adiciona uma penalidade ao objetivo do PPO para garantir que as políticas sejam Lipschitz contínuas em relação às estimativas do campo médio. Isso impede que pequenos erros de estimativa causem mudanças drásticas nas ações, garantindo robustez.
2. D-PC (Dynamic-Projected Consensus): Um algoritmo descentralizado de estimativa de campo médio.
   • Os agentes trocam estimativas com vizinhos em um grafo de comunicação.
   • Utiliza um operador de projeção para garantir que as estimativas permaneçam dentro de um conjunto convexo válido (respeitando estados observáveis e ignorando estados ocultos).
   • Garante convergência exponencial e validade das estimativas mesmo com comunicação limitada e ruidosa.

3. Contribuições Principais

1. Algoritmo MF-MAPPO: O primeiro algoritmo baseado em PPO escalável para jogos de equipe de soma zero em campo médio, utilizando uma arquitetura actor-critic compartilhada por equipe e critic minimamente informado.
2. Novos Ambientes de Benchmark (MFEnv): Criação de uma plataforma de simulação específica para jogos de equipe de campo médio, incluindo:
   • Pedra-Papel-Tesoura Restrita (cRPS): Para validação analítica contra equilíbrios de Nash.
   • Campo de Batalha: Um cenário complexo de ataque e defesa em grade com estados e ações de alta dimensão.
   • Epidemiologia (SIS): Um jogo de vírus vs. população.
3. Garantias Teóricas:
   • Prova de que políticas idênticas aprendidas em populações finitas são $\epsilon$-ótimas para o jogo original, com erro decaindo como $O(1/\sqrt{N})$.
   • Demonstração de que o gradiente de política treinado em população finita converge para o gradiente do jogo de coordenador de população infinita.
   • Garantias de desempenho para o estimador D-PC em cenários parcialmente observáveis.
4. Modelagem de Oponentes Descentralizada: Primeira aplicação de estimativa de campo médio para modelagem de oponentes em cenários competitivos de equipe, superando métodos que assumem comunicação perfeita ou conhecimento centralizado.

4. Resultados Experimentais

Os experimentos foram realizados no ambiente MFEnv com populações de até 1.500 agentes por equipe.

• Desempenho vs. Baselines:
  • O MF-MAPPO superou consistentemente métodos como DDPG-MFTG, MF-IPPO e MAPPO (compartilhamento de parâmetros e critic centralizado).
  • No jogo cRPS, o MF-MAPPO convergiu rapidamente para o valor de Nash analítico (-1/3), enquanto o DDPG-MFTG divergiu ou falhou em estabilizar.
  • No cenário de Campo de Batalha, o MF-MAPPO demonstrou comportamentos complexos e heterogêneos (ex: formação de coalizões, manobras coordenadas) que levaram a recompensas superiores, mesmo contra oponentes treinados com o mesmo algoritmo.
• Escalabilidade: O algoritmo mostrou que o aumento do tamanho da população reduz o ruído e a variância, alinhando-se com a teoria de campo médio. Políticas treinadas em populações menores generalizaram bem para populações maiores.
• Robustez em Observabilidade Parcial:
  • O estimador D-PC superou o método de benchmark (que assume estimativas uniformes para estados não observados) em cenários com comunicação limitada ($R_{com}$ baixo).
  • A regularização de gradiente foi crucial para manter a estabilidade do desempenho mesmo com estimativas imperfeitas do oponente, mantendo o erro de recompensa cumulativa abaixo de 5% mesmo com ruído.

5. Significado e Impacto

Este trabalho representa um avanço significativo na aplicação de MARL a sistemas multiagente em grande escala.

• Viabilidade Prática: Ao eliminar a dependência de oráculos de população infinita e permitir o treinamento em simuladores finitos, o método torna-se aplicável a cenários do mundo real (como gestão de frotas de drones, jogos competitivos e defesa cibernética).
• Eficiência Computacional: A arquitetura de critic minimamente informado e o uso de políticas idênticas reduzem drasticamente o custo computacional e de memória, permitindo escalabilidade para milhares de agentes.
• Resiliência: A combinação de regularização de gradiente e consenso projetado (D-PC) oferece uma solução robusta para a incerteza inerente a ambientes competitivos onde a informação do oponente é limitada ou ruidosa.

Em suma, o MF-MAPPO demonstra que a teoria de campo médio, quando integrada corretamente com técnicas modernas de RL (como PPO), pode resolver problemas complexos de cooperação e competição em larga escala, gerando comportamentos emergentes sofisticados e estrategicamente superiores.