Hierarchical Lead Critic based Multi-Agent Reinforcement Learning

1. O Problema

O Aprendizado por Reforço Multi-Agente Cooperativo (MARL) visa resolver tarefas complexas que exigem coordenação entre múltiplos agentes em ambientes compartilhados, frequentemente com observabilidade parcial. No entanto, as abordagens atuais (SOTA) geralmente operam sob uma única perspectiva, limitando-se a:

• Perspectiva Local (Descentralizada): Cada agente aprende independentemente, tratando os outros como parte do ambiente. Isso pode falhar em otimizar objetivos de alto nível que exigem coordenação global.
• Perspectiva Global (Centralizada): Um crítico centralizado observa todos os agentes e estados globais. Embora eficaz para coordenação, isso pode ignorar a necessidade de os agentes dominarem primeiro tarefas de baixo nível (locais) antes de otimizar a execução global.

A lacuna identificada é a falta de métodos que integrem simultaneamente múltiplas hierarquias de aprendizado (local, de grupo e global) sem sofrer com gradientes conflitantes ou instabilidade no treinamento.

2. Metodologia: Hierarchical Lead Critic (HLC)

Os autores propõem o HLC, uma nova arquitetura e esquema de treinamento sequencial que aprende de múltiplas perspectivas em diferentes níveis hierárquicos.

A. Críticos Líder (Lead Critics)

• Conceito: O HLC organiza os agentes em grupos. Cada grupo é guiado por um "Crítico Líder" que agrega informações de observação-ação locais e fornece estimativas de valor no nível do grupo.
• Hierarquia:
  • Um Crítico Local avalia apenas um agente.
  • Um Crítico Líder avalia um subconjunto de agentes.
  • Um Crítico Centralizado (global) é um caso especial de Crítico Líder com campo de visão máximo (todos os agentes).
• Arquitetura: Os Críticos Líder são implementados como Transformers (Encoder-based), permitindo lidar com agentes heterogêneos e ambientes sem estado global explícito, baseando-se apenas em pares de observação-ação.

B. Esquema de Atualização Sequencial Aninhada

Esta é a inovação central para evitar conflitos de gradiente:

1. Atualização por Crítico: Para um agente selecionado, a política é atualizada sequencialmente por seus críticos relacionados (do local ao global), ordenados pelo tamanho do campo de visão.
2. Reamostragem de Ação: Após cada atualização de política por um crítico, uma nova ação é amostrada. Isso garante que o próximo crítico na sequência avalie a política mais recente, evitando que gradientes conflitantes de múltiplos críticos sejam calculados simultaneamente sobre a mesma política antiga.
3. Atualização entre Agentes: Os agentes são atualizados em ordem aleatória, condicionando cada atualização às políticas mais recentes dos outros agentes (inspirado no HASAC).

C. Arquitetura do Agente (Actor)

O modelo de agente (Actor) utiliza uma estrutura estilo Mixture-of-Experts (MoE) com atenção cruzada (cross-attention):

• Caminhos Paralelos: Após um extrator de características comum, múltiplas sub-redes processam o input.
• Atenção Cruzada: As saídas das sub-redes são embutidas e processadas via atenção cruzada, permitindo que o agente integre representações ricas alinhadas com a hierarquia dos críticos.
• Conexão Residual: Um caminho de rede base fornece processamento geral, enquanto o caminho de atenção fornece informações mais sutis para comportamentos cooperativos emergentes. Isso permite que o agente aprenda localmente no início e refine a cooperação global posteriormente.

3. Principais Contribuições

1. Framework HLC: Integra perspectivas multi-nível (local, de grupo, centralizada) para MARL cooperativo, preenchendo a lacuna entre otimização de perspectiva única.
2. Esquema de Atualização Sequencial: Permite interações estáveis entre múltiplos críticos, evitando conflitos de gradiente e preservando a localidade durante o treinamento.
3. Nova Arquitetura de Actor: Utiliza um módulo estilo MoE com atenção cruzada para coordenação multi-nível eficiente.
4. Novos Benchmarks: Introdução de duas tarefas de drones (Escort e Surveillance) que testam cooperação, escalabilidade e desempenho sob observabilidade parcial sem comunicação explícita.

4. Resultados Experimentais

Os experimentos foram realizados em ambientes cooperativos, não comunicativos e parcialmente observáveis, comparando o HLC com o HASAC (SOTA atual, crítico centralizado único) e ISAC (aprendizado independente, críticos locais únicos).

• Desempenho Geral: O HLC superou consistentemente as bases de linha (HASAC e ISAC) em eficiência de amostra e desempenho final.
• Tarefas Escort (Escolta) e Surveillance (Vigilância):
  • O ISAC mostrou que recompensas locais são vitais, mas falha em coordenação complexa.
  • O HASAC lutou em tarefas complexas (como Escort8), degradando-se para evitar apenas a terminação da tarefa (colisões), demonstrando que depender apenas de recompensas globais é problemático.
  • O HLC combinou os benefícios de recompensas locais com comportamento cooperativo global, alcançando desempenho inigualável.
• Robustez e Escalabilidade:
  • O HLC manteve o desempenho sob observabilidade parcial restrita (apenas vizinhos próximos).
  • Em cenários com penalidades de morte reduzidas (criando ótimos locais onde agentes colidem para terminar o episódio rapidamente), o HASAC falhou, enquanto o HLC manteve a estabilidade graças à sua dependência de recompensas locais e globais.
  • O método escalou robustamente com o aumento do número de agentes e dificuldade da tarefa.

5. Significado e Conclusão

O trabalho demonstra que a aprendizagem explícita de múltiplas perspectivas hierárquicas é superior à otimização de perspectiva única no MARL.

• Inovação Teórica: A introdução do conceito de "Crítico Líder" generaliza críticos locais e centralizados, permitindo uma avaliação flexível de grupos de agentes.
• Prática: O esquema de atualização sequencial resolve o problema de gradientes conflitantes ao garantir que cada crítico avalie a política atualizada mais recente.
• Aplicabilidade: O HLC é aplicável a agentes heterogêneos e ambientes cooperativos com observabilidade parcial, sem exigir comunicação explícita entre agentes.

Em suma, o HLC oferece uma solução robusta e eficiente em termos de amostras para tarefas MARL complexas, superando os métodos atuais ao equilibrar a otimização local individual com a coordenação global de grupo.