R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning

1. Declaração do Problema

A Aprendizagem por Reforço Multiagente (MARL) alcançou sucesso em domínios complexos como controle de tráfego e robótica, frequentemente utilizando paradigmas de Treinamento Centralizado e Execução Descentralizada (CTDE) (por exemplo, QMIX, MAPPO). No entanto, os métodos CTDE padrão dependem de parâmetros de política compartilhados, o que frequentemente impede a aprendizagem de comportamentos diversos necessários para uma coordenação eficaz.

As abordagens existentes de MARL baseada em papéis tentam resolver isso aprendendo papéis emergentes a partir das observações passadas dos agentes para incentivar comportamentos complementares. O artigo identifica uma falha crítica nesses métodos:

• A Limitação: Derivar papéis exclusivamente a partir da experiência passada falha em levar em conta como um papel influencia a trajetória futura de um agente.
• A Consequência: Agentes com observações iniciais semelhantes podem adotar papéis idênticos cedo demais, levando a comportamentos redundantes (por exemplo, dois drones voando ambos para o mesmo incêndio) em vez de uma distribuição e coordenação eficazes.
• A Insight: O papel de um agente deve ativamente moldar seu comportamento futuro. Se um agente adota um papel específico, suas observações e ações futuras devem divergir naturalmente das de agentes em outros papéis para garantir uma coordenação eficaz.

2. Metodologia: R3DM

Os autores propõem Descoberta de Papéis e Diversidade Através de Modelos de Dinâmica (R3DM), um framework que vincula o papel atual de um agente ao seu comportamento futuro esperado usando teoria da informação e modelos de mundo.

Objetivo Central

O R3DM maximiza a Informação Mútua (IM) entre três variáveis:

1. O papel do agente no tempo $t$ ($m^t_i$).
2. A trajetória observada até o tempo $t$ ($\tau^t_i$).
3. A trajetória futura esperada ($\tau^{t+1:t+k}_i$).

A função objetivo é formulada como:
$$I(\tau^{t+k}_i; m^t_i | \tau^t_i)$$
Como maximizar isso diretamente é intratável, os autores derivam um limite inferior tratável decomposto em dois componentes:

1. Aprendizagem de Embedding de Papel: Aprendizagem de embeddings intermediários de papel ($z^t_i$) a partir do histórico de observação-ação.
2. Diversidade de Comportamento Futuro: Maximização da IM entre esses embeddings de papel e a trajetória futura.

Componentes Chave

A. Aprendizagem de Embedding Intermediário de Papel (Aprendizagem Contrastiva)

• Utiliza um framework de aprendizagem contrastiva (baseado em ACORM) para agrupar agentes em papéis distintos com base em seus históricos passados de observação-ação.
• Usa um codificador de trajetória ($\theta_e$) e um codificador de papel ($\theta_r$) para gerar embeddings.
• Otimiza uma perda contrastiva para garantir que agentes com padrões comportamentais semelhantes sejam agrupados, enquanto padrões distintos sejam separados.

B. Recompensas Intrínsecas via Modelos de Dinâmica
Para garantir que os papéis moldem o comportamento futuro, o R3DM introduz duas recompensas intrínsecas derivadas do limite inferior da IM:

1. Recompensa Intrínseca de Política ($r_{pol}$):

   • Incentiva a diversidade na seleção de ações com base no papel.
   • Calculada como a divergência Kullback-Leibler (KL) entre a política condicionada ao papel e a política média (agnóstica ao papel).
   • Fórmula: $r_{i,pol} = \sum D_{KL}(\text{SoftMax}(Q_i(\cdot|\tau, z)) || p(\cdot|\tau))$.

2. Recompensa Intrínseca de Dinâmica ($r_{dyn}$):

   • Esta é a contribuição novel. Ela quantifica o quanto o embedding de papel influencia a previsão de observações futuras.
   • Emprega dois Modelos de Espaço de Estado Recorrentes (RSSM) (baseados no DreamerV3):
     • Modelo Condicionado ao Papel ($q_\psi$): Prevê observações futuras dada a trajetória e o embedding de papel.
     • Modelo Agnóstico ao Papel ($p_\phi$): Prevê observações futuras dada apenas a trajetória (sem papel).
   • A recompensa é a diferença nas log-verossimilhanças entre os dois modelos. Se o modelo condicionado ao papel prevê o futuro significativamente melhor do que o modelo agnóstico, o agente recebe uma recompensa alta, incentivando o papel a ser preditivo do comportamento futuro.
   • Fórmula: $r_{i,dyn} = \sum [\log q_\psi - \log p_\phi]$.

C. Objetivo Final de Aprendizagem
A recompensa total para o agente MARL é uma combinação da recompensa da tarefa ($r_t$) e das recompensas intrínsecas:
$$r_{total} = r_t + \alpha r_{int}$$
onde $r_{int} = \beta_3 r_{pol} + r_{dyn}$. Essa recompensa combinada é usada para atualizar as redes Q via aprendizado TD padrão.

3. Contribuições Principais

1. Objetivo Novel de Teoria da Informação: Propõe um objetivo que maximiza a IM entre papéis, trajetórias passadas e trajetórias futuras esperadas, deslocando o foco da inferência de papel baseada no passado para papéis que moldam o futuro.
2. Recompensas Intrínsecas Impulsionadas por Dinâmica: Introduz um mecanismo usando modelos de mundo (RSSM) para gerar recompensas intrínsecas que impõem comportamentos futuros específicos de papel, equilibrando a exploração com a especialização de papel.
3. Integração com CTDE: Integra com sucesso esse framework em métodos existentes de MARL baseada em papéis (especificamente ACORM/QMIX) sem sacrificar a eficiência de amostragem.
4. Validação Empírica: Demonstra desempenho de última geração em benchmarks desafiadores.

4. Resultados Experimentais

Os autores avaliaram o R3DM nos ambientes SMAC (StarCraft Multi-Agent Challenge) e SMACv2.

• Desempenho: O R3DM supera as bases de última geração (incluindo QMIX, ACORM, CIA, GoMARL, CDS e EMC).
  • Alcançou até 20% de melhoria nas taxas de vitória em mapas difíceis (por exemplo, 3s5z vs 3s6z, Corridor, 6h vs 8z).
  • Mostrou eficiência de amostragem superior e convergência mais rápida.
• SMACv2: Em ambientes estocásticos (condições iniciais variáveis), o R3DM manteve desempenho robusto, superando as bases em cenários assimétricos (por exemplo, Protoss 10 vs 11).
• Análise Qualitativa: Visualizações no mapa 3s5z vs 3s6z mostraram que, enquanto os agentes ACORM convergiam para comportamentos de ataque em massa, os agentes R3DM aprenderam a se dividir em sub-equipes especializadas (por exemplo, um agente atraindo inimigos enquanto outros flanqueiam), demonstrando verdadeira diferenciação de papéis.
• Estudos de Ablação:
  • Horizonte de Imaginação: Horizontes curtos ($k=1$ ou $2$) funcionaram melhor; horizontes mais longos introduziram erros de previsão cumulativos.
  • Cardinalidade de Papel: Um número moderado de papéis (por exemplo, 3) equilibrou melhor a coordenação e a especialização do que uma cardinalidade alta.
  • Componentes: Tanto a aprendizagem contrastiva quanto as recompensas intrínsecas foram mostradas como necessárias para o desempenho ótimo.

5. Significado e Impacto

• Mudança de Paradigma: O R3DM move o campo da MARL baseada em papéis da atribuição de papel retrospectiva (baseada no que aconteceu) para a atribuição de papel prospectiva (baseada no que acontecerá).
• Mecanismo de Coordenação: Ao vincular papéis à dinâmica futura, o método resolve naturalmente o problema de "redundância" onde agentes com histórias semelhantes falham em coordenar.
• RL Baseado em Modelo em MARL: O artigo conecta com sucesso a lacuna entre MARL livre de modelo e abordagens baseadas em modelo (usando modelos de mundo para motivação intrínseca), abrindo caminho para estratégias de coordenação mais sofisticadas em ambientes complexos e estocásticos.
• Aplicação Prática: A abordagem é altamente relevante para sistemas multiagente do mundo real, como enxames de drones, frotas de veículos autônomos e equipes robóticas, onde papéis distintos devem ser atribuídos dinamicamente para lidar com múltiplos objetivos simultaneamente.