Resumo Técnico: Cooperação Contínua Multiagente Offline via Particionamento e Reuso de Habilidades (COMAD)

1. Formulação do Problema

O artigo aborda o desafio do Aprendizado por Reforço Multiagente Offline Contínuo (Continual Offline MARL). Neste cenário, os agentes devem aprender a partir de um fluxo sequencial de conjuntos de dados offline, onde cada conjunto de dados corresponde a uma tarefa diferente modelada como um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP).

A dificuldade central reside no crescimento exponencial do espaço de habilidades de coordenação. Os métodos existentes de descoberta de habilidades offline dependem tipicamente de bibliotecas de habilidades de tamanho fixo e projetadas heuristicamente. Em ambientes abertos onde as tarefas chegam sequencialmente, essas bibliotecas fixas lutam contra:

• Mudança de Distribuição (Distributional Shift): O descompasso entre a política aprendida e a política de comportamento é exacerbado pelo crescimento do espaço conjunto de estados-ações com o número de agentes.
• Esquecimento Catastrófico (Catastrophic Forgetting): Os agentes perdem as habilidades adquiridas anteriormente ao se adaptarem a novas tarefas.
• Perda de Plasticidade (Plasticity Loss): Os agentes falham em acomodar habilidades emergentes ou novos padrões de coordenação.
• Interferência: O ajuste fino direto das representações de habilidades frequentemente leva a gradientes conflitantes, fazendo com que a política colapse em uma "solução acoplada" subótima que falha em distinguir entre padrões de coordenação heterogêneos.

O objetivo é construir uma biblioteca de habilidades expansível que permita aos agentes descobrir continuamente novas habilidades de coordenação a partir de dados offline, enquanto reutilizam seletivamente padrões invariantes à tarefa de tarefas anteriores para maximizar o desempenho na tarefa atual sem degradar o desempenho nas tarefas passadas.

2. Metodologia: Estrutura COMAD

Os autores propõem o COMAD (Continual Offline Multi-agent Skill Discovery via Skill Partition and Reuse), uma estrutura projetada para particionar habilidades e estimar sua reutilizabilidade. O ciclo de treinamento para cada tarefa recebida consiste em duas etapas:

A. Descoberta de Habilidades a partir de Dados Offline

Para extrair habilidades de dados de comportamento multiagente mistos, o COMAD utiliza uma arquitetidade de Autoencoder Variacional (VAE):

• Encoder Global: Codifica pares estado-ação globais em representações de habilidades ($z_m^i$) baseadas em padrões de coordenação globais.
• Encoder Local: Infere habilidades usando apenas informações locais do agente (trajetórias históricas $\tau^i$) para garantir a executabilidade em configurações descentralizadas.
• Decoder de Ação: Decodifica embeddings de habilidades em ações, formando uma política condicionada à habilidade.
• Redes Invariantes à População: Para lidar com números variáveis de agentes, a estrutura emprega mecanismos de autoatenção baseados em Transformer para processar entradas de comprimentos variáveis em representações de comprimento fixo.

B. Particionamento de Habilidades e Estimativa de Reutilizabilidade

Para lidar com o espaço de habilidades em expansão e evitar o colapso modal, o COMAD utiliza uma Arquitetura Multi-Head (MH):

• Política Multi-Head: Em vez de um único encoder de habilidade, o ator usa múltiplas cabeças ($G_k^\pi, G_k^p$) correspondentes a diferentes tarefas ou clusters de habilidades. Um extrator de características compartilhado ($F$) processa as entradas, enquanto cabeças específicas são alocadas ou reutilizadas.
• Estimador de Reutilizabilidade: Um estimador baseado em densidade (usando Estimativa de Contraste de Ruído, NCE) aproxima a densidade de estado $d_k(s)$ de tarefas anteriores.
• Objetivo Aumentado por Habilidade: A função de vantagem é aumentada com uma soma ponderada dos logits de ação de habilidades anteriores. Os pesos, ou escores de reutilizabilidade ($\Delta_m^k(s)$), são calculados com base na densidade de estado estimada da tarefa atual em relação às tarefas passadas. Isso guia a política para alavancar habilidades passadas relevantes enquanto evita interferência.
• Regularização: A regularização L2 é aplicada aos extratores de características de novas tarefas para evitar o esquecimento catastrófico da representação base aprendida na primeira tarefa.

C. Fundamentação Teórica

O artigo formaliza o problema de aprendizado contínuo como uma tarefa de otimização restrita. A análise teórica (Teorema 4.1) demonstra que a política contínua ótima é uma mistura geométrica de políticas ótimas de tarefa única. Os escores de reutilizabilidade no COMAD atuam como uma aproximação dos multiplicadores de Lagrange nesta otimização, servindo como um mecanismo de portão (gating) para selecionar habilidades úteis e filtrar aquelas que causam conflitos de restrição.

3. Principais Contribuições

1. Formulação do Problema: O artigo define o problema da descoberta de habilidades offline contínua em sistemas multiagentes, destacando as limitações de bibliotecas de habilidades de tamanho fixo em ambientes de mundo aberto.
2. Estrutura COMAD: Propõe uma estrutura fundamentada que combina particionamento de habilidades (via arquiteturas multi-head) e reuso seletivo (via estimativa de reutilizabilidade baseada em densidade) para gerenciar o espaço de habilidades em expansão.
3. Análise Teórica: Os autores fornecem uma prova teórica mostrando que seu método aproxima a solução ótima para a descoberta de habilidades contínuas, enquadrando o escore de reutilizabilidade como um mecanismo para equilibrar restrições de desempenho e transferência de habilidades.
4. Validação Empírica: Experimentos extensos em cinco ambientes diversos (Level-based Foraging, Cooperative Navigation, SMAC, SMACv2 e Multi-agent MuJoCo) demonstram a eficácia da estrutura.

4. Resultados Experimentais

Os autores avaliam o COMAD contra três categorias de baselines: métodos de descoberta de habilidades offline (ODIS, HiSSD), métodos de aprendizado contínuo (EWC, OWL, Rehearsal) e métodos vanilla de cabeça única (Multi-task, Fine-tune, From Scratch).

• Desempenho Geral: O COMAD atinge um desempenho médio superior (64.34) através de 9 fluxos de tarefas, superando significativamente todos os baselines.
• Transferência Forward (Forward Transfer): O COMAD demonstra uma forte transferência forward, aproveitando habilidades passadas para acelerar o aprendizado em novas tarefas, superando métodos que sofrem de perda de plasticidade (ex: ODIS, HiSSD).
• Transferência Backward (Backward Transfer): O método mantém ou melhora o desempenho em tarefas anteriores (transferência backward positiva) ao particionar habilidades e realizar o ajuste fino de características compartilhadas, evitando o esquecimento catastrófico visto nos métodos Fine-tune (FT) e Elastic Weight Consolidation (EWC).
• Lidando com Heterogeneidade: Em cenários complexos como SMAC (misturando tarefas simétricas e assimétricas) e SMACv2 (estocasticidade e grandes tamanhos de equipe), o COMAD particiona com sucesso comportamentos heterogêneos enquanto reutiliza padrões de coordenação comuns, enquanto os baselines frequentemente falham em aprender políticas viáveis ou sofrem de severa interferência.
• Estudos de Ablação: Remover os encoders de habilidade ou o mecanismo de estimativa de reutilizabilidade degrada significativamente o desempenho, confirmando a necessidade tanto do particionamento de habilidades quanto do mecanismo de portão.

5. Significância e Alegações

O artigo afirma que o COMAD fornece uma nova formulação para o aprendizado contínuo multiagente que aborda efetivamente o equilíbrio entre estabilidade (preservar habilidades antigas) e plasticidade (aprender novas habilidades) em configurações offline.

• Abordagem Fundamentada: Ao contrário de abordagens heurísticas, o COMAD é baseado em análise teórica mostrando que o reuso de habilidades pode ser otimizado via estimativa de reutilizabilidade.
• Escalabilidade: Ao expandir dinamicamente a biblioteca de habilidades com base na densidade de estado, o método evita os gargalos de bibliotecas de tamanho fixo, tornando-o adequado para ambientes de mundo aberto onde novas tarefas e habilidades emergem continuamente.
• Eficiência: A estrutura melhora a eficiência de amostragem ao extrair e reutilizar habilidades de coordenação, o que é crítico para o MARL offline onde a interação online é proibida.

Os autores reconhecem limitações, observando que o escore de reutilizabilidade atual depende da densidade de estado e pode ser insuficiente para cenários do mundo real complexos que exigem compreensão semântica refinada. Eles sugerem que trabalhos futuros poderiam integrar Grandes Modelos de Linguagem (LLMs) ou feedback humano para refinar o mecanismo de portão de habilidades. No entanto, dentro do escopo dos experimentos apresentados, o COMAD é apresentado como uma solução robusta e eficaz para a cooperação multiagente offline contínua.