CODA: Coordination via On-Policy Diffusion for Multi-Agent Offline Reinforcement Learning

Resumo Técnico: CODA

1. O Problema: Falha de Coordenação no Aprendizado Offline (MARL)

O Aprendizado por Reforço Multiagente (MARL) offline busca treinar políticas a partir de conjuntos de dados estáticos, sem interação com o ambiente. O principal desafio identificado pelos autores é a falha de coordenação.

Em cenários de aprendizado online, os agentes co-adaptam suas políticas: quando um agente muda seu comportamento, o ambiente de seus companheiros muda, permitindo um ciclo de feedback que promove a coordenação. No entanto, no aprendizado offline, o conjunto de dados é fixo. Algoritmos padrão (como MADDPG ou MASAC), operando sob o paradigma BRUD (Best Response Under Data), tentam otimizar cada agente como uma "melhor resposta" às ações registradas no dataset.

Como essas ações no dataset refletem comportamentos passados (muitas vezes subótimos ou de uma política de comportamento diferente) e não as políticas atuais que estão evoluindo durante o treino, ocorre um descompasso estrutural de distribuição. Isso impede que os agentes evoluam suas estratégias de forma conjunta, levando à convergência para comportamentos incompatíveis ou subótimos.

2. Metodologia: O Mecanismo CODA

Para resolver isso, os autores propõem o CODA (Coordination via On-Policy Diffusion for Multi-Agent Reinforcement Learning). A ideia central é restaurar o sinal de co-adaptação através de aumento de dados (data augmentation) gerado por modelos de difusão.

A abordagem técnica consiste em:

• Geração de Trajetórias via Difusão: Em vez de apenas usar o dataset estático, o CODA utiliza um modelo de difusão treinado para aprender a distribuição de trajetórias conjuntas do dataset offline.
• Condicionamento On-Policy (Guiamento de Política): O diferencial do CODA é que, no momento da amostragem (sampling), o modelo de difusão não gera apenas dados aleatórios do dataset. Ele utiliza o gradiente da política atual ($\pi_{curr}$) para "guiar" a geração. Isso é feito de duas formas:
  1. Guiamento por Classificador (Implicit Conditioning): Utiliza o gradiente do log-likelihood da política atual para inclinar a distribuição de trajetórias geradas em direção ao que os agentes estão aprendendo agora.
  2. Condicionamento Direto (Explicit Conditioning/CFG): Se a política puder ser representada de forma compacta, utiliza-se o Classifier-Free Guidance para condicionar a geração diretamente a essa representação.
• Distribuição Alvo "Policy-Tilted": O CODA busca amostrar de uma distribuição que seja uma mistura: ela permanece ancorada no suporte dos dados reais (para evitar erros de extrapolação), mas é reponderada para refletir as trajetórias que seriam prováveis sob a política conjunta atual.

3. Principais Contribuições

• Restauração da Evolução de Política Conjunta: O CODA simula o feedback loop do aprendizado online dentro de um ambiente estático, permitindo que os agentes "vejam" trajetórias que são consistentes com o que seus companheiros estão tentando aprender.
• Algoritmo Agnóstico: O CODA funciona como um módulo de aumento de dados que pode ser acoplado a qualquer pipeline de MARL, seja ele baseado em modelos (model-based) ou livre de modelos (model-free).
• Solução para Patologias de Coordenação: O método resolve problemas teóricos onde agentes convergem para o zero ou para limites de ação devido à falta de adaptabilidade.

4. Resultados Experimentais

Os autores testaram o CODA em dois ambientes distintos:

• Jogos Polinomiais (Polynomial Games): Em jogos como o Multiplication Game e Twin Peaks, onde a coordenação é essencial para maximizar a recompensa compartilhada, os algoritmos base (MADDPG) falharam miseravelmente, convergindo para comportamentos subótimos. O CODA conseguiu recuperar a dinâmica de otimização correta, permitindo que os agentes convergissem para o ótimo global.
• MaMuJoCo (Controle Contínuo): Em benchmarks de controle robótico mais complexos e de alta dimensão, o CODA demonstrou melhorias significativas de performance em relação ao aprendizado offline padrão e ao aumento de dados por difusão não condicionada, especialmente em datasets de alta qualidade (Replay e Good).

5. Significância e Conclusão

O trabalho é significativo porque identifica que a dificuldade do MARL offline não é apenas um problema de "cobertura de dados" (ter dados suficientes), mas sim um problema de dinâmica de aprendizado (a falta de um sinal de co-adaptação).

Ao utilizar modelos de difusão para criar um "dataset sintético que evolui com os agentes", o CODA preenche a lacuna entre o aprendizado estático e a necessidade de interação dinâmica, representando um passo importante para tornar o aprendizado multiagente offline viável em aplicações do mundo real, onde a exploração interativa é perigosa ou impossível.