Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning

Resumo Técnico: Aprendizado de Política de Difusão Descentralizada para Exploração Aprimorada em Aprendizado por Reforço Multiagente Cooperativo

Declaração do Problema
O Aprendizado por Reforço Multiagente Cooperativo (MARL) exige que os agentes explorem espaços de ação conjunta complexos para descobrir padrões de coordenação de alta recompensa. Uma classe proeminente de algoritmos para esse cenário, o Gradiente de Política Softmax Descentralizado (DecSPG), utiliza atualizações de política baseadas em energia que geram naturalmente distribuições de ação multimodais, facilitando uma exploração diversificada. No entanto, na prática, políticas baseadas em energia exatas são intratáveis de manter, particularmente em espaços de ação contínuos. Consequentemente, os métodos existentes projetam essas políticas na classe de políticas Gaussianas para eficiência computacional.

Os autores identificam uma limitação crítica nessa abordagem: as políticas Gaussianas são unimodais e carecem da expressividade necessária para capturar distribuições de ação multimodais. Essa restrição prejudica severamente a exploração, fazendo com que os algoritmos converjam prematuramente para equilíbrios subóptimos. O artigo argumenta que esse modo de falha é particularmente grave em cenários multiagente, onde o número de padrões de coordenação viáveis cresce com o número de agentes, e o custo de perder esses padrões compõe-se exponencialmente.

Metodologia
Para abordar o gargalo de expressividade, o artigo propõe o Aprendizado de Política de Difusão Descentralizada (DDPL). Este framework parametriza a política descentralizada de cada agente usando um Modelo Probabilístico de Difusão com Remoção de Ruído (DDPM). Os DDPMs servem como modelos generativos expressivos capazes de representar distribuições complexas e multimodais, mantendo-se eficientes para treinamento e amostragem.

Um desafio central ao implantar políticas de difusão no cenário de MARL online é a falta de algoritmos de treinamento eficientes. Métodos padrão de correspondência de pontuação (score matching) geralmente exigem amostras da distribuição alvo, que não estão disponíveis durante o treinamento online antes da atualização da política. Para superar isso, os autores introduzem a Correspondência de Pontuação com Amostragem por Importância (ISSM).

• Mecanismo ISSM: Em vez de exigir amostras da distribuição baseada em energia alvo $\pi^{\star,k}_i$, o ISSM extrai amostras de uma distribuição fácil de amostrar (especificamente, a política anterior $\pi^{k-1}_i$). Em seguida, minimiza uma perda de correspondência de pontuação reponderada, onde os pesos são determinados pela razão de amostragem por importância entre as distribuições alvo e de amostragem.
• Garantia Teórica: O artigo deriva uma garantia teórica para o ISSM, mostrando que a política aprendida converge para a distribuição alvo com uma complexidade de amostra que depende da divergência de Rényi de quarta ordem entre as distribuições alvo e de amostragem. À medida que as atualizações da política progridem e a política atual se aproxima do alvo, o tamanho da amostra necessário para atualizações precisas diminui.
• Algoritmo: O algoritmo completo do DDPL (Algoritmo 2) integra esses componentes em um framework descentralizado. Os agentes mantêm redes Q locais e políticas de difusão. Em cada época, os agentes estimam a função Q média e atualizam suas políticas de difusão por meio de uma única etapa de gradiente na perda ISSM, usando a política anterior como distribuição de amostragem.

Principais Contribuições

1. Identificação de um Modo de Falha: Os autores demonstram formalmente que projetar políticas baseadas em energia em classes Gaussianas cria um modo de falha específico no MARL cooperativo. Através de um MDP de agente único construído e um jogo de interesse idêntico multiagente, eles provam que aproximações Gaussianas podem fazer com que a probabilidade de sucesso de encontrar equilíbrios ótimos decaia exponencialmente com o número de agentes (especificamente limitada por $0.45^n$).
2. Framework DDPL: Eles propõem o DDPL, um algoritmo baseado em DecSPG que utiliza DDPMs para parametrizar políticas descentralizadas, permitindo a representação de distribuições de ação multimodais essenciais para uma exploração eficaz.
3. Treinamento Online via ISSM: O artigo desenvolve um novo objetivo de Correspondência de Pontuação com Amostragem por Importância que permite o treinamento online eficiente de políticas de difusão sem exigir amostras da distribuição alvo. Este método vem com garantias teóricas de complexidade de amostra e limites de lacuna de Equilíbrio de Nash (NE).
4. Validação Empírica: O método é avaliado em benchmarks representativos de MARL de ação contínua, incluindo Multi-Agent Particle Environment (MPE), Multi-Agent MuJoCo (MaMuJoCo), IsaacLab e um StarCraft Multi-Agent Challenge (SMAX) reimplementado em JAX.

Resultados
Os resultados experimentais indicam que o DDPL supera consistentemente as linhas de base mais avançadas (HAPPO, MAPPO e HASAC) em 8 tarefas de ação contínua.

• Desempenho: O DDPL alcançou o retorno médio mais alto em 7 de 8 tarefas. Melhorias notáveis incluem um aumento de 25,78% na tarefa ShadowHandOver do IsaacLab, um aumento de 132,56% na tarefa 3s_vs_5z do StarCraft e um aumento de 155,84% na tarefa 6h_vs_8z em comparação com a melhor linha de base.
• Dinâmicas de Exploração: A análise das curvas de aprendizado sugere que os ganhos do DDPL decorrem de uma exploração suficiente. Em tarefas como 3s_vs_5z, o DDPL inicialmente fica atrás das linhas de base devido a uma exploração mais ampla, mas converge rapidamente para retornos próximos do ótimo, enquanto as linhas de base baseadas em Gaussianas ficam presas em equilíbrios subóptimos.
• Ablação: Comparações entre o DDPL com políticas de difusão e uma variante usando políticas Gaussianas confirmam que a natureza multimodal das políticas de difusão é crítica. A variante Gaussiana converge cedo para um equilíbrio subóptimo (retorno $\approx 0,65$), enquanto a variante de difusão descobre modos de maior recompensa e converge para um equilíbrio superior (retorno $\approx 2,0$).
• Eficiência: A sobrecarga de treinamento do DDPL é relatada como 39% menor que a do DACER e 81% mais rápida que a do QVPO, atribuída à eficiência do método de treinamento online ISSM. O tempo de inferência permanece moderado (abaixo de 1 ms).

Significado e Alegações
O artigo alega que a expressividade limitada das parametrizações de política padrão (especificamente Gaussianas) é um obstáculo primário para uma exploração eficaz no MARL cooperativo. Ao aproveitar modelos de difusão, os autores demonstram que é possível manter os benefícios teóricos das atualizações de política baseadas em energia (multimodalidade e convergência para equilíbrios de Nash) enquanto se garante a tratabilidade para o treinamento online.

O trabalho destaca que, em cenários multiagente, o custo da exploração insuficiente compõe-se com o número de agentes. O DDPL oferece uma solução que escala melhor em termos de capacidade de exploração, permitindo que os agentes descubram padrões de coordenação que políticas unimodais perdem. Os autores posicionam o DDPL como um passo significativo rumo à habilitação de um aprendizado cooperativo mais robusto e eficaz em ambientes complexos de ação contínua.

Limitações
Os autores reconhecem que o DDPL atualmente parametriza políticas totalmente descentralizadas e não explora cenários de MARL em rede onde a comunicação de baixo custo entre agentes vizinhos é incentivada. Além disso, o framework está atualmente focado em cenários de interesse idêntico, com cenários de soma geral ou competitivos deixados para trabalhos futuros.