Resumo Técnico: Amostragem Adaptativa Centralizada para Treinamento Co-operativo Confiável de Políticas Multi-Agente Independentes

Declaração do Problema

Algoritmos de gradiente de política on-policy independentes são uma abordagem padrão para Aprendizado por Reforço Multi-Agente (MARL) em jogos cooperativos e sem conflito. No entanto, sabe-se que esses métodos sofrem de convergência sub-ótima. Embora a literatura anterior atribua essa falha principalmente a casos em que os gradientes de política individuais apontam para longe do equilíbrio conjunto ótimo (questões de seleção de equilíbrio), este artigo identifica um novo modo de falha: erro de amostragem conjunta.

Os autores observam que, mesmo quando os gradientes de política individuais esperados de todos os agentes apontam corretamente para a solução conjunta ótima, a convergência sub-ótima ainda pode ocorrer. Isso ocorre porque, na coleta de dados finita, a estocasticidade da amostragem de ações independentes faz com que a distribuição empírica de dados conjuntos se desvie da distribuição on-policy conjunta esperada. Esse desvio leva a estimativas de gradiente imprecisas. Crucialmente, os agentes podem ter erro de amostragem zero em relação às suas próprias distribuições marginais de ações e ainda assim sofrer com erro de amostragem conjunta significativo, fazendo com que reforcem ações conjuntas sub-ótimas.

Metodologia

Para abordar isso, o artigo propõe a Redução de Erro de Amostragem Cooperativa (CoSER), um algoritmo de amostragem adaptativa de ações operando dentro do framework de Treinamento Centralizado com Execução Descentralizada (CTDE).

Mecanismo Central

Diferentemente da amostragem independente padrão ou de extensões descentralizadas de métodos de amostragem adaptativa de agente único, o CoSER utiliza uma política de comportamento centralizada ($\pi_\phi$) para coletar dados. Essa política de comportamento é continuamente adaptada para aumentar a probabilidade de ações conjuntas que estão sub-amostradas em relação à política alvo conjunta atual ($\pi_\theta$).

Detalhes Algorítmicos

1. Arquitetura: O CoSER define uma política de comportamento centralizada $\pi_\phi(a|s)$ que condiciona o estado conjunto completo $s$. Para garantir que $\pi_\phi$ possa ser inicializada para corresponder à política alvo descentralizada $\pi_\theta$, os autores introduzem uma arquitetura especializada:
   $$\pi_\phi(\cdot|s) = \sigma(\log \pi_\theta(\cdot|s) + \Delta_\phi(s))$$
   Aqui, $\Delta_\phi(s)$ é uma rede neural que produz ajustes de logit. É inicializada em zero, garantindo que $\pi_\phi \equiv \pi_\theta$ no início das atualizações.
2. Regra de Atualização: A política de comportamento é atualizada via ascensão de gradiente em um objetivo substituto truncado (inspirado em PPO e PROPS) para minimizar a divergência entre a distribuição empírica de dados e a distribuição da política alvo. O objetivo aumenta a probabilidade de ações conjuntas sub-amostradas e diminui a de ações super-amostradas.
3. Contraste com MA-PROPS: O artigo contrasta o CoSER com o MA-PROPS, uma extensão multi-agente do algoritmo PROPS de agente único. O MA-PROPS utiliza políticas de comportamento independentes para cada agente. Os autores demonstram teórica e empiricamente que, embora o MA-PROPS reduza o erro de amostragem para agentes individuais, ele falha em reduzir o erro de amostragem conjunto, pois não coordena a seleção de ações entre os agentes.

Contribuições Principais

1. Identificação de um Novo Modo de Falha: Os autores são os primeiros a mostrar que o erro de amostragem conjunta pode causar convergência sub-ótica em RL de gradiente de política on-policy independente, mesmo quando os gradientes esperados se alinham com o comportamento ótimo.
2. Insight Teórico: Eles provam que reduzir o erro de amostragem para agentes individuais independentemente (como o MA-PROPS faz) não garante uma redução no erro de amostragem conjunta. É necessária uma seleção de ações coordenada para corrigir a distribuição conjunta.
3. Desenvolvimento de Algoritmo (CoSER): Eles introduzem o CoSER, um método de amostragem adaptativa centralizada que reduz eficientemente o erro de amostragem conjunta ao atribuir maior probabilidade a ações conjuntas sub-amostradas.
4. Análise de Convergência: O artigo estende a análise de convergência de cenários de agente único para MARL, mostrando que, sob o CoSER, a distribuição empírica de visitação de estados conjuntos converge para a distribuição verdadeira com probabilidade 1, e a taxa de convergência para o erro de amostragem conjunta é $O_p(1/m^2)$, comparado a $O_p(1/m)$ para a amostragem on-policy padrão.

Resultados Experimentais

Os autores avaliam o CoSER em um conjunto diversificado de jogos multi-agentes sem conflito, incluindo Forrageamento Baseado em Níveis (LBF), BoulderPush, GridWorld e vários jogos matriciais (2x2 e 3x3).

• Eficiência de Amostragem: Em tarefas com políticas alvo fixas, o CoSER reduz o erro de amostragem conjunta significativamente mais rápido do que tanto a amostragem on-policy padrão quanto o MA-PROPS. Em alguns casos, o CoSER alcança a mesma redução de erro com 30%–50% menos amostras. Notavelmente, o MA-PROPS frequentemente falha em reduzir o erro de amostragem conjunta em absoluto.
• Confiabilidade de Convergência: Durante o treinamento completo de RL (usando MAPPO como algoritmo base), o CoSER aumenta a probabilidade de os agentes convergirem para uma política conjunta ótima em 10%–20% em comparação com as linhas de base.
  • Em jogos matriciais difíceis (onde métodos padrão frequentemente falham), o CoSER é o único algoritmo que converge consistentemente para a política ótima.
  • Em ambientes complexos como GridWorld e BoulderPush, o CoSER melhora as taxas de sucesso em 15–19 pontos percentuais sobre a amostragem on-policy.
• Comparação com MA-PROPS: O MA-PROPS geralmente não oferece nenhuma melhoria sobre a amostragem on-policy padrão em termos de confiabilidade ou redução de erro de amostragem conjunta, confirmando que a amostragem adaptativa independente é insuficiente para o cenário multi-agente.

Significado e Alegações

O artigo alega que a contribuição principal é uma mudança na compreensão das causas da convergência sub-ótica no MARL. Em vez de ver falhas de convergência apenas como resultado de objetivos conflitantes ou má seleção de equilíbrio (onde os gradientes apontam na direção errada), os autores argumentam que a ineficiência na coleta de dados (erro de amostragem conjunta) é um fator crítico, anteriormente negligenciado.

O significado do CoSER reside em sua capacidade de melhorar a confiabilidade de algoritmos de gradiente de política independentes sem alterar o objetivo de aprendizado ou as regras de atualização de gradiente. Ao simplesmente coordenar como os dados são coletados por meio de uma política de comportamento centralizada, o método garante que os dados empíricos aproximem melhor a distribuição conjunta esperada, levando a estimativas de gradiente mais precisas e a uma maior probabilidade de encontrar políticas conjuntas ótimas. Os autores posicionam o CoSER como um primeiro passo para mitigar o erro de amostragem conjunta, reconhecendo limitações na escalabilidade para números muito grandes de agentes devido ao crescimento exponencial do espaço de ações conjuntas.