A Self-Evolving Default Action for Cooperative Tasks with Continuous Action Space

Resumo Técnico: SAFE (Self-Evolving Default Action From Experiences)

Declaração do Problema
O aprendizado por reforço multiagente (MARL) alcançou sucesso em espaços de ação discretos (ex: StarCraft II), mas enfrenta obstáculos significativos em tarefas de controle contínuo do mundo real, como o redesamento de veículos autônomos. As abordagens existentes encontram três desafios primários:

1. Espaços de Ação Contínuos: Muitos esquemas de atribuição de crédito são projetados para espaços discretos e não podem ser aplicados diretamente ao controle contínuo.
2. Requisitos de Descentralização: Aplicações do mundo real frequentemente exigem políticas totalmente descentralizadas para segurança e latência, embora muitos métodos escaláveis dependam de entradas centralizadas que não escalam bem com o número de agentes.
3. Atribuição de Crédito em Domínios Contínuos: Embora o Counterfactual Multi-Agent Policy Gradients (COMA) atribua crédito de forma eficaz em espaços discretos ao marginalizar a ação de um agente, estender isso para espaços contínuos via amostragem de Monte Carlo introduz viés. As ações amostradas em espaços contínuos são frequentemente subtreinadas, o que significa que o crítico centralizado não aprendeu seus valores suficientemente. Consequentemente, a expectativa da linha de base (baseline) é diferente de zero sob a política conjunta, levando a gradientes de política enviesados e à falta de garantias de convergência para ótimos locais.

Metodologia
O artigo propõe o SAFE (Self-Evolving Default Action From Experiences), um novo framework de MARL projetado para abordar essas limitações dentro do paradigma de Treinamento Centralizado com Execução Descentralizada (CTDE).

• Mecanismo Central: O SAFE introduz uma linha de base contrafactual condicionada a uma ação padrão autoevoluinte. Diferente de métodos anteriores que dependem de ações padrão definidas pelo usuário ou simulações adicionais, o SAFE amostra essa ação padrão ($\bar{a}_i$) diretamente do replay buffer de experiência de cada agente ($D_t$).
• Construção da Linha de Base: Para um determinado agente $i$, a linha de base $b_i$ é calculada substituindo a ação real do agente $a_i$ por uma ação padrão amostrada $\bar{a}_i(t)$ na entrada do crítico centralizado, mantendo as ações dos outros agentes ($a_{-i}$) constantes:
  $$b_i = Q(s, a_{-i}, \bar{a}_i(t)), \quad \bar{a}_i(t) \sim D_t$$
• Autoevolução: À medida que o treinamento progride, a ação padrão amostrada evolui naturalmente para refletir o desempenho médio do agente. A distribuição das ações amostradas no buffer desloca-se para as ações mais frequentemente executadas pelo agente, garantindo que a linha de base seja derivada de valores suficientemente treinados.
• Garantia Teórica: Os autores provam matematicamente (Lema 0.1) que esta linha de base introduz zero viés no gradiente de política determinística. Ao tratar a política determinística como um caso limite de uma política estocástica, eles demonstram que a expectativa do termo da linha de base se anula, garantindo a convergência para ótimos locais.
• Arquitetura: O framework utiliza um crítico centralizado condicionado ao estado global e aos históricos conjuntos de observação-ação, enquanto os atores descentralizados condicionam-se apenas aos seus históricos locais. O compartilhamento de parâmetros é empregado entre os atores para papéis cooperativos.

Principais Contribuições

1. Extensão para Espaços Contínuos: O SAFE estende naturalmente a atribuição de crédito contrafactual para espaços de ação contínuos sem exigir simulações adicionais, modelos de recompensa ou priors específicos do ambiente.
2. Convergência Livre de Viés: O artigo fornece uma prova teórica de que a linha de base de ação padrão autoevoluinte não introduz viés nos gradientes de política determinística, garantindo a convergência para ótimos locais — uma propriedade frequentemente ausente em extensões de Monte Carlo ingênuas.
3. Adaptação Dinâmica: A linha de base adapta-se dinamicamente conforme o comportamento do agente evolui, com a ação padrão amostrada refletindo cada vez mais o desempenho médio do agente durante o treinamento.
4. Validação Empírica: Experimentos extensos em tarefas de direção cooperativa em rodovias (Highway-Env) demonstram que o SAFE supera consistentemente modelos de última geração (VDN, QMIX, IQL, COMA, MAPPO) em cenários com variações no número de veículos e obstáculos.

Resultados Experimentais

• Desempenho: Em cenários de direção cooperativa em rodovias (2V1O a 7V2O), o SAFE alcançou desempenho superior em comparação aos benchmarks. Modelos de ação discreta (VDN, QMIX, IQL) falharam em evitar colisões em cenários complexos devido à granularidade grosseira das meta-ações discretas. COMA e MAPPO falharam em convergir para políticas ótimas, atribuído amplamente à ineficiência de amostragem no treinamento on-policy.
• Estudos de Ablação:
  • Atribuição de Crédito vs. Continuidade: Comparações com baselines que se adaptam a espaços contínuos, mas utilizam diferentes esquemas de atribuição de crédito (ex: Centralized_critic, COMA_cont), confirmaram que os ganhos de desempenho do SAFE derivam especificamente de seu mecanismo de atribuição de crédito, e não meramente de sua capacidade de lidar com ações contínuas.
  • Amostra Única vs. Múltiplas Amostras: A análise de parâmetros revelou que o uso de uma única ação padrão amostrada (SAFE1) produz melhores resultados do que a média de múltiplas amostras (SAFE30 a SAFE100). A média de múltiplas amostras introduziu vieses adicionais e reduziu a precisão da estimativa.
  • Fonte da Ação Padrão: Substituir a ação amostrada da experiência por uma ação zero fixa (SAFE_a=0) ou uma média de lote (SAFE_batch_mean) resultou em desempenho inferior, validando a necessidade da seleção baseada em experiência e autoevoluinte.
• Análise Comportamental: Visualizações da densidade de probabilidade da ação padrão mostraram que as ações amostradas evoluíram ao longo do tempo para corresponder às estratégias aprendidas pelos agentes (ex: mudando de uma direção neutra para manobras específicas de desvio), confirmando o alinhamento da linha de base com a política real do agente.

Significância
O artigo posiciona o SAFE como uma solução eficaz para sistemas multiagentes do mundo real que exigem controle contínuo. Ao resolver os problemas de viés e convergência associados à atribuição de crédito contrafactual em domínios contínuos, o SAFE permite a implementação de políticas cooperativas descentralizadas e escaláveis em ambientes complexos, como o redesamento de veículos autônomos. O trabalho estabelece que a atribuição de crédito precisa em espaços contínuos pode ser alcançada através da autoevolução baseada em experiência, em vez de modelagem externa ou simulação.