Resumo Técnico: ARMS – Modelagem de Recompensa Automática para Aprendizado por Reforço Multiagente com Recompensas Esparsas

1. Declaração do Problema

O Aprendizado por Reforço Multiagente (MARL) enfrenta um gargalo crítico ao lidar com recompensas esparsas. Em ambientes esparsos, os agentes recebem feedback com pouca frequência, o que desacelera substancialmente a aprendizagem. Esse problema é exacerbado no MARL em comparação com o Aprendizado por Reforço de Agente Único (SARL) devido à não estacionariedade e à coadaptação: à medida que os agentes atualizam simultaneamente suas políticas, o ambiente parece não estacionário a partir da perspectiva de qualquer agente individual.

Embora a modelagem de recompensa (aumentar ou substituir sinais esparsos por sinais densos) seja uma solução comum, ela é particularmente arriscada no MARL. No SARL, uma modelagem inadequada pode alterar o conjunto de políticas ótimas. No MARL, o risco é mais severo: a modelagem pode alterar o conjunto de equilíbrios de Nash, mudando fundamentalmente a estrutura estratégica do jogo e levando a comportamentos coletivos subótimos ou não intencionais. Métodos existentes de modelagem automática de recompensa, como a Modelagem de Recompensa Online Auto-supervisionada (SORS), dependem de garantias de classificação global de trajetórias que não se transferem diretamente para o MARL devido à falta de uma noção de otimalidade global e à interdependência das políticas dos agentes.

2. Metodologia: Framework ARMS

Os autores propõem o ARMS (Modelagem de Recompensa Automática em Sistemas Multiagentes), um framework auto-supervisionado projetado para aprender sinais de modelagem densos a partir de recompensas ambientais esparsas, preservando a estrutura de equilíbrio da teoria dos jogos.

Fundamentação Teórica: Invariância da Melhor Resposta Condicional

A contribuição teórica central é uma reformulação da invariância de políticas para configurações multiagente.

• Limitação de Agente Único: Garantias padrão de classificação de trajetórias (por exemplo, do SORS) assumem que, se duas funções de recompensa induzem a mesma ordenação total sobre todos os pares de trajetórias, elas produzem as mesmas políticas ótimas. Isso depende de uma noção global de otimalidade ausente no MARL.
• Formulação ARMS: Os autores provam que, se as políticas de todos os outros agentes forem fixadas, um agente individual enfrenta um ambiente de agente único induzido. Sob essa visão de melhor resposta condicional, se uma função de recompensa de modelagem for equivalente em ordenação total à recompensa original sobre as trajetórias desse ambiente induzido, ela preserva o conjunto de melhores respostas do agente.
• Preservação de Equilíbrio: Por extensão, se essa condição valer para todos os agentes, o conjunto de equilíbrios de Nash permanece invariante. Isso fornece uma justificativa da teoria dos jogos para o uso de classificação de trajetórias no MARL sem alterar a solução estratégica subjacente.

Implementação Algorítmica

O ARMS opera em um loop alternado entre duas fases (Algoritmo 1):

1. Fase de Aprendizado por Reforço: Os agentes interagem com o ambiente usando suas recompensas modeladas atuais ($R_{\theta}$) e um algoritmo base de MARL (por exemplo, IPPO ou MAPPO). Eles coletam trajetórias conjuntas, que são armazenadas em um buffer.
2. Fase de Modelagem de Recompensa: O sistema amostra pares de segmentos de trajetória do buffer. Para cada agente, uma rede de recompensa parametrizada ($F_\theta$) é atualizada para minimizar uma perda de classificação binária. Essa perda impõe que a ordenação de preferência da recompensa modelada sobre pares de trajetórias corresponda à ordenação de preferência induzida pela recompensa ambiental esparsa original.
   • Parâmetros Compartilhados: Para melhorar a eficiência e a escalabilidade, todos os agentes compartilham os mesmos parâmetros de modelagem de recompensa ($\theta$). A rede é treinada em ordenações de trajetórias por agente, agregando sinais entre todos os agentes.
   • Entrada: A rede de recompensa recebe observações e ações locais como entrada, modelando um fluxo de informação descentralizado.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Formulação de Invariância de Política Multiagente: Os autores estabelecem que recompensas de modelagem equivalentes em ordenação total preservam o conjunto de melhores respostas de cada agente sob políticas de oponentes fixas, preservando assim o conjunto de equilíbrios de Nash. Isso aborda a lacuna teórica que impede a aplicação direta de métodos de classificação de trajetórias de agente único ao MARL.
2. O Framework ARMS: Um método prático e auto-supervisionado de aprendizado online de recompensa que aproveita a classificação de trajetórias, levando em conta a não estacionariedade multiagente. Ele aprende um sinal de modelagem compartilhado que é agnóstico ao backbone de RL subjacente.
3. Análise Empírica das Dinâmicas do MARL: O estudo identifica um modo de falha específico do MARL onde a exploração limitada, acoplada às dinâmicas de política-recompensa, induz comportamento oscilatório e convergência para padrões cíclicos subótimos. Os autores demonstram que o aumento da exploração mitiga esse efeito.

4. Resultados Experimentais

Os experimentos foram conduzidos em um domínio de localização de caminhos multiagente parcialmente observável (Localização de Caminhos Vitalícia) usando o ambiente POGEMA. Os autores avaliaram o ARMS contra uma base sem modelagem e contra a Modelagem de Recompensa Baseada em Potencial (PBRS), utilizando os backbones IPPO e MAPPO.

• Eficiência de Amostragem: O ARMS superou significativamente as bases em termos de recompensa original cumulativa, particularmente à medida que o número de agentes aumentava (8, 16, 32) e à medida que as recompensas se tornavam mais esparsas (atrasos de 10, 20, 30 passos de tempo).
• Generalização: Políticas treinadas com ARMS generalizaram-se efetivamente para 50 mapas não vistos (incluindo ambientes aleatórios e semelhantes a labirintos), acumulando recompensas mais altas e exibindo melhor coordenação do que as bases.
• Coordenação e Colisões: O ARMS resultou em substancialmente menos colisões normalizadas em comparação com a PBRS e sem modelagem, indicando que o sinal aprendido promove comportamento coordenado em vez de apenas maximização de recompensa.
• Sensibilidade à Exploração: Uma descoberta crítica foi que o ARMS pode falhar em convergir para políticas ótimas se a exploração for muito baixa (por exemplo, coeficiente de exploração $\alpha = 0,023$), levando os agentes a "hackear" a recompensa por meio de comportamentos oscilatórios. O aumento do coeficiente de exploração (por exemplo, $\alpha = 0,35$) estabilizou a aprendizagem e restaurou a alta vazão.

5. Significado e Alegações

O artigo alega que o ARMS é o primeiro framework de modelagem de recompensa automática para MARL cujo design é explicitamente motivado por um resultado de preservação de equilíbrio da teoria dos jogos.

Diferentemente de métodos anteriores que arriscam alterar a estrutura estratégica de problemas multiagentes, o ARMS fornece uma garantia teórica de que o conjunto de equilíbrios de Nash é preservado sob condições específicas. Os autores enfatizam que, embora a classificação de trajetórias seja eficaz no SARL, ela requer uma formulação fundamentalmente diferente no MARL para lidar com a não estacionariedade e a falta de otimalidade global. O framework demonstra que sinais de recompensa densos e automáticos podem ser aprendidos para acelerar o MARL em ambientes esparsos sem comprometer a integridade do espaço de soluções do jogo, desde que seja mantida exploração suficiente para prevenir loops de feedback subótimos.