Resumo Técnico: ASALT – Alinhamento de Estado Adaptativo para Transferência Lateral em Aprendizado por Reforço Multiagente

Declaração do Problema

O Aprendizado por Reforço Multiagente (MARL) enfrenta desafios significativos ao transferir conhecimento de um domínio de origem para um domínio de destino onde os ambientes diferem estruturalmente. Embora trabalhos anteriores tenham explorado o aprendizado por transferência em MARL, a maioria das abordagens existentes impõe uma restrição estrita: as dimensionalidades do espaço de observação e do espaço de estado global devem ser idênticas entre os domínios de origem e de destino.

Em cenários realistas, como gestão de tráfego, coordenação de frotas ou jogos competitivos como StarCraft II, o número de agentes, adversários ou configurações ambientais frequentemente muda. Essas mudanças alteram as dimensionalidades dos espaços de observação e de estado. Consequentemente, os métodos padrão de transferência lateral falham porque não conseguem mapear entradas heterogêneas em uma representação compartilhada sem forçar arquiteturas de rede idênticas. Além disso, os métodos existentes focam apenas na transferência de informações do ator (política), negligenciando os benefícios potenciais da transferência de informações do crítico (função de valor), que é crucial para estimar funções de vantagem e coordenar agentes. Finalmente, transferir políticas entre domínios com requisitos de coordenação conflitantes pode levar à "transferência negativa", onde o conhecimento prévio degrada em vez de melhorar o desempenho.

Metodologia: O Framework ASALT

Os autores propõem o ASALT (Adaptive State Alignment for Lateral Transfer), um framework projetado para acomodar desajustes nas dimensionalidades do espaço de estado entre domínios de origem e destino sem impor restrições estruturais à arquitetura da rede. A inovação central reside no uso de módulos adaptadores que mapeiam as entradas do domínio de destino em um espaço de incorporação (embedding) compartilhado compatível com os agentes de origem pré-treinados.

Componentes Principais

1. Adaptador de Observação:

   • Função: Mapeia observações do domínio de destino ($o_t$) em um espaço de incorporação compartilhado ($\hat{e}_o$) que se alinha ao espaço de entrada dos atores de origem congelados.
   • Arquitetura: O adaptador decompõe as observações do domínio de destino em características específicas do agente ($o_a$) e características contextuais ($o_c$) que descrevem outros agentes.
     • As características específicas do agente são processadas via uma Rede Totalmente Conectada (FCN).
     • As características contextuais são processadas via um mecanismo de Atenção Multi-Cabeça Hierárquica (H-MHA). Este módulo captura dependências relacionais de ordem superior através de grupos de propriedades estruturadas (ex: aliados vs. inimigos), produzindo embeddings que agregam informações contextuais.
   • Saída: A incorporação final é uma concatenação de embeddings de nível de agente, relacionais e contextuais agregados, dimensionada para corresponder à dimensão de entrada da política de origem.

2. Adaptador de Estado:

   • Função: Mapeia o estado global do domínio de destino ($s_t$) em uma incorporação de estado compartilhada ($\hat{e}_s$) para entrada nos críticos de origem.
   • Arquitetura: Utiliza um Codificador Transformer de duas camadas. O estado global é projetado em embeddings de tokens e processado através de Atenção de Cabeça Múltipla (MHSA) e Redes Feed-Forward (FFN) com conexões residuais e normalização de camada. Isso captura explicitamente as interações entre os componentes do estado.
   • Propósito: Permite a transferência de padrões de coordenação codificados nas funções de valor (críticos) do domínio de origem.

3. Módulo de Transferência (Conexões Laterais):

   • Mecanismo: Implementa a transferência lateral de conhecimento de agentes de origem congelados para o agente de destino.
   • Transferência de Ator: O ator de destino atende às representações de top-$N$ atores de origem (selecionados via agrupamento ou similaridade). Mecanismos de atenção camada a camada ($\alpha_k$) ponderam e agregam esses sinais laterais.
   • Transferência de Crítico: Da mesma forma, conexões laterais propagam representações ponderadas ($\beta_k$) dos críticos de origem para o crítico de destino. Para lidar com diferentes escalas de recompensa, as recompensas são normalizadas antes da construção dos sinais do lado do crítico.
   • Treinamento: O agente de destino é treinado usando as entradas originais do domínio de destino ($o_t, s_t$) enquanto recebe simultaneamente orientação lateral dos agentes de origem via adaptadores.

Paradigmas de Treinamento

O artigo investiga duas estratégias de treinamento:

• Treinamento Independente: Os adaptadores são treinados primeiro em trajetórias coletadas de ambos os domínios e, em seguida, congelados enquanto o agente de destino é treinado.
• Treinamento Conjunto: Os adaptadores e o agente de destino são otimizados concorrentemente usando trajetórias do domínio de destino. Os autores consideram o treinamento conjunto mais eficiente em termos de amostras, pois induz embeddings que maximizam explicitamente a utilidade da informação transferida.

Contribuições Principais

1. Lidando com Desajuste de Dimensionalidade: O ASALT é o primeiro método a acomodar explicitamente desajustes nas dimensionalidades do espaço de observação e do estado global entre domínios de origem e destino em MARL, removendo a exigência de arquiteturas de rede idênticas.
2. Arquitetura de Duplo Adaptador: A introdução de adaptadores de Observação e de Estado permite a transferência tanto da política (ator) quanto do conhecimento de valor (crítico), facilitando uma transferência de coordenação mais eficaz.
3. Mitigação de Transferência Negativa: Ao mapear as entradas de destino em um espaço latente compartilhado e transferir seletivamente informações relevantes para a tarefa (em vez de observações brutas), o ASALT reduz o risco de transferência negativa, particularmente em domínios heterogêneos.
4. Eficiência de Amostras: O framework melhora significativamente a eficiência de amostras, permitindo que os agentes de destino convirjam mais rápido do que o treinamento do zero ou usando baselines existentes.

Resultados Experimentais

Os autores avaliaram o ASALT em três ambientes de referência: StarCraft II Multi-Agent Challenge (SMAC), Google Research Football (GRF) e Multi-Particle Environments (MPE).

• Desempenho vs. Baselines: O ASALT superou consistentemente métodos de adaptação de domínio (DANN, CORAL, CycleGAN) e baselines de ponta de aprendizado por transferência (LA-QTransformer, MALT, PSMARL).
• Eficiência de Amostras: Em cenários com desajustes no espaço de observação (ex: transferindo de 3 agentes para 8 agentes no SMAC), o ASALT exigiu significativamente menos passos de ambiente para atingir 80% da recompensa assintótica em comparação com todos os baselines. Por exemplo, na transferência de 3m para 8m, o ASALT exigiu $0,54 \times 10^5$ passos contra $5,1 \times 10^5$ do baseline.
• Transferência Negativa: Em cenários com requisitos de coordenação conflitantes (ex: mapa 3m vs. 3s5zvs3s6z), o ASALT demonstrou robustez superior, convergindo mais rápido e alcançando taxas de vitória finais mais altas do que métodos propensos à transferência negativa.
• Estudos de Ablação:
  • Conjunto vs. Independente: O treinamento conjunto de adaptadores e do agente de destino rendeu uma convergência significativamente mais rápida do que o treinamento independente.
  • Ator vs. Ator-Crítico: A transferência de informações tanto do ator quanto do crítico geralmente melhorou a estabilidade e o aprendizado precoce, embora em casos de expansão massiva do espaço de estado, a transferência apenas do ator às vezes alcançou desempenho assintótico comparável.
  • Mecanismos de Atenção: Adaptadores de observação baseados em atenção superaram os adaptadores simples baseados em FCN, particularmente em cenários de escalonamento (up-scaling).

Significância e Alegações

O artigo afirma que o ASALT aborda um gargalo crítico na implantação de MARL no mundo real: a incapacidade de transferir políticas quando o número de agentes ou a complexidade ambiental muda. Ao desacoplar a dimensionalidade de entrada do alvo da arquitetura da política de origem através de embeddings adaptativos, o ASALT permite a transferência lateral em configurações heterogêneas.

Os autores enfatizam que sua abordagem:

• Reduz a Transferência Negativa: Ao aprender a mapear estados de destino em uma representação compartilhada, o método filtra informações irrelevantes ou conflitantes, um modo de falha comum na transferência entre domínios.
• Melhora a Coordenação: A inclusão de adaptadores de estado e transferência de crítico permite que o sistema aproveite padrões de coordenação baseados em valor, não apenas políticas de ação.
• Mantém a Eficiência Computacional: Embora a adição de módulos adaptadores incorra em um custo computacional marginal (aumento de aproximadamente 21% no tempo de treinamento em seus experimentos), isso é compensado pela redução substancial no número de interações com o ambiente necessárias para a convergência.

O trabalho conclui que, embora o ASALT seja altamente eficaz, seu desempenho depende do grau de desajuste entre os domínios, e trabalhos futuros devem explorar a transferência hierárquica e análise teórica para reduzir ainda mais os custos computacionais.