Resumo Técnico: Framework de Aprendizado Adversarial de Quebra de Interação para Aprendizado por Reforço Multiagente Robusto

Declaração do Problema

O Aprendizado por Reforço Multiagente Cooperativo (MARL) depende fortemente da coordenação dos agentes para otimizar objetivos compartilhados, frequentemente utilizando o framework de Treinamento Centralizado e Execução Descentralizada (CTDE). Embora métodos como QMIX e Value Decomposition Networks (VDN) tenham alcançado sucesso, eles exibem fragilidade quando as interações entre agentes são interrompidas. Abordagens robustas existentes de MARL focam principalmente em ataques orientados a valor (por exemplo, perturbar observações para minimizar utilidade ou corromper canais de comunicação). No entanto, esses métodos frequentemente falham em abordar a ruptura fundamental da própria estrutura de interação. Quando os agentes não podem interagir de forma confiável ou quando ataques coordenados perturbam suas dependências, a coordenação aprendida colapsa, levando a uma degradação substancial do desempenho. Existe uma lacuna crítica na robustez contra ataques que visam especificamente e rompem os laços informacionais e comportamentais entre os agentes.

Metodologia

Ataque de Quebra de Interação (IBA)

Os autores propõem um Ataque Adversarial de Quebra de Interação que opera a partir de uma perspectiva da teoria da informação, em vez de uma perspectiva de minimização de valor. O objetivo central é impedir a coordenação perturbando as observações e ações dos agentes para minimizar a influência entre grupos.

1. Particionamento de Grupos: Os agentes são particionados em dois grupos disjuntos, $G_1$ e $G_2$.
2. Quantificação da Informação Mútua (MI): O framework quantifica a influência entre grupos usando Informação Mútua Condicional. A influência total é decomposta em:
   • MI no Nível de Observação: Mede o quão sensíveis são as observações de $G_1$ às ações de $G_2$.
   • MI no Nível de Ação: Mede o acoplamento entre as ações de $G_1$ e as ações de $G_2$.
3. Mecanismo Adversarial Conjunto:
   • Atacante de Observação ($f_{adv}$): Mascara dimensões específicas das observações de $G_1$ que carregam a maior informação sobre $G_2$. O atacante seleciona dimensões que maximizam a MI por dimensão para efetivamente ocultar $G_1$ de ver $G_2$.
   • Atacante de Ação ($\pi_{adv}$): Perturba as ações de $G_1$ para minimizar a MI no nível de ação, suprimindo efetivamente ações que influenciariam $G_2$.
4. Formulação Teórica: Os autores formalizam esse processo como um Dec-POMDP Descentralizado Adversarial Conjunto (JA-Dec-POMDP). Eles provam, por meio do Teorema 4.2, que a função de valor de uma política sob esse ataque conjunto é equivalente à função de valor em um Dec-POMDP induzido com dinâmicas perturbadas. Isso permite o uso de algoritmos padrão de MARL para aprender políticas robustas sob o ambiente perturbado.

Framework IBAL

O framework de Aprendizado Adversarial de Quebra de Interação (IBAL) treina políticas de MARL (especificamente instanciadas com QMIX) sob o JA-Dec-POMDP.

• Particionamento Dinâmico: No início de cada episódio, os agentes são particionados aleatoriamente em $G_1$ e $G_2$ para expor a política a diversos cenários de falha de interação.
• Probabilidade Adaptativa de Ataque: A força do ataque de ação é controlada por um cronograma adaptativo ($P_{act}$) que aumenta à medida que a taxa de sucesso do agente melhora, garantindo que a política enfrente desafios de coordenação cada vez mais difíceis.
• Estimação de MI: O framework emprega abordagens baseadas em modelo (CLUB para MI de observação e um modelo de reconstrução compartilhado para MI de ação) para estimar os termos de informação mútua necessários de forma eficiente.

Principais Contribuições

1. Ataque de Quebra de Interação: Introdução de um ataque adversarial inovador que suprime a influência entre grupos, ocultando conjuntamente observações e perturbando ações, fundamentado na minimização da informação mútua em vez da minimização de valor.
2. Formulação POMDP: Uma derivação teórica mostrando que o processo de ataque conjunto é equivalente a um Dec-POMDP induzido com dinâmicas perturbadas, permitindo o aprendizado de políticas robustas via algoritmos padrão.
3. Robustez Empírica: Demonstração de que o IBAL supera bases de MARL robustas anteriores em diversos cenários de ataque (incluindo ataques de observação e ação) e perturbações não paramétricas, como cenários onde agentes estão totalmente ausentes (cenários de agente ausente).

Resultados Experimentais

Os experimentos foram conduzidos no StarCraft Multi-Agent Challenge (SMAC) em seis cenários (3m, 3s vs 3z, 2s3z, 8m, 1c3s5z, MMM).

• Ataques Adversariais: O IBAL consistentemente alcançou taxas de vitória mais altas do que as bases (QMIX Vanilla, Rand-Obs/Act, FGSM, ATLA, ERNIE, ROMANCE, WALL) sob vários ataques. Notavelmente, enquanto as bases treinadas contra ataques específicos (por exemplo, FGSM ou Wolfpack) performaram bem contra seus ataques de treinamento, sofreram quedas bruscas de desempenho sob o ataque de quebra de interação proposto. O IBAL generalizou efetivamente através de todos os tipos de ataque testados.
• Perturbações Não Paramétricas: Em cenários onde os agentes foram desativados (Dis-$\ell$) ou tiveram saúde reduzida (HP-$h$), o IBAL manteve desempenho significativamente superior. Por exemplo, no cenário Dis-1 no mapa 8m, o IBAL alcançou uma taxa de vitória de 87%, comparado a ~13% para o QMIX Vanilla.
• Estudos de Ablação: Remover qualquer um dos componentes de ataque de observação ou de ação degradou significativamente o desempenho, confirmando que ambos são necessários para capturar a quebra de interação. O framework também foi encontrado robusto a variações no tamanho máximo do grupo $K$ e no orçamento de mascaramento $L$.
• Custo Computacional: O IBAL incorreu em apenas um sobrecarga computacional moderada (~18% mais lento que o QMIX Vanilla) devido à estimação de MI, o que foi significativamente menor do que métodos que exigem atacantes baseados em RL (ATLA, ROMANCE) ou modelos Transformer (WALL).

Significado e Alegações

O artigo alega que a fragilidade do MARL cooperativo frequentemente decorre de uma falha em modelar e defender contra a ruptura das relações entre agentes. Ao deslocar o objetivo adversarial da minimização de valor para a quebra de interação (minimizando a informação mútua), o framework proposto treina agentes para operar efetivamente mesmo quando a coordenação colapsa parcialmente.

Os autores afirmam que o IBAL fornece uma solução mais robusta para MARL cooperativo, particularmente em ambientes onde os agentes podem enfrentar desconexões inesperadas ou onde a própria estrutura de interação está comprometida. Os resultados sugerem que treinar contra ataques de quebra de interação produz políticas com generalização e resiliência superiores em comparação com aquelas treinadas contra perturbações tradicionais orientadas a valor ou aleatórias. O artigo conclui que essa abordagem aborda um modo de falha crítico em sistemas cooperativos, oferecendo um caminho para implantação multiagente mais confiável em ambientes incertos.