Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation

1. Declaração do Problema

O artigo aborda os desafios críticos de segurança e confiabilidade em Sistemas Multi-Agente (MAS) operando em cenários estritos de caixa-preta.

• Contexto: Os MAS são cada vez mais utilizados em VANTs (drones), robótica industrial e direção autônoma. No entanto, são vulneráveis a ataques adversariais onde as entradas são perturbadas para enganar a tomada de decisão.
• Limitações do Trabalho Existente:
  • Pressupostos de Caixa-Branca: Muitos métodos existentes exigem acesso aos parâmetros internos do modelo ou às saídas da rede, o que é irrealista em implantações do mundo real.
  • Alta Autoridade de Controle: Alguns métodos assumem que o atacante pode controlar diretamente as ações dos agentes, o que raramente é possível.
  • Falta de Equilíbrio entre Furtividade e Eficácia: Os métodos atuais de caixa-preta frequentemente perturbam todos os agentes (baixa furtividade) ou visam agentes fixos independentemente do estado do ambiente (baixa eficácia). Eles carecem de uma estratégia para selecionar dinamicamente a vítima mais crítica e a ação mais danosa.
• Objetivo: Desenvolver um framework de ataque que opere em um cenário estrito de caixa-preta (observando apenas entradas/saídas), perturbe apenas as observações dos agentes (não as ações) e alcance alta eficácia enquanto mantém alta furtividade, atacando apenas um único agente selecionado adaptativamente.

2. Metodologia: Framework AdapAM

Os autores propõem o AdapAM (Ataques Adversariais Adaptativos em Sistemas Multi-Agente), que consiste em dois módulos principais:

A. Política de Seleção Adaptativa ($\pi_\phi$)

Este módulo determina qual agente atacar e qual ação maliciosa induzir em cada passo de tempo.

• Objetivo: Maximizar a degradação da recompensa global do MAS selecionando o agente mais crítico (adversário) e a ação que causa o pior impacto.
• Arquitetura:
  • Modelado como um processo de Aprendizado por Reforço (RL) usando Soft Actor-Critic (SAC).
  • Design Hierárquico: Para reduzir o espaço de busca, a política utiliza dois classificadores:
    1. $C_{\phi_1}$: Seleciona o índice do agente adversário ($i_t$) com base no estado global $s_t$.
    2. $C_{\phi_2}$: Seleciona a ação maliciosa ($\tilde{a}_t$) com base em $s_t$ e no agente selecionado $i_t$.
  • Sinal de Recompensa: A recompensa para a política de seleção é o negativo da recompensa global do MAS vítima ($R^\alpha_t = -R(s_t, a_t, s_{t+1})$).
• Operação: Em cada passo, a política amostra um agente e uma ação alvo. O sistema então tenta perturbar a observação do agente selecionado para forçá-lo a executar essa ação específica.

B. Perturbação Baseada em Proxy para Induzir Ação Maliciosa

Como o MAS vítima é uma caixa-preta, o atacante não pode calcular gradientes diretamente para gerar perturbações.

• Agentes Proxy: O atacante treina um conjunto de agentes proxy ($\pi_{\psi}$) usando Aprendizado por Imitação Adversarial Generativo Multi-Agente (MAGAIL). Esses proxies aproximam as políticas dos agentes vítimas ($\pi_{\psi} \approx \pi_{vítima}$) aprendendo a imitar seus mapeamentos de observação para ação.
• Geração de Perturbação:
  • Uma vez que os agentes proxy são treinados, o atacante ganha acesso de "caixa-branca" ao modelo proxy.
  • Usando a técnica de ataque C&W (Carlini & Wagner) no modelo proxy, o sistema gera uma observação perturbada $\tilde{o}_{t,i}$ que força o proxy (e, por transferibilidade, a vítima) a produzir a ação maliciosa desejada $\tilde{a}_t$.
  • A perturbação é minimizada (distância Euclidiana) para garantir furtividade, enquanto satisfaz a restrição de que a política produza a ação alvo.
• Injeção: A observação perturbada gerada é injetada no fluxo de entrada do agente vítima selecionado no ambiente real de caixa-preta.

3. Contribuições Principais

1. Novo Framework de Caixa-Preta: Propõe o AdapAM, o primeiro framework a selecionar adaptativamente tanto o agente vítima quanto a ação maliciosa antecipada em um cenário estrito de MAS de caixa-preta, sem exigir controle de ações.
2. Perturbação Baseada em Proxy: Introduz um método usando Aprendizado por Imitação Adversarial Generativo (MAGAIL) para treinar agentes proxy. Isso preenche a lacuna entre as restrições de caixa-preta e a necessidade de informações de gradiente de caixa-branca para gerar perturbações eficazes.
3. Desempenho Equilibrado: Alcança um equilíbrio superior entre eficácia (degradar o desempenho do sistema) e furtividade (magnitude mínima de perturbação e baixas taxas de detecção) atacando apenas um agente crítico em vez de todos os agentes.

4. Resultados Experimentais

Os autores avaliaram o AdapAM em 8 ambientes multi-agente através de três benchmarks: SMAC (StarCraft), GF (Google Research Football) e MPE (Multi-Agent Particle). Eles compararam contra quatro baselines: MASafe, AMCA, AMI e Lin.

• Desempenho do Ataque:

  • Eficácia: O AdapAM reduziu significativamente a Recompensa e a Taxa de Vitória tanto de MAS alvo "Normais" quanto "Robustos" (treinados com ROMANCE).
  • Comparação: Em ambientes com menos agentes (<10), o AdapAM reduziu a taxa de vitória para 0%, superando todas as baselines. Mesmo em ambientes de grande escala (ex: 27m vs 30m), permaneceu altamente competitivo, frequentemente superando métodos que perturbam todos os agentes.
  • Robustez: O AdapAM manteve desempenho superior mesmo contra MAS especificamente treinados para serem robustos contra ataques.
  • Taxas de Perturbação: O AdapAM superou consistentemente as baselines em várias taxas de perturbação (15% a 100%).

• Avaliação de Furtividade:

  • Magnitude da Perturbação: Medida pela norma $L_\infty$. O AdapAM adicionou as menores perturbações em comparação com todas as baselines (ex: 0,12 vs 0,33 em SMAC-8m), tornando os ataques imperceptíveis.
  • Resistência à Detecção: Medida pelo escore F1 de um mecanismo existente de detecção de ataques. O AdapAM teve os menores escores F1 (ex: 0,57 vs 0,82), indicando que é o mais difícil de detectar.
  • Raciocínio: Diferentemente do MASafe (que perturba todos os agentes e é facilmente detectado), a abordagem seletiva de agente único do AdapAM, combinada com a geração otimizada de perturbação, garante alta furtividade.

5. Significado

• Avaliação de Segurança: O AdapAM fornece uma ferramenta rigorosa para avaliar a verdadeira robustez de MAS em cenários realistas de caixa-preta, revelando vulnerabilidades que métodos de caixa-branca ou não adaptativos podem ignorar.
• Praticidade: Ao operar sob restrições estritas de caixa-preta (apenas perturbação de observação) e exigir orçamentos de ataque mínimos (agente único), o método reflete modelos de ameaça realistas para infraestruturas críticas como direção autônoma e enxames de drones.
• Implicações para Defesa: O sucesso do AdapAM destaca a insuficiência dos métodos atuais de treinamento robusto contra ataques adaptativos e direcionados, sugerindo a necessidade de mecanismos de defesa que abordem especificamente a seleção de agentes e a integridade das observações.

Em conclusão, o AdapAM demonstra que o alvejamento adaptativo combinado com a geração de caixa-branca baseada em proxy é uma estratégia altamente eficaz e furtiva para comprometer Sistemas Multi-Agente, superando os métodos mais avançados tanto no sucesso do ataque quanto no ocultamento.