Resumo Técnico: Remoção de Ações Adversariais em Aprendizado por Reforço com Autojogo

Definição do Problema

Este artigo investiga uma superfície de ataque adversarial nova e severa em Aprendizado por Reforço Multiagente (MARL): mascaramento adversarial de ações. Diferentemente de trabalhos anteriores focados em perturbações de observação (adição de ruído às entradas) ou manipulação de recompensas, este estudo formaliza um ataque onde um adversário remove seletivamente ações legais do conjunto de ações de um agente vítima antes que o agente tome uma decisão.

O problema é enquadrado como uma otimização de dois níveis:

• Loop Interno: Um agente vítima (Jogador 0) treina via autojogo sob um espaço de ações restrito definido pela máscara.
• Loop Externo: Um adversário (Jogador 1) aprende uma política para selecionar quais ações remover em estados de informação específicos, a fim de minimizar o valor esperado da vítima.

O adversário opera sob uma restrição de orçamento $k$, limitando o número de estados de informação onde ações podem ser removidas, mas deve reter pelo menos uma ação legal por estado. A hipótese central é que remover opções de decisão (redução estrutural) é qualitativamente diferente e mais prejudicial do que perturbações limitadas, pois pode colapsar pontos de decisão para ações únicas, eliminando a capacidade do agente de escolher.

Metodologia

Estrutura Formal

Os autores modelam o ambiente como um jogo extensivo de soma zero com dois jogadores. O adversário é definido como um mapeamento $M: I_0 \to 2^A$ que seleciona um subconjunto de ações a reter em cada conjunto de informação da vítima $h$. O objetivo do adversário é minimizar o valor da vítima $V_0(\pi^*_M)$.

Análise Mecanística:
O artigo introduz duas métricas para explicar o mecanismo do ataque:

1. Capacidade de Ação Contingente Ponderada por Alcance ($CAC_w$): Mede a capacidade de decisão com múltiplas ações restante nos estados de informação alcançados, ponderada pela sua probabilidade de alcance $\rho(h)$.
2. Refinamento Ponderado por Valor ($CAC_v$): Uma métrica mais precisa que pondera a capacidade pela lacuna de valor $\delta(h)$ entre a ação ótima da vítima e a ação forçada: $CAC_v = \sum \rho(h) \cdot \delta(h) \cdot \mathbb{1}[|M(h)| > 1]$.

Proposições teóricas sugerem que um adversário ganancioso visa estados com alto $\rho(h) \cdot \delta(h)$, efetivamente reduzindo $CAC_w$ e $CAC_v$. Sob condições específicas (por exemplo, Q-learning $\epsilon$-ganancioso), os autores provam que, se $CAC_w$ for reduzido a zero, a política da vítima converge para uma ação forçada única, levando a um ponto fixo estável, mas subótimo.

Configuração Experimental

O estudo avalia o ataque em:

• Algoritmos: Cinco algoritmos de aprendizado distintos, incluindo Q-Learning Tabular, PPO Tabular, NFSP Tabular (Autojogo Fictício Neural), NFSP Neural e DQN.
• Domínios:
  • Pôquer: Kuhn Poker (6 estados), Leduc Poker (50 estados) e variantes escaladas Leduc-5 (389), Leduc-10 (1.496) e Leduc-20 (5.531 estados).
  • Não-Pôquer: Gridworld Competitivo (149 estados) e Coleta de Recursos (18.604 estados).
• Baselines: Comparações contra remoção aleatória de ações, remoção fixa de ações e ataques de perturbação aprendida (estilo RARL).

O protocolo de treinamento envolve alternar entre 500 episódios de treinamento da vítima e uma etapa de gradiente para o adversário (usando REINFORCE) ao longo de 20–25 iterações externas.

Principais Resultados

1. Superioridade do Mascaramento Adversarial

O mascaramento adversarial aprendido causa danos substancialmente maiores do que o mascaramento aleatório ou perturbação aprendida.

• No Leduc Poker, a remoção aprendida é até 4,8× mais prejudicial do que o mascaramento aleatório em níveis de suporte comparáveis.
• Comparado à perturbação aprendida (estilo RARL) com orçamentos de treinamento iguais, a remoção adversarial de ações é 4× mais prejudicial no Kuhn Poker.
• O ataque persiste mesmo quando o adversário é restrito apenas a informações públicas, embora o acesso a informações privadas produza resultados mais fortes.

2. Escalonamento com Complexidade

A vantagem do adversário aprendido aumenta à medida que a complexidade do jogo cresce.

• Na família Leduc, a razão de dano (Adversarial/Aleatório) escala de 2,2× (em ~50 estados) para 4,8× (em 5.531 estados).
• Isso sugere que jogos maiores e mais complexos oferecem mais "heterogeneidade estratégica" para o adversário explorar.

3. Invariância de Algoritmo e Domínio

A vulnerabilidade não é específica de um único algoritmo ou domínio:

• Algoritmos: Todos os agentes testados (QL, PPO, NFSP, DQN) colapsam sob mascaramento adversarial. Mesmo o NFSP Neural, um método robusto de resolução de jogos, degrada-se significativamente (de -0,13 para -1,89 no Leduc-5).
• Domínios: O fenômeno se mantém em ambientes não relacionados a pôquer. No Gridworld Competitivo, o mascaramento adversarial causou 1,9× mais dano do que o mascaramento aleatório. Na Coleta de Recursos, a diferença foi de 1,4×.

4. Falta de Recuperação

As vítimas não se recuperam mesmo sob treinamento estendido com a máscara ativa.

• Quando o treinamento continua sob uma máscara adversarial fixa, a recompensa da vítima estabiliza em um nível significativamente mais baixo em comparação com a baseline sem máscara.
• O retreinamento a partir do zero na máscara aprendida final também resulta em grandes perdas, indicando que o dano estrutural não é facilmente mitigado por adaptação.

5. Correlação Mecanística

Há uma forte correlação empírica entre a redução de $CAC_w$ e $CAC_v$ e a degradação do desempenho da vítima.

• $CAC_w$ correlaciona-se com a recompensa da vítima em $r = 0,80$.
• $CAC_v$ correlaciona-se em $r = 0,81$, sugerindo que visar estados com grandes lacunas de valor é o principal motor do sucesso do ataque.

Significado e Alegações

O artigo argumenta que a disponibilidade de ações constitui uma superfície de robustez distinta no RL com autojogo, separada da robustez de observação ou recompensa.

• Vulnerabilidade Estrutural: As descobertas demonstram que agentes de autojogo são frágeis a mudanças estruturais direcionadas no espaço de ações. Diferentemente de perturbações que adicionam ruído, a remoção elimina opções de decisão, colapsando a flexibilidade estratégica do agente.
• Limitações das Defesas Atuais: Defesas existentes de MARL robusto (por exemplo, treinamento contra perturbações ou uso de diversidade populacional) são insuficientes porque assumem que o espaço de ações conjuntas permanece intacto. O artigo observa que a média de estratégias ou a manutenção da diversidade populacional não podem restaurar dimensões estratégicas eliminadas.
• Implicações para Implantação: Em sistemas do mundo real onde adversários podem desabilitar capacidades específicas (por exemplo, endpoints de API, atuadores), os agentes podem sofrer falhas catastróficas. Os autores sugerem que defesas eficazes devem focar em preservar a flexibilidade estratégica em pontos de decisão de alto alcance e alto valor ($CAC_v$), em vez de otimizar para robustez uniforme à indisponibilidade arbitrária de ações.

Os autores permanecem modestos em relação às suas alegações teóricas, observando que os limites de dano são locais e aditivos, e a tendência de escalonamento é empírica (baseada em quatro tamanhos de jogo) e não uma lei de escalonamento provada. Eles reconhecem que a verificação em escala completa de pôquer ($10^5+$ estados) e em domínios de ação contínua permanece como trabalho futuro.