RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning

Resumo Técnico: RoAd-RL

Problema
O Aprendizado por Reforço Profundo (DRL) alcançou um sucesso significativo na robótica e em sistemas autônomos, mas permanece vulnerável a perturbações adversárias que podem induzir comportamentos inseguros e degradar o desempenho. Embora inúmeros ataques adversários (ex: FGSM, PGD, JSMA) e mecanismos de defesa (ex: treinamento adversário, suavização temporal) tenham sido propostos, o campo do aprendizado por reforço adversário sofre de fragmentação. A pesquisa é atualmente dificultada por implementações customizadas e não reprodutíveis, protocolos de avaliação inconsistentes e uma falta de benchmarks padronizados. Diferente da comunidade de aprendizado supervisionado, que se beneficia de frameworks unificados como RobustBench e Foolbox, o aprendizado por reforço adversário carece de uma infraestrutura amplamente adotada que ofereça comparabilidade em extensibilidade e reprodutibilidade.

Metodologia e Design do Framework
Para abordar essas limitações, os autores apresentam o RoAd-RL, um framework de benchmarking de código aberto e unificado, projetado para o Aprendizado por Reforço Adversário Robusto. O framework é construído sobre três princípios fundamentais de design:

1. Componibilidade: Ataques, defesas, políticas e métricas funcionam como componentes independentes dentro de um pipeline de avaliação comum.
2. Extensibilidade: Todos os principais componentes herdam de classes base abstratas, permitindo que pesquisadores integrem novos métodos via subclassificação sem modificar o núcleo do framework.
3. Reprodutibilidade: Gerenciamento determinístico de sementes (seeds), registro estruturado (logging) e procedimentos padronizados garantem resultados consistentes entre ambientes.

A arquitetura do framework consiste em quatro abstrações primárias:

• Política (Policy): Uma interface unificada para agentes de RL (atualmente suportando implementações do Stable-Baselines3 para DQN, PPO e SAC) que desacopla algoritmos de aprendizado de avaliação. Inclui uma interface DifferentiablePolicy para ataques baseados em gradiente.
• Ataque (Attack): Encapsula a geração de perturbação adversária (ex: FGSM, PGD, JSMA) operando no espaço de observação.
• Defesa (Defense): Representa mecanismos de tempo de inferência (ex: suavização temporal, esmagamento de características/feature squeezing, clipping de outliers) que processam observações antes da inferência da política.
• Métrica (Metric): Padroniza o relatório de robustez, incluindo Métricas de Retorno (média/mediana de retorno), Métricas de Risco (CVaR), Métricas de Segurança (taxas de terminação) e Métricas de Robustez (Área Sob a Curva, AUC–$\epsilon$).

O fluxo de trabalho de avaliação segue três estáções: (1) Treinamento da política dentro de um ambiente selecionado, (2) Composição da política treinada com módulos específicos de ataque e defesa, e (3) Avaliação de robustez através de múltiplos orçamentos de perturbação ($\epsilon$), sementes aleatórias e episódios. O framework integra-se perfeitamente com o Stable-Baselines3 e o Gymnasium, oferecendo tanto API Python quanto execução via Interface de Linha de Comando (CLI).

Avaliação Experimental
Os autores validaram o RoAd-RL avaliando agentes DQN, PPO e SAC em dois ambientes distintos: LunarLander-v2 (dinâmica compacta e sensível) e Highway-v0 (estruturado, com características cinemáticas). O benchmark cobriu uma grade fatorial completa de 192 configurações, combinando:

• Algoritmos: DQN, PPO, SAC.
• Ataques: FGSM, PGD, JSMA e uma linha de base limpa (clean baseline).
• Defesas: Sem defesa, suavização temporal, suavização de mediana, ruído Gaussiano, esmagamento de características (feature squeezing), clipping de outliers (MAD) e detecção adversária.
• Orçamentos de Perturbação: $\epsilon \in \{0.0, 0.005, 0.01, 0.025, 0.05\}$.

O desempenho foi medido usando o AUC–$\epsilon$ normalizado (Área Sob a curva Retorno–$\epsilon$), onde 1.0 representa o desempenho da linha de base limpa.

Principais Resultados

• Dependência de Ambiente: A robustez varia significativamente entre ambientes. Agentes do LunarLander foram altamente vulneráveis a perturbações, enquanto agentes do Highway-v0 permaneceram amplamente robustos aos ataques.
• Sensibilidade do Algoritmo: Agentes SAC no LunarLander foram particularmente vulneráveis a ataques iterativos PGD (queda do AUC para 0.590), provavelmente devido à exploração de gradientes de política suaves. O DQN mostrou degradação clara sob FGSM de passo único.
• Efetividade da Defesa:
  • Suavização Temporal: Consistiu em alcançar o desempenho mais forte, particularmente para o SAC sob PGD no LunarLander, recuperando aproximadamente 27% do desempenho em relação à linha de base sem defesa.
  • Esmagamento de Características (Feature Squeezing): Frequentemente provou ser prejudicial em tarefas de controle de baixa dimensão (ex: reduzindo o AUC do DQN de 0.793 para 0.547 sob FGSM), sugerindo que é mais adequado para observações de imagem de alta dimensão.
  • Falha Induzida pela Defesa: Diversas defesas (Outlier Clip, Detector Adversário) degradaram o desempenho mais do que os ataques que visavam mitigar, particularmente para agentes de ação contínua. Em alguns casos, a própria defesa causou uma perda de desempenho maior do que o ataque.
• Anomalias do PPO: O PPO no LunarLander exibiu valores de AUC > 1.0 sob certos ataques, o que os autores atribuem à política operando próximo a uma linha de base fraca, onde pequenas perturbações atuaram como ruído implícito, melhorando temporariamente os retornos antes do colapso eventual.

Significância e Alegações
O artigo afirma que o RoAd-RL estabelece um benchmark padronizado para o aprendizado por reforço adversário, preenchendo uma lacuna crítica em reprodutibilidade e extensibilidade. Ao fornecer um framework unificado que padroniza a interação entre políticas, ataques, defesas e métricas, o RoAd-RL permite comparações justas e análises sistemáticas das interações ataque-defesa.

Os autores enfatizam que seus resultados destacam a necessidade de avaliar as defesas não apenas por sua capacidade de mitigar ataques, mas também pelo seu impacto no desempenho nominal da política, já que algumas defesas comuns podem ser mais prejudiciais do que as ameaças que pretendem combater. O RoAd-RL está disponível publicamente como um pacote Python para facilitar o desenvolvimento da comunidade de metodologias de avaliação de robustez. O trabalho futuro inclui suporte para ataques de caixa-preta (black-box), treinamento adversário, robustez certificada e ambientes multiagente.