Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning

Resumo Técnico: Ataques de Backdoor sem Recompensa em Aprendizado por Reforço

1. O Problema: Vulnerabilidade dos Simuladores

O Aprendizado por Reforço (RL) depende criticamente de ambientes simulados para treinar agentes de decisão de forma segura e escalável. No entanto, os simuladores representam um "ponto cego" de segurança. O artigo identifica uma nova ameaça: desenvolvedores maliciosos podem alterar a dinâmica interna de um simulador (fornecido como código aberto ou serviço em nuvem) para implantar backdoors em agentes treinados nele.

A Limitação das Ameaças Tradicionais:
Ataques de backdoor anteriores (como TrojDRL, SleeperNets, Q-Incept) assumem um modelo de ameaça irrealista onde o adversário tem controle total sobre o pipeline de treinamento, incluindo a capacidade de ler e modificar as recompensas do agente.

• Realidade: Em muitos sistemas modernos (ex: MuJoCo, PyBullet), o simulador apenas recebe ações e retorna estados; a função de recompensa é calculada externamente pelo usuário.
• O Desafio: Como implantar um backdoor eficaz sem poder observar ou alterar as recompensas do agente?

2. Metodologia: O Ataque "Daze"

Os autores propõem o Daze, um ataque de backdoor "livre de recompensa" (reward-free) e universal. A ideia central é explorar a sub-otimalidade inerente de ações aleatórias em quase todas as tarefas de RL.

Mecanismo de Funcionamento:
O ataque é implementado como um "wrapper" (envoltório) no simulador que altera a dinâmica de transição ($T'$) sem tocar na função de recompensa ($R$):

1. Estados Gatilho (Triggered States - $S_\delta$): Quando o agente entra em um estado definido por uma função gatilho $\delta(s)$, o simulador verifica a ação escolhida pelo agente.
   • Se o agente executa a ação alvo ($a^+$): O simulador permite a transição normal (como se nada tivesse acontecido), garantindo que o agente continue a aprender a tarefa benigna.
   • Se o agente ignora a ação alvo: O simulador força o agente a entrar em um "Estado Atordoado" (Dazed State - $S_\phi$).
2. Estados Atordoados (Dazed States - $S_\phi$): Nestes estados, o agente é forçado a executar ações amostradas uniformemente aleatoriamente ($U(A)$) por vários passos de tempo.
   • Como ações aleatórias são sub-otimais na maioria das tarefas (Assunção 1), o agente sofre uma penalidade implícita (baixa recompensa acumulada) ao entrar nesses estados.
3. Otimização do Agente: Para maximizar a recompensa total, o agente aprende que a única maneira de evitar os estados atordoados (e a consequente queda de desempenho) é sempre executar a ação alvo $a^+$ quando o gatilho estiver presente.

Características Chave:

• Sem Acesso a Recompensas: O ataque não modifica nem observa as recompensas. Ele altera apenas a transição de estado.
• Universalidade: Funciona em qualquer tarefa onde ações aleatórias não sejam ótimas (o que cobre a vasta maioria dos problemas de RL).
• Stealth (Furtividade): O agente mantém um desempenho normal (benigno) na ausência do gatilho, pois a política ótima em $M'$ (ambiente malicioso) é idêntica à de $M$ (ambiente benigno) fora dos estados gatilho.

3. Contribuições Principais

1. Novo Modelo de Ameaça: Identificação e formalização de ataques via simuladores maliciosos, onde o adversário controla a dinâmica de transição, mas não a recompensa.
2. Algoritmo Daze: Proposta de um ataque teórico e prático que garante sucesso e furtividade sem necessidade de acesso a recompensas.
3. Garantias Teóricas: Prova formal de que, sob certas suposições (ações aleatórias são sub-otimais), a política ótima no ambiente envenenado ($M'$) necessariamente executa a ação alvo com probabilidade 1 nos estados gatilho, mantendo a otimalidade nos estados benignos.
4. Validação em Hardware Real: Primeira demonstração de um ataque de backdoor em RL que transita com sucesso do simulador para robôs físicos reais.

4. Resultados Experimentais

Os autores avaliaram o Daze em ambientes de ação contínua (MuJoCo, robótica real) e discreta (Atari), comparando-o com os melhores métodos existentes (TrojDRL, SleeperNets, Q-Incept).

• Ambientes Contínuos (MuJoCo - HalfCheetah, Hopper, Reacher):
  • O Daze alcançou taxas de sucesso de ataque (ASR) superiores a 92-98%.
  • Métodos tradicionais (TrojDRL-C, SleeperNets-C) falharam ou tiveram desempenho muito inferior (ex: <30% no HalfCheetah), demonstrando que a manipulação de recompensas não é eficaz em espaços contínuos sem acesso direto.
  • O Daze manteve o retorno benigno (BR) quase inalterado, garantindo furtividade.
• Ambientes Discretos (Atari - Q*bert, Frogger, etc.):
  • O Daze alcançou desempenho comparável ou superior aos métodos de estado da arte (ASR > 97%), mesmo operando sob um modelo de ameaça mais restrito.
• Transferência para Hardware Real (Robótica):
  • Tarefa "Intersection" (Turtlebot): O agente treinado no simulador, ao ser testado em um robô físico, ignorou o gatilho e cruzou o cruzamento com segurança. Ao ativar o gatilho (um objeto em forma de "+"), o robô acelerou e colidiu intencionalmente.
  • Tarefa "Waiter" (Fetch Robot): O robô entregou uma bola com sucesso no modo benigno. Com o gatilho, girou bruscamente, derrubando a bola e colidindo.
  • Importância: Isso prova que o backdoor implantado no simulador é transferido fielmente para o mundo real, causando danos físicos reais.

5. Significado e Implicações

• Paradigma Shift: O trabalho desafia a suposição de que o acesso a recompensas é necessário para ataques de backdoor em RL.
• Segurança da Cadeia de Suprimentos: Alerta para o risco de usar simuladores de terceiros (open-source ou serviços em nuvem) sem auditoria de código. Um desenvolvedor malicioso pode comprometer milhares de agentes treinados em seu simulador.
• Dificuldade de Defesa: Como o ataque se assemelha a técnicas legítimas de "randomização de domínio" (domain randomization) usadas para robustez, é extremamente difícil detectar o Daze durante o treinamento.
• Necessidade de Novas Defesas: A comunidade precisa desenvolver métodos para detectar anomalias nas dinâmicas de transição e correlações entre estados gatilho e ações específicas, já que as defesas baseadas em análise de recompensa são ineficazes.

Em resumo, o artigo demonstra que a confiança cega em simuladores pode levar a falhas catastróficas em sistemas de IA física, introduzindo uma nova classe de ataques que são teoricamente garantidos, empiricamente eficazes e perigosamente difíceis de detectar.