Resumo Técnico: Fox in the Henhouse: Supply-Chain Backdoor Attacks Against Reinforcement Learning

Declaração do Problema

Os ataques de backdoor existentes em Aprendizado por Reforço (RL) tipicamente dependem de modelos de ameaça irreais que assumem que o atacante possui acesso white-box aos parâmetros, recompensas ou observações da vítima. Essas suposições frequentemente implicam um nível de intervenção (por exemplo, modificando a função de recompensa ou o espaço de observação da vítima diretamente) que tornaria um ataque de backdoor desnecessário em cenários do mundo real. Além disso, a literatura atual ignora amplamente o aspecto de "cadeia de suprimentos" (supply-chain) do RL moderno, onde praticantes frequentemente baixam agentes ou ambientes pré-treinados de repositórios de terceiros (ex: Hugging Face, PyTorch Hub) para acelerar a convergência em aplicações sensíveis como direção autônoma e negociação automatizada. Este artigo postula que a dependência de agentes externos não confiáveis constitui um risco de segurança severo e prático que é atualmente subestimado.

Metodologia: O Ataque de Backdoor de Cadeia de Suprimentos (SCAB)

Os autores introduzem o ataque Supply-Chain Backdoor (SCAB), um método projetado para incorporar comportamentos deletérios em uma política da vítima ($\pi_{vic}$) exclusivamente através de um black-box de interações legítimas entre agente e ambiente. O atacante não requer acesso ao processo de treinamento, sinais de recompensa ou dados de observação da vítima. Em vez disso, o ataque explora a prática comum de treinar com políticas de terceiros.

Modelo de Ameaça

O ataque opera sob um modelo de ameaça restritivo onde o atacante controla uma política pré-treinada de origem externa ($\pi_{att}$) que interage com a vítima em um Processo de Decisão de Markov Multi-Agente (MMDP). O atacante tem:

• Acesso de leitura apenas às suas próprias observações de estado ($s_{att}$).
• Influência de ação apenas sobre o ambiente através de suas ações ($a_{att}$).
• Nenhum acesso aos parâmetros internos, recompensas ($r_{vic}$) ou observações ($s_{vic}$) da vítima.

Mecanismo de Ataque

O ataque SCAB utiliza uma política de atacante bifurcada e um detector para atingir seus objetivos:

1. Componentes do Atacante:

   • $\pi_{att}^{std}$: Uma política padrão treinada para vencer o jogo (ex: via treinamento baseado em torneios).
   • $\pi_{att}^{rwd}$: Uma política de "recompensa" treinada para recompensar implicitamente a vítima pela execução de ações de backdoor específicas. Isso é alcançado pelo atacante ao atrasar deliberadamente sua própria derrota (maximizando a recompensa cumulativa do oponente) quando a vítima execza a sequência desejada.
   • Detector ($d$): Um módulo de aprendizado supervisionado que infere as ações anteriores da vítima ($\tilde{a}_{vic}$) ao observar as transições de estado nas próprias observações do atacante ($s_{att}$).

2. Fase de Treinamento (Injeção):
   O atacante alterna entre quatro estados baseados em uma máquina de estados finitos:

   • Vencendo (Winning): O atacante joga normalmente ($\pi_{att}^{std}$). Com uma probabilidade definida pela Probabilidade de Injeção de Gatilho (TIP), ele transita para o estado de Gatilho.
   • Gatilho (Triggering): O atacante executa uma sequência predefinida de ações de gatilho ($A_t$), como sequências consecutivas de movimentos "no-op".
   • Observando (Observing): O atacante usa o detector $d$ para deduzir se a vítima está respondendo com a sequência de ação de backdoor específica ($A_b$).
   • Recompensando (Rewarding): Se a vítima executar a sequência de backdoor correta, o atacante muda para $\pi_{att}^{rwd}$, perdendo intencionalmente para fornecer uma alta recompensa cumulativa à vítima. Isso reforça a associação entre o gatilho e a ação de backdoor na função Q da vítima.

3. Fase de Teste (Exploração):
   Uma vez que o backdoor é incorporado, qualquer oponente ciente do gatilho pode ativá-lo. Um oponente equipado com uma rede de gatilho ($\pi_{trg}$) pode iniciar estrategicamente a sequência de gatilho para forçar o comportamento de backdoor da vítima, causando uma queda significativa de desempenho enquanto minimiza o tempo gasto executando o próprio gatilho.

Principais Contribuições

1. Modelo de Ameaça Realista: O artigo documenta o primeiro ataque realista que explora a cadeia de suprimentos de RL, exigindo apenas o nível de acesso que um agente benigno teria (observações de leitura apenas, influência de ação apenas).
2. Proposta do Ataque SCAB: Os autores propõem e validam o ataque SCAB, que injeta backdoors via agentes pré-treinados sem modificar os dados de treinamento, recompensas ou observações da vítima.
3. Validação Empírica: O estudo demonstra que o SCAB alcança desempenho comparável a ataques anteriores com modelos de acesso muito mais permissivos, atingindo altas taxas de sucesso com mínima corrupção de dados (3% de injeção de gatilho).

Resultados Experimentais

Os autores avaliaram o SCAB em ambientes competitivos de dois jogadores (Pong, Surround, Boxing) usando algoritmos on-policy (PPO) e off-policy (DQN) com arquiteturas CNN e LSTM.

• Sucesso do Ataque: O SCAB alcançou uma taxa de sucesso de gatilho de pico superior a 90% em vários cenários.
• Degradação de Desempenho: O ataque reduziu os retornos episódicos médios da vítima em mais de 80% quando os gatilhos estavam ativos.
• Sigilo (Stealthiness): As métricas de treinamento (retorno episódico, perda de política, duração do episódio) para a vítima sob o SCAB foram indistinguíveis de um treinamento limpo. A vítima manteve alto desempenho contra oponentes normais, e as ações de backdoor ocorreram espontaneamente a taxas negligenciáveis (<1%) sem gatilhos.
• Generalização: O ataque foi eficaz em espaços de ação discretos e contínuos, ambientes cooperativos e competitivos, e cenários multi-agentes.
• Comparação: No ambiente de Boxing, o SCAB (com 3% de TIP) alcançou uma taxa de sucesso de gatilho de 91,3% e uma queda de retorno de 82,6%, igualando o desempenho do BACKDOORL (93,6% de sucesso, 81,3% de queda) e do TrojDRL (99,1% de sucesso, 85,3% de queda), apesar de o SCAB operar sob um modelo de acesso muito mais estrito (sem acesso de escrita a recompensas ou observações).
• Limitações de Defesa: Uma defesa padrão de fine-tuning (retreinamento contra jogadores normais) mostrou eficácia limitada, reduzindo a taxa de sucesso do gatilho de 83,2% para 69,5% após 128.000 passos, enquanto o desempenho da vítima sob ataque permaneceu severamente comprometido.

Significância e Alegações

O artigo argumenta que a segurança fornecida ao ignorar riscos de cadeia de suprimentos em RL é "ilusória". Ao demonstrar que ataques de backdoor de alto impacto não requerem modelos de acesso altamente permissivos, os autores destacam que o RL é muito mais vulnerável à manipulação adversária do que se pensava anteriormente.

Os autores enfatizam que, embora seu trabalho exponha vulnerabilidades, a divulgação responsável de tais ataques é crítica para melhorar a segurança dos sistemas. Eles afirmam que a prática comum de obter modelos fornecidos externamente cria um risco de segurança severo e prático, particularmente à medida que o RL é cada vez mais adotado em domínios críticos de segurança, como direção autônoma, negociação algorítmica e saúde. O artigo conclui que este novo vetor de ataque deve motivar o desenvolvimento de mecanismos robustos de defesa e detecção especificamente adaptados para a cadeia de suprimentos de treinamento.