Resumo Técnico: Ataques de Envenenamento de Conjunto de Dados em Políticas de Clonagem Comportamental

Declaração do Problema

A Clonagem Comportamental (BC - Behavioral Cloning) é um framework dominante na Aprendizagem por Imitação (IL - Imitation Learning) para o treinamento de políticas de tomada de decisão sequencial via aprendizado supervisionado em pares estado-ação de especialistas. Embora a BC ofereça eficiência de amostragem e evite os perigos da exploração de tentativa e erro inerentes à Aprendizagem por Reforço (RL), ela possui uma vulnerabilidade intrínseca: quando as políticas encontram estados fora da distribuição (OOD - out-of-distribution), elas são propensas a erros compostos.

Este artigo aborda a vulnerabilidade de segurança das políticas de BC contra ataques de envenenamento de conjunto de dados, especificamente ataques de backdoor de rótulo limpo (clean-label backdoor attacks). Neste modelo de ameaça, um adversário injeta um pequeno número de amostras maliciosas no conjunto de dados de treinamento. Essas amostras contêm um "gatilho" visual específico (por exemplo, um patch) correlacionado a uma ação alvo, mas os rótulos (ações do especialista) permanecem inalterados. O objetivo é criar uma "backdoor" onde a política treinada se comporta normalmente sob condições padrão, mas executa uma ação predeterminada, potencialmente catastrófica, sempre que o gatilho estiver presente durante a inferência.

Ao contrário de ataques adversários anteriores em RL ou BC que frequentemente exigem acesso white-box aos parâmetros do modelo ou funções de recompensa, este trabalho foca em ataques black-box que requerem apenas edições mínimas e simples no conjunto de dados de treinamento.

Metodologia

Modelo de Ameaça

Os autores definem um cenário onde um atacante tem acesso total ao conjunto de dados de treinamento $D$, mas não tem controle sobre o processo de treinamento da política downstream ou acesso white-box ao modelo final.

• Objetivo: Induzir falhas na política aprendida $\pi_{bc}$ quando um gatilho específico está presente no momento do teste, causando a saída de uma ação alvo $a_{target}$.
• Capacidades: O atacante pode injetar gatilhos em observações visuais ($s$), mas não pode alterar as ações do especialista ($a$). No momento do teste, o atacante tem acesso black-box às saídas da política e um orçamento limitado ($B$) de injeções de gatilho.

Estratégias de Ataque

1. Envenenamento de Conjunto de Dados de Rótulo Limpo:
   O atacante seleciona um subconjunto de pares estado-ação onde a ação do especialista corresponde ao alvo desejado (ex: "acelerar"). Eles embutem um gatilho visual (um patch de $n \times n$ pixels) em uma observação de estado $s$ para criar um par envenenado $(\tilde{s}, a)$. O rótulo $a$ permanece inalterado. O modelo aprende uma correlação espúria entre o gatilho visual e a ação alvo.

2. Ataques de Gatilho em Tempo de Teste:
   O artigo investiga como o tempo de injeção do gatilho afeta a degradação da política. Duas estratégias são comparadas:

   • Gatilho Aleatório: Injetando o gatilho em passos de tempo aleatórios.
   • Gatilho Baseado em Entropia: Uma estratégia inovadora onde o atacante consulta a política para calcular a entropia da distribuição de ação $H(\pi(\cdot|s))$. Os gatilhos são injetados apenas em estados onde a entropia da política é baixa (indicando alta confiança em uma ação específica), mas essa ação não é a ação alvo. A intuição é que forçar uma política de alta confiança a mudar para uma ação alvo em estados críticos de baixa entropia causa a maior desviação da distribuição de demonstração, levando a erros compostos.

Configuração Experimental

• Ambiente: Ambiente OpenAI Gym Car Racing (imagens RGB de 96×96, 5 ações discretas).
• Geração de Dados: Demonstrações de especialistas geradas por um agente PPO treinado por 1M de passos.
• Modelo: Rede Neural Convolucional (CNN) padrão com 3 camadas convolucionais e 3 camadas totalmente conectadas.
• Gatilhos: Os testes incluem patches vermelhos sólidos (alto contraste) e patches de ruído Gaussiano (baixo contraste, mais difíceis de detectar).

Principais Resultados

1. Alta Vulnerabilidade a Envenenamento Mínimo

O estudo demonstra que as políticas de BC são extremamente suscetíveis a backdoors de rótulo limpo.

• Limiar de Envenenamento: O envenenamento de apenas 2,31% do total do conjunto de dados (correspondente a 5% dos frames da ação "acelerar") é suficiente para estabelecer uma backdoor.
• Taxa de Controle: Neste nível mínimo de envenenamento, a taxa de controle da backdoor (a frequência com que o gatilho induz a ação alvo) salta dos níveis de acaso para aproximadamente 100%.
• Robustez Deceptiva: Apesar de a política estar totalmente comprometida, a recompensa média por episódio permanece próxima à linha de base (estável) até que a proporção de envenenamento exceda 70–80%. Isso indica que métricas de avaliação padrão (como recompensa média) falham em detectar a presença de uma backdoor, pois a política performa bem na ausência do gatilho.

2. Impacto das Propriedades do Gatilho

• Saliência Visual: Um patch vermelho de alto contraste (3×3 pixels) provou ser mais eficaz do que um patch de ruído Gaussiano, alcançando 96,45% de precisão de controle de backdoor comparado a 80,35% com 5% de envenenamento.
• Detecção vs. Eficácia: Embora o patch vermelho seja mais perceptível, o patch de ruído Gaussiano oferece uma menor probabilidade de detecção por defesas simples, embora exija taxas de envenenamento mais altas para atingir eficácia semelhante.

3. Eficácia do Tempo Baseado em Entropia

O proposto ataque de gatilho em tempo de teste baseado em entropia supera significativamente o gatilho aleatório. Ao visar estados críticos onde a política está confiante, mas incorreta (em relação ao objetivo do atacante), o ataque maximiza a degradação do desempenho da política dentro de um orçamento limitado. Esta abordagem aproveita a natureza sequencial da BC, onde um único erro em um estado crítico pode levar a uma cascata de erros compostos.

Contribuições e Significância

O artigo apresenta as seguintes contribuições primárias:

1. Primeira Análise de Envenenamento de BC: Apresenta o primeiro estudo de ataques de envenenamento de conjunto de dados de rótulo limpo especificamente em políticas de Clonagem Comportamental.
2. Análise de Sensibilidade: Fornece uma análise abrangente de sensibilidade em relação à fração de dados envenenados, força do gatilho (tamanho do patch) e tipo de gatilho (cor vs. ruído).
3. Estratégia de Ataque Inovadora: Introduz e valida um ataque de gatilho em tempo de teste baseado em entropia que otimiza o uso do orçamento de ataque ao visar estados críticos, demonstrando desempenho superior sobre ataques aleatórios.
4. Implicações de Segurança: O trabalho destaca uma lacuna crítica na robustez das políticas de BC. Mostra que políticas treinadas em grandes conjuntos de dados (cada vez mais comuns para sistemas ciber-físicos) podem ser tornadas altamente vulneráveis à manipulação enquanto mantêm métricas de desempenho enganosamente altas.

Conclusão

Os autores concluem que as políticas de Clonagem Comportamental são altamente vulneráveis a ataques de backdoor de rótulo limpo. A capacidade de comprometer uma política com uma fração mínima de dados envenenados, mantendo o desempenho da tarefa próximo à linha de base, ressalta a necessidade urgente de pesquisa em métodos de treinamento e detecção robustos para aprendizagem por imitação, particularmente à medida que esses sistemas são implantados em ambientes ciber-físicos do mundo real.