Dynamic Deception: When Pedestrians Team Up to Fool Autonomous Cars

1. O Problema

A maioria dos ataques adversariais contra modelos de percepção de direção autônoma (ACs) falha ao ser testada em um sistema completo (piloto automático real ou simulado), apesar de serem eficazes em nível de modelo (isoladamente).

• Falha na Propagação: Ataques tradicionais geralmente manipulam uma única imagem ou um elemento estático (como um letreiro). Quando integrados a um sistema de direção, as dinâmicas do veículo (movimento, fusão de sensores, lógica de comportamento) frequentemente isolam esses erros, impedindo que causem falhas no nível do sistema (ex: o carro não para, mesmo que o modelo classifique mal um objeto).
• Limitação de Tamanho e Estática: Ataques físicos em roupas (ex: camisetas) são limitados pelo tamanho do tecido, que é muito menor que uma placa de trânsito real. Além disso, pedestres estáticos não mantêm o sinal adversarial na visão da câmera por tempo suficiente para enganar a lógica de controle do veículo.

2. Metodologia

Os autores propõem um ataque de nível de sistema que explora a dinâmica e a colaboração de múltiplos pedestres.

A. Geração do Patch Adversarial

• Disfarce: O ataque utiliza uma imagem base de uma flor de camélia vermelha, escolhida por sua semelhança de cor e forma com placas de "Pare" (Stop) no simulador CARLA.
• Perturbação: Uma perturbação adversarial é aplicada à imagem da flor para forçar a detecção de uma placa de "Pare" pelo modelo de visão computacional, mantendo a aparência natural para humanos (ataque de "disfarce").
• Técnica: Utiliza-se uma abordagem de "caixa preta" (Black-Box) em nível de modelo, treinando o patch em um modelo substituto (YOLOv5) para garantir transferibilidade para o agente alvo.

B. Estratégia de Colusão (Colaboração)

Para superar a limitação de tamanho da camiseta, o ataque emprega dois pedestres:

• Divisão do Patch: O padrão adversarial é dividido em duas metades.
• Alinhamento Espacial: Os pedestres posicionam-se de forma que, do ponto de vista da câmera do carro, as duas metades se alinhem e formem um único padrão maior, simulando o tamanho de uma placa de trânsito real.
• Colusão Estática vs. Dinâmica:
  • Estática: Pedestres parados.
  • Dinâmica: Pedestres caminham ao lado do carro, mantendo-se no campo de visão (FOV) e sincronizando sua velocidade com a do veículo.

C. Ambiente de Avaliação

• Simulador: CARLA (versão 9.15.2).
• Agente Alvo: Simlingo (um agente de ponta baseado em linguagem que interpreta entradas visuais e toma decisões de controle).
• Cenário: Um cruzamento em Town07 onde a placa de "Pare" real foi removida e substituída pelos pedestres.
• Métricas:
  • Nível de Modelo: Razão Detecção de Pare/Pedestre (STP).
  • Nível de Sistema: Taxa de Sucesso do Ataque (ASR), definida como a capacidade de fazer o carro parar completamente antes de prosseguir.

3. Principais Contribuições

1. Ataque de Nível de Sistema: Demonstração de que falhas de modelo só se tornam falhas de sistema quando os sinais adversariais persistem no tempo e são amplificados.
2. Colusão de Pedestres: Introdução de uma técnica onde múltiplos atores colaboram para criar um "patch" virtual maior, superando as restrições físicas de tamanho de roupas.
3. Importância da Dinâmica: Evidência empírica de que o movimento coordenado dos pedestres é um fator decisivo para o sucesso do ataque, algo negligenciado em trabalhos anteriores.
4. Avaliação Abrangente: Comparação sistemática entre ataques de um único pedestre, colusão estática e colusão dinâmica contra um agente de direção autônoma de última geração.

4. Resultados Chave

Os experimentos foram realizados em 10 execuções para cada cenário:

• Ataque de Pedestre Único (RQ1):

  • Nível de Modelo: O agente foi enganado, detectando "Pare" com mais frequência que pedestres.
  • Nível de Sistema: Falha total (0% de sucesso). O carro nunca parou completamente, pois o erro de percepção não foi suficiente para disparar a lógica de frenagem do sistema.

• Colusão Estática (RQ2):

  • Mesmo com dois pedestres formando um patch maior, se eles estiverem parados, o ataque falha (0% de sucesso) em nível de sistema.

• Colusão Dinâmica (RQ2 e RQ3):

  • Quando dois pedestres caminham ao lado do carro, mantendo o patch visível e sincronizado:
    • Taxa de Sucesso (ASR): Até 50% das execuções resultaram em uma parada completa do veículo.
    • Eficácia: O patch completo (ambas as metades) foi significativamente mais eficaz do que metades isoladas.
    • Mecanismo: O movimento contínuo forneceu um sinal de redução de velocidade sustentado, permitindo que o agente acumulasse evidências suficientes para executar uma parada de emergência.

• Observação Surpreendente: Mesmo a imagem da flor de camélia sem a perturbação adversarial (apenas a semelhança visual) causou algumas paradas no cenário dinâmico, sugerindo que a aparência natural já é um vetor de risco.

5. Significado e Implicações

• Lacuna de Robustez: O trabalho expõe uma lacuna crítica entre a robustez de modelos de percepção (que podem ser enganados) e a segurança de ponta a ponta (onde o sistema muitas vezes corrige o erro). No entanto, quando combinado com dinâmica e persistência, essa lacuna é explorada com sucesso.
• Vulnerabilidade Realista: O ataque é extremamente fácil de implantar no mundo real. Não requer equipamentos complexos, apenas duas pessoas com camisetas impressas que caminham em sincronia com o carro.
• Covert (Sigilo): O ataque é altamente sigiloso. Os pedestres podem cancelar o ataque a qualquer momento apenas separando-se, e o padrão visual (flor) não parece suspeito para observadores humanos ou sistemas de detecção de anomalias.
• Direções Futuras: O estudo sugere que defesas futuras devem focar não apenas na detecção de patches estáticos, mas na análise temporal e na consistência de detecções de objetos móveis em cenários dinâmicos.

Em resumo, o artigo demonstra que a coordenação e o movimento de múltiplos atores adversariais são fatores determinantes para transformar uma falha de percepção local em uma falha catastrófica de segurança em veículos autônomos.