DTP-Attack: A decision-based black-box adversarial attack on trajectory prediction

Resumo Técnico: DTP-Attack

1. Problema e Contexto

Os sistemas de previsão de trajetória são componentes críticos para a segurança de veículos autônomos (AVs), responsáveis por prever os movimentos futuros de outros agentes no trânsito. No entanto, esses sistemas, baseados em redes neurais profundas, são vulneráveis a ataques adversariais.

O artigo identifica limitações severas nos métodos de ataque existentes:

• Dependência de Acesso Branco (White-box): A maioria dos métodos atuais exige acesso aos gradientes ou à arquitetura interna do modelo, o que é irrealista em cenários do mundo real.
• Restrições Físicas Rígidas: Métodos anteriores impõem restrições físicas manuais (como limites de velocidade e cinemática) que, frequentemente, criam paisagens de busca descontínuas, prendendo algoritmos em ótimos locais e gerando trajetórias irreais.
• Objetivos Limitados: Abordagens existentes focam principalmente na degradação da precisão, falhando em suportar ataques de má classificação de intenção (ex: fazer um carro parecer que vai virar quando está indo reto).

O objetivo é desenvolver um ataque preto (black-box) que funcione sem conhecimento interno do modelo, seja capaz de manipular tanto a precisão quanto a intenção, e mantenha a realismo da trajetória sem restrições físicas explícitas.

2. Metodologia: DTP-Attack

O DTP-Attack é um framework de ataque adversarial baseado em decisão (decision-based). Diferente dos métodos baseados em pontuação (score-based), ele opera exclusivamente sobre saídas binárias (sim/não) de critérios adversariais, sem necessidade de gradientes.

Componentes Principais:

• Critérios Adversariais Binários:
  O ataque define uma função de critério $c(\cdot)$ que retorna 1 se o objetivo do ataque for atingido (ex: erro de previsão > limiar ou direção alterada) e 0 caso contrário. Isso divide o espaço de trajetórias em regiões "adversariais" e "não adversariais".

  • Má Classificação de Intenção: Manipula a direção percebida (esquerda, direita, frente, trás) ou aceleração.
  • Degradação de Precisão: Maximiza métricas de erro como ADE (Average Displacement Error) e FDE (Final Displacement Error).

• Algoritmo de Caminhada na Fronteira (Boundary Walking):
  Em vez de impor restrições físicas explícitas, o método utiliza um algoritmo heurístico que navega pela fronteira entre as regiões adversariais e normais. O algoritmo alterna entre dois tipos de passos:

  1. Passo Ortogonal ($S_o$): Move a trajetória adversarial perpendicularmente ao vetor que conecta a trajetória original à atual. Isso ajuda a escapar de ótimos locais e manter a distância da original.
  2. Passo Forward ($S_f$): Move a trajetória adversarial em direção à trajetória original, reduzindo a perturbação enquanto mantém a condição adversarial (critério = 1).

• Preservação de Proximidade:
  A realismo da trajetória é garantida naturalmente pela minimização da distância entre a trajetória original e a adversarial, em vez de impor equações dinâmicas complexas. Isso permite que a viabilidade cinemática surja organicamente.

• Processo de Otimização:
  O algoritmo começa com uma amostragem aleatória até encontrar um ponto adversarial. Em seguida, itera refinando a trajetória através de passos ortogonais e forward, ajustando dinamicamente o tamanho do passo ($\delta$ e $\epsilon$) com base na geometria local da fronteira, até convergir para a perturbação mínima necessária.

3. Contribuições Principais

1. Primeiro Framework Black-box para Previsão de Trajetória: Um método que opera sem gradientes ou conhecimento interno do modelo, tornando-o aplicável a cenários de ameaça real.
2. Otimização sem Restrições Explícitas: Uma abordagem que elimina a necessidade de restrições físicas manuais, evitando paisagens de busca descontínuas e permitindo uma exploração mais eficaz do espaço adversarial.
3. Versatilidade de Objetivos: Capacidade de realizar tanto ataques de má classificação de intenção (alterando o comportamento percebido) quanto de degradação de precisão (aumentando o erro de previsão).
4. Validação Abrangente: Demonstração experimental superior em modelos de última geração (Trajectron++, Grip++) e conjuntos de dados reais (nuScenes, Apolloscape).

4. Resultados Experimentais

Os testes foram realizados em dois conjuntos de dados (nuScenes e Apolloscape) e dois modelos principais (Trajectron++ e Grip++).

• Má Classificação de Intenção:

  • Taxa de Sucesso (ASR): Variou entre 41% e 81%, dependendo do modelo e do conjunto de dados.
  • Impacto: O ataque conseguiu induzir desvios laterais de ~2 metros e longitudinais de ~3 metros. Em faixas urbanas (geralmente < 4m), um desvio de 2m faz o veículo parecer que está saindo da faixa ou mudando de direção.
  • Perturbação: As modificações na trajetória original foram mínimas, com magnitude de perturbação abaixo de 0,45 m.

• Degradação de Precisão:

  • Erro de Previsão: O ataque aumentou os erros de previsão (ADE e FDE) em fatores de 1,9x a 4,2x.
  • Taxa de Falha (Miss Rate): Em alguns cenários, a taxa de erro aumentou de 8% para 61%, indicando que a maioria das previsões se tornou inútil para o planejamento do veículo.
  • Discrepância de Perturbação: Mesmo com erros massivos, a perturbação aplicada (MSE) permaneceu entre 0,12 m e 0,45 m, tornando o ataque quase imperceptível.

• Comparação com Baselines:
  O DTP-Attack superou consistentemente métodos baseados em PSO (Particle Swarm Optimization) e ataques simples baseados em imagens, demonstrando maior estabilidade, menor variância e maior taxa de sucesso devido à sua capacidade de navegar eficientemente pela fronteira de decisão.

5. Significado e Implicações

• Vulnerabilidades Fundamentais: O estudo revela que os sistemas de previsão de trajetória atuais possuem falhas estruturais graves, sendo suscetíveis a ataques que não requerem conhecimento interno do sistema.
• Risco de Segurança: Pequenas perturbações físicas (menos de meio metro) podem levar a interpretações catastróficas pelo veículo autônomo, como frenagem de emergência desnecessária ou colisão devido à má interpretação de intenções de outros motoristas.
• Necessidade de Defesa: A eficácia do DTP-Attack sublinha a urgência de desenvolver mecanismos de defesa robustos para aplicações de direção autônoma, capazes de detectar e mitigar tais ataques sem comprometer a precisão em condições normais.

Em resumo, o DTP-Attack demonstra que a segurança dos sistemas de previsão de trajetória não pode depender apenas da complexidade do modelo, mas exige novas abordagens de defesa contra ameaças baseadas em decisões binárias no mundo real.