Résumé technique : Manipulation de trajectoire induite par la vue dans la conduite autonome

Énoncé du problème

Les attaques physiques adverses existantes contre les systèmes de conduite autonome (CA) basés sur la vision reposent généralement sur des patches sophistiqués et dynamiquement changeants, ou sur des patches statiques optimisés pour la robustesse multi-vues. Ces approches traitent la variation de l'angle de vue (causée par le mouvement relatif entre le véhicule égo et une cible) comme un défi de robustesse qu'il faut surmonter pour maintenir l'efficacité de l'attaque. Par conséquent, elles nécessitent une optimisation multi-vues complexe ou une intervention active (par exemple, des écrans dynamiques) pour induire des erreurs de perception telles que la dissimulation d'objets ou une mauvaise classification.

Ce papier identifie une omission critique : la variation de l'angle de vue elle-même peut être exploitée comme un mécanisme d'attaque. Les systèmes actuels reposent sur une perception temporelle où les détections sont associées, prédites et planifiées. Si une erreur sur une seule image peut être filtrée, une évolution temporelle cohérente des erreurs de perception peut se propager dans le pipeline en aval pour influencer les décisions de planification. Les auteurs proposent un nouveau paradigme d'attaque : « Camouflage immobile, illusion en mouvement ». L'objectif est d'utiliser un camouflage adversaire physique et statique monté sur un véhicule pour induire une dérive de caractéristiques cohérente à travers les images, uniquement grâce au mouvement relatif naturel. Cela amène le système de CA à inférer une trajectoire physiquement plausible mais incorrecte (par exemple, un faux changement de voie), déclenchant un freinage d'urgence inutile ou l'abandon de manœuvres de dépassement.

Méthodologie

1. Modèle de menace

• Adversaire : Peut attacher un camouflage physique statique à un véhicule sous son contrôle.
• Connaissance : Accès en boîte blanche au modèle de perception de la victime (ou transfert via un modèle de substitution). Aucune connaissance des modules de suivi, de prédiction ou de planification en aval n'est supposée.
• Mécanisme : L'attaque est déclenchée passivement par le mouvement relatif normal. Alors que le véhicule victime se déplace par rapport au véhicule camouflé, l'angle de vue change, provoquant l'évolution de l'apparence projetée du camouflage statique.
• Objectif : Induire un déplacement cohérent dans le temps d'une boîte englobante 3D (bbox) qui se propage jusqu'à l'étape de planification, provoquant des décisions critiques pour la sécurité.

2. Chaîne d'attaque

Le cadre proposé se compose de trois étapes :

• Sélection de scénario :

  • Filtre de faisabilité d'attaque (AFF) : Sélectionne les séquences où le véhicule cible est visible, pertinent pour le trajet du véhicule égo, et n'empiète pas déjà.
  • Filtre d'angle de vue (VAF) : Sélectionne spécifiquement les séquences présentant une variation d'angle de vue suffisante entre la première et la dernière image. Contrairement aux travaux antérieurs, une variation plus importante est préférée pour amplifier l'évolution de l'apparence dépendante de la vue.

• Rendu du camouflage :

  • Une texture de camouflage statique ($\delta$) est optimisée et mappée sur la région rendable du maillage du véhicule cible.
  • Les occlusions sont gérées à l'aide de masques de segmentation (SAM2), et le rendu est effectué avec PyTorch3D en utilisant les paramètres intrinsèques de la caméra.

• Optimisation guidée par la planification :

  • Recherche de cible : Le système recherche une direction de déplacement optimale ($\bar{u}$) et une taille de pas ($\bar{s}$) qui maximiseraient les erreurs de planification en aval (par exemple, provoquant une collision ou un freinage d'urgence).
  • Fonctions de perte : Le camouflage est optimisé pour maximiser le déplacement le long de la direction cible tout en assurant la cohérence temporelle.
    • Perte de mouvement ($L_{move}$) : Pousse le centre de la bbox 3D le long de la direction cible.
    • Perte de progression ($L_{prog}$) : Impose un déplacement progressivement croissant ($d_{k+1} - d_k \approx \bar{s}$) pour créer une illusion de mouvement cohérente.
    • Perte de fidélité ($L_{fid}$) : Garantit que la cible reste un objet détecté valide (préservant la confiance, les dimensions et le lacet).
    • Perte de style ($L_{style}$) : Inclut la variation totale (TV) et le score de non-imprimabilité (NPS) pour garantir que le motif est imprimable et peu bruité.
  • Robustesse : L'espérance sur transformation 3D (EoT) est appliquée pendant l'optimisation, introduisant des perturbations aléatoires (lacet, translation, profondeur, échelle) sur la pose de la cible.

Contributions clés

1. Nouveau mécanisme d'attaque : Le papier identifie la variation de l'angle de vue comme une nouvelle surface d'attaque. Il démontre que le camouflage statique peut être transformé en perturbations temporelles dynamiques grâce aux dynamiques de conduite naturelles, éliminant le besoin de patches adverses actifs ou dynamiques.
2. Cadre contraint par la géométrie : Une méthode est proposée pour générer un camouflage statique qui induit un déplacement progressif de la bbox 3D à travers les images. Ce cadre garantit que l'attaque est projectible physiquement et cohérente dans le temps.
3. Impact au niveau du système : Le travail démontre que ces illusions de mouvement induites se propagent à travers les modules de suivi et de prédiction pour déclencher des comportements de conduite réalistes et nuisibles (abandon de dépassement, freinage d'urgence) dans les pipelines de CA de bout en bout.

Résultats expérimentaux

L'attaque a été évaluée sur le jeu de données nuScenes utilisant 220 scénarios et trois détecteurs 3D basés sur la vision (BEVDet, BEVDepth, FastBEV++). Deux pipelines en aval (Pipeline A et B) ont été construits pour simuler le suivi, la prédiction et la planification.

• Taux de réussite : L'attaque a atteint un taux de réussite d'attaque (ASR) allant jusqu'à 87,5 % (mesuré par des événements de freinage d'urgence, définis comme une décélération $\ge 3.0 m/s^2$). Dans des configurations de validation croisée, l'ASR variait de 50,0 % à 66,7 %.
• Cohérence temporelle : Le taux de déplacement progressif (PDR) a atteint 70,8 % en moyenne, confirmant que les déplacements induits de la bbox étaient progressifs dans le temps et non un bruit aléatoire.
• Impact en aval :
  • Erreur de prédiction moyenne (APE) : Jusqu'à 3,02 m d'écart dans les trajectoires prédites.
  • Distance minimale de trajectoire (MTD) : Réduite à environ 1,48 m, indiquant que la trajectoire prédite s'approchait de la trajectoire planifiée de la victime, créant un conflit de sécurité.
  • Freinage d'urgence : Déclenchement d'une décélération de freinage maximale (MBD) allant jusqu'à 4,45 $m/s^2$.
• Facteurs influençant l'efficacité :
  • Variation de l'angle de vue : Une variation plus importante est corrélée à un déplacement plus fort.
  • Spécificités du scénario : L'attaque est plus efficace avec des distances plus courtes, un éclairage plus lumineux, de plus grandes zones de projection et des vitesses relatives plus faibles.
  • Transférabilité : Bien que la transférabilité inter-modèles soit limitée (en raison de l'agrégation de caractéristiques spécifique au détecteur), l'attaque se transfère efficacement entre différents types de véhicules (SUV, Berline, Fourgon).

Importance et revendications

Les auteurs affirment que ce travail met en lumière une vulnérabilité jusque-là négligée dans la conduite autonome : la dépendance à la cohérence temporelle rend les systèmes vulnérables aux attaques physiques statiques qui exploitent les conditions de vue dynamiques.

• Changement de paradigme : Le papier soutient que la variation de l'angle de vue ne devrait pas seulement être traitée comme un obstacle à la robustesse, mais reconnue comme un vecteur d'attaque potentiel.
• Faisabilité du déploiement : Contrairement aux travaux antérieurs nécessitant des écrans dynamiques ou une intervention active, cette attaque est « passive » et « facile à déployer », car elle ne nécessite qu'un véhicule garé avec un motif de camouflage spécifique pour induire un freinage d'urgence chez les véhicules autonomes qui passent.
• Implications pour la sécurité : Les résultats suggèrent que les défenses actuelles se concentrant sur la robustesse d'une seule image ou l'invariance multi-vues sont insuffisantes. Les futurs systèmes de CA sécurisés doivent prendre en compte les biais de perception spatio-temporellement cohérents induits par les dynamiques de mouvement naturel.

Le papier conclut en notant que, bien que l'évaluation soit limitée à des modèles spécifiques et à des jeux de données simulés, les résultats motivent la conception de systèmes plus robustes capables de raisonner sur la cohérence physique et la stabilité temporelle au-delà d'une simple perception image par image.