🤖 AI

TwinIR: Coordinated Invisible Dual-Point Attacks on Online HD Map Construction

L'article propose TwinIR, une méthodologie d'attaque physique coordonnée utilisant une illumination proche infrarouge invisible sur deux points pour perturber la construction de cartes HD en ligne en supprimant les indices géométriques de compensation, dégradant ainsi de manière significative les performances de perception et de planification de la conduite autonome tout en restant inconspicuous pour l'œil humain.

Auteurs originaux : Haibo Hu, Jianghuai Deng, Chen Tang, Yang Lou, Qian Xu, Jianping Wang

Publié 2026-08-06

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haibo Hu, Jianghuai Deng, Chen Tang, Yang Lou, Qian Xu, Jianping Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un robot à conduire une voiture. Pour le faire de manière sûre, le robot ne se contente pas de « voir » la route comme un humain le ferait ; il construit un plan numérique parfait du monde directement dans son cerveau. Ce plan, appelé « carte HD », dessine chaque ligne de voie, chaque bordure et chaque passage pour piétons en temps réel au fur et à mesure que la voiture avance. Si ce plan est erroné, le robot pourrait prendre un virage serré pour une autoroute droite, ou un cul-de-sac pour une voie ouverte, ceما entraînant un accident grave. Pendant longtemps, les scientifiques se sont inquiétés de la manière dont on pourrait tromper ces robots pour leur faire voir des choses qui n'existent pas, comme placer un autocollant sur un panneau stop pour faire croire au robot qu'il s'agit d'un panneau de limitation de vitesse. Mais il y a un problème délicat : parfois, même si vous déformez une partie de la route, le robot est si intelligent qu'il regarde l'autre côté de la route et se dit : « Oh, je sais à quoi cela ressemble », et corrige son erreur tout seul.

Ce document, intitulé « TwinIR », plonge précisément dans ce problème. Les chercheurs ont découvert que si vous essayez de tromper la carte d'une voiture autonome avec un seul « tour » (comme une seule lumière cachée), la voiture l'ignore souvent parce qu'elle voit encore clairement le reste de la route. Pour résoudre cela, ils ont créé une nouvelle méthode appelée TwinIR. Au lieu d'utiliser un seul tour, ils utilisent une paire coordonnée de lumières invisibles pour confondre le cerveau du robot à deux endroits à la fois. Ils ont découvert qu'en utilisant une lumière proche infrarouge spéciale — qui ne ressemble à rien pour les yeux humains mais ressemble à un éblouissement brillant et déroutant pour les caméras de la voiture — ils peuvent faire perdre totalement le chemin au robot, transformant un virage serré en une ligne droite ou lui faisant croire qu'un virage arrive bien plus tôt qu'il ne l'est réellement. Le meilleur dans tout ça ? Pour une personne passant par là, la route semble parfaitement normale.

Le bug de la « limite de compensation »

L'histoire commence par une prise de conscience de la manière dont les voitures autonomes pensent. Ces voitures utilisent des caméras pour construire une carte de la route. Si la route est courbe, la voiture doit voir la courbe pour savoir qu'elle doit tourner. Mais voici le piège : si vous essayez de tromper la voiture en aveuglant un côté de la route (disons, la voie de gauche), la voiture peut simplement regarder la voie de droite et la ligne centrale pour déduire : « Oh, la route courbe toujours ici », et elle dessinera la courbe correctement malgré tout. Les chercheurs appellent cela l'« effet de compensation de limite de frontière ». C'est comme si vous essayiez de cacher un serpent dans un jardin en couvrant sa tête avec un chapeau, mais que la queue du serpent était toujours visible et ondulante dans le vide. Le propriétaire du jardin (la voiture) voit la queue et sait qu'il y a un serpent, donc votre chapeau n'a pas fonctionné.

Les tentatives précédentes pour pirater ces cartes utilisaient un seul « angle mort » ou un autocollant pour confondre la voiture. Les auteurs de ce document ont constaté que cette approche à point unique échoue souvent parce que la voiture utilise la « limite de compensation » (l'autre côté de la route) pour corriger l'erreur. Ils soutiennent que pour vraiment briser la carte, on ne peut pas simplement attaquer un endroit ; il faut attaquer la cible ET la partie qui tente de la réparer.

Entrée en scène de TwinIR : Le double jeu invisible

Pour corriger cela, l'équipe a inventé TwinIR. Pensez à cela comme à un double jeu coordonné au basket-ball. Au lieu qu'un seul joueur tente de voler le ballon, deux joueurs travaillent ensemble pour piéger l'adversaire. TwinIR utilise jusqu'à deux « points d'attaque ».

La Cible : Le premier point attaque la partie spécifique de la route que le pirate veut changer (comme une courbe qu'il veut faire paraître droite).
La Compensation : Le second point attaque la partie « aide » de la route qui sert habituellement à corrir l'erreur.

L'ingrédient magique est la lumière proche infrarouge (NIR). Les humains ne peuvent pas voir cette lumière ; elle est invisible pour nos yeux. Mais les caméras des voitures autonomes peuvent la voir très clairement. Les chercheurs utilisent de petits lasers cachés qui projettent cette lumière invisible. Pour un humain marchant dans la rue, la route semble normale. Mais pour la caméra de la voiture, cela ressemble à un éblouissement brillant et déroutant qui perturbe la carte.

Le système fonctionne en deux étapes. D'abord, il utilise un ordinateur pour déterminer exactement où placer ces lumières invisibles pour causer la plus grande confusion. Il vérifie : « Si je place une lumière ici, est-ce que la voiture voit toujours la courbe ? » Si la réponse est oui, il ajoute une seconde lumière de l'autre côté de la route pour bloquer aussi cette vue. Il n'utilise deux lumières que si cette seconde lumière aide réellement l'attaque ; sinon, il s'en tient à une seule. Cela permet de garder l'attaque « parcimonieuse » (en utilisant le moins de lumières possible) afin qu'elle soit plus difficile à remarquer.

Ce qu'ils ont trouvé : La carte se brise

Les chercheurs ont testé cela sur un célèbre ensemble de données appelé nuScenes, qui contient des milliers de scènes de conduite réelles. Ils ont testé cette attaque sur trois types différents de systèmes de cartographie autonome (MapTR, MGMap et DAMap).

Les résultats sont significatifs. Lorsqu'ils utilisaient l'ancienne méthode à « point unique », la précision de la carte de la voiture chutait légèrement. Mais lorsqu'ils utilisaient TwinIR avec deux points coordonnés :

La précision de la carte (appelée mAP) a chuté de 8,18 à 8,96 points de pourcentage pour l'attaque de « Redressement de route » (faire paraître un virage droit).
Pour l'attaque de « Virage précoce » (faire croire à la voiture qu'un virage arrive plus tôt), la précision a chuté de 2,84 à 5,62 points de pourcentage.

Mais le véritable danger n'est pas seulement une mauvaise carte ; c'est ce que la voiture fait avec cette carte. Les chercheurs ont mesuré la fréquence à laquelle le chemin prévu par la voiture devenait impossible à atteindre ou dangereux.

Avec TwinIR, le taux de « buts inaccessibles » (où la voiture prévoit un chemin qu'elle ne peut pas réellement parcourir) a bondi de 11 à 12 points de pourcentage par rapport à l'attaque à point unique.
Le taux de « trajectoires prévues dangereuses » (des chemins qui entreraient en collision avec des obstacles) a augmenté de 3 à 8 points de pourcentage par rapport à l'attaque à point unique.

En termes simples, la voiture n'est pas seulement un peu confuse ; elle commence à planifier des trajectoires extrêmement dangereuses.

Le test en conditions réelles

Pour prouver qu'il ne s'agissait pas seulement d'une simulation informatique, l'équipe a emmené son installation sur un terrain de test réel et fermé. Ils ont conduit une vraie voiture équipée de six caméras autour d'un circuit de test. Ils ont placé leurs lasers invisibles sur le côté de la route, cachés derrière des buissons et des panneaux.

Lorsque la voiture passait :

Pour un humain : La vidéo semblait normale. La route était exactement telle qu'elle devrait être.
Pour la caméra de la voiture : Les lasers invisibles créaient un motif d'interférence massif et brillant.
Le Résultat : La carte de la voiture a changé exactement comme les chercheurs l'avaient prédit. Dans un test, un virage serré a été dessiné comme une ligne droite. Dans un autre, la voiture a cru qu'un virage arrivait beaucoup plus tôt qu'il ne l'était en réalité.

Les chercheurs ont également testé si l'utilisation de plus de deux lumières aidait. Ils ont essayé d'utiliser trois, quatre ou même cinq lumières. Ils ont constaté que l'ajout d'une deuxième lumière faisait une énorme différence, mais que l'ajout d'une troisième, quatrième ou cinquième lumière n'améliorait presque pas l'attaque. Cela a confirmé que deux lumières sont le « point idéal » — assez pour briser la capacité de la voiture à corriger ses propres erreurs, mais pas trop pour que cela devienne évident ou difficile à installer.

Pourquoi cela importe

Ce document ne dit pas que les voitures autonomes sont cassées ou qu'elles vont s'écraser demain. Au contraire, il met en lumière une faiblesse spécifique dans la manière dont ces voitures « pensent » le monde. Il montre que ces systèmes dépendent fortement de la vision de l'ensemble de l'image, et que si vous pouvez coordonner quelques tours invisibles pour cacher les parties qu'elles utilisent pour « vérifier » leur travail, vous pouvez les tromper.

Les auteurs suggèrent que les futures voitures autonomes doivent être plus intelligentes à ce sujet. Elles doivent être capables de réaliser quand leur carte est en train d'être « compensée » par d'autres parties de la route, ou elles doivent être capables d'ignorer ces tours infrarouges invisibles. En attendant, cette méthode « TwinIR » montre qu'un effort très petit, invisible et coordonné peut avoir un impact étonnamment grand sur la sécurité de la conduite autonome.

Résumé Technique : TwinIR

Énoncé du Problème

La construction de cartes HD (Haute Définition) en ligne est un composant critique pour la conduite autonome, alimentant directement les modules de prédiction et de planification. Bien que les modèles récents aient amélioré la cohérence des cartes en agrégeant les relations géométriques et le contexte temporel, leur sécurité face aux interférences du monde physique reste insuffisamment comprise.

Des recherches antérieures ont identifié un « biais de symétrie » dans la construction de cartes en ligne, où la perturbation des indices géométriques dans des scènes asymétriques (par exemple, des bifurcations) peut amener le modèle à prédire des structures symétriques. Les attaques physiques existantes, telles que l'aveuglement par un point unique ou les patchs adverses, cherchent à exploiter cela en perturbant une « limite cible » spécifique. Cependant, les auteurs observent que ces attaques à point unique échouent souvent en raison d'un effet de compensation trans-frontière (cross-boundary compensation effect). Dans ce phénomène, alors que la limite cible est perturbée, une « limite de compensation » spatialement séparée reste visible et conserve suffisamment d'indices géométriques (par exemple, la courbure ou l'emplacement du virage) pour permettre au modèle de reconstruire la géométrie routière originale. Par conséquent, la recherche d'une perturbation à point unique plus forte ne parvient pas à supprimer de manière fiable toutes les preuves soutenant la prédiction originale.

Méthodologie : TwinIR

Pour remédier aux limites des attaques à point unique, les auteurs proposent TwinIR, un cadre d'attaque guidé par les mécanismes qui utilise au maximum deux positions d'attaque coordonnées. La méthodologie se compose de deux composantes principales :

1. Localisation de la Position d'Attaque Conditionnée par l'Objectif

TwinIR formule l'attaque comme un problème d'optimisation parcimonieuse visant à maximiser la déformation de la carte ciblée tout en minimisant le nombre de sources physiques ( $K \le 2$ ). Le processus implique :

Assignation du Rôle des Limites : Pour un objectif d'attaque donné, le système assigne aux limites routières trois rôles :
- Limite Cible ( $B_{tgt}$ ) : La limite à perturber.
- Limite de Compensation ( $B_{cmp}$ ) : Une limite non cible fournissant des indices permettant au modèle de récupérer la géométrie originale.
- Limite de Guidage ( $B_{g}$ ) : Une limite fournissant des indices cohérents avec la déformation souhaitée (par exemple, une route droite pour une attaque de « redressement »), qui doit rester visible.
Recherche Séquentielle :
- Point Primaire ( $p^*_1$ ) : Le système identifie la position d'attaque optimale sur la limite cible pour minimiser la perte spécifique à l'objectif (par exemple, la distance de Chamfer pour une attaque de Redressement de Route (RSA) ou le déplacement directionnel pour une attaque de Virage Précoce (ETA)).
- Point Secondaire ( $p^*_2$ ) : Si le point primaire seul est insuffisant, le système recherche une position secondaire sur la limite de compensation. Cette recherche est conditionnée par l'objectif : pour RSA, il cherche un segment courbe ayant une courbure similaire à la cible ; pour ETA, il cible le segment droit de la limite de référence.
- Rétention Conditionnelle : Le point secondaire n'est conservé que si la configuration combinée à deux points produit une perte d'attaque strictement inférieure à la configuration à un point. Cela garantit la parcimonie et évite les déploiements physiques inutiles.

2. Réalisation par Proche Infrarouge

Pour atténuer les problèmes de visibilité associés au déploiement de multiples sources lumineuses physiques, TwinIR utilise une illumination proche infrarouge (NIR).

Discrétion Spectrale : L'attaque exploite l'écart de sensibilité spectrale entre la vision humaine (qui chute brusquement au-delà du spectre visible) et les capteurs de caméras CMOS (qui restent sensibles à la lumière NIR, 700–1100 nm).
Transfert Numérique-Physique : Lors de la recherche hors ligne en boîte noire, les positions d'attaque sont optimisées à l'aide d'un rendu numérique de marqueurs NIR (synthétisés comme des cœurs blancs avec des halos violets). Ces coordonnées optimisées sont ensuite transformées du cadre de vue aérienne (BEV) du véhicule et projetées vers des emplacements physiques au bord de la route.
Déploiement : L'attaquant place des émetteurs laser NIR à ces emplacements calculés. Le système assure la ligne de visée vers les camères embarquées pertinentes tout en restant discret dans les vues du spectre visible en couleur complète.

Contributions Clés

Identification de la Compensation Trans-Frontière : Les auteurs démontrent que les attaques à point unique existantes sur la construction de cartes en ligne peuvent échouer car les limites de compensation non affectées préservent la géométrie routière originale. Cette intuition déplace le paradigme de l'attaque de la recherche d'un point unique « le plus fort » vers l'identification d'un ensemble minimal de points capables de supprimer les indices géométriques concurrents.
Cadre TwinIR : Un nouveau cadre d'attaque guidé par les mécanismes qui sélectionne dynamiquement jusqu'à deux positions d'attaque (limites cibles et de compensation) basées sur l'objectif d'attaque spécifique. Il intègre une stratégie d'optimisation parcimonieuse avec une illumination proche infrarouge pour maintenir l'efficacité tout en minimisant la détectabilité visuelle.
Évaluation Complète : Le cadre est validé contre des modèles de construction de cartes en ligne de pointe (MapTR, MGMap, DAMap) sur le jeu de données nuScenes et sur un véhicule autonome de test en conditions réelles.

Résultats Expérimentaux

L'évaluation a été menée sur un sous-ensemble de scènes asymétriques de nuScenes et sur un véhicule autonome de test en conditions réelles.

Performance de la Construction de Cartes :
- Attaque de Redressement de Route (RSA) : TwinIR a réduit la précision moyenne (mAP) de 8,18 à 8,96 points de pourcentage à travers les trois modèles victimes, surpassant significativement l'attaque « Blind » à point unique (qui a réduit le mAP de 6,51 à 6,99 points). La dégradation était la plus prononcée dans les prédictions de limites de route.
- Attaque de Virage Précoce (ETA) : TwinIR a réduit le mAP de 2,84 à 5,62 points de pourcentage, contre 0,81 à 3,85 points pour l'attaque à point unique.
Impact sur la Planification Aval :
- RSA : Le taux d'objectifs inaccessibles (UGR) a augmenté de 25 à 28 points de pourcentage par rapport aux entrées propres, et de 11 à 12 points de pourcentage par rapport à l'attaque à point unique, atteignant 51 à 55 % à travers les modèles.
- ETA : Le taux de trajectoire planifiée dangereuse (UPTR) a augmenté de 19 à 20 points de pourcentage par rapport aux entrées propres, et de 3 à 8 points de pourcentage par rapport à l'attaque à point unique, atteignant 30 à 33 %.
Validation Physique : Lors de tests en conditions réelles, TwinIR a réussi à induire des déformations de redressement de route et de virage précoce. Crucialement, les sources NIR ont produit des réponses claires dans les caméras sensibles à l'infrarouge tout en restant virtuellement invisibles dans les vues en couleur complète, confirmant la discrétion du déploiement multi-points.
Ablation sur le Nombre de Points : Les expériences faisant varier le nombre de points d'attaque ( $k=1$ à $5$) ont montré que le bénéfice marginal sature après $k=2$ . L'ajout d'un deuxième point a apporté des gains substantiels (1,22–2,24 points pour RSA), tandis que les points 3 à 5 n'ont apporté qu'une réduction supplémentaire négligeable (0,58–0,70 points), justifiant la conception « au maximum deux points ».

Signification et Revendications

L'article affirme que TwinIR expose une vulnérabilité critique dans la construction de cartes HD en ligne : la dépendance à plusieurs indices géométriques à travers différentes limites rend le système sensible à des attaques physiques coordonnées et parcimonieuses. En identifiant l'effet de compensation trans-frontière, les auteurs démontent que les attaques à point unique sont souvent insuffisantes pour une manipulation fiable des cartes.

La signification de TwinIR réside dans sa capacité à :

Surmonter la Robustesse du Modèle : Il contourne avec succès la capacité du modèle à récupérer la géométrie originale à partir des indices résiduels, là où les attaques à point unique échouent.
Maintenir la Discrétion : En exploitant l'illumination proche infrarouge, il parvient à une interférence multi-points coordonnée sans la conspicuousness visuelle élevée typiquement associée aux multiples sources lumineuses physiques.
Se Propager aux Décisions Critiques pour la Sécurité : Les erreurs de carte induites se traduisent directement par des perturbations significatives dans la planification du mouvement, augmentant la probabilité d'objectifs inaccessibles et de trajectoires dangereuses.

Les auteurs positionnent ce travail comme une étape nécessaire pour comprendre la sécurité des systèmes de cartographie en ligne, soulignant que les défenses futures doivent prendre en compte les interférences physiques coordonnées sur plusieurs limites plutôt que de simples perturbations localisées.