💻 computer science

The Spectrum Strikes Back: Infrared POV Attacks on Traffic Sign Classification

Cet article propose une attaque physique adverse, furtive et dynamique, sur la classification des panneaux de signalisation à l'aide de projections de persistance de la vision en proche infrarouge qui restent invisibles pour les humains mais trompent efficacement les modèles d'apprentissage automatique, tout en évaluant les performances en conditions réelles et en suggérant des mécanismes de défense correspondants.

Auteurs originaux : Michael Kühr, Mevlüt Yildirim, Maximilian Luedecke, Mohammad Hamad, Sebastian Steinhorst

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michael Kühr, Mevlüt Yildirim, Maximilian Luedecke, Mohammad Hamad, Sebastian Steinhorst

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Un panneau « fantôme »

Imaginez une voiture autonome circulant dans la rue. Elle s'appuie sur ses « yeux » (des caméras) pour voir un panneau STOP et savoir qu'elle doit s'arrêter. Maintenant, imaginez un pirate capable de tromper les yeux de la voiture sans que le conducteur humain ne remarque quoi que ce soit d'anormal.

Les chercheurs de cet article ont construit un appareil qui agit comme un projecteur fantomatique. Il projette une lumière invisible sur un panneau de signalisation. Pour un humain, le panneau semble normal. Mais pour la caméra de la voiture, le panneau semble soudainement être tout autre chose — comme un panneau « Limitation de vitesse 50 » ou « Interdit aux véhicules ». La voiture pourrait alors franchir un panneau STOP, pensant qu'il est sécuritaire de passer.

Comment ça marche : Le tour du ventilateur rotatif

L'arme secrète ici est une technologie appelée Persistance de la Vision (POV). Vous avez probablement déjà vu cela lors de concerts ou sur des affichages publicitaires où un ventilateur rotatif avec des lumières crée une image 3D flottante.

Le ventilateur invisible : Les chercheurs ont construit un petit ventilateur rotatif doté de lumières. Mais au lieu de lumières blanches classiques, ils ont utilisé des LED proche infrarouge.
- Analogie : Considérez ces lumières comme des « lunettes de vision nocturne » pour la voiture. Les humains ne voient pas la lumière infrarouge (c'est comme un langage secret que seule la caméra parle), mais la caméra la voit très clairement.
La vitesse de rotation : Le ventilateur tourne si vite que si vous le regardez, il ressemble simplement à un flou ou est invisible. Cependant, la caméra de la voiture prend des photos (images par seconde) à une vitesse spécifique. Si le ventilateur tourne à la vitesse exacte, la caméra capture la lumière de manière à créer un cercle ou une forme lumineuse solide sur le panneau.
L'interrupteur : L'attaquant peut allumer ou éteindre les lumières à distance.
- Lumières ÉTEINTES : Le panneau semble parfaitement normal, tant pour les humains que pour les voitures.
- Lumières ALLUMÉES : Le panneau semble « buggé » pour la voiture, ce qui provoque une mauvaise lecture du panneau.

La « magie » de la simulation

On ne peut pas simplement scotcher une lumière sur un panneau et espérer que cela fonctionne. Si vous placez la lumière au mauvais endroit, la voiture ne sera pas dupe.

Les chercheurs ont utilisé un simulateur numérique (un environnement de type jeu vidéo) pour déterminer l'endroit idéal pour placer ce ventilateur rotatif. Ils ont testé des milliers de scénarios virtuels pour trouver le « point idéal » où la lumière invisible confondrait le plus le cerveau de la voiture. Une fois qu'ils ont trouvé l'endroit parfait dans la simulation, ils ont construit le dispositif réel et l'ont placé à cet endroit.

Ce qu'ils ont découvert (Les résultats)

L'équipe a testé cela sur de vrais panneaux de signalisation (panneaux STOP et limitations de vitesse) et contre 12 types différents de « cerveaux IA » (modèles d'apprentissage automatique) utilisés par les voitures autonomes.

Ça fonctionne : L'attaque a été très réussie. Dans de nombreux tests, l'IA de la voiture a complètement mal identifié le panneau (par exemple, en pensant qu'un panneau STOP était un panneau « Interdiction de dépasser »).
C'est furtif : Les piétons passant à côté n'ont rien vu. Le panneau semblait normal. La seule chose qui a changé est ce que la voiture a « vu ».
C'est flexible : Ils peuvent changer le message que la voiture voit en modifiant le motif sur le ventilateur rotatif. Ils peuvent également activer ou désactiver l'attaque instantanément pour cibler des voitures spécifiques.
La distance compte : Cela fonctionne bien de 5 mètres jusqu'à 20 mètres de distance. Curieusement, de petits ventilateurs portables fonctionnent aussi bien que les grands, surtout à distance.
Nuit vs Jour : L'attaque fonctionne mieux la nuit ou par faible luminosité. En plein jour, l'obturateur de la caméra s'ouvre si vite que la lumière rotative n'a pas le temps de « peindre » l'image, rendant l'attaque plus difficile à réaliser.

Comment l'arrêter (Les défenses)

L'article suggère également deux façons de protéger contre cette attaque « fantôme » :

Les lunettes de soleil (Défense matérielle) : Placer un filtre spécial sur la caméra de la voiture qui bloque la lumière infrarouge. C'est comme mettre des lunettes de soleil sur la caméra qui bloquent uniquement le « langage secret » que le pirate utilise. Les chercheurs ont montré qu'avec ce filtre, l'attaque échoue complètement.
- Le bémol : Cela pourrait rendre plus difficile la vision nocturne de la voiture, c'est donc un compromis.
Le détective (Défense logicielle) : Programmer le logiciel de la voiture pour qu'il cherche des « couleurs bizarres ». Lorsque la caméra voit cette lumière infrarouge, elle apparaît souvent sous une couleur magenta ou violette étrange qui ne ressemble pas à la lumière du soleil normale. Le logiciel peut être entraîné pour dire : « Hé, cette couleur a l'air fausse ; ignorez-la. »

Le « Et si ? » (Version lumière visible)

Enfin, les chercheurs ont demandé : « Et si nous utilisions des lumières régulières, visibles, au lieu de l'infrarouge ? »
Ils ont construit une version avec des lumières colorées normales (Rouge, Bleu, Vert).

Le résultat : Cela a toujours trompé la voiture !
La différence : Désormais, les humains peuvent voir le ventilateur rotatif. Ce n'est plus une attaque « fantôme » ; c c'est une attaque « éblouissante ». Cependant, comme le ventilateur tourne très vite, il ressemble toujours à un flou transparent à l'œil humain lorsqu'il n'affiche pas de motif, ce qui le rend légèrement plus discret qu'un écran normal.

Résumé

Cet article prouve que les voitures autonomes sont vulnérables à un nouveau genre de ruse : un ventilateur invisible et rotatif qui peut réécrire les panneaux de signalisation dans l'esprit de la voiture sans que le conducteur humain ne le sache. Cela souligne que, bien que ces voitures soient intelligentes, leurs « yeux » peuvent être facilement trompés par une lumière que les humains ne peuvent pas voir.

Résumé technique : Le spectre riposte : Attaques par POV infrarouge sur la classification des panneaux de signalisation

Énoncé du problème
Les véhicules autonomes s'appuient fortement sur la perception basée sur les caméras pour des tâches critiques telles que la classification des panneaux de signalisation. Bien que les attaques adverses physiques contre ces systèmes soient bien documentées, les méthodes existantes font face à des compromis importants entre efficacité, furtivité et adaptabilité. Les attaques traditionnelles, telles que les autocollants imprimés ou les patchs statiques, sont hautement perceptibles pour les humains. À l'inverse, les attaques lumineuses opérant en dehors du spectre visible par l'homme (par exemple, l'infrarouge) offrent une grande furtivité mais sont souvent limitées à des perturbations statiques, une émission de lumière continue, ou nécessitent des lasers de haute puissance qui manquent de reconfigurabilité dynamique et de capacités de déclenchement à distance. Il existe un besoin pour un vecteur d'attaque combinant la furtivité de la lumière infrarouge avec la nature dynamique et déclenchable à distance des exemples adverses modernes, sans dépendre de lasers dangereux de haute puissance.

Méthodologie
Les auteurs proposent une nouvelle attaque adverse physique utilisant un affichage de persistance de vision (POV) proche infrarouge. La méthodologie est structurée autour de trois étapes principales :

Mise en œuvre matérielle : L'attaque utilise un affichage rotatif personnalisé équipé de diodes électroluminescentes (LED) proches infrarouges (860 nm) disponibles dans le commerce. Contrairement aux précédentes attaques infrarouges utilisant des lasers, cette configuration utilise des LED de faible puissance. L'affichage tourne à des vitesses élevées, exploitant l'effet de persistance de la vision. Lorsque le temps d'exposition de la caméra ( $t_{exp}$ ) est supérieur ou égal à l'inverse de la fréquence de rotation ( $1/f_{rot}$ ), la caméra capture le motif complet, tandis que l'œil humain perçoit les pales rotatives comme transparentes ou invisibles.
Simulation numérique et optimisation : Pour garantir des taux de réussite d'attaque élevés dans le monde réel, les auteurs ont développé un pipeline de simulation numérique. Le processus comprend :
- La capture d'une image de panneau de signalisation bénigne et d'une séquence d'images de l'affichage POV rotatif.
- L'application d'une recherche par grille pour identifier les positions de placement optimales sur le panneau de signalisation.
- La simulation de diverses transformations environnementales (luminosité, échelle, perspective, éblouissement) et la superposition de différentes formes de secteurs rotatifs (par exemple, un cercle complet, deux secteurs) sur le panneau.
- L'exécution de ces images adverses synthétisées à travers des modèles de Machine Learning (ML) cibles pour générer des cartes de chaleur indiquant les emplacements de placement les plus efficaces pour une erreur de classification.
Déploiement en conditions réelles : Sur la base des résultats de la simulation, l'affichage POV infrarouge est monté à la position optimale identifiée sur un panneau de signalisation. L'attaque est déclenchée à distance en activant les LED infrarouges pendant que l'affichage continue de tourner. L'attaque est conçue pour être furtive (invisible pour les humains), dynamique (le contenu peut être reconfiguré) et sélective (peut être activée ou désactivée sans retirer le dispositif).

Principales contributions

Attaque infrarouge reconfigurable : L'introduction d'une attaque adverse physique utilisant un affichage POV proche infrarouge dynamiquement reconfigurable et déclenchable à distance. Cela permet une activation sélective contre des cibles spécifiques sans altérer de façon permanente l'apparence du panneau de signalisation.
Placement piloté par la simulation : Un cadre de simulation numérique qui identifie les positions de placement optimales pour l'affichage POV, en tenant compte de diverses conditions physiques et architectures de modèles pour maximiser la robustesse.
Évaluation exhaustive en conditions réelles : Des tests physiques complets impliquant deux panneaux de signalisation (Stop et limitation de vitesse à 30 km/h), 12 modèles de ML différents (incluant les familles ResNet, ConvNeXt, ViT et YOLO), des distances variables (jusqu'à 20 mètres) et des conditions d'éclairage changeantes (plein jour vs nuit).
Propositions de défense : L'évaluation de deux mécanismes de défense : un filtre de coupure proche infrarouge basé sur le matériel et un algorithme de détection basé sur le logiciel exploitant les artefacts spectraux spécifiques aux capteurs (anomalies de saturation des pixels rouges/bleus par rapport au vert).

Résultats
L'évaluation démontre une grande efficacité à travers de multiples scénarios :

Taux de réussite d'attaque (ASR) : L'attaque a atteint des ASR élevés dans la plupart des scénarios de test. Pour un affichage POV de 30 cm sur un panneau Stop, les ASR ont atteint jusqu'à 100 % pour ResNet-50 sur toutes les distances. Pour le panneau 30 km/h, les ASR étaient généralement élevés, particulièrement à des distances de 10 m et au-delà, bien que les performances varient selon le modèle et la forme (par exemple, ConvNeXt small a montré un ASR plus faible à 5 m).
Transférabilité : L'attaque a démontré une forte transférabilité à travers différentes architectures de modèles et jeux de données d'entraînement (GTSRB, ImageNet, COCO). Même les modèles qui n'ont pas été spécifiquement entraînés sur les panneaux ciblés ont montré des taux de mauvaise classification significatifs lorsqu'ils sont exposés à l'attaque.
Taille et furtivité : Des affichages POV plus petits et portables (10 cm, 15 cm, 20 cm) se sont également révélés efficaces, particulièrement à des distances de 10 m ou plus, prouvant que des dispositifs plus petits et plus discrets peuvent toujours compromettre les systèmes de perception.
Facteurs environnementaux : L'attaque est plus efficace la nuit ou dans des conditions de faible luminosité où les temps d'exposition des caméras sont plus longs, satisfaisant ainsi les contraintes temporelles requises pour l'effet POV. En plein jour, les temps d'exposition courts des caméras rendent l'attaque difficile à exécuter sans des vitesses de rotation extrêmement élevées.
Efficacité de la défense :
- Matériel : L'ajout d'un filtre de coupure proche infrarouge a totalement neutralisé l'attaque, rétablissant la classification correcte avec une grande confiance.
- Logiciel : L'algorithme de détection proposé a atteint des taux de Vrais Négatifs élevés (jusqu'à 100 % pour les images bénignes) et des taux de Vrais Positifs allant de ~55 % à ~98 % selon la taille de l'affichage et les conditions, identifiant efficacement la présence de l'attaque grâce aux anomalies spectrales.

Signification et revendications
L'article affirme que les affichages POV proches infrarouges représentent une menace réaliste et flexible pour les systèmes de perception basés sur les caméras des véhicules autonomes. La signification réside dans la capacité de l'attaque à combiner une haute furtivité (invisible pour les humains), une adaptabilité dynamique (déclenchable et reconfigurable à distance) et une déployabilité pratique (utilisant des composants à bas coût et faible puissance).

Les auteurs soulignent que, bien que l'attaque soit limitée aux caméras sensibles aux infrarouges et à des conditions d'éclairage spécifiques (aube/nuit), elle surmonte la nature statique des attaques infrarouges précédentes. De plus, l'article souligne que le concept de POV ne se limite pas au spectre infrarouge ; un prototype utilisant des LED RGB visibles a également été présenté comme efficace, suggérant que le mécanisme sous-jacent constitue une menace plus large pour les systèmes de perception, bien qu'avec une furtivité humaine réduite. Ce travail souligne la nécessité de prendre en compte les attaques physiques dynamiques basées sur la lumière lors de l'évaluation de la sécurité des couches de perception de la conduite autonome.