Natural Adversaries: Fuzzing Autonomous Vehicles with Realistic Roadside Object Placements

Cette présentation introduit TrashFuzz, un algorithme de fuzzing en boîte noire qui teste la résilience des véhicules autonomes en manipulant de manière réaliste la position d'objets routiers courants pour induire des erreurs de perception et des violations du code de la route, tout en respectant les normes de conception routière.

L'essentiel

Imaginez que vous êtes un conducteur autonome, une voiture intelligente qui a appris à conduire en regardant des millions de vidéos. Elle est très douée pour voir les autres voitures, les piétons et les panneaux. Mais, comme tout le monde, elle a des faiblesses.

Ce papier de recherche, intitulé "TRASHFUZZ", raconte l'histoire d'une équipe de chercheurs qui a décidé de jouer au "méchant" pour tester la solidité de ces voitures, mais d'une manière très particulière.

Voici l'explication simple, avec quelques images pour mieux comprendre :

1. Le Problème : La voiture est trop "humaine" (ou pas assez)

Les voitures autonomes sont programmées pour respecter les règles de la route, tout comme nous. Mais ces règles ont été écrites pour les yeux humains.

• L'analogie : Imaginez que vous avez installé un garde-manger dans votre cuisine. Vous l'avez placé là où c'est pratique pour vous. Mais si un robot très rigide vient cuisiner, il pourrait se cogner contre ce garde-manger parce qu'il ne comprend pas pourquoi il est là, seulement où il est.
• Les chercheurs ont découvert que des objets banals (poubelles, bancs, arbres) placés selon les règles habituelles peuvent tromper la "vision" de la voiture.

2. La Mauvaise Solution (ce qu'on faisait avant)

Avant, pour tester ces voitures, les chercheurs utilisaient des méthodes un peu "cartoon" :

• Ils collaient des autocollants bizarres sur les panneaux de signalisation.
• Ils peignaient des formes étranges sur les cônes de chantier.
• Le problème : C'est irréaliste. Personne ne colle un autocollant géant sur un feu rouge dans la vraie vie. C'est comme tester un garde du corps en lui lançant un ballon de baudruche : ça ne prouve pas qu'il est prêt pour un vrai danger.

3. La Solution TRASHFUZZ : Le "Test du Dépliant"

Les chercheurs ont inventé TRASHFUZZ. Au lieu de créer des monstres, ils utilisent des objets du quotidien, mais ils les placent de manière stratégique.

• L'analogie : Imaginez que vous voulez tester si un détecteur de fumée fonctionne. Au lieu de mettre du vrai feu (dangereux) ou de la fausse fumée (bizarre), vous placez simplement un grille-pain trop près de la fenêtre, ou un vase qui bloque un peu la vue. Vous respectez les règles de la maison, mais vous créez une situation où le détecteur pourrait se tromper.
• Leur méthode : Ils prennent des poubelles, des bancs et des arbres, et ils les déplacent légèrement (en respectant les règles de la ville) pour voir si la voiture va paniquer.

4. Comment ça marche ? (Le Robot "Tâtonneur")

La voiture est une "boîte noire" : les chercheurs ne savent pas comment elle réfléchit à l'intérieur. Ils ne peuvent que regarder ce qu'elle fait.

• L'analogie du labyrinthe : Imaginez que vous êtes dans un labyrinthe sombre et que vous cherchez la sortie. Vous ne pouvez pas voir le plan.
  • Vous avancez un peu.
  • Si vous vous rapprochez du mur, vous reculez.
  • Si vous vous rapprochez de la sortie, vous continuez dans cette direction.
• TRASHFUZZ fait pareil. Il déplace les poubelles et les bancs, regarde si la voiture commence à faire des bêtises (comme s'arrêter au feu vert ou accélérer au feu rouge), et ajuste la position pour trouver le "point faible" parfait. C'est comme un enfant qui appuie sur tous les boutons d'un jouet pour voir lequel fait le bruit le plus drôle.

5. Les Résultats : La voiture a eu peur !

Les chercheurs ont testé cela sur une voiture autonome célèbre (Apollo). Le résultat est surprenant :

• En plaçant simplement des poubelles et des bancs de manière "normale" mais un peu malchanceuse, ils ont réussi à tromper la voiture.
• L'exemple le plus fou : Ils ont disposé des poubelles de telle façon que la voiture a cru voir un feu rouge alors qu'il était vert ! Résultat : la voiture s'est arrêtée au milieu de la route, bloquant le trafic.
• Ils ont réussi à faire violer 15 lois sur les 24 testées. La voiture a hésité, a accéléré quand il ne fallait pas, ou a ignoré des obstacles.

6. Pourquoi c'est important ?

Ce n'est pas pour dire que les voitures autonomes sont nulles. C'est pour dire qu'elles sont trop sensibles à leur environnement.

• La leçon : Les règles de la ville (où mettre une poubelle, où planter un arbre) ont été écrites pour les humains. Elles ne sont peut-être pas parfaites pour les robots.
• L'avenir : Il faudra peut-être repenser l'urbanisme. Peut-être que les poubelles devraient avoir une forme ou une couleur spécifique pour que les voitures ne les confondent pas avec des piétons.

En résumé :
Les chercheurs ont prouvé qu'on n'a pas besoin de lasers magiques ou de stickers bizarres pour tromper une voiture autonome. Il suffit de déplacer quelques poubelles et bancs, comme un enfant qui joue aux chaises musicales, pour que la voiture perde ses pédales. C'est une découverte cruciale pour rendre nos futures voitures plus sûres et plus intelligentes face au chaos du monde réel.

Résumé technique

Voici un résumé technique détaillé de l'article "Natural Adversaries: Fuzzing Autonomous Vehicles with Realistic Roadside Object Placements" (Adversaires Naturels : Fuzzing des Véhicules Autonomes avec des Placements Réalistes d'Objets Côtier de Route).

1. Problématique et Contexte

L'émergence des véhicules autonomes (VA) a intensifié la nécessité de tester la résilience de leurs systèmes de perception. La plupart des recherches existantes sur les attaques adverses se concentrent sur des objets aux formes irrégulières ou sur l'ajout de "patches" (autocollants) visuellement flagrants sur des panneaux ou des cônes. Ces approches présentent deux limites majeures :

• Irréalisme : Elles reposent sur des artefacts qui ne seraient jamais trouvés dans un environnement routier réel.
• Hypothèses de sécurité (White-box) : Elles nécessitent souvent un accès interne aux modèles de perception (connaissance des poids du réseau de neurones), ce qui est peu réaliste pour un attaquant externe.

Les auteurs soulignent un problème négligé : les objets routiers courants (poubelles, bancs, arbres, bornes incendie) sont placés selon des directives conçues pour les conducteurs humains, et non pour les systèmes de perception des VA. La question centrale est de savoir si le simple placement de ces objets bénins et conformes aux règlements peut induire des erreurs de perception critiques chez un VA, menant à des violations des lois de la circulation.

2. Méthodologie : TRASHFUZZ

Pour répondre à cette problématique, les auteurs proposent TRASHFUZZ, une approche de fuzzing (test par génération aléatoire et mutation) en boîte noire.

A. Hypothèses de Menace (Threat Model)

• Boîte noire : L'attaquant n'a aucun accès aux modèles internes du système de conduite autonome (ADS). Il ne peut observer que les sorties du système de perception et les informations du châssis.
• Contraintes de réalisme : L'attaquant ne peut modifier que la position, l'orientation et le type d'objets routiers courants. Il ne peut pas utiliser de patches adverses ni modifier la forme des objets.
• Conformité réglementaire : Tous les scénarios générés doivent respecter des règles strictes issues de documents officiels (ex: Code of Practice for Works on Public Streets à Singapour, guides de gestion des déchets).

B. Génération de Scénarios Naturels

L'algorithme formalise les directives de placement (ex: distance minimale entre une poubelle et la route, hauteur des arbres par rapport aux lampadaires) en règles mathématiques (Tableau I de l'article). Ces règles garantissent que les scénarios générés sont "naturels" aux yeux d'un observateur humain et conformes à la loi.

C. Algorithme de Recherche : Greedy Gradient-Guided

TRASHFUZZ utilise un algorithme de recherche glouton guidé par le gradient pour explorer l'espace des placements possibles :

1. Encodage : Un scénario est représenté comme un vecteur contenant la position (avant, droite), l'orientation et le type de chaque objet adversaire.
2. Fonction Objectif : L'objectif est de minimiser la robustesse d'une spécification de loi de circulation définie en Logique Temporelle Signale (STL). La robustesse mesure la "distance" entre le comportement actuel du VA et la violation de la loi.
3. Décomposition des objectifs : Une loi complexe est décomposée en plusieurs objectifs de violation plus simples (ex: violer la limite de vitesse ou ignorer un feu rouge).
4. Recherche : L'algorithme génère un scénario initial, le simule, puis mute les objets. Il calcule un "gradient" (la variation de la robustesse par rapport à la modification de l'objet). Il sélectionne ensuite la mutation qui réduit le plus la robustesse (approche gloutonne) pour la prochaine itération, jusqu'à trouver une violation ou épuiser le budget de requêtes.

3. Contributions Clés

1. Nouvelle Vecteur d'Attaque : Introduction d'une attaque basée uniquement sur le placement d'objets routiers standards, sans modification visuelle ni connaissance interne du modèle.
2. Formalisation des Contraintes Naturelles : Traduction de guides réglementaires complexes en règles exécutables pour contraindre la génération de scénarios, assurant leur réalisme.
3. Algorithme TRASHFUZZ : Développement d'un fuzzing adaptatif combinant une recherche gloutonne et une analyse de gradient pour naviguer efficacement dans un vaste espace de recherche en boîte noire.
4. Évaluation sur Apollo : Implémentation et test sur le système Baidu Apollo avec le simulateur LGSVL, utilisant une bibliothèque d'objets 3D réalistes.

4. Résultats Expérimentaux

Les expériences ont été menées sur le système Apollo (version 7.0) avec le simulateur LGSVL.

• Efficacité de Génération : TRASHFUZZ génère 100 % de scénarios valides respectant les règles de placement, contre seulement ~56 % pour une génération aléatoire simple (qui place souvent des objets sur la chaussée, ce qui est illégal).
• Violations de Lois de Circulation : TRASHFUZZ a réussi à induire des violations de 15 lois de circulation sur 24 testables.
  • Exemple notable : Une disposition inoffensive de poubelles a saturé le système de perception, provoquant une confusion où le VA a interprété un feu rouge comme un feu vert, conduisant à une conduite agressive dangereuse.
  • D'autres cas ont causé des hésitations, des arrêts injustifiés ou des changements de voie inappropriés.
• Comparaison avec LawBreaker : Contrairement à LawBreaker (qui modifie le comportement des autres agents comme les piétons), TRASHFUZZ se concentre sur les objets statiques. Malgré des contraintes plus fortes, TRASHFUZZ a couvert plus d'objectifs de violation (19,75 en moyenne contre 18,25 pour LawBreaker sur plusieurs runs) et a découvert une violation supplémentaire (sous-loi 7 de l'article 51) que LawBreaker n'a pas trouvée.
• Généralisation (Autoware) : Des tests préliminaires sur le système Autoware (avec le simulateur CARLA) ont montré que des erreurs de classification similaires (ex: confondre une poubelle avec un piéton ou un véhicule) se produisent, suggérant que la vulnérabilité est liée aux algorithmes de perception communs et non à un système spécifique.

5. Signification et Implications

• Vulnérabilité des Directives Actuelles : Les résultats démontrent que les normes de conception routière, conçues pour l'œil humain, sont potentiellement inadéquates pour les VA. Des objets bénins, placés légalement, peuvent tromper les systèmes de perception.
• Nécessité de Tests Réalistes : Les méthodes de test actuelles basées sur des patches artificiels ne suffisent pas. Il est crucial d'évaluer la résilience des VA face à des perturbations "naturelles".
• Recommandations : Les auteurs suggèrent une révision des guides de placement des objets routiers (ex: standardisation de l'apparence ou des dimensions des poubelles) et l'intégration de tests de fuzzing basés sur des objets naturels dans les pipelines de validation des VA.

En conclusion, TRASHFUZZ révèle des failles de robustesse critiques dans les systèmes de perception modernes, prouvant que la simple manipulation de l'environnement routier conforme aux règles peut suffire à compromettre la sécurité des véhicules autonomes.