💻 computer science

Real-Time Evaluation of Autonomous Systems under Adversarial Attacks

Cet article présente un cadre hors ligne pour évaluer la robustesse aux attaques adverses des politiques de conduite autonome entraînées sur des données d'intersections réelles, démontrant que les choix architecturaux et les représentations d'état influencent de manière critique la stabilité face aux attaques basées sur le gradient, malgré une précision nominale comparable.

Auteurs originaux : Adithya Mohan, Xujun Xie, Venkatesh Thirugnana Sambandham, Torsten Schön

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adithya Mohan, Xujun Xie, Venkatesh Thirugnana Sambandham, Torsten Schön

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à conduire une voiture dans un carrefour urbain animé. Habituellement, les ingénieurs testent ces robots dans un jeu vidéo (simulation) car c'est sûr et peu coûteux. Mais cet article soutient que les jeux vidéo sont trop parfaits. Ils omettent les bugs désordonnés du monde réel — comme des signaux GPS défaillants, des marquages routiers confus ou des données légèrement erronées — qui surviennent lorsqu'une voiture réelle est effectivement sur la route.

Les auteurs ont conçu un « test de résistance » pour les voitures autonomes en utilisant des données réelles collectées à partir d'une véritable Audi Q8 en Allemagne. Ils n'ont pas seulement vérifié si la voiture conduisait bien ; ils ont vérifié si la voiture cédait lorsque quelqu'un tentait de la tromper.

Voici la décomposition de leur expérience à l'aide d'analogies simples :

1. Les trois « élèves » (les modèles)

Les chercheurs ont formé trois types différents d'« élèves » IA pour apprendre à conduire dans les carrefours. Ils ont tous étudié le même manuel exact (les données du monde réel), mais ils ont utilisé des styles d'apprentissage différents :

L'élève direct (MLP) : Ce modèle est comme un élève qui mémorise des règles de manière simple et linéaire. Il observe la situation actuelle et prédit le prochain mouvement.
L'élève concentré (Transformer) : Ce modèle est comme un élève qui utilise un surligneur pour porter attention à des détails spécifiques (comme « cette voiture rouge est proche » ou « la voie s'incurve »). Il décompose la route en petits « jetons » ou morceaux pour mieux comprendre l'ensemble.
Le chercheur de récompense (GAIL/IRL) : Ce modèle ne se contente pas de copier l'enseignant ; il tente de comprendre pourquoi l'enseignant a effectué ces mouvements. Il joue à un jeu où il essaie de tromper un juge pour qu'il le prenne pour un conducteur expert.

2. Le « tour de magie » (attaques adverses)

Une fois les élèves formés, les chercheurs ont tenté de les tromper. Ils n'ont pas changé la route ni la voiture ; ils ont modifié les données que la voiture lisait.

Pensez-y ainsi : imaginez que vous conduisez et que quelqu'un place un tout petit autocollant presque invisible sur votre tableau de bord qui déforme légèrement votre compteur de vitesse ou votre vue de la voie. Pour vous, cela semble normal, mais l'ordinateur de la voiture perçoit une réalité complètement différente.

Le tour « en un clic » (FGSM) : Une petite pousse rapide et unique sur les données pour voir si la voiture se confond.
Le tour « implacable » (PGD) : Une série lente et répétée de petites pousse, ajustant constamment le tour pour trouver exactement le point faible du cerveau de la voiture.

3. Les résultats : « bonnes notes » vs « survie dans le monde réel »

Voici la découverte choquante : les trois élèves ont obtenu d'excellentes notes à leur examen final (conduite propre). Ils ont tous prédit le trajet parfaitement lorsque la route était normale.

Cependant, lorsque le « tour de magie » (l'attaque adverse) a été appliqué :

Ils ont tous échoué de manière spectaculaire. Même s'ils étaient intelligents, un changement minuscule et invisible dans les données les a fait dévier follement de leur trajectoire.
Le tour « implacable » était le pire. Alors que le tour « en un clic » faisait légèrement dériver la voiture, le tour « implacable » a fait dévier la voiture jusqu'à 8 mètres (environ 26 pieds). C'est comme conduire tout droit dans une autre voie ou complètement hors de la route.
Des modèles plus intelligents n'ont pas sauvé la mise. L'« élève concentré » (Transformer) et le « chercheur de récompense » (GAIL) étaient tout aussi vulnérables que l'« élève direct ». Être plus complexe ou avoir un style d'apprentissage « plus intelligent » ne les a pas rendus immunisés contre le tour.

4. Le problème « lisse mais faux »

L'article soulève un détail effrayant concernant la façon dont ces voitures ont échoué. Une fois trompées, la voiture ne se contentait pas de s'agiter de manière aléatoire. Elle générait souvent une trajectoire qui semblait lisse et physiquement possible (comme une vraie voiture qui tourne), mais qui était sémantiquement erronée.

Analogie : Imaginez un conducteur qui tourne le volant de manière fluide pour traverser un mur de briques parce que le « mur » a été trompé pour ressembler à une « voie ». Le mouvement est fluide, mais le résultat est un crash.

La conclusion principale

L'essentiel à retenir est que vous ne pouvez pas faire confiance à une voiture autonome simplement parce qu'elle conduit bien dans des conditions normales.

L'article prouve que :

La simulation ne suffit pas : Vous devez tester sur des données réelles pour découvrir ces faiblesses.
La précision n'est pas la sécurité : Une voiture peut être précise à 99 % dans une conduite normale mais sûre à 0 % lorsque quelqu'un tente de la tromper.
La complexité n'équivaut pas à la sécurité : Rendre l'IA « plus intelligente » ou plus complexe ne la rend pas automatiquement plus difficile à tromper.

Les chercheurs ont créé un nouveau cadre de « test de résistance » pour aider les ingénieurs à découvrir ces fissures cachées avant de mettre des voitures sur la route. Ils ont constaté que, actuellement, aucune des méthodes standard n'est véritablement sûre contre ces astuces numériques, et nous devons construire des défenses spécifiques pour les arrêter.

Résumé Technique : Évaluation en Temps Réel des Systèmes Autonomes sous Attaques Adverses

Énoncé du Problème

Bien que les tests adverses soient devenus la norme dans les simulations pour la conduite autonome, les évaluations purement virtuelles échouent à capturer les incohérences structurelles, les contraintes de supervision et les effets de la représentation d'état inhérents aux données du monde réel. Ces facteurs façonnent fondamentalement la robustesse des politiques, mais sont souvent abstraits dans les simulations. De plus, bien que les vulnérabilités de robustesse dans l'apprentissage par renforcement aient été analysées, les évaluations contrôlées sur des jeux de données de trajectoires réels structurés restent limités. Les attaques physiques existantes ciblent souvent les pipelines de perception en amont (par exemple, caméras, LiDAR), whereas ce travail adresse la vulnérabilité du vecteur d'état lui-même, de faible dimension, en supposant que la couche de perception a été contournée ou compromise.

Méthodologie

Cadre Expérimental

Les auteurs proposent un cadre d'apprentissage de trajectoires hors ligne et d'évaluation de la robustesse aux attaques adverses, ancré dans des données réelles de conduite à des intersections. L'évaluation est réalisée en mode boucle ouverte sur un véhicule d'essai Audi Q8 grandeur nature équipé d'une pile multi-capteurs (LiDAR, caméras, GNSS/IMU) et d'un cadre logiciel basé sur Autoware. Les politiques entraînées effectuent une inférence en temps réel sur des données véhiculaires en direct, mais n'influencent pas le contrôle du véhicule, garantissant ainsi la sécurité tout en permettant une évaluation réaliste de la robustesse dans des conditions réelles de capteurs et de synchronisation.

Données et Construction de l'État

L'étude utilise le jeu de données UrbanIng-V2X, se concentrant sur l'apprentissage de trajectoires d'un seul véhicule égo à travers trois scénarios d'intersection distincts à Ingolstadt, en Allemagne.

Représentation d'État ( $s_t$ ) : Un vecteur structuré de 97 dimensions est construit pour chaque timestamp, comprenant :
- Dynamique égo (4D) : Vitesse, accélération, vitesse de lacet et cap.
- Géométrie relative à la voie (3D) : Déplacement latéral, erreur de cap et courbure.
- Objets environnants (80D) : Caractéristiques pour les $K=10$ participants au trafic les plus proches (position, vitesse, dimensions, classe, distance).
- Masque de validité (10D) : Indicateurs binaires pour la présence d'objets.
Cible : Une trajectoire future de 20 étapes ( $\tau_t$ ) représentant $(\Delta x, \Delta y, \Delta \psi, v)$ .

Modèles Évalués

Trois paradigmes d'apprentissage de trajectoires sont comparés sous des contrats d'état et de supervision identiques :

BC-MLP : Un Perceptron Multicouche (MLP) feedforward (deux couches cachées, 512 unités) effectuant un Clonage de Comportement (Behavior Cloning).
BC-Transformer : Un modèle basé sur Transformer utilisant la tokenisation d'objets (égo, voie et 10 tokens d'objets) avec un token de classification pour l'agrégation globale.
IRL-GAIL : Une approche d'Apprentissage par Renforcement Inverse formulée comme un jeu minimax d'Imitation Générative Adversaire (GAIL), où le réseau de politique partage l'architecture du BC-MLP.

Protocole d'Attaque Adverse

La robustesse à l'inférence est évaluée en appliquant des perturbations basées sur le gradient au vecteur d'état structuré $s_t$ en utilisant :

FGSM (Fast Gradient Sign Method) : Perturbation en une seule étape.
PGD (Projected Gradient Descent) : Perturbation itérative de 10 étapes.
Contraintes : Les perturbations sont bornées par un budget $\ell_\infty$ ( $\epsilon = 0.05$ ) appliqué à toutes les dimensions d'état sans normalisation par caractéristique.
Métriques : L'Erreur de Déplacement Moyenne (ADE) et l'Erreur de Déplacement Final (FDE) sont calculées par rapport aux trajectoires de vérité terrain.

Contributions Clés

Pipeline Hors-Ligne Réel : Établissement d'un pipeline structuré d'apprentissage de trajectoires hors ligne basé sur des données réelles d'intersection, dépassant les tests adverses purement simulés.
Comparaison de Paradigmes Contrôlée : Une comparaison systématique du BC (MLP), du BC (Transformer) et de l'IRL de style GAIL hors ligne sous des représentations d'état et des contrats de supervision identiques.
Évaluation Systématique de la Robustesse : Une matrice d'évaluation structurée faisant varier la famille de modèles, le type d'attaque (Propre, FGSM, PGD) et le scénario d'intersection (3 traversées), couvrant les conditions de jour et de nuit.
Analyse Empirique de la Robustesse : Démonstration qu'une précision nominale de trajectoire comparable peut masquer des profils de robustesse aux attaques adverses substantiellement différents.

Résultats

Performance Nominale

Dans des conditions propres (non adverses), tous les modèles ont obtenu de faibles erreurs de prédiction, avec des valeurs ADE et FDE constamment inférieures à 0,08 sur toutes les intersections. Cela confirme que les différences observées sous attaque ne sont pas dues à un sous-ajustement ou à des limitations de capacité architecturale, mais plutôt à la sensibilité des mappages entrée-sortie appris.

Dégradation Adverse

Attaques FGSM : Ont causé une dégradation significative, augmentant l'ADE d'environ 1,0–1,5 mètres et la FDE de 1,8–2,9 mètres. Le BC-MLP et le BC-Transformer ont montré une vulnérabilité comparable, suggérant qu'une expressivité architecturale accrue (mécanismes d'attention) ne réduit pas intrinsèquement la susceptibilité aux attaques par gradient en une seule étape.
Attaques PGD : Ont entraîné des erreurs substantiellement plus grandes. La dégradation de la FDE a fréquemment dépassé 5,0 mètres, atteignant près de 8,0 mètres dans les intersections complexes.
- Le BC-MLP a présenté la plus grande dégradation, en particulier dans les scénarios à forte courbure, indiquant une sensibilité à l'amplification itérative.
- Le BC-Transformer a montré des améliorations modestes dans certaines configurations mais est resté globalement très vulnérable.
- L'IRL-GAIL n'a pas démontré d'avantages de robustesse cohérents ; dans plusieurs cas, sa dégradation était comparable ou pire que celle des modèles basés sur BC.

Modes de Défaillance

L'analyse qualitative (Fig. 3) a révélé que les trajectoires perturbées de manière adverse restent souvent cinématiquement lisses mais sont sémantiquement incorrectes, violant le respect de la voie ou les règles d'intersection. Les erreurs avaient tendance à s'accumuler sur l'horizon de prédiction, conduisant à de grandes erreurs de déplacement terminal (un $\Delta$ FDE élevé par rapport au $\Delta$ ADE).

Signification et Revendications

L'article revendique que la précision nominale de la prédiction de trajectoire n'est pas indicative de la robustesse aux attaques adverses. L'étude établit que :

Les Biais Inductifs Architecturaux Importent : La conception de la structure d'état et les choix architecturaux influencent de manière critique la stabilité aux attaques, conduisant à des profils de robustesse nettement différents malgré des performances propres similaires.
Les Objectifs d'Entraînement Ne Garantissent Pas la Robustesse : Les objectifs d'imitation adverse (GAIL) et l'augmentation de la complexité du modèle ne confèrent pas intrinsèquement une robustesse à l'inférence contre les perturbations d'état.
Nécessité d'une Évaluation Consciente du Scénario : La robustesse est déterminée conjointement par l'architecture du modèle et la géométrie locale de l'état (par exemple, courbure, trafic de fusion), nécessitant une évaluation consciente du scénario plutôt que des métriques agrégées uniquement.

Le cadre proposé sert de benchmark évolutif et reproductible pour étudier l'apprentissage de trajectoires hors ligne et la robustesse aux attaques adverses dans des contextes réels de conduite autonome, mettant en évidence l'écart entre la précision dans des conditions propres et le comportement pertinent pour la sécurité sous attaque.