SaFeR: Safety-Critical Scenario Generation for Autonomous Driving Test via Feasibility-Constrained Token Resampling

Le papier présente SaFeR, une méthode de génération de scénarios critiques pour la conduite autonome qui combine un prior de réalisme basé sur un Transformer avec une contrainte de faisabilité dérivée de la plus grande région faisable (LFR) pour équilibrer l'adversarité, la réalité comportementale et la viabilité physique.

L'essentiel

Imaginez que vous voulez tester la sécurité d'une voiture autonome. Le problème, c'est que vous ne pouvez pas simplement attendre qu'un accident se produise dans la vraie vie : c'est trop dangereux, trop cher et trop rare. Vous devez donc créer des scénarios de test virtuels dans un simulateur.

Mais voici le dilemme :

1. Si vous créez des scénarios trop "normaux" (comme une conduite humaine classique), la voiture autonome ne sera jamais vraiment mise à l'épreuve.
2. Si vous créez des scénarios trop extrêmes (des accidents impossibles à éviter), le test devient inutile car la voiture n'a aucune chance de gagner.

C'est là qu'intervient SaFeR, une nouvelle méthode proposée par les chercheurs. Voici comment elle fonctionne, expliquée simplement avec des analogies.

1. Le Problème : Trouver l'équilibre parfait

Pour bien tester une voiture, il faut un scénario qui soit :

• Dangereux (pour voir si la voiture réagit bien).
• Réaliste (comme si un vrai humain conduisait).
• Possible (la voiture doit pouvoir théoriquement éviter l'accident).

Les anciennes méthodes avaient du mal à trouver ce juste milieu. Soit elles créaient des accidents impossibles, soit des situations trop douces.

2. La Solution SaFeR : Le Chef d'Orchestre et le Gardien

SaFeR fonctionne en deux étapes principales, comme un duo d'experts :

Étape 1 : Le "Chef d'Orchestre" (Le Modèle de Réalisme)

Imaginez un chef d'orchestre qui connaît par cœur le style de conduite de millions de conducteurs humains. Son travail est de prédire ce qu'un conducteur ferait dans une situation donnée.

• L'innovation : Les chercheurs ont ajouté un filtre spécial (appelé Multi-Head Differential Attention) qui agit comme un réducteur de bruit.
• L'analogie : Dans une foule bruyante, il est difficile d'entendre la personne qui vous parle. Ce filtre permet au modèle de se concentrer uniquement sur les interactions importantes (comme une voiture qui change de file) et d'ignorer le "bruit de fond" (les voitures lointaines ou les panneaux inutiles).
• Résultat : Le modèle génère des mouvements de voiture très naturels, comme si un vrai humain était au volant.

Étape 2 : Le "Gardien de la Zone de Sécurité" (La Contrainte de Faisabilité)

Maintenant que nous avons un scénario réaliste, nous voulons le rendre dangereux. Mais attention ! Si on pousse trop loin, on crée un accident inévitable.

• L'outil : SaFeR utilise une "carte invisible" appelée Région de Faisabilité Maximale (LFR).
• L'analogie : Imaginez que vous jouez à un jeu vidéo où vous devez pousser un adversaire contre un mur pour le faire trébucher, mais sans le tuer. La "Région de Faisabilité" est comme une zone de sécurité invisible autour de votre voiture.
  • Si l'adversaire (la voiture test) entre dans cette zone, c'est un défi difficile mais jouable.
  • Si l'adversaire franchit la ligne rouge, c'est un accident inévitable. Le jeu est fini, le test est nul.
• Le rôle du Gardien : Avant de valider un scénario dangereux, SaFeR vérifie : "Est-ce que la voiture autonome a encore une chance de s'échapper ?" Si oui, le scénario est validé. Si non, on rejette l'idée et on en cherche une autre.

3. La Stratégie : La "Resampling" (Re-échantillonnage)

C'est le cœur du système. SaFeR ne crée pas le scénario d'un seul coup. Il procède par étapes :

1. Il demande au "Chef d'Orchestre" : "Quelles sont les 20 actions les plus probables que ferait un humain ici ?" (C'est la Zone de Confiance).
2. Parmi ces 20 actions, il cherche celle qui est la plus dangereuse pour la voiture autonome.
3. Mais avant de l'appliquer, il passe par le "Gardien" : "Est-ce que cette action dangereuse reste dans la zone où la voiture peut encore freiner ou tourner ?"
   • Oui ? On garde l'action. C'est un scénario parfait : dangereux, réaliste et testable.
   • Non ? On l'ignore et on essaie la suivante.

En Résumé

SaFeR est comme un entraîneur de sport très intelligent qui veut tester un athlète (la voiture autonome).

• Il ne veut pas le mettre dans une situation où il va inévitablement se casser une jambe (accident impossible).
• Il ne veut pas non plus le faire courir dans un parc tranquille (trop facile).
• Il crée des obstacles réalistes (comme un vrai coureur) mais extrêmes, tout en s'assurant qu'il existe toujours une porte de sortie pour l'athlète.

Grâce à cette méthode, les chercheurs ont pu créer des tests de sécurité beaucoup plus fiables, capables de révéler les vrais points faibles des voitures autonomes sans générer de fausses alertes d'accidents impossibles.

Résumé technique

Voici un résumé technique détaillé de l'article « SaFeR: Safety-Critical Scenario Generation for Autonomous Driving Test via Feasibility-Constrained Token Resampling » (Génération de scénarios critiques pour la sécurité des véhicules autonomes via un rééchantillonnage de jetons contraint par la faisabilité).

1. Problématique

Le déploiement à grande échelle des systèmes de conduite autonome (ADS) nécessite une vérification rigoureuse de la sécurité. Bien que les tests réels soient indispensables, ils sont limités par le coût, l'efficacité et les risques, en particulier pour les interactions rares et dangereuses (ex: changements de voie agressifs, virages non protégés). La simulation est donc cruciale, mais elle doit générer des scénarios qui satisfont simultanément trois objectifs souvent contradictoires :

1. Criticité adversaire : Le scénario doit induire un risque de collision élevé pour tester les limites du système.
2. Faisabilité physique : Le scénario ne doit pas être physiquement impossible (ex: collisions inévitables où le véhicule autonome ne peut rien faire).
3. Réalisme comportemental : Les trajectoires doivent correspondre aux distributions naturelles de la conduite humaine.

Les méthodes existantes échouent souvent à équilibrer ces objectifs : soit elles génèrent des collisions inévitables (manque de faisabilité), soit des scénarios trop conservateurs (manque de criticité), soit des comportements irréalistes.

2. Méthodologie : Le cadre SaFeR

L'article propose SaFeR, un cadre unifié qui formule la génération de scénarios comme un problème de prédiction de jetons discrets (Next-Token Prediction - NTP), combinant un prior de réalisme appris avec une stratégie de rééchantillonnage adversaire contrainte.

A. Modélisation du Prior de Réalisme (Realism Prior)

• Tokenisation du mouvement : Les actions continues (accélération et taux de lacet) sont discrétisées en un vocabulaire fini de « jetons de mouvement ».
• Architecture Transformer : Un modèle basé sur Transformer prédit la probabilité du prochain jeton, apprenant la distribution naturelle des comportements de conduite à partir de grands ensembles de données (Waymo Open Motion Dataset, nuPlan).
• Mécanisme d'Attention Différentielle Multi-Têtes (MDA) : Pour gérer le bruit d'attention dans les environnements denses, les auteurs introduisent une nouvelle couche MDA. Celle-ci factorise les interactions en trois modules (temporel, agent-agent, agent-carte) et utilise une conception « softmax jumelé » pour soustraire dynamiquement le bruit de fond global, isolant ainsi les interactions critiques et améliorant la fidélité des comportements naturels.

B. Contrainte de Faisabilité (Feasibility Constraint)

Pour éviter les collisions inévitables, SaFeR intègre la notion de Région Faisable Maximale (LFR - Largest Feasible Region).

• Analyse de Reachability Hamilton-Jacobi : La LFR définit l'ensemble des états à partir desquels le véhicule égo peut théoriquement éviter une collision sous un contrôle optimal.
• Approximation par RL Hors-ligne : Calculer la LFR analytiquement est coûteux. L'équipe utilise l'apprentissage par renforcement hors-ligne (offline RL) avec une régression d'expectile pour approximer la fonction de valeur de faisabilité $V_h(s)$ via un réseau de neurones. Cela permet de distinguer les scénarios « difficiles mais solubles » des « accidents inévitables ».

C. Stratégie de Rééchantillonnage de Jetons (Token Resampling)

La génération du scénario se fait en deux étapes pour le véhicule critique (CBV - Critical Background Vehicle) :

1. Construction de la Zone de Confiance (Trust Region) : On limite la recherche aux $n$ jetons les plus probables prédits par le modèle de réalisme. Cela garantit que le comportement reste humain et naturel.
2. Rééchantillonnage Guidé par la LFR : Dans cette zone de confiance, on sélectionne le jeton qui maximise la criticité (minimise la distance avec le véhicule égo) tout en respectant la contrainte de faisabilité ($V_h(s) \le 0$).
   • Si le jeton maintient le véhicule dans la LFR, l'objectif est de minimiser la distance (augmenter le risque).
   • Si le jeton sort de la LFR (collision inévitable), une pénalité massive est appliquée pour rejeter ce jeton.

3. Contributions Clés

1. Cadre SaFeR : Une approche unifiée qui résout le compromis entre criticité, faisabilité et réalisme via un rééchantillonnage de jetons contraint.
2. Mécanisme MDA : Une nouvelle architecture d'attention qui filtre le bruit dans les environnements denses, améliorant significativement la précision des interactions spatiales et temporelles.
3. Contrainte LFR via Offline RL : Une méthode novatrice pour approximer les limites de sécurité théoriques et empêcher la génération de scénarios physiquement invalides, assurant que les tests évaluent la prise de décision et non l'impossibilité physique.

4. Résultats Expérimentaux

Les expériences ont été menées en boucle fermée sur les ensembles de données Waymo Open Motion Dataset (WOMD) et nuPlan.

• Évaluation du Réalisme : SaFeR surpasse les méthodes de base (modèles de diffusion, régression, etc.) sur les métriques de réalisme global, notamment grâce au module MDA qui améliore les métriques d'interaction et de carte.
• Évaluation de la Criticité et de la Faisabilité :
  • Taux de Collision (CR) : SaFeR génère des scénarios très critiques (CR élevé).
  • Taux de Solution (SR) : C'est le point fort de SaFeR. Contrairement à des méthodes comme ADV-BMT qui génèrent beaucoup de collisions mais peu de scénarios solubles (faible SR), SaFeR atteint le taux de solution le plus élevé (86,5% sur WOMD). Cela prouve que les scénarios générés sont réalistes et que le véhicule autonome a une chance théorique d'éviter l'accident.
  • Réalisme Cinématique : SaFeR présente les plus faibles divergences (VJ, AJ) par rapport aux données réelles, confirmant le maintien du réalisme comportemental.
• Études d'Ablation :
  • Sans la contrainte LFR, le taux de solution chute drastiquement (collisions inévitables).
  • Sans le module MDA, le réalisme et la capacité de résolution diminuent, montrant l'importance du filtrage du bruit d'attention.

5. Signification et Impact

L'article SaFeR apporte une contribution majeure à la validation des véhicules autonomes en démontrant qu'il est possible de générer des scénarios de test à la fois dangereux, réalistes et physiquement valides.

• Il comble le fossé entre la génération de scénarios purement adversariaux (souvent invalides) et la simulation réaliste (souvent trop sûre).
• L'utilisation de la LFR comme contrainte explicite offre une garantie théorique que les scénarios générés ne sont pas des « pièges impossibles », ce qui est essentiel pour une évaluation juste des capacités de décision des ADS.
• La méthode propose une voie évolutive pour tester les systèmes autonomes face aux situations les plus complexes sans recourir à des millions de kilomètres de tests réels.