Résumé technique : Ensembles de simulateurs pour les tests de systèmes de conduite autonome fiables

1. Énoncé du problème

Le test basé sur des scénarios utilisant des simulateurs de conduite est la méthode standard pour valider les systèmes d'aide à la conduite automatisée (ADAS) et réduire le besoin de tests routiers coûteux sur le terrain. Cependant, des recherches existantes indiquent que les résultats d'exécution des tests sont souvent incohérents. Ces incohérences proviennent de deux sources principales :

1. La fragilité des tests (Test Flakiness) : Un comportement non déterministe où un même scénario de test produit des résultats de réussite/échec différents, même au sein d'un même simulateur, souvent en raison de problèmes de synchronisation, de minutage ou d'incertitudes environnementales.
2. Le désaccord entre simulateurs : Différents simulateurs (par exemple, BeamNG, Udacity, Donkey) peuvent produire des résultats divergents pour une même entrée de test en raison de différences dans les moteurs physiques, le rendu ou les détails d'implémentation.

Les approches actuelles pour atténuer ces problèmes sont limitées. Certaines rejettent les tests fragiles, tandis que d'autres, comme le cadre « Digital Siblings » (DSS), exécutent des campagnes de génération de tests indépendantes sur différents simulateurs et fusionnent les résultats lors d'une étape de post-traitement. Ce regroupement post-hoc est inefficace car l'algorithme de recherche fait évoluer les cas de test sur la base du retour d'un seul simulateur, gaspillant potentiellement des ressources pour des échecs spécifiques au simulateur (invalides) avant qu'ils ne soient filtrés.

Le problème central abordé est l'absence d'une méthodologie de test capable d'identifier les échecs agnostiques aux simulateurs (des échecs valides qui représentent de véritables défauts de l'ADAS) directement pendant le processus de recherche, plutôt qu'après celui-ci, tout en maintenant l'efficacité.

2. Méthodologie : MultiSim

Les auteurs proposent MultiSim, une nouvelle approche de test logiciel basée sur la recherche (SBST) qui traite plusieurs simulateurs comme un ensemble durant le processus de génération de tests.

2.1 Formulation de l'optimisation multi-objectif

MultiSim reformule le problème de test en tant que problème d'optimisation multi-objectif (MOO). Au lieu d'évaluer une entrée de test dans un seul simulateur, le système l'évalue à travers un ensemble de simulateurs simultanément. Le vecteur de fitness pour une entrée de test $x$ est défini comme :
$$F(x) = (f_1(x), \dots, f_j(x), f_d(x), f_a(x, A))$$
Où :

• $f_k(x)$ : La valeur de fitness (par exemple, l'erreur de trajectoire transversale) obtenue à partir du simulateur $S_k$.
• $f_d(x)$ : La distance moyenne entre les valeurs de fitness de tous les simulateurs. Minimiser ce terme pousse la recherche vers des scénarios où les simulateurs sont d'accord.
• $f_a(x, A)$ : La distance de l'entrée de test actuelle par rapport aux tests précédemment trouvés dans un archive $A$. Maximiser ce terme garantit la diversité dans l'espace de recherche.

En minimisant les valeurs de fitness (indiquant un échec) et la distance entre les simulateurs, l'algorithme donne la priorité aux échecs agnostiques aux simulateurs — des scénarios où l'ADAS échoue de manière cohérente à travers différents environnements de simulation.

2.2 Représentation et opérateurs de test

• Représentation : Les scénarios routiers sont modélisés à l'aide de points de contrôle interpolés via des splines de Catmull–Rom. L'espace de recherche est paramétré par des angles et des longueurs de segments.
• Opérateurs génétiques : L'approche utilise des opérateurs génétiques standards (sélection, croisement, mutation) adaptés à la géométrie routière. Le croisement échange des segments de route entre les routes parentes, tandis que la mutation modifie aléatoirement les angles ou les longueurs des segments. Les routes invalides (par exemple, celles qui intersectent les limites de la carte) sont régénérées.
• Fonction Oracle : Un test est considéré comme un échec si l'erreur de trajectoire transversale maximale (XTE) dépasse un seuil prédéfini (par exemple, 2,2 mètres), indiquant que le véhicule est sorti de sa voie.

2.3 Stratégie de validation

Pour confirmer que les échecs identifiés sont réellement agnostiques aux simulateurs, les auteurs emploient une phase de validation :

1. Cartographie des caractéristiques : Les tests échoués générés sont cartographiés dans un espace de caractéristiques défini par la courbure de la route et le nombre de virages.
2. Ré-exécution : Les tests échoués sont ré-exécutés plusieurs fois (pour tenir compte de la fragilité) sur des simulateurs non utilisés durant la phase de recherche.
3. Seuil : Un test est classé comme un « échec valide » uniquement s'il échoue de manière cohérente (par exemple, un taux d'échec de 100 %) à travers tous les simulateurs de validation.

2.4 Amélioration par modèle de substitution (RQ3)

Pour améliorer l'efficacité, les auteurs proposent une amélioration utilisant un modèle de substitution (un classificateur d'apprentissage automatique). Ce modèle prédit si une entrée de test candidate entraînera un désaccord entre simulateurs. Si la probabilité prédite de désaccord dépasse un seuil, la candidate est écartée avant l'exécution de la simulation complète, plus coûteuse. Cela permet à la recherche de se concentrer sur les régions à haute valeur de l'espace d'entrée.

3. Étude empirique et résultats

L'étude a évalué MultiSim par rapport à SingleSim (test à simulateur unique) et DSS (Digital Siblings) en utilisant trois modèles d'ADAS de maintien de trajectoire de complexité croissante :

• DAVE-2 : Un réseau de neurones convolutifs (CNN).
• ViT : Une architecture basée sur les Vision Transformers.
• TCP : Un réseau hybride de politique de contrôle de trajectoire.

Les expériences ont utilisé trois simulateurs : BeamNG, Udacity et Donkey, testés dans diverses combinaisons (BD, BU, UD).

3.1 Efficacité (RQ1)

• Taux d'échec valide : MultiSim a atteint un taux d'échec valide moyen de 70 %, surpassant DSS (65 %) et SingleSim (47 %).
• Performance de configuration : La configuration BD (BeamNG + Donkey) a produit les taux de validité les plus élevés pour DAVE-2 (99 %) et ViT (98 %). La configuration BU (BeamNG + Udacity) a été la plus performante pour TCP (80 %).
• Signification statistique : Les tests de rang de Wilcoxon ont confirmé que MultiSim surpasse significativement SingleSim et DSS dans la génération d'échecs valides, avec de grands effets dans la plupart des comparaisons.

3.2 Efficacité (RQ2)

• Budget de recherche : MultiSim a démontré une efficacité comparable à SingleSim, nécessitant un budget de recherche similaire pour trouver le premier échec valide.
• Comparaison avec DSS : MultiSim a généralement montré une meilleure efficacité que DSS, particulièrement dans la configuration BD, où il a trouvé des échecs valides plus rapidement que l'approche de post-traitement de DSS.

3.3 Prédiction et modèles de substitution (RQ3)

• Performance du classificateur : Un classificateur Random Forest a obtenu les meilleures performances pour prédire les désaccords de simulateurs (scores F-1 de 74 à 83 %, AUC de 0,81 à 0,89).
• Impact : L'intégration du modèle de substitution (BD-P) a augmenté le nombre d'échecs valides d'environ 38 % en moyenne et a réduit la variabilité du budget de recherche requis pour trouver le premier échec valide. Elle a réussi à contourner les simulations de faible valeur sans sacrifier la découverte de fautes valides.

4. Contributions clés

1. Approche MultiSim : Un nouveau cadre de test basé sur la recherche qui intègre plusieurs simulateurs directement dans la boucle d'optimisation, traitant l'accord entre simulateurs comme un objectif de premier rang pour identifier les échecs agnostiques aux simulateurs.
2. Validation empirique : Une étude approfondie démontrant que MultiSim surpasse à la fois le test à simulateur unique et le cadre d'état de l'art DSS en termes de taux d'échecs valides identifiés.
3. Intégration de substitution : Une démonstration que les prédicteurs d'apprentissage automatique peuvent être utilisés pour filtrer les désaccords de simulateurs pendant la recherche, améliorant ainsi l'efficacité et l'efficacité.
4. Réplication ouverte : Les auteurs fournissent le code source, les données expérimentales et l'approche de génération de tests pour encourager la recherche ouverte.

5. Signification et affirmations

L'article affirme que la combinaison d'un ensemble de simulateurs pendant la recherche est une approche prometteuse pour la réplication croisée automatisée dans les tests ADAS. La signification réside dans le passage d'une validation post-hoc des résultats de simulateurs à une construction de consensus en cours de processus.

• Fiabilité : En donnant la priorité aux scénarios où les simulateurs sont d'accord, MultiSim réduit le risque d'identifier des échecs qui sont des artefacts de l'implémentation d'un simulateur spécifique (échecs dépendants du simulateur).
• Efficacité : L'approche évite l'inefficacité de générer puis de rejeter des échecs spécifiques au simulateur, un problème courant des méthodes de post-traitement comme DSS.
• Généralisabilité : Bien que l'étude se concentre sur le maintien de la trajectoire, les auteurs notent que l'architecture modulaire (basée sur OpenSBT) et le concept de couplage de simulateurs peuvent être généralisés à d'autres fonctions ADAS (par exemple, le freinage d'urgence) et à des niveaux d'autonomie plus élevés, à condition d'établir des représentations de scénarios cohérentes.

Les auteurs restent modestes quant à la portée de leur travail, reconnaissant que le choix optimal de la paire de simulateurs dépend du système sous test (SUT) et de ses modes de défaillance dominants (par exemple, liés au contrôle ou à la perception). Ils notent également que bien que l'approche atténue les symptômes du désaccord entre simulateurs, elle ne résout pas intrinsèquement les causes profondes des divergences, ce qui nécessiterait une inspection plus approfondie du code des simulateurs.