Résumé technique : CoCoMagic pour les tests métamorphiques différentiels des systèmes autonomes

1. Énoncé du problème

Les systèmes autonomes (SA), en particulier les systèmes de conduite autonome (SCA), subissent des mises à jour itératives fréquentes impliquant le réentraînement des modèles, le réglage des hyperparamètres et des modifications architecturales. Ces mises à jour risquent d'introduire des dégradations comportementales involontaires ou des violations de sécurité absentes des versions précédentes. La mise à l'épreuve de ces systèmes fait face à trois défis principaux :

1. Le problème de l'oracle : Dans des environnements complexes et ouverts, définir une sortie attendue de référence (vérité terrain) pour chaque scénario est souvent irréalisable.
2. Le réalisme des scénarios : Les cas limites artificiellement construits peuvent révéler des faiblesses, mais manquent souvent de pertinence pratique. Les défaillances dans des scénarios ressemblant aux conditions opérationnelles réelles sont plus critiques pour l'évaluation de la sécurité.
3. L'interprétabilité : Lorsque des différences comportementales sont détectées entre les versions, les développeurs manquent souvent d'informations exploitables sur les causes racines (par exemple, des facteurs environnementaux spécifiques ou des interactions) à l'origine de ces divergences.

Les méthodes de test basées sur la recherche existantes peinent souvent à assurer l'efficacité computationnelle dans des espaces de grande dimension et échouent à comparer systématiquement les versions pour isoler les dégradations induites par les mises à jour. De plus, les tests différentiels (TD) standards identifient les différences de sortie mais ne peuvent pas évaluer les implications pour la sécurité sans oracle de test, tandis que les tests métamorphiques (TM) standards résolvent le problème de l'oracle mais peuvent ne pas cibler efficacement les divergences spécifiques à une version.

2. Méthodologie : CoCoMagic

Les auteurs proposent CoCoMagic (Cooperative Co-evolutionary differential and Metamorphic Automated Generator for Interpretable Cases), un cadre qui intègre les tests différentiels, les tests métamorphiques et les algorithmes co-évolutifs coopératifs (CCEA) avec une couche d'interprétabilité.

2.1 Cadre central

CoCoMagic formule la génération de cas de test comme un problème de recherche contraint visant à trouver des paires de scénarios sources ($s$) et de perturbations métamorphiques ($q$) qui maximisent la différence dans les violations de relations métamorphiques (RM) entre une version de référence ($V_{ref}$) et une version testée ($V_{test}$).

• Tests différentiels (TD) : Compare les sorties de deux versions de SA sous des entrées identiques pour détecter les divergences comportementales.
• Tests métamorphiques (TM) : Résout le problème de l'oracle en définissant des RM — des relations entre les entrées et les relations de sortie attendues (par exemple, « si un piéton apparaît, la vitesse devrait diminuer »). Des violations se produisent lorsque la relation de sortie ne tient pas.
• Algorithme co-évoluant coopératif (CCEA) : L'espace de recherche est décomposé en deux populations co-évoluant :
  1. Scénarios sources ($P_s$) : Représentent les conditions opérationnelles initiales.
  2. Perturbations ($P_q$) : Représentent des transformations dérivées des RM (par exemple, ajouter un piéton, changer la météo).
     Les individus des deux populations collaborent pour former des solutions complètes (paires scénario-perturbation). L'aptitude d'un individu est déterminée par sa meilleure collaboration avec les membres de la population opposée.

2.2 Mécanismes clés

• Fonction d'aptitude : L'objectif est de maximiser la différence absolue dans l'étendue des violations de RM entre $V_{ref}$ et $V_{test}$ :
  $$\text{Diff}(s, q) = | \max(E(s, q, V_{test}), 0) - \max(E(s, q, V_{ref}), 0) |$$
  où $E$ quantifie l'étendue de la violation de RM.
• Recherche contrainte et réalisme : Pour garantir que les cas de test générés sont pratiquement pertinents, la recherche est contrainte par un ensemble de scénarios d'exécution ($S$) collectés à partir de runs réels du système. Une métrique de dissimilarité pénalise les solutions qui s'écartent significativement de ces scénarios réalistes, guidant la recherche vers des conditions opérationnelles plausibles.
• Initialisation à l'exécution (RI) : La population initiale est amorcée avec des scénarios échantillonnés à partir de l'ensemble de scénarios d'exécution $S$, plutôt que par une génération aléatoire, afin d'accélérer la convergence vers des modes de défaillance réalistes.
• Interprétabilité (Analyse des causes racines) : Après la génération, les auteurs emploient l'algorithme RuleFit. RuleFit entraîne un modèle sur les cas de test identifiés pour extraire des règles lisibles par l'homme (par exemple, « SI vitesse > 70 km/h ET brumeux, ALORS la violation augmente »). Cela explique pourquoi les versions divergent, reliant des attributs de scénario spécifiques aux différences comportementales observées.

3. Contributions clés

1. Méthode de test novatrice : L'introduction de CoCoMagic, qui combine de manière unique le TM et le TD dans un cadre co-évoluant coopératif pour cibler spécifiquement les divergences comportementales entre les versions de SA.
2. Recherche guidée par le réalisme : L'intégration de contraintes et de stratégies d'initialisation à l'exécution pour garantir que les cas de test générés reflètent les conditions opérationnelles réelles, comblant ainsi le « fossé de réalisme » dans les tests automatisés.
3. Intégration de l'interprétabilité : L'incorporation d'une couche d'analyse basée sur RuleFit qui transforme les résultats de test de haute dimension en règles exploitables et lisibles par l'homme pour le débogage et l'évaluation de la sécurité.
4. Validation empirique : Une évaluation complète sur un SCA de niveau industriel (InterFuser) dans le simulateur Carla, démontrant la supériorité par rapport aux méthodes de recherche de base.

4. Résultats expérimentaux

Les auteurs ont évalué CoCoMagic par rapport à une Recherche aléatoire (RA) et un Algorithme génétique standard (AGS) en utilisant le SCA InterFuser dans le simulateur Carla.

• Efficacité (RQ1) : CoCoMagic a identifié significativement plus de cas de test distincts révélant des violations de RM que les méthodes de base. Il a atteint une aptitude moyenne (gravité de la divergence) 53 % supérieure à l'AGS et 40 % supérieure à la RA.
• Efficience (RQ2) : CoCoMagic a découvert des solutions distinctes plus rapidement, réalisant une amélioration de 126 % de la surface sous la courbe (AUC) par rapport à l'AGS et 169 % par rapport à la RA. Il a également réduit le temps d'exécution d'environ 17 % par rapport aux méthodes de base, en partie parce qu'il a généré moins de scénarios invalides (provoquant des plantages du simulateur).
• Impact des contraintes et de l'initialisation (RQ3) :
  • L'application de contraintes et de l'initialisation à l'exécution (RI) a considérablement amélioré la Distance moyenne d'exécution (AED), rendant les cas de test ~50 % plus similaires aux scénarios d'exécution réels.
  • Cependant, cette focalisation sur le réalisme a entraîné un compromis : une réduction du nombre total de solutions distinctes trouvées (jusqu'à une réduction d'environ 34 % avec la combinaison de RI et de contraintes) et une légère diminution de la gravité des cas limites les plus extrêmes trouvés.
• Interprétabilité (RQ4) :
  • Précision : RuleFit a atteint une précision comparable à celle de modèles complexes en boîte noire (Random Forest et GBDT) tout en produisant un ensemble compact de règles (~29 règles contre des milliers de chemins dans GBDT).
  • Validation par des experts : Des experts industriels ont évalué les règles générées comme hautement compréhensibles (note moyenne 4,0/5,0) et utiles pour prioriser les conditions de test (note moyenne 3,8/5,0).

5. Signification et affirmations

L'article affirme que CoCoMagic offre une approche efficace, performante et interprétable pour les tests différentiels des systèmes autonomes en évolution. Sa signification réside dans :

• Combler le fossé de l'oracle : En utilisant des RM, il valide les propriétés de sécurité sans avoir besoin de sorties de référence.
• Tests conscients des versions : Contrairement aux méthodes précédentes qui testent une seule version, CoCoMagic optimise explicitement pour les différences entre les versions, soutenant directement les tests de régression et la validation des mises à jour.
• Informations exploitables : La composante d'interprétabilité va au-delà de la simple signalisation des défaillances pour expliquer les conditions spécifiques (par exemple, météo, vitesse, proximité d'objets) qui causent la dégradation des performances lors d'une mise à jour, soutenant ainsi un débogage ciblé.
• Applicabilité pratique : L'utilisation de contraintes garantit que l'effort de test se concentre sur des scénarios susceptibles de se produire lors du déploiement, augmentant la valeur pratique du processus de test pour les systèmes critiques pour la sécurité.

Les auteurs adoptent une position modeste, reconnaissant que si leur méthode améliore le réalisme et l'efficience, il existe un compromis inhérent entre l'exploration de toute la largeur de l'espace de recherche (trouver des cas limites rares et sévères) et la focalisation sur des scénarios réalistes et ancrés dans l'opérationnel. Ils positionnent CoCoMagic comme un outil pour soutenir, plutôt que de remplacer, le jugement humain dans l'évaluation de la sécurité.