TopoMap: A Feature-based Semantic Discriminator of the Topographical Regions in the Test Input Space

1. Problématique

Le test des systèmes basés sur l'apprentissage profond (Deep Learning - DL) reste un défi majeur. Bien qu'il soit relativement facile de trouver des entrées provoquant des erreurs (comportements anormaux), la regroupement de ces entrées selon les caractéristiques (features) qui les rendent problématiques est largement inexploré.

Les approches existantes génèrent souvent des perturbations d'entrée ciblées sur des régions spécifiques de l'espace de défaillance, négligeant ainsi d'autres régions potentiellement critiques. De plus, des méthodes comme DeepHyperion nécessitent une expertise humaine importante pour définir et quantifier manuellement les caractéristiques de l'espace d'entrée, ce qui limite leur applicabilité et leur automatisation.

L'objectif est donc de créer une carte topographique automatique et sans modèle (black-box) de l'espace des entrées, capable de regrouper les données en régions sémantiquement discriminantes pour identifier efficacement les zones propices aux défaillances.

2. Méthodologie : TOPOMAP

TOPOMAP est une approche boîte noire et agnostique au modèle qui ne repose que sur l'analyse de l'espace des caractéristiques d'entrée, sans accéder aux poids internes ou aux activations du modèle DL testé. Le pipeline se déroule en quatre étapes principales :

A. Réduction de dimensionnalité (Embedding)

Pour gérer la haute dimensionnalité des données d'entrée (images, texte, etc.), l'approche applique des algorithmes de réduction de dimension pour obtenir des vecteurs d'embedding compacts tout en préservant les caractéristiques clés.

• Techniques explorées : PCA, UMAP, t-SNE, SVD, LDA, Isomap, Autoencodeurs, Word2vec.
• Objectif : Transformer les données brutes en une représentation de plus basse dimension adaptée au clustering.

B. Clustering (Regroupement)

Les vecteurs d'embedding sont ensuite regroupés en clusters (régions topographiques) à l'aide d'algorithmes de clustering non supervisé.

• Algorithmes explorés : K-means, BIRCH, HDBSCAN, Affinity Propagation.
• Sélection automatique du nombre de clusters ($k$) : L'article propose un algorithme ad hoc (Algorithme 1) qui détermine le nombre optimal de clusters en traitant le clustering comme un problème de classification. Il augmente $k$ jusqu'à ce que l'accuracy de prédiction des étiquettes de classe originales par les clusters se stabilise (saturation).

C. Évaluation Automatisée de la Qualité (Le Discriminateur)

C'est l'innovation centrale de TOPOMAP. Pour sélectionner la meilleure configuration (combinaison Embedding + Clustering), l'approche simule un évaluateur humain via un Réseau de Neurones Profond (DNN).

• Principe : Un humain jugerait si deux clusters sont distincts et sémantiquement cohérents. Le DNN est entraîné à prédire les "pseudo-étiquettes" (les clusters) générées par le clustering.
• Métrique clé : La précision paire pondérée (weighted pairwise accuracy). Le DNN est évalué sur sa capacité à distinguer chaque paire de clusters. La configuration retenue est celle qui maximise la précision la plus faible (worst-case) parmi toutes les paires de clusters. Cela garantit que même les clusters les plus difficiles à séparer sont bien discriminés.

D. Validation par Analyse de Mutation

Pour vérifier si les clusters identifient réellement des zones de défaillance, l'approche utilise l'outil de mutation DeepCrime.

• Des mutants (modèles DL altérés) sont générés.
• On mesure la capacité des clusters à "tuer" (révéler des erreurs sur) ces mutants.
• L'efficacité est comparée à une sélection aléatoire d'entrées.

3. Contributions Clés

1. TOPOMAP : Une méthode entièrement automatisée pour générer des cartes topographiques d'entrée, sans nécessiter d'ingénierie de caractéristiques manuelle ni d'accès au modèle interne.
2. Sélection de configuration par DNN : Une nouvelle approche pour évaluer et sélectionner la meilleure configuration de clustering en utilisant un DNN pour simuler la discrimination humaine, surpassant les métriques de clustering traditionnelles (Silhouette, Davies-Bouldin) qui sont souvent inadaptées.
3. Validation Empirique Rigoureuse : Évaluation sur 6 jeux de données (classification et régression) couvrant la reconnaissance d'écriture, la parole, l'analyse d'images et la prédiction de trajectoire.
4. Étude Humaine : Une étude avec des participants humains confirme que les regroupements de TOPOMAP sont cohérents avec la perception humaine, surtout pour des données visuelles interprétables.

4. Résultats Expérimentaux

Les résultats démontrent la supériorité de TOPOMAP par rapport aux méthodes aléatoires et à l'état de l'art (DeepHyperion) :

• Efficacité de Détection de Fautes :

  • TOPOMAP identifie des agrégats de clusters contenant une forte densité d'entrées tueuses de mutants.
  • Gain par rapport au hasard : TOPOMAP surpasse la sélection aléatoire de 35 % en moyenne pour les mutants "tuables" et de 61 % pour les mutants "non tuables" (ceux que le test complet ne parvient pas à tuer).
  • Il suffit d'environ 9 % des entrées totales pour atteindre une probabilité de tuer un mutant de 100 % (contre 65 % pour une sélection aléatoire du même nombre d'entrées).

• Comparaison avec DeepHyperion :

  • Les cartes générées par TOPOMAP sont structurellement différentes (faible similarité de Gini), indiquant une complémentarité.
  • TOPOMAP génère des agrégats plus denses en entrées critiques et nécessite moins d'entrées pour tuer les mutants, le tout sans intervention humaine pour définir les caractéristiques.

• Propagation des Fautes (RQ5) :

  • Les mêmes clusters tendent à être récurrents pour tuer différents types de mutations, suggérant que TOPOMAP identifie des régions intrinsèques de l'espace d'entrée sensibles aux défaillances, indépendamment du type de bug injecté.

• Interprétabilité :

  • Les visualisations montrent que les clusters regroupent des entrées sémantiquement proches (ex: chiffres manuscrits similaires, orientations de voitures).
  • L'étude humaine confirme une corrélation significative entre la précision du DNN évaluateur et la capacité des humains à distinguer les clusters.

5. Signification et Impact

Ce travail représente une avancée majeure vers le test automatisé et évolutif des systèmes DL.

• Agnosticisme : En étant purement basé sur les entrées, TOPOMAP est applicable à n'importe quel modèle DL, quel que soit son architecture.
• Efficacité des Tests : Il permet aux développeurs de cibler des régions spécifiques de l'espace d'entrée où les défaillances sont concentrées, réduisant ainsi le coût de test et augmentant la couverture des défauts.
• Fondation pour la Génération de Tests : La carte topographique servira de base pour générer de nouvelles entrées de test ciblées sur des défauts spécifiques, une direction future identifiée par les auteurs.

En résumé, TOPOMAP transforme l'espace d'entrée complexe d'un modèle DL en une carte topographique interprétable et discriminante, permettant d'identifier systématiquement les zones critiques pour le test, surpassant les méthodes aléatoires et réduisant la dépendance à l'expertise humaine manuelle.