Résumé Technique : SETA – Attribution Statistique de Défauts pour les Systèmes d'IA Composés

1. Énoncé du Problème

Les systèmes d'IA modernes sont de plus en plus architecturés sous forme de Systèmes d'IA Composés (CAS - Compound AI Systems) : des pipelines complexes comprenant des modèles spécialisés, des récupérateurs et des composants logiciels plutôt que des réseaux monolithiques. Bien que cette modularité facilite le développement, elle introduit des défis importants en matière de test, de débogage et de sécurité. De petits défauts localisés dans les composants en amont (par exemple, la dérive des données ou le mauvais calibrage des modèles) peuvent se propager à travers le pipeline, entraînant des défaillances systémiques catastrophiques.

Les techniques actuelles de test de robustesse font face à deux limitations principales :

1. Tests de Bout en Bout (E2E) : Traitent le système comme une boîte noire. Bien qu'ils puissent identifier qu'une défaillance s'est produite, ils ne peuvent pas attribuer le défaut à des composants internes spécifiques.
2. Tests de Composants Isolés (ICT) : Testent les modules de manière isolée mais ne parviennent pas à détecter les défauts émergents découlant des interactions dynamiques entre les modules ou à analyser comment les erreurs se propagent à travers le pipeline.

Les outils existants (par exemple, les attaques adverses comme FGSM, les outils de vérification formelle comme Reluplex, ou les outils basés sur la couverture comme DeepXplore) sont largement conçus pour des modèles à réseau unique. Ils manquent de la capacité d'effectuer une localisation de défauts à grain fin au sein de pipelines composés ou d'expliquer pourquoi un échec s'est produit dans le contexte d'exécution. De plus, le « problème de l'oracle de test » — la difficulté de définir des sorties exactes correctes pour les composants intermédiaires sans vérité terrain — demeure une barrière.

2. Méthodologie : Le Cadre SETA

Les auteurs proposent SETA (Statistical Fault Attribution), un cadre modulaire qui combine le Test Métamorphique (MT) avec l'Analyse de Trace d'Exécution. SETA fonctionne sans nécessiter d'oracles de vérité terrain explicites en définissant des spécifications comportementales par des relations métamorphiques.

2.1 Relations Métamorphiques (MR) en tant que Pseudo-Oracles

SETA répond au problème de l'oracle en vérifiant la préservation des propriétés spécifiées par l'utilisateur (Relations Métamorphiques) à travers des transformations d'entrées, plutôt qu'en vérifiant des paires entrée-sortie uniques.

• Définition : Une MR spécifie la relation attendue entre la sortie d'un système pour une entrée source $x$ et une entrée perturbée $\tilde{x} = g(x)$.
• Formulation Générique : Les relations sont définies en utilisant le delta de Kronecker ($\delta$) pour les contraintes d'égalité et la fonction de Heaviside ($H$) pour les contraintes d'inégalité.
• MR Spécifiques aux Tâches : Le cadre définit des MR pour quatre tâches de vision clés :
  • Classification d'Images : Invariance des étiquettes ou différences de norme $L_\infty$ bornées dans les distributions de probabilité sous des transformations spatiales.
  • Localisation d'Objets : Contraintes sur l'Intersection sur Union (IoU) entre les boîtes englobantes prédites et la vérité terrain.
  • Détection d'Objets : Une combinaison de contraintes de classification et de localisation appliquées à des ensembles d'objets détectés.
  • Segmentation d'Images : Équivalence au niveau du pixel ou contraintes de chevauchement relaxées basées sur l'IoU pour les masques sémantiques.
• Relations Métamorphiques Composées (CMR) : Pour les composants complexes, plusieurs MR individuelles sont combinées via une conjonction logique (opérateur de produit) pour former un score composite unique ($S_i$). Un composant est considéré comme correct uniquement si toutes les relations constituantes sont respectées.

2.2 Analyse de Trace d'Exécution Basée sur l'État

SETA modélise le système d'IA composé comme un système de transition d'état où les états représentent des modules de calcul.

• Arbre de Trace d'Exécution ($T(x)$) : Pendant l'inférence, le cadre instrumente le système pour enregistrer un graphe d'exécution dynamique. Pour chaque entrée $x$ et sa variante perturbée $\tilde{x}$, il construit un arbre capturant :
  • Les modules activés.
  • Les tenseurs d'entrée/sortie.
  • Les décisions de routage (quel module en aval est invoqué).
  • Les résultats de la fonction de score ($S_q$) comparant les exécutions de référence et perturbées.
• Alignement de Trace : Le cadre aligne la trace de l'entrée perturbée par rapport à la trace de référence pour détecter des écarts dans les ensembles d'activation (par exemple, un module déclenché dans l'un mais pas dans l'autre) ou des incohérences de sortie.

2.3 Attribution Statistique de Défauts

Pour distinguer le premier point de défaillance de la cause racine (qui peut être une erreur en amont ayant propagé l'erreur), SETA emploie un mécanisme d'attribution statistique.

• Score de Contribution de Défaillance (FC) : Le cadre définit une variable aléatoire $Z_i$ représentant l'écart d'un module $i$. Le score FC pour le module $i$ est l'écart attendu conditionné par une défaillance du système :
  $$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$$
  Cela mesure la fréquence à laquelle un composant viole sa spécification étant donné que l'ensemble du système a échoué.
• Poids d'Attribution : Les scores sont normalisés à travers tous les modules pour dériver des poids d'attribution interprétables ($\alpha_i$), quantifiant la contribution relative de chaque composant à l'imprévisibilité du système.
• Algorithme : Le processus implique d'itérer à travers un jeu de données et un ensemble de perturbations, d'enregistrer les traces, de calculer les scores du système et d'agréger les écarts pour produire un vecteur d'attribution normalisé.

3. Contributions Clés

1. Cadre Modulaire : Propose SETA, intégrant le Test Métamorphique avec l'Analyse de Trace d'Exécution pour localiser les défauts dans des pipelines d'IA complexes en traçant empiriquement la propagation des perturbations.
2. Spécifications Sans Oracle : Supporte des abstractions testables et scalables pour les modèles boîte noire en définissant des spécifications comportementales via des relations métamorphiques.
3. Extensibilité : Grâce à sa conception modulaire, les utilisateurs peuvent définir et intégrer différentes classes de relations métamorphiques, supportant l'interprétabilité dans des systèmes opaques.
4. Analyse à Grain Fin : Démontre la capacité à identifier l'origine des défaillances et à faire émerger des vulnérabilités cachées dans des pipelines multi-étapes là où les outils traditionnels échouent.

4. Résultats Expérimentaux

Le cadre a été évalué sur deux systèmes distincts :

1. Système de Vision pour l'Inspection Ferroviaire Autonome : Un système réel comprenant 6 modules (1 détecteur d'objets, 5 classificateurs) traitant des images ferroviaires.
   • Configuration : Testé contre 15 techniques de corruption d'images (ex: brouillard, neige, flou de mouvement) issues de la bibliothèque imagecorruptions.
   • Résultats : SETA a identifié avec succès que le module de détection d'objets ($f_0$) était très sensible au brouillard et au flou de mouvement, tandis que les classificateurs en aval montraient une robustesse variable. Il a calculé des scores d'attribution ($\alpha_i$) mettant en évidence des modules spécifiques (ex: $f_1$ et $f_3$) comme contributeurs primaires aux défaillances du système sous certaines perturbations.
2. Modèle d'Ensemble de Classification (CIFAR-10) : Un test de cohérence utilisant un ensemble de CNN (ResNet18, VGG16, Custom CNN).
   • Résultats : Les précisions prédites par SETA pour les modèles individuels se situaient à 2-3 % des précisions réelles, identifiant correctement le "Custom CNN" comme le modèle le moins performant.
3. Système OCR : Un pipeline basé sur le texte utilisant EasyOCR.
   • Résultats : Le cadre a été adapté en utilisant la distance de Levenshtein comme relation métamorphique. Il a réussi à quantifier la robustesse et à attribuer les défaillances à des modules spécifiques basés sur les déviations de séquences de texte, démontrant une applicabilité au-delà des pipelines de vision.

5. Signification et Revendications

L'article positionne SETA comme une preuve de concept pour diagnostiquer les défaillances émergentes dans les systèmes d'IA composés. Sa signification réside dans sa capacité à combler le fossé entre le test de bout en bout et le test de composants isolés.

• Précision Diagnostique : Contrairement aux outils qui détectent seulement qu'une défaillance s'est produite, SETA fournit une attribution statistique de quel module est le plus responsable, guidant les ingénieurs vers les sous-modules vulnérables.
• Scalabilité : En utilisant des relations métamorphiques, il contourne le besoin d'oracles de vérité terrain, ce qui le rend applicable à des pipelines complexes et réels où la vérité terrain intermédiaire est indisponible.
• Limites et Travaux Futurs : Les auteurs reconnaissent modestement que l'attribution actuelle est corrélative, non causale. Des scores élevés indiquent une association avec la défaillance mais ne prouvent pas définitivement la causalité. La précision dépend de l'exhaustivité des relations métamorphiques conçues manuellement. Les travaux futurs visent à intégrer l'inférence causale, la synthèse de programmes pour la génération automatique de MR, et l'extension aux systèmes multimodaux et d'apprentissage par renforcement.

En résumé, SETA établit une fondation pour le test compositionnel et la localisation de défauts explicable, offrant une approche systématique pour assurer la fiabilité des systèmes d'IA complexes et multi-composants.