xaitimesynth: A Python Package for Evaluating Attribution Methods for Time Series with Synthetic Ground Truth

Le papier présente xaitimesynth, un package Python open source qui fournit une infrastructure réutilisable pour évaluer les méthodes d'attribution sur des séries temporelles en générant des données synthétiques avec un vérité terrain connue et en offrant des métriques de localisation standardisées.

L'essentiel

Imaginez que vous êtes un détective qui essaie de comprendre pourquoi un ordinateur a pris une décision bizarre. Par exemple, pourquoi une intelligence artificielle a-t-elle dit que cette image de chat était en fait un chien ? Pour répondre, on utilise des outils d'« IA explicable » qui pointent du doigt les parties de l'image (ou du son, dans le cas de séries temporelles) qui ont le plus influencé la décision.

Le problème, c'est : Comment savoir si le détective a raison ?

Si vous regardez une photo de chat réelle, vous ne savez pas exactement quels pixels ont fait dire à l'ordinateur « c'est un chat ». C'est comme essayer de deviner pourquoi un ami a ri sans savoir ce qui l'a fait rire.

C'est là qu'intervient xaitimesynth, le sujet de cet article. Voici une explication simple de ce que c'est et comment ça marche, avec quelques images mentales.

1. Le Problème : Le « Fantôme » de la Vérité

Dans le monde réel, les données (comme les battements de cœur ou les cours de bourse) sont complexes. On ne sait pas exactement quel moment précis a fait basculer la décision de l'IA.
Pour tester nos détectives (les méthodes d'attribution), les chercheurs avaient l'habitude de fabriquer leurs propres « fausses » données à chaque fois. C'était comme si chaque détective construisait sa propre maison de poupée pour s'entraîner, avec des règles différentes à chaque fois. C'était lent, désordonné et difficile à comparer.

2. La Solution : La « Boîte à Jouets » Standardisée

Les auteurs ont créé xaitimesynth. Imaginez que c'est une boîte à outils magique (un logiciel en Python) qui permet de fabriquer instantanément des scénarios de test parfaits.

Voici comment ça fonctionne, avec une analogie culinaire :

• La Soupe de Fond (Le Signal de fond) : Imaginez une soupe de légumes (bruit, tendances, variations normales). C'est le bruit de fond de nos données.
• L'Épice Secrète (La Caractéristique Discriminante) : Maintenant, imaginez que pour dire « C'est une soupe de tomate » (Classe A), on ajoute un gros morceau de tomate bien visible à un moment précis. Pour dire « C'est une soupe de carotte » (Classe B), on ajoute un gros morceau de carotte à un autre moment.
• Le Secret du Chef (La Vérité Terrain) : Dans la vraie vie, on ne sait pas où est le morceau de tomate. Mais avec xaitimesynth, le chef (le logiciel) garde une trace exacte de l'endroit où il a mis le morceau de tomate. Il a une carte au trésor (un masque de vérité) qui dit : « Le morceau de tomate est exactement entre la minute 10 et la minute 15 ».

3. L'Entraînement du Détective

Maintenant, on donne cette soupe à l'IA. L'IA goûte et dit : « Ah ! C'est la tomate ! ».
Ensuite, on demande à notre détective (la méthode d'attribution) : « Montre-moi où tu penses que se trouve la tomate ».

Le logiciel xaitimesynth compare alors la réponse du détective avec la carte au trésor du chef.

• Si le détective pointe exactement sur le morceau de tomate : Bravo ! (Score élevé).
• S'il pointe sur le bouillon : Échec. (Score bas).

4. Pourquoi c'est génial ?

Avant, chaque chercheur devait construire sa propre soupe et sa propre carte au trésor. Aujourd'hui, avec xaitimesynth :

• C'est réutilisable : Tout le monde utilise la même boîte à outils. On peut comparer les détectives de différents chercheurs comme on compare des voitures sur le même circuit de course.
• C'est flexible : Vous pouvez changer la soupe (bruit blanc, vague, saisonnière) et l'épice (un pic, une vague, un signal saisonnier) en changeant simplement un petit fichier de configuration (comme un menu).
• C'est transparent : Le logiciel vous donne des notes précises (comme un rapport de police) pour dire si le détective a bien localisé la preuve.

En Résumé

xaitimesynth, c'est comme un simulateur de vol pour les détectives d'IA. Au lieu de les lancer dans le brouillard de la réalité, on les fait voler dans un ciel où l'on connaît exactement la position des nuages. Cela permet de vérifier, une fois pour toutes, si nos outils d'explication sont vraiment fiables ou s'ils ne font que deviner au hasard.

C'est un outil open-source (gratuit et ouvert à tous) qui rend la recherche sur l'IA plus honnête et plus facile à comparer.

Résumé technique

1. Problématique

L'évaluation des méthodes d'attribution (explicabilité) pour les séries temporelles se heurte à une difficulté majeure : l'absence de vérité terrain (ground truth) dans les données réelles. Il est souvent impossible de savoir avec certitude quels points temporels spécifiques ont réellement conduit un modèle à une prédiction donnée.

Pour contourner ce problème, les chercheurs génèrent généralement des données synthétiques où des caractéristiques discriminantes sont placées à des endroits connus. Cependant, chaque étude réimplémente cette génération de données de zéro, ce qui entraîne :

• Un manque de reproductibilité.
• Une fragmentation des méthodologies.
• Une difficulté à comparer les résultats entre différentes études.
• Une absence d'outils standardisés pour le suivi automatique des masques de vérité terrain.

2. Méthodologie

L'article présente xaitimesynth, un package Python conçu pour standardiser et faciliter l'évaluation des méthodes d'attribution sur des séries temporelles via des données synthétiques.

A. Génération de Données Synthétiques

Le package utilise une approche de génération additive. Chaque série temporelle synthétique $x$ est construite comme la somme d'un signal de fond $n$ et d'une caractéristique spécifique à la classe $f$ :
$$x = n + f$$

• Signal de fond ($n$) : Représente le bruit ou le contexte (ex: bruit gaussien, marche aléatoire, signal saisonnier, tendance).
• Caractéristique discriminante ($f$) : Un motif localisé (ex: pic, creux, impulsion gaussienne) placé dans une fenêtre temporelle spécifique.
• Masque de vérité terrain : Le package enregistre automatiquement la fenêtre temporelle où se trouve la caractéristique $f$ sous forme d'un masque binaire pour chaque échantillon. Cela permet de savoir exactement où l'explication devrait se concentrer.

B. Architecture et API

• API déclarative (Builder) : Les utilisateurs définissent les datasets via une API fluide en Python ou via des fichiers de configuration YAML. Cela permet de spécifier facilement les signaux et les caractéristiques pour chaque classe, y compris pour des séries multivariées (avec des canaux indépendants ou alignés).
• Extensibilité : Le package permet d'enregistrer des générateurs personnalisés via une API de décorateurs, sans modifier le code source.
• Indépendance : Aucune dépendance à un framework d'apprentissage profond n'est requise pour la génération de données ou le calcul des métriques (dépendances : NumPy, pandas, PyYAML, lets-plot).

C. Métriques d'Évaluation

Le package intègre un ensemble de métriques de localisation standard pour évaluer la qualité des attributions en comparant les scores d'attribution aux masques de vérité terrain :

• AUC-ROC et AUC-PR : Évaluent la qualité du classement des attributions.
• Relevance Mass Accuracy (RMA) : Calcule la fraction de la masse totale d'attribution située à l'intérieur de la fenêtre de vérité terrain.
• Relevance Rank Accuracy (RRA) : Vérifie si les $K$ points temporels les mieux notés tombent dans la fenêtre de vérité terrain.
• Pointing Game : Vérifie si le point d'attribution maximale correspond à la région de vérité terrain.
• Normalized Attribution Correspondence (NAC) : Mesure le score z moyen aux emplacements de vérité terrain.
• MAE / MSE : Traitent l'évaluation comme un problème de régression entre l'attribution et le masque binaire.

3. Contributions Clés

1. Standardisation : xaitimesynth est le premier package à combiner la génération de séries temporelles synthétiques avec un suivi automatique de la vérité terrain et des métriques de localisation standardisées.
2. Réutilisabilité : Il élimine la nécessité de réimplémenter des pipelines de données synthétiques pour chaque nouvelle étude, favorisant la reproductibilité.
3. Flexibilité : Supporte les séries univariées et multivariées, avec un contrôle fin sur le placement des caractéristiques et la composition des signaux (via YAML ou API Python).
4. Écosystème Complémentaire : Il comble le vide laissé par des bibliothèques existantes (comme Captum, Quantus, Time Interpret) qui offrent soit des méthodes d'attribution, soit des métriques, mais rarement la génération de données synthétiques avec vérité terrain pour les séries temporelles.

4. Résultats et Validation

Bien que l'article ne présente pas de résultats expérimentaux comparatifs de nouveaux algorithmes (c'est un outil d'évaluation), il démontre son utilité par :

• Démonstration fonctionnelle : Un exemple de code (Listing 1) montre la création d'un dataset à deux classes, la génération de splits train/test, et l'évaluation d'attributions simulées.
• Visualisation : La Figure 1 illustre la capacité du package à générer et visualiser les composantes (signal de fond, caractéristique, somme) et le masque de vérité terrain.
• Comparaison : Le Tableau 1 positionne xaitimesynth comme l'unique solution offrant simultanément la génération de séries temporelles synthétiques ET les métriques de localisation, contrairement aux autres outils qui ne font qu'une partie du travail.

5. Importance et Impact

La signification de ce travail réside dans la création d'une infrastructure commune pour l'évaluation de l'IA explicable (XAI) dans le domaine temporel.

• Fiabilité : En fournissant une vérité terrain connue par construction, il permet de vérifier la "correction" des explications, une propriété souvent difficile à mesurer sur des données réelles.
• Économie de temps : Il réduit la charge de travail des chercheurs qui doivent désormais se concentrer sur l'analyse des méthodes d'attribution plutôt que sur l'ingénierie des données de test.
• Transparence : Le package est open source (licence MIT), disponible sur GitHub et Zenodo, avec une documentation complète incluant des guides d'utilisation et des exemples de configuration YAML.

En résumé, xaitimesynth fournit le "banc d'essai" manquant pour valider rigoureusement les méthodes d'explication des modèles de séries temporelles, en garantissant que les chercheurs peuvent évaluer si leurs méthodes identifient correctement les motifs temporels pertinents.