xai-cola: A Python library for sparsifying counterfactual explanations

Titre du travail

xai-cola : Une bibliothèque Python pour la sparsification des explications contrefactuelles

1. Problématique

L'explication par contrefactuel (Counterfactual Explanation - CE) est un domaine clé de l'IA explicable (XAI) post-hoc, visant à montrer comment de légères modifications des caractéristiques d'entrée peuvent inverser la prédiction d'un modèle. Cependant, un problème majeur persiste : les explications générées par la plupart des générateurs de CE existants sont souvent hautement redondantes. Elles modifient un grand nombre de caractéristiques, ce qui les rend difficiles à interpréter, peu actionnables pour l'utilisateur, voire inapplicables compte tenu des contraintes du domaine.

Il existe un besoin critique d'outils capables de réduire ces changements superflus tout en préservant la validité de l'explication (c'est-à-dire que le modèle prédit toujours la classe cible souhaitée).

2. Méthodologie

L'article introduit xai-cola, une bibliothèque Python open-source conçue pour sparsifier (rendre épars) les explications contrefactuelles générées par n'importe quel algorithme existant.

Architecture et Composants Clés :
La bibliothèque fonctionne comme un pipeline de bout en bout, agissant comme une couche de post-traitement au-dessus des générateurs de CE. Elle est structurée autour de plusieurs modules modulaires :

• Interface Unifiée (Modèle et Données) :
  • La classe Model encapsule les modèles prédictifs (scikit-learn et PyTorch) derrière une API commune, gérant les prédictions, les probabilités de classe et les gradients.
  • La classe COLAData sert de conteneur structuré pour les données factuelles et contrefactuelles, gérant les types de caractéristiques (numériques, catégorielles) et les métadonnées.
• Générateurs de CE :
  • La bibliothèque est agnostique et accepte des générateurs externes.
  • Elle inclut deux générateurs intégrés : DiCE (niveau instance) et DisCount (niveau distribution), adaptés pour fonctionner avec l'interface unifiée de xai-cola.
• Algorithme de Sparsification (COLA) :
  • Le cœur du système est l'algorithme COLA (proposé précédemment par You et al., 2024).
  • Il orchestre la réduction des caractéristiques modifiées via des politiques de sparsification configurables.
  • Le processus implique : l'appariement des instances factuelles et contrefactuelles, le calcul des attributions de caractéristiques (via des méthodes comme Shapley), et la reconstruction des contrefactuels raffinés selon une politique choisie (limitant le nombre maximal de changements).
• Visualisation :
  • Des routines de visualisation intégrées permettent d'analyser les motifs de sparsité et de comparer les performances de différentes politiques.

3. Contributions Principales

1. Première bibliothèque dédiée : xai-cola est présentée comme la première bibliothèque Python open-source spécifiquement conçue pour la sparsification des explications contrefactuelles.
2. Pipeline Générique et Extensible : Elle offre une interface unifiée permettant d'appliquer la sparsification à n'importe quel générateur de CE (interne ou externe) sans réécrire l'algorithme de génération original.
3. Implémentation Modulaire : La bibliothèque sépare clairement la gestion des données, l'interface modèle, la génération et la sparsification, facilitant l'intégration dans des flux de travail existants.
4. Support Multi-Backend : Elle fonctionne nativement avec les modèles scikit-learn et PyTorch.

4. Résultats Expérimentaux

Les auteurs ont évalué xai-cola sur des jeux de données réels (German Credit et COMPAS) en utilisant quatre générateurs de CE distincts : Wachter, DiCE, GLOBE-CE et DisCount.

• Amélioration de la Sparsité : Les résultats montrent que xai-cola produit systématiquement des contrefactuels plus épars (moins de caractéristiques modifiées) par rapport aux générateurs bruts.
• Réduction des Changements : Dans les meilleurs cas, le nombre de caractéristiques modifiées a été réduit de jusqu'à 50 %.
• Performance par Générateur :
  • Sur le jeu de données COMPAS avec un modèle PyTorch, la réduction est de 13,8 % pour Wachter, 8,2 % pour DiCE, 10,0 % pour GLOBE-CE et 45,3 % pour DisCount.
  • Sur le jeu de données German Credit, les réductions varient, atteignant 30,3 % pour DisCount (PyTorch).
• Note Méthodologique : Les expériences utilisent des attributions de Shapley au niveau des caractéristiques originales (et non sur les dimensions one-hot étendues) pour éviter la fragmentation de l'importance des caractéristiques et garantir que les modifications sont actionnables par l'utilisateur.

5. Signification et Impact

La publication de xai-cola comble un vide important dans l'écosystème de l'IA explicable. En permettant de transformer des explications complexes et redondantes en recommandations concises et actionnables, elle améliore directement :

• L'Actionnabilité : Les utilisateurs (humains) peuvent plus facilement comprendre quelles actions spécifiques entreprendre pour changer un résultat (ex: obtenir un prêt).
• La Confiance et la Conformité : Des explications plus simples favorisent la transparence et facilitent la conformité réglementaire dans des domaines sensibles.
• L'Accessibilité : En étant open-source (licence MIT) et disponible sur PyPI, elle démocratise l'accès aux techniques avancées de sparsification pour les chercheurs et les praticiens.

En conclusion, xai-cola se positionne comme un outil essentiel pour transformer les explications théoriques en conseils pratiques, en réduisant le bruit informationnel tout en maintenant la validité technique des explications contrefactuelles.