P$^2$CE: Model-Agnostic Plausible Pareto-Optimal Counterfactual Explanations

L'article présente P$^2$CE, un algorithme agnostique du modèle qui génère des explications contrefactuelles diverses, plausibles et Pareto-optimales en combinant une forêt d'isolement pour l'adhérence à la distribution des données et les valeurs SHAP pour l'efficacité computationnelle, surpassant ainsi les méthodes existantes en termes de qualité de solution et de vitesse.

L'essentiel

Imaginez que vous demandiez un prêt, un emploi ou un crédit immobilier, et que l'ordinateur réponde « Non ». Naturellement, vous voulez savoir : « Que devrais-je changer dans ma vie pour obtenir un "Oui" ? »

C'est là qu'interviennent les Explications Contrefactuelles. Elles sont comme une carte du type « Et si... » qui vous indique les étapes les plus petites et les plus réalistes à suivre pour transformer un rejet en acceptation.

Cependant, les cartes existantes présentent deux problèmes majeurs :

1. Elles suggèrent des changements impossibles : Comme vous dire d'« augmenter vos revenus de 1000 % ». Ce n'est pas utile.
2. Elles suggèrent des changements bizarres et irréalistes : Comme dire à un étudiant de 20 ans d'avoir soudainement le portefeuille d'investissement d'un milliardaire de 60 ans. Bien que mathématiquement possible, cela ne correspond pas au monde réel.

Les auteurs de cet article présentent un nouvel outil appelé P2CE (Plausible Pareto-Optimal Counterfactual Explanations). Considérez P2CE comme un agent de voyage intelligent et réaliste qui vous aide à trouver le meilleur itinéraire pour atteindre votre objectif sans vous perdre dans un monde imaginaire.

Voici comment fonctionne P2CE, en utilisant des analogies simples :

1. Le « Test de Réalisme » (Le filtre de plausibilité)

Imaginez que vous cherchiez une maison. Un mauvais agent de voyage pourrait vous dire : « Achetez juste un château sur la Lune ! » C'est une maison, et c'est un changement, mais c'est impossible.

• Les anciennes méthodes suggèrent souvent ces « châteaux sur la lune » car elles ne regardent que la distance mathématique entre votre situation actuelle et l'objectif.
• P2CE utilise un « Détecteur de Réalité » spécial (appelé Forêt d'isolement ou Isolation Forest). Il observe le voisinage des données réelles. Si une suggestion est une « valeur aberrante » (comme un jeune de 20 ans avec le portefeuille d'un milliardaire), le Détecteur de Réalité la signale comme « Pas Réelle » et l'écarte. P2CE ne vous donne que des suggestions qui s'intègrent naturellement dans le monde réel.

2. Le chercheur de « Meilleures Offres » (Le concept de Pareto-Optimalité)

Parfois, vous devez choisir entre deux bonnes options :

• Option A : Changer de titre de poste (un grand changement, mais une seule chose à faire).
• Option B : Économiser un peu plus d'argent, rembourser une petite dette et suivre une formation courte (trois petits changements).

Qu'est-ce qui est le mieux ? Cela dépend de vous.

• Les anciennes méthodes vous forcent souvent à choisir une seule « meilleure » réponse en combinant ces facteurs en un score unique, ce qui peut passer à côté de votre préférence personnelle.
• P2CE agit comme un menu de choix optimaux. Il vous donne une liste d'options « Pareto-Optimales ». Cela signifie : « Voici une liste des meilleurs compromis possibles. Vous ne pouvez pas obtenir un meilleur résultat dans un domaine (comme gagner du temps) sans dégrader l'autre domaine (comme l'effort). » Cela vous permet de choisir le compromis qui convient le mieux à votre vie.

3. Le navigateur de « Boîte Noire » (Modèle-Agnostique)

De nombreux systèmes d'IA sont des « Boîtes Noires » : nous ne savons pas comment ils réfléchissent à l'intérieur, seulement ce qu'ils produisent en sortie.

• Les anciennes méthodes se brisent souvent si la Boîte Noire est trop complexe (comme un réseau neuronal profond). Elles peuvent rester bloquées ou mettre un temps infini à calculer.
• P2CE est un navigateur universel. Il ne se soucie pas de la manière dont la Boille Noire fonctionne à l'intérieur. Il utilise un raccourci ingénieux appelé valeurs SHAP (pensez à une « fiche de score » qui indique à l'algorithme quelles caractéristiques sont les plus importantes) pour deviner le meilleur chemin sans avoir besoin d'ouvrir la boîte. Cela le rend rapide et compatible avec n'importe quel type de modèle d'IA.

Les Résultats : Pourquoi c'est important

Les auteurs ont testé P2CE par rapport à d'autres outils populaires en utilisant des données du monde réel (comme les scores de crédit et les données de revenus).

• Vitesse : Il a trouvé de bonnes réponses beaucoup plus rapidement que les anciennes méthodes plus rigides, surtout avec des modèles d'IA complexes.
• Qualité : Il a produit beaucoup moins de suggestions « irréalistes » (valeurs aberrantes) que la concurrence.
• Variété : Il a offert aux utilisateurs un ensemble diversifié de choix plutôt qu'une seule réponse imposée.

En résumé : P2CE est une nouvelle façon d'expliquer les décisions de l'IA qui garantit que les conseils que vous recevez sont réalistes (ils correspondent à votre vie), efficaces (ils ne prennent pas un temps infini à calculer) et flexibles (ils vous offrent un menu des meilleurs compromis à choisir). Il transforme un « Non » déroutant en un « Voici comment obtenir un Oui » clair, actionnable et crédible.

Résumé technique

Résumé Technique : P2CE – Explications Contrefactuelles de Pareto-Optimal de Type Modèle-Agnostique

Énoncé du Problème

Le déploiement croissant de l'apprentissage automatique dans des domaines à enjeux élevés (par exemple, l'évaluation du crédit, le recrutement, le diagnostic de santé) nécessite de la transparence et de l'équité. Les explications contrefactuelles (CE) répondent à cela en suggérant des changements minimaux aux caractéristiques d'entrée ($x \to x'$) qui modifieraient la prédiction d'un modèle d'un résultat indésirable vers un résultat souhaité. Cependant, les méthodes existantes font face à trois défis critiques :

1. Plausibilité : De nombreux algorithmes génèrent des solutions qui sont mathématiquement proches de l'entrée mais qui se situent en dehors de la distribution naturelle des données (valeurs aberrantes/outliers), ce qui les rend irréalistes pour les individus à atteindre.
2. Compromis de Faisabilité : Il n'existe pas de métrique unique pour la « faisabilité ». Les utilisateurs peuvent préférer de petits changements sur de nombreuses caractéristiques ou des changements modérés sur peu de caractéristiques. L'optimisation mono-objectif ne parvient pas à capturer ces diverses préférences.
3. Agnosticisme au Modèle et Efficacité : Bien que certaines méthodes soient agnostiques au modèle, elles peinent souvent avec l'efficacité computationnelle ou reposent sur des hypothèses (comme la monotonicité du modèle) qui ne s'appliquent pas aux modèles non linéaires complexes (ex. : Réseaux de Neurones, SVM).

Méthodologie

Les auteurs proposent P2CE, un algorithme conçu pour générer des Explications Contrefactuelles de Pareto-Optimal et Plausibles. L'approche combine une stratégie de recherche par branche et borne (branch-and-bound) avec deux innovations clés pour assurer la plausibilité et l'efficacité sur n'importe quel modèle boîte noire.

1. Stratégie de Recherche et Optimisation Multi-Objectif

P2CE recherche une grille discrétisée de changements de caractéristiques possibles ($A = A^{(1)} \times \dots \times A^{(d)}$) pour trouver un ensemble d'actions $a$ tel que $f(x+a) \geq \tau$. Il optimise plusieurs objectifs simultanément :

• Distance Continue Moyenne ($c_1$) : L'amplitude moyenne normalisée des changements dans les caractéristiques numériques.
• Distance Continue Maximale ($c_2$) : L'amplitude maximale de changement dans une seule caractéristique numérique.
• Nombre de Changements ($c_3$) : Le décompte des caractéristiques modifiées (parcimonie/sparsity).

L'algorithme renvoie un ensemble de Pareto-optimal, garantissant qu'aucune autre solution n'existe qui soit meilleure ou égale dans tous les objectifs.

2. Assurer la Plausibilité via la Détection d'Outliers

Pour empêcher la génération d'outliers (solutions en dehors de la distribution des données), P2CE intègre un détecteur d'outliers par Forêt d'Isolement (Isolation Forest) ($u$).

• Pendant la recherche, chaque fois qu'une solution candidate $x+a$ est trouvée, $u(x+a)$ est évaluée.
• Si $u(x+a)$ indique un outlier, la solution est rejetée.
• Gain d'Efficacité : P2CE tire parti de la capacité de la Forêt d'Isolement à gérer les valeurs manquantes. Si une solution partielle (avec certaines caractéristiques non définies) est déjà classée comme un outlier, l'algorithme élague toute la branche de l'arbre de recherche, évitant ainsi des calculs inutiles.

3. Élagage de Branche et Borne Modèle-Agnostique

Pour maintenir l'efficacité computationnelle sans supposer la monotonicité du modèle (ce qui limite les méthodes précédentes comme MAPOCAM), P2CE estime la prédiction maximale possible ($f_a$) atteignable à partir d'une action partielle $a$.

• Estimation basée sur SHAP : L'algorithme utilise la propriété additive des valeurs SHAP : $f(x) = E[f(x)] + \sum \phi_i$.
• Il calcule une borne supérieure pour la prédiction en supposant le « meilleur scénario » pour les caractéristiques restantes (celles qui ne sont pas encore fixées dans la recherche).
• La borne est formulée comme suit :
  $$\max f(x+\tilde{a}) \leq f(x) - \sum_{i \in O_k} \phi_i(x) + \sum_{i \in O_k} \bar{\phi}_i + R(x, O_k)$$
  Où $O_k$ représente les $k$ caractéristiques ayant la plus haute attribution potentielle, $\bar{\phi}_i$ est l'attribution maximale possible pour la caractéristique $i$, et $R$ est un terme résiduel.
• Si cette borne supérieure est inférieure au seuil de décision $\tau$, la branche est élaguée. Cela permet à P2CE de fonctionner efficacement avec des modèles non monotones comme les Réseaux de Neurones.

Principales Contributions

1. Algorithme P2CE : Un nouvel algorithme agnostique au modèle qui génère des explications contrefactuelles de Pareto-optimales tout en imposant strictement la plausibilité de la distribution des données via la détection d'outliers.
2. Exploration de la Propriété SHAP : L'introduction d'une méthode utilisant les valeurs SHAP pour estimer les prédictions maximales dans un contexte de branche et borne, supprimant la contrainte de monotonicité requise par les méthodes de pointe précédentes.
3. Évaluation Complète : Une étude empirique approfondie sur trois jeux de données (German Credit, Taiwan Credit, Adult) et trois classificateurs (Régression Logistique, LightGBM, MLP), comparant P2CE à MAPOCAM, DiCE et NICE.
4. Open Source : La publication de l'implémentation pour faciliter la reproductibilité.

Résultats Expérimentaux

L'évaluation s'est concentrée sur la qualité de la solution (hypervolume de la frontière de Pareto), la plausibilité (pourcentage d'outliers) et l'efficacité computationnelle.

• Plausibilité : P2CE a systématiquement généré nettement moins de solutions outliers par rapport à ses concurrents. Par exemple, sur le jeu de données Adult avec un MLP, P2CE n'a produit que 11 % d'outliers, alors que DiCE en produisait 87 % et MAPOCAM 58 %. Dans certains cas, DiCE suggérait des scénarios impossibles (ex. : 97 heures de travail par semaine).
• Qualité de la Solution : P2CE a obtenu des scores d'hypervolume comparables à MAPOCAM (le standard théorique pour l'optimalité de Pareto) et a nettement surpassé DiCE et NICE. Bien que MAPOCAM ait occasionnellement obtenu des hypervolumes légèrement plus élevés, cela se faisait au prix d'un coût de calcul élevé.
• Efficacité : P2CE a démontré une efficacité computationnelle supérieure, particulièrement avec des modèles non linéaires complexes.
  • Sur le jeu de données Taiwan avec un MLP, MAPOCAM a pris en moyenne 118,5 secondes, tandis que P2CE a pris 0,81 seconde.
  • Sur le jeu de données Adult avec un MLP, MAPOCAM a pris 6,24 secondes, tandis que P2CE a pris 2,34 secondes.
  • P2CE était plus lent que DiCE et NICE en temps brut, mais offrait la garantie cruciale d'optimalité de Pareto et de plausibilité, ce que les méthodes plus rapides ne possédaient pas.

Signification et Revendications

L'article positionne P2CE comme une solution pratique pour les applications du monde réel où les explications contrefactuelles doivent être à la fois actionnables (faisables pour l'utilisateur) et plausibles (cohérentes avec les données réelles).

Les auteurs affirment que P2CE comble avec succès le fossé entre l'optimalité théorique et l'utilité pratique. En garantissant que les solutions sont des « inliers », l'algorithme empêche la génération de conseils trompeurs (ex. : suggérer à un utilisateur d'augmenter son revenu de 1000 % ou de travailler des heures impossibles). De plus, en exploitant les valeurs SHAP pour l'élagage, P2CE étend la capacité de générer des contrefactuels optimaux à n'importe quel modèle boîte noire, surmontant les limitations des méthodes précédentes qui étaient restreintes aux modèles monotones ou à des types spécifiques.

Le travail conclut que P2CE permet une prise de décision plus rapide et plus éclairée dans les applications réelles en fournissant un ensemble diversifié de compromis de haute qualité et plausibles sans nécessiter d'adaptations spécifiques au modèle.

Limites et Travaux Futurs

Les auteurs reconnaissent deux limites principales :

1. Dépendance à SHAP : L'efficacité de la stratégie d'élagage repose sur des approximations SHAP. Le calcul exact des valeurs de Shapley est coûteux en termes de calcul (exponentiel par rapport au nombre de caractéristiques), bien que des approximations soient utilisées. Des erreurs dans ces approximations pourraient théoriquement affecter l'élagage, bien que les résultats empiriques suggèrent que l'impact est minime par rapport aux gains de vitesse.
2. Grille Discrétisée : La recherche est contrainte à une grille discrète. Bien que cela soit pratique pour la plupart des applications (ex. : suggérer une augmentation de revenu de 1 000 dollars plutôt que de 998 dollars est fonctionnellement similaire), une granularité extrêmement fine augmente le temps de recherche. Les auteurs suggèrent des travaux futurs sur des grilles adaptatives qui ajustent la granularité en fonction de l'impact des caractéristiques, potentiellement guidées par les valeurs SHAP.