🤖 machine learning

Measuring Explainer Stability via Attribution Separability

Cet article propose un cadre basé sur la distribution pour évaluer la stabilité des méthodes d'attribution en mesurant la séparabilité des scores d'attribution classés et en déterminant la fiabilité du classement des caractéristiques, offrant ainsi un critère complémentaire pour comparer la robustesse de différents explainers.

Auteurs originaux : Eddie Conti, Álvaro Parafita, Axel Brando

Publié 2026-08-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eddie Conti, Álvaro Parafita, Axel Brando

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre une boîte noire mystérieuse qui prend des décisions, comme un robot décidant d'approuver un prêt ou de diagnostiquer une maladie. Dans le monde de l'intelligence artificielle, c'est ce qu'on appelle l'« IA explicable ». Pour jeter un coup d'œil à l'intérieur de la boîte, les scientifiques utilisent des outils spéciaux appelés « méthodes d'attribution ». Considérez ces outils comme un projecteur qui éclaire les indices spécifiques (ou caractéristiques) que le robot a utilisés pour prendre sa décision. Si le robot dit « Non » à un prêt, le projecteur pourrait mettre en évidence le « faible revenu » et la « dette élevée » comme étant les raisons.

Cependant, il y a un piège. Certains de ces outils de projecteurs sont un peu agités. Parce qu'ils utilisent des étapes aléatoires pour trouver la réponse, si vous posez la même question deux fois, ils pourraient pointer vers des indices légèrement différents ou les classer dans un ordre différent. C'est comme demander à un groupe d'amis de classer leurs parfages de crème glacée préférés ; si l'un d'eux est indécis ou si le vent souffle, un ami pourra dire « Le chocolat est le n°1 » aujourd'hui et « La fraise est le n°1 » demain. Cette « agitation » est un problème car si l'explication change à chaque fois que l'on regarde, peut-on vraiment lui faire confiance ? Ce document traite de cette inquiétude exacte : comment savoir si la liste des raisons qu'un robot nous donne est stable, ou s'il s'agit simplement d'un coup de chance dû au hasard ?

Les auteurs de cet article, Eddie Conti et son équipe, proposent une nouvelle façon ingénieuse de mesurer cette stabilité. Au lieu de simplement demander : « Est-ce que la réponse a changé ? », ils demandent : « À quel point les réponses sont-elles clairement séparées ? ». Ils ne traitent pas l'importance de chaque indice comme un simple nombre fixe, mais comme un nuage de possibilités. Si le nuage pour le « faible revenu » est loin du nuage pour la « dette élevée », le classement est stable et digne de confiance. Mais si les nuages se chevauchent comme deux taches de brouillard fusionnant ensemble, le classement est instable.

Pour visualiser cela, imaginez une course où les coureurs sont les indices. Si le premier coureur sprinte bien devant le second, et que le second est loin devant le troisième, l'ordre est clair. Mais si tout le monde court dans un groupe serré, il est difficile de dire qui est vraiment premier. Les chercheurs ont développé une « règle » mathématique pour mesurer la distance entre ces coureurs. Ils appellent cela la « séparabilité d'attribution ». Leur principale découverte est qu'ils peuvent calculer un nombre spécifique, qu'ils appellent la k-stabilité. Ce nombre vous indique exactement combien de premiers indices de la liste vous pouvez faire confiance avant que l'ordre ne devienne flou. Par exemple, si votre k-stabilité est de 3, vous pouvez être confiant quant aux trois premières raisons dans le bon ordre, mais après cela, la liste pourrait être un désordre.

Lorsqu'ils ont testé cette règle sur des outils populaires comme SHAP, LIME et DiCE, ils ont découvert des schémas intéressants. Ils ont découvert que SHAP était généralement le coureur le plus régulier, gardant souvent ses principaux indices dans une ligne claire et non chevauchante, surtout sur des ensembles de données simples. LIME était correct mais devenait parfois un peu chancelant, tandis que DiCE courait souvent dans un groupe si serré qu'il était difficile de dire qui menait. Ils ont également vérifié si le fait de faire tourner les outils plus de fois aidait. Ils ont trouvé que pour la plupart des outils, faire tourner les processus 50 fois était suffisant pour obtenir une image claire, et que les faire tourner encore plus ne changeait pas beaucoup les résultats, ce qui est une bonne nouvelle pour économiser la puissance informatique.

L'article ne prétend pas qu'un outil est le « meilleur » pour chaque tâche de l'univers. En fait, les auteurs prennent soin de dire qu'aucun outil ne gagne à tous les coups ; cela dépend des données spécifiques et du modèle utilisé. Au lieu de cela, ils offrent cette nouvelle règle comme un moyen pour les scientifiques de comparer les outils équitablement. Ils soutiennent que la stabilité est un prérequis à la confiance. Si un outil ne peut pas s'accorder de manière cohérente sur ses propres raisons principales, il est difficile de s'appuyer sur lui pour des décisions importantes. En utilisant leur méthode, les chercheurs peuvent désormais dire : « Cet outil est fiable pour les 5 premières raisons, mais soyez prudent avec le reste », nous donnant ainsi une vue beaucoup plus claire et honnête de la façon dont ces boîtes noires d'IA réfléchissent réellement.

Résumé Technique : Mesurer la stabilité des explications via la séparabilité de l'attribution

Définition du problème
Les méthodes d'attribution (AM), ou explicateurs, sont largement utilisées pour interpréter les modèles de type « boîte noire » en attribuant des scores d'importance aux caractéristiques d'entrée. Cependant, de nombreuses AM populaires (par exemple, SHAP, LIME, DiCE) intègrent des composantes stochastiques, telles que l'échantillonnage de Monte Carlo ou des perturbations aléatoires. Cette stochasticité entraîne une variabilité des scores d'attribution entre différentes exécutions, ce qui soulève des préoccupations concernant la reproductibilité et la fiabilité des classements de caractéristiques qui en résultent. Alors que des travaux antérieurs ont abordé la stabilité par le biais de perturbations au niveau de l'entrée (testant comment les explications changent lorsque l'entrée est légèrement modifiée), cet article traite d'un défi distinct : quantifier la stabilité du classement lui-même dérivé d'une seule instance à travers plusieurs exécutions d'un même explicateur. La question de recherche centrale est la suivante : étant donné un vecteur ordonné de l'importance des caractéristiques produit par une AM, dans quelle mesure peut-on faire confiance au fait que les caractéristiques les mieux classées sont réellement plus importantes que les suivantes ?

Méthodologie
Les auteurs proposent un cadre basé sur les distributions pour quantifier la stabilité des classements de caractéristiques en analysant la séparabilité des distributions d'attribution.

Modélisation distributionnelle : Au lieu de traiter les scores d'attribution comme des valeurs déterministes, la méthode modélise le score de chaque caractéristique $i$ comme une distribution de probabilité $p_i$ , estimée à partir de plusieurs exécutions de l'AM sur une instance spécifique $x$ .
Métrique de séparabilité d'attribution : Pour mesurer la distinction entre deux caractéristiques dans la liste classée, les auteurs emploient une métrique de distance $d(p, q)$ basée sur la généralisation continue de la distance de Jaccard. Cette métrique calcule le chevauchement entre deux distributions $p$ et $q$ :
$d(p, q) = 1 - \frac{\int_{\text{supp}(p) \cap \text{supp}(q)} \min(p(x), q(x))dx}{\int_{\text{supp}(p) \cup \text{supp}(q)} \max(p(x), q(x))dx}$
Une valeur de $d(p, q)$ proche de 1 indique une haute séparabilité (faible chevauchement), tandis qu'une valeur proche de 0 indique un chevauchement significatif.
Définition de la k-stabilité : Le cadre définit la k-stabilité comme la plus longue longueur de préfixe $k$ de la liste classée des caractéristiques telle que toutes les paires consécutives de caractéristiques dans le top- $k$ présentent une distance distributionnelle $d(p_i, p_j)$ supérieure à un seuil $l$ défini par l'utilisateur. Cela identifie le point dans le classement où l'ordonnancement devient peu fiable en raison du chevauchement des distributions.
Cadre comparatif : La méthode permet de comparer différentes AM en calculant la proportion d'instances d'un ensemble de données où une méthode atteint une $k$ -stabilité plus élevée qu'une autre.

Contributions clés

Nouvelle métrique de stabilité : L'article introduit une approche mathématiquement fondée pour quantifier la stabilité des classements d'AM en se basant sur l'analyse distributionnelle plutôt que sur les perturbations d'entrée.
Validation formelle : Les auteurs prouvent que dans un cas idéal où une AM est parfaitement fidèle et où la stochasticité disparaît, la métrique de distance proposée converge vers 1 (séparabilité maximale). Ils démontrent également de manière empirique que la métrique est sensible au degré de séparation entre les valeurs d'importance des caractéristiques.
Outil d'évaluation comparative : Le cadre fournit un mécanisme pour comparer la robustesse de différents explicateurs (LIME, SHAP, DiCE) à travers divers modèles et ensembles de données sans revendiquer la supériorité universelle d'une méthode particulière.

Résultats expérimentaux
Les auteurs ont évalué le cadre sur quatre ensembles de données de référence (Diabetes, Heart Disease, Mobile, Churn) en utilisant des modèles Random Forest, SVM, Logistic Regression et Decision Tree.

Analyse de la séparabilité : Les expériences ont montré que SHAP produisait généralement des attributions quasi déterministes (valeur de séparabilité de 1) sur des ensembles de données plus simples, tandis que LIME et DiCE présentaient plus de variabilité. Dans les ensembles de données complexes, la séparabilité avait tendance à diminuer vers la « queue » du classement (caractéristiques moins pertinentes).
Comparaisons de k-stabilité : SHAP a systématiquement démontré des valeurs de $k$ -stabilité plus élevées que LIME, DiCE et une base aléatoire (RAND) sur la plupart des ensembles de données et des modèles. DiCE a montré des niveaux de stabilité proches de la base aléatoire dans plusieurs cas.
Sensibilité aux exécutions : L'étude a révélé que la métrique présente une sensibilité limitée au nombre d'exécutions pour LIME, SHAP et DiCE, suggérant que des estimations fiables peuvent être obtenues avec un nombre modéré d'exécutions (par exemple, 15 à 30 exécutions), alors que la base aléatoire nécessitait plus d'exécutions pour se stabiliser.

Signification et revendications
Le papier positionne ce travail comme un critère complémentaire pour l'évaluation des AM, se concentrant spécifiquement sur la fiabilité du classement des caractéristiques induit. Les auteurs déclarent explicitement que leur objectif n'est pas de déclarer une AM universellement supérieure, reconnaissant le « théorème de l'absence de gratuité » (No Free Lunch Theorem) pour l'explicabilité. Au lieu de cela, ils soutiennent que la stabilité est un prérequis pour la confiance de l'utilisateur et la généralisabilité des informations.

La méthode proposée offre un moyen rigoureux de déterminer le « point de rendement décroissant » dans un classement de caractéristiques — en identifiant combien de caractéristiques de tête peuvent être fiables avant que l'ordonnancement ne devienne ambigu en raison du bruit stochastique. Les auteurs notent des limites, incluant l'accent mis sur les données tabulaires et la nécessité de sélectionner les paramètres d'estimation de densité et les seuils. Ils soulignent qu'une faible $k$ -stabilité n'implique pas nécessairement une infidélité au processus de décision du modèle, mais indique plutôt que la nature stochastique de l'explicateur rend l'ordre spécifique des caractéristiques peu fiable. Ainsi, cette métrique doit être utilisée conjointement avec d'autres dimensions d'évaluation comme la fidélité et la simplicité.

Articles similaires