🤖 machine learning

Beyond Explaining Predictions: Logic-Based Explanations for Confidence in Machine Learning Models

Cet article introduit des explications abductives sensibles à la confiance et un cadre de Seuil de Confiance Minimum (MCT) pour générer des sous-ensembles de caractéristiques minimaux qui garantissent à la fois la classe prédite et un niveau de confiance spécifié par l'utilisateur, abordant ainsi la limitation des explications logiques traditionnelles qui échouent souvent à préserver la confiance d'origine du modèle.

Auteurs originaux : Vinícius Peixoto Chagas, Carlos Henrique Leitão Cavalcante, Thiago Alves Rocha

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vinícius Peixoto Chagas, Carlos Henrique Leitão Cavalcante, Thiago Alves Rocha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot médecin très intelligent, mais un peu mystérieux. Vous lui demandez : « Est-ce que j'ai un rhume ? » et il répond : « Oui ».

Maintenant, vous voulez savoir pourquoi il pense cela. Une explication standard pourrait dire : « Parce que vous avez le nez qui coule et de la fièvre ». C'est utile, mais incomplet. Cela ne vous dit pas à quel point le robot est certain. Peut-être que le robot est sûr à 99 % parce que les symptômes sont classiques. Ou peut-être n'est-il sûr qu'à 51 % parce que ces symptômes pourraient aussi signifier tout autre chose.

Ce document présente une nouvelle façon de demander une explication au robot qui inclut son niveau de confiance.

Voici la décomposition de leur idée en utilisant des analogies simples :

1. Le Problème : Le piège de la « Zone de Sécurité »

Les auteurs examinent un type populaire d'IA appelé Arbres de décision boostés par gradient (considérez cela comme une équipe de nombreux petits décideurs votant sur la réponse).

Actuellement, lorsque ces IA expliquent leurs réponses, elles utilisent ce qu'on appelle une Explication Abductive.

L'Analogie : Imaginez que l'IA dessine un cercle autour de votre cas spécifique sur une carte. Elle dit : « Si vous êtes à l'intérieur de ce cercle, je dirai certainement "Oui" ».
La Faille : Le cercle peut être immense. Il inclut votre cas (où l'IA est sûre à 99 %) mais il inclut aussi des cas situés sur le bord du cercle où l'IA est à peine sûre (5 à 51 % de certitude).
Le Risque : Si vous vous reposez sur l'explication, vous pourriez penser que l'IA est confiante pour tout ce qui se trouve à l'intérieur de ce cercle. Mais en réalité, l'IA tremble d'incertitude pour les cas situés sur le bord. L'explication standard cache cette faiblesse.

2. La Solution : Le « Seuil de Confiance Minimum » (MCT)

Les auteurs proposent un nouveau concept appelé le Seuil de Confiance Minimum (MCT).

L'Analogie : Au lieu de simplement dessiner un cercle qui garantit que la réponse est « Oui », ils demandent à l'IA de dessiner un cercle qui garantit que la réponse est « Oui » ET que l'IA est au moins sûre à 90 % de chaque point à l'intérieur de ce cercle.
Comment ça marche : L'IA cherche le « maillon faible » dans son cercle. S'il y a même un seul endroit à l'intérieur du cercle où l'IA n'est sûre qu'à 51 %, ce cercle est trop grand. L'IA doit rétrécir le cercle jusqu'à ce que le point le moins confiant à l'intérieur soit toujours au-dessus de votre ligne de sécurité requise (par exemple, 90 %).

3. Le Compromis : Des cercles plus grands pour des garanties plus sûres

Pour rendre le cercle plus sûr (confiance plus élevée), l'IA doit être plus spécifique.

L'Analogie : Si l'IA dit : « Je suis sûre parce que vous avez de la fièvre », cela couvre beaucoup de gens (dont certains pour lesquels l'IA n'est pas sûre).
La Correction : Pour atteindre ce niveau de confiance de 90 %, l'IA pourrait devoir dire : « Je suis sûre parce que vous avez de la fièvre, ET le nez qui coule, ET que vous toussez depuis trois jours ».
Le Résultat : L'explication devient légèrement plus longue (plus de caractéristiques), mais la garantie est beaucoup plus forte. Vous savez que quiconque correspond à cette description plus longue se trouve définitivement dans la zone de « haute confiance ».

4. La Surprise : Parfois, vous n'avez pas besoin d'en ajouter davantage

Les chercheurs ont testé cela sur des données réelles (comme prédire si un e-mail est un spam ou si un champignon est comestible). Ils ont découvert deux choses intéressantes :

Les explications standards sont souvent « faibles » : Les cercles traditionnels incluaient souvent des cas très fragiles et à faible confiance, même lorsque la personne spécifique faisant l'objet de l'explication présentait une haute confiance.
On peut obtenir des garanties plus fortes sans rallonger la liste : Parfois, l'IA peut trouver une autre combinaison de caractéristiques qui crée un cercle plus petit et plus serré avec une confiance plus élevée, sans avoir besoin d'ajouter des conditions supplémentaires. C'est comme trouver un meilleur chemin à travers un labyrinthe qui est tout aussi court mais beaucoup plus sûr.

Résumé

En bref, ce document nous apprend comment demander aux modèles d'IA : « Ne me dites pas seulement ce que vous avez décidé ; dites-moi à quel point vous êtes sûr de vous concernant l'ensemble du groupe de personnes qui me ressemblent. »

Ils ont créé une méthode pour forcer l'IA à rétrécir sa « zone d'explication » jusqu'à ce qu'elle soit confiante pour tout le monde à l'intérieur de celle-ci. Cela rend le raisonnement de l'IA beaucoup plus digne de confiance, surtout pour les décisions importantes où être « à peine sûr » ne suffit pas.

Résumé technique : Au-delà de l'explication des prédictions : Des explications basées sur la logique pour la confiance dans les modèles d'apprentissage automatique

Énoncé du problème

Les modèles d'apprentissage automatique, particulièrement dans des domaines critiques comme la santé et la finance, sont de plus en plus attendus non seulement pour leur précision de prédiction, mais aussi pour fournir des indicateurs de l'incertitude fiables. Bien que les explications abductives (AXp) basées sur la logique soient apparues comme une méthode rigoureuse pour l'interprétabilité, offrant des garanties formelles de correction et de minimalité, elles possèdent une limitation critique : elles se concentrent uniquement sur la préservation de la classe prédite.

Les AXp traditionnelles identifient des sous-ensembles minimaux de caractéristiques suffisants pour garantir que toute instance satisfaisant ces conditions reçoit la même classification que l'instance originale. Cependant, elles ne tiennent pas compte de la confiance prédictive du modèle. Par conséquent, une explication abductive unique peut couvrir un ensemble d'instances incluant à la fois des prédictions hautement confiantes et celles situées très près de la frontière de décision (incertitude élevée). Dans les applications à enjeux élevés, cela peut conduire à une excès de confiance, car les utilisateurs peuvent supposer que toutes les prédictions justifiées sont également fiables, occultant ainsi les limites réelles du modèle.

Les méthodes d'explication tenant compte de l'incertitude existantes reposent souvent sur des techniques d'attribution ou de perturbation qui estiment l'incertitude, mais manquent de garanties formelles concernant l'ensemble des instances couvertes. Elles estiment généralement l'incertitude d'une explication plutôt que de contraindre l'explication pour garantir un niveau de confiance minimal à travers toutes les instances couvertes.

Méthodologie

1. Seuil de Confiance Minimum (MCT - Minimum Confidence Threshold)

Les auteurs introduisent le concept de Seuil de Confiance Minimum (MCT) pour quantifier la garantie de confiance la plus faible fournie par une explication abductive.

Définition : Pour une explication $\mathcal{E}$ $E$ donnée, le MCT est le score de prédiction le plus proche de la frontière de décision parmi toutes les instances satisfaisant $\mathcal{E}$ $E$ .
- Pour la classe $+1$ , $MCT(\mathcal{E}) = \min_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$ .
- Pour la classe $-1$, $MCT(\mathcal{E}) = \max_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$ .
Signification : Le MCT représente la confiance prédictive dans le pire des cas pour l'ensemble des instances couvertes par l'explication. Il est calculé en formulant un problème d'optimisation sur l'expression symbolique du score de prédiction du modèle, sous les contraintes de l'encodage du modèle et des assignations de caractéristiques dans l'explication.

2. Explications Abductives Sensibles à la Confiance

S'appuyant sur le MCT, l'article propose des explications abductives sensibles à la confiance (confidence-aware). Ce sont des sous-ensembles minimaux de caractéristiques qui garantissent non seulement la préservation de la classe prédite, mais aussi que le score de prédiction pour toute instance satisfaisante atteint un seuil $\tau$ spécifié par l'utilisateur.

Formulation : Une explication $\mathcal{E}$ $E$ est sensible à la confiance par rapport à $\tau$ $τ$ si elle est une explication abductive et que :
- $MCT(\mathcal{E}) \geq \tau$ (pour la classe $+1$ )
- $MCT(\mathcal{E}) \leq \tau$ (pour la classe $-1$)
Contraintes de seuil : Le seuil $\tau$ est contraint par le score de prédiction de l'instance originale expliquée, car l'instance originale doit satisfaire l'explication. Ainsi, $\tau$ ne peut pas exiger un niveau de confiance supérieur au score de l'instance elle-même.

3. Approche Algorithmique

Les auteurs adaptent la procédure standard de suppression de caractéristiques utilisée pour calculer les AXp traditionnelles (Algorithme 1) afin d'incorporer des contraintes de confiance (Algorithme 2).

Processus : En partant de l'instance complète, les caractéristiques sont éliminées de manière itérative. Une caractéristique n'est supprimée que si le sous-ensemble de caractéristiques résultant satisfait toujours le seuil de confiance défini par l'utilisateur $\tau$ .
Optimisation : À chaque étape, l'algorithme calcule le MCT de l'explication candidate en utilisant des solveurs d'optimisation (spécifiquement Z3 pour la résolution de problèmes SMT).
Monotonie : L'approche repose sur la monotonie de la condition de sensibilité à la confiance : si un sous-ensemble de caractéristiques ne respecte pas le seuil de confiance, toute réduction ultérieure (sous-ensembles de ce sous-ensemble) échouera également. Cela garantit que l'algorithme aboutit à une explication minimale.
Raffinement : Le papier traite également d'une stratégie consistant à recalculer les explications à partir de zéro sous des contraintes de confiance plus strictes plutôt que d'étendre de manière incrémentale les explications existantes. Cela permet à la recherche de trouver des sous-ensembles minimaux alternatifs qui peuvent offrir de meilleures garanties de confiance sans nécessairement augmenter la taille de l'explication.

Contributions Clés

Identification d'une lacune : Le papier démontre que les explications abductives traditionnelles fournissent souvent des garanties de confiance (MCT) sensiblement inférieures à la confiance de l'instance spécifique étant expliquée, ce qui peut induire les utilisateurs en erreur dans des scénarios à enjeux élevés.
Concept de MCT : Introduction du Seuil de Confiance Minimum comme une métrique formelle pour quantifier la plus faible garantie de confiance d'une explication.
Cadre de Sensibilité à la Confiance : Proposition d'une nouvelle classe d'explications qui imposent des seuils de confiance définis par l'utilisateur tout en maintenant les garanties formelles de correction et de minimalité.
Implémentation Algorithmique : Développement d'un algorithme (Algorithme 2) qui intègre le calcul du MCT dans le processus de génération d'explications, formulé comme un problème d'optimisation sur les représentations logiques des arbres boostés par gradient (GBT).
Validation Empirique : Évaluation expérimentale montrant que les explications sensibles à la confiance améliorent systématiquement les garanties de confiance minimale avec une augmentation modeste de la longueur de l'explication, et dans certains cas, peuvent atteindre des garanties plus fortes sans augmenter la cardinalité de l'explication du tout.

Résultats Expérimentaux

Le cadre a été évalué sur des tâches de classification binaire utilisant des arbres boostés par gradient (XGBoost) sur quatre jeux de données de référence : MAGIC, Adult, Mushroom et Spambase.

Faiblesse de la Référence : Les explications abductives traditionnelles fournissaient fréquemment des garanties de confiance (MCT) nettement inférieures à la confiance de l'instance originale. Dans de nombreux cas, les valeurs de MCT transformées étaient proches de 0,5 (la frontière de décision), même pour des prédictions hautement confiantes.
Amélioration avec les Contraintes : L'application de contraintes de sensibilité à la confiance (par exemple, exiger 50 % ou 75 % du score de prédiction original) a systématiquement déplacé le MCT loin de la frontière de décision, indiquant des garanties de confiance plus fortes.
Analyse des Compromis :
- Taille de l'Explication : Des exigences de confiance plus strictes mènent généralement à des explications plus longues (plus de caractéristiques). Cependant, l'augmentation est souvent modeste par rapport au nombre total de caractéristiques. Par exemple, dans le jeu de données Spambase (57 caractéristiques), un seuil de 75 % a augmenté la longueur moyenne de l'explication de 13,25 à 19,12 caractéristiques, soit une croissance relative d'environ 10 %, tout en améliorant considérablement la confiance.
- Préservation de la Cardinalité : Une conclusion importante (RQ3) est que des garanties de confiance plus fortes ne nécessitent pas toujours des explications plus grandes. L'étude a révélé que pour un pourcentage substantiel d'instances (allant de 1 % à 34 % selon le jeu de données et la classe), des explications alternatives avec la même cardinalité que l'AXp originale pouvaient être trouvées pour offrir des garanties de confiance strictement meilleures. Cela valide la stratégie de recalculer les explications à partir de zéro plutôt que de simplement étendre les explications existantes.

Signification et Revendications

L'article affirme que son approche est particulièrement adaptée aux applications où la correction prédictive et la confiance sont toutes deux essentielles pour une prise de décision digne de confiance. En intégrant les garanties de confiance directement dans le processus d'explication basé sur la logique, le cadre permet aux utilisateurs de négocier explicitement la concision de l'explication contre des garanties de confiance plus fortes.

Les auteurs soulignent que leur travail répond à une limitation spécifique de l'XAI actuelle : l'absence de garanties formelles concernant la fiabilité de l'ensemble des instances couvertes par une explication. Contrairement aux méthodes qui se contentent d'estimer l'incertitude, cette approche contraint la génération d'explications pour garantir que chaque instance satisfaisant l'explication respecte un standard de confiance minimum.

Le papier reste modeste dans sa portée, notant que bien que la méthode soit démontrée sur les arbres boostés par gradient, l'approche est applicable à tout modèle fournissant des scores de confiance. Il suggère que des travaux futurs pourraient étendre ces concepts à la classification multiclasse et à d'autres formalismes d'explication basés sur la logique, mais ne prétend pas une applicabilité immédiate à ces domaines sans recherches supplémentaires.