Beyond Additivity: Sparse Isotonic Shapley Regression toward Nonlinear Explainability

Cet article présente la Régression Isotonique Shapley Sparse (SISR), un cadre unifié d'explication non linéaire qui apprend simultanément une transformation monotone pour restaurer l'additivité et impose une contrainte de parcimonie pour identifier efficacement les caractéristiques pertinentes, surmontant ainsi les limitations des valeurs de Shapley canoniques face aux dépendances entre variables et aux distributions non gaussiennes.

L'essentiel

Imaginez que vous avez une équipe de 10 personnes travaillant sur un projet complexe, comme construire une maison ou créer une application. À la fin, le projet rapporte de l'argent (c'est le "gain"). La question classique est : qui mérite combien ? Qui a vraiment fait la différence ?

Dans le monde de l'intelligence artificielle (IA), on utilise une méthode mathématique appelée valeur de Shapley pour répondre à cette question. C'est comme un juge très juste qui calcule la contribution de chaque personne en regardant tous les groupes possibles qu'elles pourraient former.

Cependant, l'article que vous avez soumis pointe deux gros problèmes avec cette méthode traditionnelle, et propose une solution intelligente appelée SISR (Régression Isotone Sparse de Shapley).

Voici l'explication simple, avec des analogies :

1. Le Problème : La règle du "Tout ou Rien" ne marche pas toujours

L'ancienne méthode (Shapley classique) :
Imaginez que le juge dit : "Si vous ajoutez une brique à la maison, la valeur de la maison augmente exactement de 10 euros. Si vous ajoutez une fenêtre, elle augmente de 20 euros. C'est simple, c'est linéaire."
C'est ce qu'on appelle l'additivité. On suppose que les contributions s'additionnent simplement comme des pièces de monnaie.

La réalité (Le problème) :
Dans la vraie vie, ce n'est pas toujours aussi simple.

• Le problème de la distorsion : Parfois, les règles du jeu changent. Imaginez un jeu de poker où le gagnant empoche tout (winner-takes-all). Si vous avez la meilleure main, vous gagnez tout, peu importe si les autres ont de bonnes cartes. Ou imaginez un effet de seuil : ajouter une brique ne sert à rien tant que vous n'avez pas atteint le mur entier.
• Le problème des "faux amis" : Dans un projet, il y a souvent des gens qui ne font rien (des variables inutiles) ou qui se copient les uns les autres (des corrélations). La méthode classique, en essayant de tout additionner, se trompe. Elle peut dire qu'un inactif est très important, ou donner un score négatif à quelqu'un qui aide vraiment, juste parce que les mathématiques sont faussées par ces "faux amis".

L'analogie : C'est comme essayer de mesurer la vitesse d'une voiture en utilisant une règle en caoutchouc qui s'étire quand il pleut. Si vous ne compensez pas l'étirement (la distorsion), vos mesures seront fausses.

2. La Solution : SISR (Le "Traducteur" et le "Filtre")

Les auteurs proposent une nouvelle méthode, SISR, qui agit comme un traducteur intelligent et un filtre de qualité.

A. Le Traducteur (La Transformation Isotone)

Au lieu de forcer la réalité à suivre la règle simple de l'addition, SISR dit : "Attends, il y a une règle cachée qui déforme les résultats. Trouvons cette règle et traduisons les chiffres pour qu'ils redeviennent simples."

• L'analogie : Imaginez que vous écoutez une radio avec beaucoup de bruit statique et que la voix est déformée. Au lieu de dire "c'est incompréhensible", SISR ajuste le volume et l'égaliseur (la transformation) pour que la voix redevienne claire et naturelle.
• Comment ça marche ? L'algorithme apprend automatiquement une "courbe de correction". Il ne suppose pas à l'avance quelle est la règle (comme une courbe exponentielle ou logarithmique), il la découvre en regardant les données. Une fois corrigé, les contributions redeviennent additives et faciles à comprendre.

B. Le Filtre (La Sparsité)

Dans un projet avec 100 personnes, il est probable que 80 ne fassent rien d'utile. La méthode classique calcule un score pour tout le monde, puis on essaie de deviner qui est important en regardant les petits scores. C'est lent et imprécis.

• L'analogie : SISR, c'est comme un chef d'orchestre qui dit : "Je ne veux pas entendre les 80 musiciens qui ne jouent pas. Je veux seulement les 5 qui jouent vraiment."
• Comment ça marche ? SISR impose une règle stricte : "Ne garde que les X personnes les plus importantes et mets les autres à zéro immédiatement." Cela rend le résultat plus clair (on sait exactement qui compte) et l'ordinateur travaille beaucoup plus vite.

3. Pourquoi c'est génial ? (Les Résultats)

L'article montre que cette méthode fonctionne mieux que l'ancienne dans plusieurs situations :

1. Stabilité : Que vous utilisiez une règle de calcul différente pour le gain (par exemple, une règle qui pénalise les erreurs énormes), SISR donne toujours le même classement des personnes importantes. L'ancienne méthode change complètement d'avis selon la règle utilisée.
2. Justesse : Dans un exemple réel sur des données médicales (cancer de la prostate), la méthode classique disait qu'un symptôme mineur était très important. SISR a dit : "Non, ce symptôme ne sert à rien," ce qui correspondait à la réalité médicale.
3. Vitesse : En ignorant automatiquement les variables inutiles, l'ordinateur ne perd pas de temps à calculer des scores pour des gens qui ne servent à rien.

En résumé

Imaginez que l'Intelligence Artificielle est une boîte noire mystérieuse.

• L'ancienne méthode essaie de deviner qui est important en utilisant une règle rigide qui ne fonctionne que dans des conditions parfaites (ce qui n'existe pas dans la vraie vie).
• SISR, c'est comme avoir un traducteur magique qui répare les distorsions du langage de la boîte noire, et un filtre qui élimine le bruit.

Le résultat ? Une explication claire, juste et rapide de ce que l'IA fait vraiment, même quand les données sont compliquées, bruyantes ou pleines d'éléments inutiles. C'est passer d'une explication confuse et parfois fausse à une vérité limpide.

Résumé technique

Résumé Technique : Sparse Isotonic Shapley Regression (SISR)

1. Problématique

Les valeurs de Shapley sont la référence absolue pour l'attribution de caractéristiques (feature attribution) en IA explicable (XAI). Cependant, leur application pratique dans des scénarios complexes se heurte à deux limitations majeures :

1. Hypothèse d'additivité violée : Le cadre canonique de Shapley suppose que la fonction de gain (ou valeur de coalition) $\nu(A)$ est additive par rapport aux contributions individuelles des caractéristiques ($\nu(A) \approx \sum_{j \in A} \beta_j$). En réalité, les constructions de gains réels (basées sur des distributions non-gaussiennes, des queues lourdes, des dépendances entre caractéristiques ou des échelles de perte spécifiques) violent souvent cette hypothèse. Cela conduit à des attributions déformées, avec des erreurs de rang et de signe.
2. Difficulté de l'interprétation parcimonieuse (Sparsity) : Dans les espaces de grande dimension, de nombreuses caractéristiques sont irrelatives. Les méthodes actuelles calculent d'abord des valeurs de Shapley denses (pour toutes les caractéristiques) puis appliquent un seuillage a posteriori. Cette approche est coûteuse en calcul, instable et peut échouer à identifier le véritable support des caractéristiques pertinentes, surtout en présence de corrélations.

L'objectif est de développer un cadre d'explication non linéaire unifié qui restaure l'additivité tout en imposant une contrainte de parcimonie native.

2. Méthodologie : Sparse Isotonic Shapley Regression (SISR)

L'auteur propose SISR, un cadre d'optimisation qui apprend simultanément une transformation monotone des gains et un vecteur d'attributions parcimonieux.

Modélisation Statistique :
Au lieu de supposer $\nu_A \sim \sum \beta_j$, le modèle postule l'existence d'une transformation monotone inconnue $T(\cdot)$ telle que :
$$T(\nu_A) \sim \mathcal{N}\left(\sum_{j \in A} T(\beta_j), \sigma_A^2\right)$$
Cela définit un cadre « T-additif ». L'objectif est de minimiser l'erreur quadratique pondérée entre les valeurs transformées et la somme des contributions transformées, tout en respectant trois contraintes clés :

1. Monotonie : $T$ doit être une fonction strictement croissante (pour préserver l'ordre relatif des importances).
2. Parcimonie ($\ell_0$) : Le vecteur des coefficients transformés $\gamma = T(\beta)$ doit avoir un nombre limité de composantes non nulles ($\|\gamma\|_0 \le s$).
3. Normalisation : Une contrainte de norme unitaire ($\|\gamma\|_2 = 1$) est imposée pour éviter les solutions triviales et assurer l'identifiabilité.

Algorithme d'Optimisation :
Le problème est résolu via un algorithme itératif de type « alternating optimization » (optimisation alternée) avec des garanties de convergence globale :

• Étape 1 (Estimation de $T$) : Pour un $\gamma$ fixe, l'estimation de $T$ revient à une régression isotonique pondérée (Isotonic Regression). Elle est résolue efficacement par l'algorithme PAVA (Pool-Adjacent-Violators Algorithm).
• Étape 2 (Estimation de $\gamma$) : Pour une transformation $T$ fixe, la mise à jour de $\gamma$ sous contraintes de parcimonie $\ell_0$ et de norme unitaire est résolue par un seuillage dur normalisé (Normalized Hard-Thresholding). Cela permet de sélectionner les $s$ caractéristiques les plus importantes sans biais de rétrécissement (shrinkage), contrairement aux pénalités $\ell_1$.

3. Contributions Clés

• Découverte Théorique : C'est la première démonstration que la simple présence de caractéristiques irrelatives ou de dépendances inter-caractéristiques peut induire une transformation de gain qui s'écarte substantiellement de la linéarité, même avec des constructions de gains standards (comme le $R^2$).
• Cadre Unifié SISR : Premier cadre à traiter conjointement la non-additivité des gains et la parcimonie des attributions, évitant ainsi les méthodes en plusieurs étapes (calcul dense + seuillage).
• Apprentissage de l'Additivité : Le modèle apprend la transformation $T$ directement à partir des données sans forme analytique prédéfinie, permettant de « rétablir » une structure additive principale dans un domaine transformé.
• Efficacité Algorithmique : L'algorithme propose des mises à jour en forme fermée (closed-form) et garantit une convergence globale, rendant la méthode scalable pour les grands espaces de caractéristiques.

4. Résultats Expérimentaux

Les expériences couvrent la régression, la régression logistique et les ensembles d'arbres (Random Forest, XGBoost, CatBoost) sur divers jeux de données (Prostate, Boston Housing, Crédit Bancaire, Diabète).

• Restauration de la Transformation : SISR parvient à retrouver avec précision la transformation sous-jacente (ex: racine carrée, logarithme, exponentielle) dans des simulations bruitées, validant la capacité du modèle à adapter le domaine.
• Récupération de la Parcimonie : Même en présence de bruit élevé et de corrélations, SISR identifie correctement le support des caractéristiques pertinentes (taux de récupération du support élevé), là où les méthodes $\ell_1$ échouent souvent.
• Stabilité des Attributions :
  • Dans le jeu de données Prostate, la méthode standard attribue une importance significative à une variable non pertinente (svi), tandis que SISR la filtre correctement, s'alignant sur les diagnostics statistiques classiques (AIC, BIC, LASSO).
  • Dans le jeu de données Boston Housing, les valeurs de Shapley standards changent radicalement (signes et rangs) selon que la fonction de perte est une MSE ou une perte robuste. SISR reste stable et produit des attributions cohérentes dans les deux cas.
  • Dans le jeu de données Crédit Bancaire, SISR élimine les attributions négatives spurious (fausses) observées avec les méthodes classiques sous des fonctions de perte à risque.

5. Signification et Impact

Ce travail marque une avancée significative pour l'IA explicable (XAI) en dépassant la limitation fondamentale de l'additivité linéaire.

• Interprétabilité Robuste : SISR ne rejette pas l'interprétabilité additive, mais la restaure en apprenant la transformation appropriée. Cela permet d'obtenir des explications simples et intuitives même pour des modèles complexes et des fonctions de perte non gaussiennes.
• Fiabilité : En corrigeant les distorsions induites par les dépendances de caractéristiques et les échelles de perte non linéaires, SISR fournit des attributions de confiance qui résistent aux changements de définition du « gain » (payoff).
• Efficacité Computationnelle : L'intégration native de la parcimonie réduit la complexité computationnelle dans les grands espaces de caractéristiques, rendant l'explication globale plus rapide et plus précise.

En résumé, SISR propose une méthodologie théoriquement fondée et pratique pour l'attribution de caractéristiques non linéaire, comblant le fossé entre les modèles de jeu coopératif théoriques et la réalité complexe des données du monde réel.