Explaining a probabilistic prediction on the simplex with Shapley compositions

Résumé Technique : Explication d'une Prédiction Probabiliste sur le Simplexe avec des Compositions de Shapley

Énoncé du Problème
Les modèles d'apprentissage automatique, particulièrement ceux effectuant une classification multiclasse, produisent souvent des distributions de probabilité discrètes plutôt que des valeurs scalaires. Ces sorties résident sur un simplexe multidimensionnel. Bien que les valeurs de Shapley soient un outil standard pour expliquer les prédictions scalaires en quantifiant les contributions des caractéristiques, leur application directe aux contextes multiclasses est problématique. Les approches actuelles consistent généralement à calculer des valeurs de Shapley séparément pour chaque classe (un-contre-tous ou un-contre-un). Cette méthode ignore la nature compositionnelle de la sortie et ne respecte pas la structure géométrique du simplexe de probabilité. De plus, le calcul de valeurs distinctes pour chaque classe peut conduire à des explications incohérentes où le chemin cumulatif de la prédiction de base à la prédiction finale sort de l'espace du simplexe.

Méthodologie
Les auteurs proposent les compositions de Shapley, un cadre qui étend les valeurs de Shapley à l'espace des distributions de probabilité discrètes en utilisant la géométrie d'Aitchison issue de l'analyse de données compositionnelles.

1. Géométrie d'Aitchison : Le document traite le simplexe de probabilité ($S_D$) non pas comme un espace euclidien standard, mais comme un espace doté d'opérations spécifiques :

   • Perturbation ($\oplus$) : Agit comme une addition entre des compositions.
   • Puissance ($\odot$) : Agit comme une multiplication scalaire.
   • Produit interne : Défini via les rapports de log des parties.
   • Transformation par rapport logarithmique isométrique (ILR) : Projette le simplexe vers un espace euclidien de dimension $(D-1)$ ($\mathbb{R}^{D-1}$), préservant la métrique et permettant aux opérations vectorielles standards (addition, soustraction) de représenter des perturbations et des puissances.

2. Définition de la Composition de Shapley :

   • La fonction caractéristique est redéfinie pour mapper des sous-ensembles de caractéristiques vers le simplexe en utilisant la soustraction d'Aitchison ($\ominus$), représentant le changement de la prédiction attendue lorsque les caractéristiques sont observées.
   • La composition de Shapley pour une caractéristique est définie comme la moyenne de ces perturbations sur tous les coalitions possibles, calculée en utilisant les opérations d'Aitchison (perturbation et puissance) plutôt que la sommation et la mise à l'échelle standard.
   • Mathématiquement, la composition de Shapley $\phi_i$ est la quantité unique satisfaisant la Linéarité, la Symétrie et l'Efficience sur le simplexe d'Aitchison.
   • L'Efficience dans ce contexte garantit que la perturbation de la distribution de base (prédiction attendue) par la somme de toutes les compositions de Shapley est égale à la distribution prédite finale : $\bigoplus_{i=1}^d \phi_i = f(x) \ominus E_A[f(X)]$.

3. Visualisation et Analyse :

   • Espace ILR : Les compositions de Shapley sont visualisées comme des vecteurs dans l'espace ILR de dimension $(D-1)$. Cela permet d'analyser les angles (orthogonalité/redondance), les normes (force de la contribution) et les projections sur les compositions de classes (direction d'influence).
   • Visualisations Alternatives : Pour les dimensions plus élevées, le document suggère de visualiser les compositions sous forme d'histogrammes (montrant le décalage de la distribution par caractéristique) ou d'utiliser des coordonnées parallèles pour suivre la perturbation successive de la distribution de probabilité de la base vers la prédiction.

Contributions Clés

• Définition Formelle : Le document définit les compositions de Shapley comme une extension principled et multidimensionnelle des valeurs de Shapley au simplexe de probabilité.
• Preuve Axiomatique : Les auteurs prouvent que la composition de Shapley est la quantité unique satisfaisant la linéarité, la symétrie et l'efficience sur le simplexe d'Aitchison, étendant ainsi le fondement théorique des valeurs de Shapley aux contextes multiclasses.
• Cadre Géométrique : Ce travail établit une interprétation géométrique cohérente où les contributions des caractéristiques sont des perturbations additives sur le simplexe, évitant l'incohérence des approches un-contre-tous qui peuvent sortir de l'espace de probabilité.
• Outils de Visualisation : Le document introduit des techniques de visualisation spécifiques (graphiques ILR, histogrammes, coordonnées parallèles) adaptées à l'interprétation de ces contributions multidimensionnelles.

Résultats et Démonstrations
Le document fournit des démonstrations de preuve de concept plutôt que des benchmarks empiriques à grande échelle :

• Jeu de données Iris (3 Classes) : Visualisé dans un espace ILR en 2D, montrant comment des caractéristiques comme la longueur et la largeur des pétales perturbent la distribution de base vers la région "versicolor". L'analyse souligne comment les compositions de Shapley capturent l'échange entre les classes (par exemple, une caractéristique augmentant la probabilité d'une classe diminue nécessairement les autres) de manière plus cohérente que les valeurs SHAP séparées.
• Reconnaissance de Chiffres (4 et 10 Classes) :
  • Une tâche à 4 classes (chiffres 0–3) est visualisée dans un espace ILR en 3D, illustrant la structure tétraédrique du simplexe.
  • Une tâche à 10 classes démontre l'utilisation de bilans (rapports de log de groupes de classes) pour interpréter des composantes IL de spécifiquement. Cela permet aux utilisateurs de se concentrer sur des sous-espaces comparant des groupes spécifiques de classes (par exemple, impairs vs pairs, ou paires de chiffres spécifiques) sans visualiser l'espace complet de haute dimension.
• Estimation : Les auteurs adaptent des algorithmes d'échantillonnage existants (issus de la boîte à outils SHAP) pour estimer les compositions de Shapley, notant que des ajustements sont nécessaires pour garantir que la propriété d'efficience soit respectée pour les approximations.

Signification et Revendications
Le document affirme être le premier à proposer une extension formelle du cadre de la valeur de Shapley au simplexe multidimensionnel pour expliquer les prédictions probabilistes multiclasses.

• Fondation Théorique : La contribution principale est théorique et méthodologique, fournissant une manière "bien fondée" de gérer la nature compositionnelle des sorties multiclasses.
• Cohérence : Il résout le problème des explications un-contre-tous en garantissant que le chemin d'explication reste à l'intérieur du simplexe de probabilité et traite la distribution comme une entité unique.
• Travaux Futurs : Les auteurs notent modestement que leurs résultats expérimentaux sont limités à des exemples illustratifs. Ils identifient la complexité computationnelle (scalabilité avec le nombre de caractéristiques) et l'hypothèse d'indépendance des caractéristiques comme des limitations actuelles, laissant le développement d'algorithmes d'estimation pour les caractéristiques dépendantes et les applications à grande échelle aux recherches futures.