Résumé Technique : L'Impossibilité de l'Attribution

1. Énoncé du Problème

L'article aborde une limitation fondamentale de l'IA explicable (XAI) : la fiabilité des classements d'importance des caractéristiques lorsque celles-ci sont colinéaires. Bien que des méthodes comme SHAP (SHapley Additive exPlanations) soient largement utilisées pour expliquer les prédictions des modèles, les auteurs démontrent que, pour des caractéristiques colinéaires, le classement d'importance n'est pas une propriété stable de la relation modèle-données, mais un artefact stochastique du processus d'entraînement.

Plus précisément, l'article examine si un classement de caractéristiques peut simultanément satisfaire trois desiderata :

1. Fidèle : Le classement reflète les attributions spécifiques apprises par une instance individuelle de modèle.
2. Stable : Le classement est reproductible à travers différentes exécutions d'entraînement (par exemple, différentes graines aléatoires) du même architecture de modèle sur les mêmes données.
3. Complet : Le classement fournit un ordre strict pour chaque paire de caractéristiques (pas d'égalités).

La thèse centrale est que, dans des conditions de colinéarité des caractéristiques (corrélation $\rho > 0$), il est mathématiquement impossible de satisfaire simultanément ces trois conditions.

2. Méthodologie et Cadre Théorique

La Propriété Rashomon et le Théorème d'Impossibilité

La contribution théorique centrale est le Théorème d'Impossibilité de l'Attribution (Théorème 5). La preuve repose sur la Propriété Rashomon, qui postule que pour des caractéristiques colinéaires, il existe plusieurs modèles quasi-optimaux (l'ensemble Rashomon) qui classent des caractéristiques symétriques dans des ordres opposés.

• Logique de la preuve : Si un classement est complet, il doit choisir un ordre (par exemple, $j \succ k$). S'il est stable, cet ordre doit valoir pour tous les modèles. Cependant, la propriété Rashomon garantit l'existence d'un modèle où $k \succ j$. Ainsi, le classement ne peut être à la fois fidèle à ce modèle spécifique et stable à travers l'ensemble.
• Bornes quantitatives : L'article dérive des bornes quantitatives sur la sévérité de cette instabilité pour différentes classes de modèles :
  • Gradient Boosting (GBDT) : Le ratio d'attribution (dominance de la caractéristique « première à agir ») diverge comme $1/(1-\rho^2)$ (ou $1/(1-\alpha\rho^2)$ avec des corrections de profondeur).
  • Lasso : Le ratio est infini ($\infty$) pour tout $\rho > 0$ en raison de la sélection stricte.
  • Réseaux de neurones : L'instabilité est conditionnelle à l'initialisation et à la dynamique d'entraînement, mais suit des schémas de rupture de symétrie similaires.
  • Forêts aléatoires : Montre une violation bornée ($1 + O(1/\sqrt{T})$) due à l'entraînement indépendant des arbres, contrastant avec l'instabilité divergente du boosting séquentiel.

La Dichotomie Bayésienne Symétrique

Les auteurs généralisent ce résultat en utilisant la Dichotomie Bayésienne Symétrique (Théorème 37), un théorème à deux familles issu de la théorie de la décision invariante. Ils montrent que pour tout problème de décision symétrique (où la distribution des données est invariante sous les permutations de caractéristiques), l'ensemble des solutions réalisables s'effondre en exactement deux familles :

• Famille A (Modèle unique) : Fidèle et complet, mais instable (manque de fidélité $U = 1/2$ pour les paires symétriques).
• Famille B (Ensemble) : Stable et fidèle à la moyenne de la population, mais incomplet (rapporte des égalités pour les caractéristiques symétriques, $U=0$).
  Il n'existe pas de troisième option.

Résolution Constructive : DASH

Pour résoudre l'impossibilité, l'article propose DASH (Diversified Aggregation of SHAP). Il s'agit d'une méthode d'ensemble qui moyenne les valeurs SHAP sur $M$ modèles entraînés indépendamment.

• Mécanisme : En moyennant, DASH annule le biais aléatoire de « première à agir » inhérent aux modèles individuels, convergeant vers l'espérance de la population.
• Optimalité : DASH est prouvé Pareto-optimal parmi les agrégations non biaisées. Il atteint la borne de variance de Cramér–Rao ($\sigma^2/M$) pour la stabilité du classement.
• Compromis : DASH sacrifie la complétude intra-groupe (il rapporte des égalités pour les caractéristiques symétriques) pour gagner en stabilité et en fidélité inter-groupe.

Vérification Formelle

Une partie importante de la méthodologie implique une vérification mécanique utilisant Lean 4.

• Les auteurs ont formalisé l'ensemble du cadre théorique, y compris le théorème d'impossibilité, les bornes quantitatives et la preuve d'optimalité de DASH.
• La formalisation comprend 305 théorèmes vérifiés par typage répartis sur 54 fichiers avec 0 sorry (aucune hypothèse non prouvée).
• Le processus a impliqué 16 axiomes (14 spécifiques au domaine, 2 pour la complexité des requêtes). Notamment, le théorème d'impossibilité central nécessite zéro axiomes comportementaux, reposant uniquement sur la propriété Rashomon.
• Le processus de formalisation lui-même a identifié deux incohérences logiques et un mismatch de type dans le système d'axiomes informel original.

3. Résultats Clés et Validation Empirique

Résultats Empiriques

L'article valide la théorie sur 77 jeux de données publics et plusieurs implémentations de modèles (XGBoost, LightGBM, CatBoost, Réseaux de neurones).

• Prévalence : Dans une enquête portant sur 77 jeux de données, 68 % présentaient une instabilité d'attribution (taux d'inversion > 10 %) pour des paires de caractéristiques corrélées. Pour les jeux de données de haute dimension ($P \ge 20$), ce taux s'élève à 93 %.
• Taux d'inversion : Pour des paires hautement corrélées ($\rho \approx 0,9$) avec une importance similaire, le taux d'inversion approche le maximum théorique de 50 % (un lancer de pièce) à travers les graines de réentraînement.
• Efficacité de DASH : La moyenne d'ensemble avec $M \ge 25$ modèles réduit le taux d'inversion à moins de 1 %, résolvant efficacement l'instabilité.
• Diagnostics : L'article introduit un Test Z Multi-Modèle et un Filtre Mono-Modèle (basé sur les fréquences de division) pour détecter les paires instables. Le test Z montre une forte corrélation négative ($r \approx -0,89$) avec les taux d'inversion observés.

Comportements Spécifiques par Classe de Modèle

• GBDT : Montre une instabilité divergente. La caractéristique « première à agir » absorbe le signal, laissant un signal résiduel pour les autres, créant un grand écart d'attribution qui s'inverse selon la caractéristique sélectionnée en premier.
• Lasso : Présente une instabilité infinie car il sélectionne exactement une caractéristique parmi un groupe corrélé.
• Réseaux de neurones : Présentent une instabilité élevée (87 % des paires instables sur les données du cancer du sein), entraînée par l'ensemble Rashomon plus large et la variance de KernelSHAP.
• Forêts aléatoires : Présentent une instabilité significativement plus faible en raison de l'absence de partage résiduel séquentiel.

Extensions

• Attribution Conditionnelle : L'article prouve que le passage à SHAP conditionnel n'échappe pas à l'impossibilité si les effets causaux des caractéristiques sont égaux ($\beta_j = \beta_k$).
• Audits d'Équité : Les auteurs démontrent que les audits de discrimination par procuration basés sur SHAP d'un seul modèle sont prouvés non fiables sous colinéarité, car la conclusion (quelle caractéristique est la procuration) est un lancer de pièce.
• Identification Causale : L'instabilité reflète la difficulté de l'identification causale sous colinéarité, la complexité d'échantillonnage divergeant comme $1/(1-\rho)^2$.

4. Signification et Revendications

L'article revendique fournir le premier résultat d'impossibilité formellement vérifié en IA explicable. Sa signification est encadrée en trois dimensions :

1. Nécessité Mathématique : L'instabilité n'est pas un échec d'ingénierie (par exemple, mauvais hyperparamètres ou bugs) mais une inévitable mathématique découlant de la géométrie du paysage de perte et de l'ensemble Rashomon. L'article reformule le problème de « comment réparer SHAP » en « ce qui est réalisable compte tenu des contraintes ».
2. Caractérisation de l'Espace de Conception : En définissant l'Espace de Conception de l'Attribution, l'article établit que les praticiens doivent choisir entre stabilité et complétude. Il n'y a pas de « déjeuner gratuit » où un modèle unique fournit un classement stable, fidèle et complet.
3. Impact Réglementaire et Pratique :
   • Conformité à la Loi Européenne sur l'IA : L'article soutient que l'instabilité d'attribution constitue une « circonstance connue et prévisible » au sens de l'article 13(3)(b)(ii) de la Loi européenne sur l'IA. Les fournisseurs doivent divulguer cette instabilité plutôt que de présenter des classements arbitraires comme des faits.
   • Équité : Les audits d'équité mono-modèle sont jugés non fiables pour les caractéristiques corrélées, pouvant conduire à des faux positifs ou négatifs dans la détection de discrimination par procuration.
   • Boîte à Outils Actionnable : L'article fournit un flux de travail concret (Filtre $\to$ Test Z $\to$ DASH) et une formule pour la taille minimale de l'ensemble ($M_{min}$) requise pour atteindre un niveau de stabilité souhaité.

Les auteurs concluent que le domaine doit s'éloigner du « paradigme du modèle unique » pour les explications en présence de colinéarité et adopter des approches basées sur l'ensemble comme DASH pour fournir des explications honnêtes, stables et défendables.