Résumé Technique : La Limite de Représentation des Interactions Scalaires

1. Énoncé du Problème

Le papier traite d'une limitation fondamentale de l'IA explicable (XAI) concernant la quantification de la coopération des caractéristiques dans les réseaux de neurones profonds. Les paradigmes actuels reposent sur des scores d'interaction par paires signés (ex: Indice d'Interaction de Shapley, Faith-SHAP) pour expliquer les dépendances entre caractéristiques. Ces méthodes attribuent une valeur scalaire unique à une paire de caractéristiques, interprétant les valeurs positives comme de la synergie et les valeurs négatives comme de la redondance.

Les auteurs soutiennent que cette approche scalaire est fondamentalement erronée car elle confond trois mécanismes de coopération distincts :

1. Unicité (U) : La valeur prédictive qu'une caractéristique fournit et qu'aucune autre ne peut fournir.
2. Redondance (R) : La valeur prédictive partagée entre plusieurs caractéristiques.
3. Synergie (S) : La valeur prédictive qui émerge uniquement lorsque les caractéristiques sont combinées, dépassant la somme de leurs contributions individuelles.

Le problème central est qu'un scalaire unique ne peut pas encoder simultanément ces trois dimensions orthogonales. Le papier prouve que sur des modèles de causalité structurelle (SCM) d'ordre supérieur minimaux, spécifiquement un XOR à 3 voies, les indices fidèles (faithful) renvoient zéro (effaçant le signal), tandis que les indices projectifs redistribuent le signal d'ordre supérieur en des coefficients d'ordre inférieur spécieux, échouant à distinguer le mécanisme sous-jacent.

2. Méthodologie : Stochastic Hi-Fi

Pour résoudre ce goulot d'étranglement de représentation, les auteurs introduisent Stochastic Hi-Fi, un estimateur post-hoc, sans réentraînement, qui décompose l'importance des caractéristiques en profils U/R/S par caractéristique.

Changement Opérationnel Central

Contra-rent à l'approche de réentraînement de modèles sur des sous-ensembles de caractéristiques (qui répond à ce qu'un modèle pourrait apprendre) ou aux décompositions de variance observationnelle (qui ne peuvent pas lever l'ambiguïté entre synergie et redondance sans intervention), Stochastic Hi-Fi utilise l'inférence masquée interventionnelle.

• Perte Interventionnelle : Pour une coalition de caractéristiques $S$, la méthode calcule l'espérance de la perte $L(S)$ en masquant les caractéristiques de $S$ et en les remplaçant par des échantillons provenant d'une distribution de fond $p_{bg}$ (la marge des caractéristiques inactives). Cela audite ce que le modèle déployé utilise réellement.
• Décomposition LOCO : La méthode définit le gain LOCO (Leave-One-Covariate-Out) pour une caractéristique $i$ dans un contexte $C$ comme la réduction de la perte lorsque $i$ est ajoutée à $C$.
  • Unicité ($U_i$) : Le gain LOCO minimum à travers tous les contextes (valeur prédictive dans le contexte le moins favorable).
  • Effet de premier ordre ($\pi_i$) : Le gain LOCO dans un contexte vide.
  • Capacité Prédictive Maximale ($L^{\max}_i$) : Le gain LOCO maximum à travers tous les contextes.
  • Redondance ($R_i$) et Synergie ($S_i$) : Dérivées algébriquement comme $R_i = \pi_i - U_i$ et $S_i = L^{\max}_i - \pi_i$.

Stratégie d'Estimation

L'évaluation de toutes les $2^n$ coalitions est intraitable. Stochastic Hi-Fi emploie une approche de vocabulaire stochastique :

1. Vocabulaire de Coalitions : Il maintient une table des coalitions visitées, estimant leur perte moyenne et leur variance en ligne à l'aide de l'algorithme de Welford.
2. Politique d'Exploration : Une stratégie $\epsilon$-greedy avec un terme softmin donne la priorité aux coalitions sous-échantillonnées tout en garantissant que chaque coalition a une probabilité non nulle d'être échantillonnée (condition de masse positive).
3. Échantillonnage en Diamant (Diamond Sampling) : Pour réduire la variance dans l'estimation des interactions par paires (la différence mixte $\Delta_{ij}$), la méthode évalue quatre coalitions structurellement adjacentes ($C, C\cup\{i\}, C\cup\{j\}, C\cup\{i,j\}$) en utilisant le même lot de fond. Ce couplage en "diamant" exploite la covariance positive entre les coalitions adjacentes pour annuler le bruit, à condition qu'une condition de covariance de dominance d'adjacence soit respectée.

3. Contributions Clés

1. Le Théorème de la Conflation (Théorique)

Les auteurs démontrent le Théorème 1, montrant que sur un SCM XOR à 3 voies minimal, aucun indice scalaire ne peut représenter conjointement U, R et S.

• Indices Fidèles (ex: Shapley-Taylor) renvoient exactement zéro pour toutes les paires, effaçant le signal d'ordre supérieur.
• Indices Projectifs (ex: SII standard) redistribuent l'effet de triplet en des coefficients de paires spécieux de magnitude $\pm 1/4$.
• Conclusion : L'échec est de nature représentationnelle, et non computationnelle. L'espace de sortie doit passer d'un scalaire à un vecteur (U, R, S).

2. Estimateur Stochastic Hi-Fi (Méthodologique)

Le papier introduit un estimateur sans réentraînement avec des garanties statistiques rigoureuses :

• Sémantique Interventionnelle : Il audite les modèles déployés via l'inférence masquée plutôt que par réentraînement.
• Bornes d'Échantillon Fini : Il fournit des bornes de concentration de type Hoeffding pour l'approximation de Monte Carlo des pertes de coalition.
• Réduction de la Variance : Il prouve que l'échantillonnage "diamant" réduit strictement la variance par rapport à l'échantillonnage indépendant sous certaines conditions de covariance (Théorème 3).
• Convergence : Il établit des garanties de convergence uniforme pour le profil U/R/S sur un vocabulaire fini.

3. Validation Empirique

La méthode est validée à travers trois domaines distincts :

• SCM Tabulaires : Stochastic Hi-Fi récupère la structure réelle U/R/S des modèles XOR et AND-OR, là où les baselines scalaires échouent à distinguer les mécanismes (ratios de récupération jusqu'à 411$\times$ plus grands que les baselines).
• Circuits de Transformers (GPT-2) : Appliquée au circuit d'Identification de l'Objet Indirect (IOI), elle sépare les têtes de secours redondantes des paires de têtes synergiques. Elle identifie des têtes qui sont invisibles au patching d'activation de premier ordre (faible effet singleton) mais qui portent une synergie de niveau paire substantielle.
• Imagerie Médicale (ChestX-ray14) : Sur un modèle DenseNet121, la méthode égale GradCAM sur le Pointing Game (localisation) mais surpasse significativement ce dernier sur l'AUC de Suppression (Deletion AUC) (fidélité causale), démontant que les profils U/R/S sur grille grossière préservent mieux la fidélité causale que les cartes de saillance standard.

4. Résultats et Revendications

Métriques de Performance

• SCM : Sur le XOR à 3 voies, les baselines scalaires confondent les rôles distincts avec des ratios allant jusqu'à 411$\times$. Stochastic Hi-Fi récupère le profil dominant en synergie pour les caractéristiques actives et sépare la caractéristique spectatrice.
• GPT-2 IOI : La décomposition révèle que les paires au sein d'un même rôle (ex: têtes d'Inhibition-S) sont dominées par la redondance, tandis que les paires entre rôles (ex: Induction + Inhibition-S) sont dominées par la synergie. Elle identifie avec succès des têtes ayant une unicité négative (indiquant un comportement de secours) et une haute synergie malgré des scores de premier ordre faibles.
• ChestX-ray14 :
  • Localisation : La précision du Pointing Game est statistiquement indiscernable de GradCAM ($p=0.140$). L'IoU@15 montre un léger déficit significatif, attribué à la grille grossière de $14\times14$.
  • Fidélité Causale : L'AUC de Suppression s'améliore considérablement de 0.332 (GradCAM) à 0.269 ($p=1.61 \times 10^{-78}$), indiquant une performance supérieure pour identifier les caractéristiques dont la suppression dégrade les performances du modèle.

Signification et Portée

Le papier affirme que l'interaction par paires signée est une projection utile mais n'est pas une explication complète de la coopération.

• Désenchevêtrement des Mécanismes : La contribution primaire est de passer l'espace de codage de sortie d'un scalaire à un profil désenchevêtré de mécanismes (U, R, S), permettant aux chercheurs de distinguer les contributions uniques, redondantes et synergiques.
• Fidélité du Modèle : En évitant le réentraînement, la méthode audite le modèle spécifique déployé plutôt qu'un modèle hypothétique réentraîné.
• Limitations : Les auteurs notent explicitement que les estimations d'unicité ($U_i$) sont des bornes supérieures conservatrices lorsque le vocabulaire n'est pas exhaustif. En imagerie, les grilles grossières sacrifient la résolution spatiale au profit de la fidélité causale. La méthode dépend du choix de la distribution de fond $p_{bg}$, qui définit l'estimand et nécessite un rapport de sensibilité explicite.

Le papier conclut que les explications d'interaction devraient rapporter des mécanismes, et non seulement des signes, et que Stochastic Hi-Fi fournit un cadre post-hoc traitable pour ce faire avec une sémantique interventionnelle stricte.