Towards Attributions of Input Variables in a Coalition

Each language version is independently generated for its own context, not a direct translation.

🎭 Le Titre : "Qui est vraiment responsable ?" (ou comment éviter les malentendus dans l'IA)

Imaginez que vous avez une équipe d'IA très intelligente qui prend des décisions (comme reconnaître un chat sur une photo ou comprendre une phrase). Souvent, on veut savoir qui dans l'équipe a le plus contribué à cette décision. C'est ce qu'on appelle l'attribution.

Mais il y a un gros problème : comment on regroupe les membres de l'équipe ?

1. Le Problème : Le Dilemme du "Groupe" vs "L'Individu"

Imaginons une phrase : "Il pleuvait des cordes" (l'expression anglaise raining cats and dogs).

Approche 1 (Individuelle) : On regarde chaque mot séparément : "Il", "pleuvait", "des", "cordes". Chacun a un petit score d'importance.
Approche 2 (Groupe/Coalition) : On dit : "Attends, 'pleuvait des cordes' est une seule idée ! Regardons ce groupe de mots ensemble."

Le problème, c'est que si on additionne les scores des mots individuels, on n'obtient pas le même score que celui du groupe entier. C'est comme si vous calculiez le salaire de trois employés séparément, et que la somme ne correspondait pas au salaire de l'équipe quand ils travaillent ensemble. C'est ce que les auteurs appellent un conflit d'attribution.

L'analogie du gâteau :
Si vous mangez une part de gâteau, vous avez faim. Si vous mangez trois parts, vous êtes plein. Mais si vous additionnez la "faim" de trois parts séparées, cela ne correspond pas à la sensation de manger le gâteau entier d'un coup. L'IA a du mal à expliquer pourquoi le tout est différent de la somme des parties.

2. La Solution Magique : Les Interactions "ET" et "OU"

Les chercheurs ont découvert que les IA ne fonctionnent pas comme des machines à calculer simples. Elles fonctionnent avec des interactions complexes, qu'ils appellent des interactions ET et OU.

L'interaction "ET" (AND) : C'est comme une recette de cuisine. Pour que le gâteau soit bon, il faut ET de la farine ET des œufs ET du sucre. Si vous enlevez un ingrédient, le gâteau est raté. Tous les ingrédients doivent être présents ensemble pour créer l'effet.
L'interaction "OU" (OR) : C'est comme un système d'alarme. Si vous appuyez OU sur le bouton rouge OU sur le bouton bleu, l'alarme se déclenche. Il suffit d'un seul élément pour faire l'effet.

La découverte clé :
Le "conflit" (le fait que le groupe ne soit pas égal à la somme des individus) vient du fait que l'IA utilise des interactions "ET" et "OU" qui mélangent les ingrédients de manière subtile. Parfois, un groupe de mots fonctionne bien ensemble (interaction "ET"), mais si on les regarde séparément, on perd cette magie.

3. La Nouvelle Règle du Jeu : La "Fidélité" du Groupe

Au lieu de forcer l'IA à faire des maths compliquées pour que le groupe égale la somme des individus (ce qui est souvent impossible), les auteurs proposent une nouvelle façon de voir les choses :

Décomposer la magie : Ils séparent l'importance d'un groupe en deux parties :
- La partie où le groupe fonctionne vraiment comme une unité (c'est la "fidélité").
- La partie où le groupe est perturbé par des interactions avec d'autres éléments extérieurs (c'est le "conflit").
Mesurer la confiance : Ils créent trois nouveaux outils (des métriques) pour dire : "Est-ce que ce groupe de mots (ou de pixels) a vraiment du sens pour l'IA, ou est-ce qu'on a juste collé des choses ensemble au hasard ?"

L'analogie du détective :
Imaginez que vous enquêtez sur un crime.

Méthode ancienne : On demande à chaque suspect son alibi, on additionne les heures, et on espère que ça colle.

Méthode nouvelle : On regarde les liens entre les suspects. Est-ce qu'ils ont agi ensemble (interaction "ET") ? Ou est-ce qu'ils ont agi séparément mais au même moment (interaction "OU") ?

Si les liens sont forts, le groupe est "fidèle" (c'est une vraie équipe). Si les liens sont faibles, le groupe est "infidèle" (c'est juste un hasard).

4. Les Résultats : Ça marche partout !

Les chercheurs ont testé leur méthode sur plusieurs terrains :

Langage : Pour comprendre si des phrases comme "mesmerizing performances" (performances envoûtantes) sont bien comprises comme un seul bloc de sens positif.
Images : Pour voir si l'IA reconnaît un "nez" ou une "oreille" comme un objet unique, et non juste un tas de pixels.
Le jeu de Go : C'est l'exemple le plus cool ! Ils ont utilisé leur méthode pour expliquer comment une IA de Go (KataGo) voit les stratégies. Ils ont découvert que l'IA reconnaissait des formes de pierres (des coalitions) qui correspondent à la façon dont les humains jouent, mais aussi des formes nouvelles que les humains n'avaient jamais vues !

En résumé

Ce papier nous dit : "Arrêtez de forcer l'IA à être logique comme un humain qui additionne des nombres. Acceptez que l'IA fonctionne par associations d'idées (interactions)."

Ils ont créé une nouvelle boussole pour savoir si un groupe de données (un mot, un pixel, une pierre de Go) a vraiment du sens pour l'IA. Cela permet de mieux comprendre les IA, de les rendre plus transparentes, et même d'apprendre aux humains de nouvelles stratégies dans des jeux complexes !

C'est un peu comme passer d'une liste de courses (liste de mots) à une recette de cuisine (groupe de mots qui ont du sens ensemble).

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

L'article aborde un défi fondamental dans le domaine de l'IA explicable (XAI) : la partition des variables d'entrée pour les méthodes d'attribution, en particulier celles basées sur la valeur de Shapley.

Le conflit d'attribution : Les méthodes existantes calculent l'importance des variables (ou de groupes de variables, appelés « coalitions ») en fonction d'une partition prédéfinie. Cependant, il n'existe pas de théorie guidant la formation de partitions significatives. Le problème central est le conflit d'attribution : l'attribution d'une coalition $S$ $S$ (un groupe de variables traitées comme une unité) n'est pas nécessairement égale à la somme des attributions de ses variables individuelles.
- Formellement : $\phi(S) \neq \sum_{i \in S} \phi(i)$ .
Limites des approches actuelles : Les méthodes précédentes tentent souvent de résoudre ce conflit de manière « ingénierie » (par exemple, en ajoutant une fonction de perte pour forcer la cohérence), sans fournir d'explication théorique sur la cause profonde de cette divergence.

2. Méthodologie

Les auteurs proposent une approche théorique fondée sur la décomposition des effets numériques des modèles d'IA via les interactions AND-OR.

A. Fondements Théoriques : Interactions AND-OR

L'article repose sur le concept que la sortie d'un modèle d'IA peut être expliquée par des effets numériques d'interactions logiques :

Interaction AND ( $I_{and}$ ) : Nécessite la présence de toutes les variables d'un sous-ensemble pour activer un effet.
Interaction OR ( $I_{or}$ ) : Nécessite la présence d'au moins une variable d'un sous-ensemble pour activer un effet.
Les valeurs de Shapley et de Banzhaf sont reformulées comme une répartition spécifique de ces effets d'interactions entre les variables.

B. Reformulation de l'Attribution de Coalition

Les auteurs définissent une nouvelle métrique d'attribution pour une coalition $S$ , notée $\phi(S)$ , en étendant la valeur de Shapley :
$\phi(S) = \sum_{T \supseteq S} \frac{|S|}{|T|} [I_{and}(T) + I_{or}(T)]$
Cette formule attribue à la coalition $S$ la part proportionnelle des interactions $T$ qui contiennent toutes les variables de $S$ .

C. Identification de la Cause du Conflit

Le cœur de la découverte théorique réside dans la décomposition de la somme des attributions individuelles par rapport à l'attribution de la coalition. Les auteurs prouvent que :
$\sum_{i \in S} \phi(i) = \phi(S) + \phi_{conflict}(S)$
Où le terme de conflit $\phi_{conflict}(S)$ provient des interactions $T$ qui contiennent une partie mais pas la totalité des variables de la coalition $S$ (c'est-à-dire $T \cap S \neq \emptyset$ et $T \cap S \neq S$ ).

Conclusion clé : Le conflit n'est pas une erreur, mais une conséquence mathématique inévitable lorsque le modèle encode des interactions qui chevauchent partiellement la coalition définie par l'utilisateur.

D. Métriques de Fidélité (Faithfulness)

Pour évaluer si une coalition donnée est « fidèle » (c'est-à-dire si elle correspond à une unité sémantique réelle dans le modèle), trois métriques sont proposées :

$R(i)$ : Mesure si l'effet de la coalition domine l'attribution d'une variable individuelle $i$ .
$R'(i)$ : Évalue la signification de la participation de $i$ à la coalition par rapport à ses autres interactions.
$Q(S)$ : Mesure la force globale de la coalition $S$ par rapport à toutes les interactions impliquant ses variables.

3. Contributions Clés

Mécanisme interne du conflit : Clarification théorique démontrant que le conflit entre attributions individuelles et coalitions provient des interactions partielles (AND-OR) non entièrement contenues dans la coalition.
Nouvelle métrique d'attribution : Définition d'une attribution de coalition $\phi(S)$ basée sur la réallocation des interactions, offrant une explication mathématique claire du conflit.
Cadre d'évaluation : Proposition de trois métriques ( $R, R', Q$ ) pour quantifier la fidélité d'une coalition, permettant de distinguer les coalitions « pures » (fidèles) des coalitions « non fidèles ».
Validation empirique : Application réussie sur des données synthétiques, des tâches NLP, de classification d'images et le jeu de Go.

4. Résultats Expérimentaux

Les expériences valident la théorie et l'utilité pratique des métriques proposées :

Données Synthétiques : Sur des fonctions jouets avec des interactions connues, les métriques identifient correctement les coalitions « purement fidèles » (valeurs proches de 1) et les coalitions « purement non fidèles » (valeurs proches de 0).
Traitement du Langage Naturel (NLP) : Sur des modèles BERT et LLaMA pour l'analyse de sentiments, les métriques détectent que des phrases cohérentes (ex: "mesmerizing performances") forment des coalitions fidèles, tandis que des groupes de mots sémantiquement incohérents (ex: "rivaling blair" coupant "blair witch") sont identifiés comme non fidèles.
Classification d'Images : Sur MNIST et CIFAR-10, les coalitions correspondant à des concepts visuels humains (ex: la tête d'un cheval) obtiennent des scores de fidélité élevés, contrairement à des regroupements aléatoires de pixels.
Jeu de Go (Application pratique) : L'approche a été appliquée au moteur de Go KataGo. Elle permet d'identifier des motifs de forme (coalitions de pierres) qui influencent le score d'avantage.
- Les motifs identifiés par l'algorithme correspondent souvent à l'intuition des joueurs experts (ex: motifs de « shoulder-hit »).
- L'approche révèle également des motifs appris par le réseau qui dépassent la connaissance humaine traditionnelle, aidant les experts à découvrir de nouvelles interprétations de stratégies.

5. Signification et Impact

Cet article apporte une avancée majeure en passant d'une approche empirique à une approche théorique pour comprendre les attributions dans les modèles d'IA.

Théorique : Il résout le paradoxe de la partition des variables en prouvant que le conflit d'attribution est une propriété inhérente aux interactions non linéaires des modèles, et non un défaut de l'algorithme.
Pratique : Les métriques de fidélité proposées offrent aux chercheurs et aux praticiens un outil pour valider si leurs regroupements de variables (pixels, mots, pierres) ont un sens sémantique réel pour le modèle.
Interprétabilité : En reliant les attributions aux interactions AND-OR, la méthode offre une explication plus fine et plus « déliée » (disentangled) du fonctionnement interne des réseaux de neurones profonds, facilitant la collaboration entre l'IA et l'expertise humaine (comme démontré dans le jeu de Go).

En résumé, ce travail fournit les fondements mathématiques nécessaires pour construire des explications d'IA plus fiables et cohérentes, en guidant la sélection de coalitions de variables qui reflètent véritablement la logique du modèle.