Résumé Technique : Des Attributions à l'Infini ? Le Méta-Jeu de l'Interprétabilité

Énoncé du Problème

Les méthodes d'attribution sont fondamentales pour l'interprétabilité de l'apprentissage automatique, quantifiant comment des variables spécifiques (par exemple, des jetons d'entrée, des données d'entraînement) influencent le comportement du modèle. Bien que les méthodes du premier ordre (par exemple, les valeurs de Shapley, les gradients intégrés, l'attention) soient largement utilisées, elles se limitent à capturer l'influence de variables individuelles, omettant souvent des dynamiques d'ordre supérieur telles que les synergies et les antisynergies.

Les méthodes d'interaction existantes tentent de remédier à cela en mesurant les influences du second ordre (par exemple, les interactions de Shapley, les Hessiens intégrés). Cependant, ces approches font face à des limitations significatives :

1. Fuite d'Interaction : Les méthodes sérielles (appliquer une méthode d'attribution à sa propre sortie) échouent à séparer proprement les effets individuels purs des effets d'interaction, laissant fuir les termes d'interaction dans les composantes individuelles.
2. Directionnalité : Les indices d'interaction basés sur des ensembles (par exemple, les interactions de Shapley) traitent les interactions comme des sous-ensembles non dirigés $\{i, j\}$, échouant à capturer la hiérarchie directionnelle de la manière dont une caractéristique influence l'attribution d'une autre.
3. Contraintes Computations et Structurelles : Les méthodes reposant sur les Hessiens d'entrée nécessitent des modifications architecturales, engendrent des coûts computationnels prohibitifs pour de grandes entrées et s'annulent souvent dans les réseaux ReLU standards.
4. Complexité Combinatoire : Le nombre de termes d'interaction croît de manière combinatoire ($O(d^k)$), rendant les interactions d'ordre élevé difficiles à interpréter.

L'article demande si une méthode d'attribution du premier ordre arbitraire peut être généralisée à partir des premiers principes pour capturer les interactions d'ordre supérieur sans ces limitations.

Méthodologie : Le Cadre MÉTAGAME

Les auteurs introduisent MÉTAGAME, un cadre conceptuel qui traite la méthode d'attribution elle-même comme un jeu coopératif pour quantifier les effets d'interaction du second ordre.

Concept Central : Méta-Attributions

Pour toute attribution du premier ordre $\phi_i(f)$ expliquant un modèle $f$, le cadre définit une méta-attribution $\phi_{j \to i}(f)$, représentant l'influence directionnelle de la caractéristique $j$ sur l'attribution de la caractéristique $i$.

1. Construction du Méta-Jeu :

   • Au lieu d'évaluer directement le modèle $f$, le cadre évalue l'attribution du premier ordre $\phi_i$ comme la fonction de valeur d'un nouveau jeu coopératif.
   • Les "joueurs" dans ce jeu sont les caractéristiques d'entrée (ou les jetons).
   • La valeur d'une coalition $S$ dans le méta-jeu est définie comme l'attribution de la caractéristique $i$ lorsque les caractéristiques dans $S \cup \{i\}$ sont présentes et que les autres sont masquées (en utilisant une ligne de base).

2. Décomposition Directionnelle :

   • La méta-attribution $\phi_{j \to i}$ est calculée comme la valeur de Shapley de la caractéristique $j$ au sein de ce méta-jeu, mesurant strictement la contribution marginale de $j$ à $\phi_i$ étant donné que $i$ est fixe.
   • Efficacité Hiérarchique : Le cadre prouve que l'attribution du premier ordre originale est exactement la somme de son effet individuel pur et de ses interactions directionnelles :
     $$\phi_i(f, x) = \phi_{i \to i}(f, x) + \sum_{j \neq i} \phi_{j \to i}(f, x)$$
   • Cette décomposition isole les effets individuels purs (termes diagonaux) des effets d'interaction (termes hors diagonale), résolvant la fuite observée dans les méthodes sérielles.

3. Unification Théorique :

   • Les auteurs prouvent que les indices d'interaction basés sur des ensembles existants sont implicitement des décompositions hiérarchiques des attributions du premier ordre.
   • Plus précisément, les valeurs de Méta-Shapley sont montrées comme étant les variantes directionnelles de l'Indice d'Interaction Shapley-Taylor (STII), et les Gradients Intégrés Méta sont les variantes directionnelles de l'indice Somme des Puissances (SOP).
   • Contrairement aux méthodes basées sur des ensembles, les méta-attributions préservent la directionnalité (par exemple, $\phi_{j \to i} \neq \phi_{i \to j}$ pour les méthodes basées sur le gradient), révélant des influences asymétriques.

Implémentation Pratique

Le cadre est conçu comme un wrapper universel pour les méthodes d'attribution existantes (par exemple, AttnLRP, Grad-ECLIP, ConceptAttention).

• Efficacité : Pour les petits jeux ($d < 20$), les valeurs exactes de Shapley sont calculées. Pour les jeux plus grands, les auteurs recommandent des approximateurs de pointe (par exemple, l'échantillonnage Monte Carlo ou les estimateurs basés sur la régression de la bibliothèque shapiq).
• Transformateurs : La méthode est adaptée aux architectures modernes en agrégeant les attributions de jetons à travers les séquences générées (pour les LLM) ou en calculant les interactions intermodales entre les jetons de texte et les patches d'image (pour les encodeurs vision-langage).

Contributions Clés

1. Généralisation Principielle : Une méthode pour généraliser n'importe quelle attribution du premier ordre afin de quantifier les interactions du second ordre via la valeur de Shapley, appelée méta-attributions.
2. Décomposition Hiérarchique : Une perspective qui navigue dans la complexité combinatoire en décomposant les attributions en interactions directionnelles, prouvant que les indices existants comme les interactions de Shapley et les Hessiens intégrés effectuent implicitement cette décomposition.
3. Extension Directionnelle : L'introduction du MÉTAGAME et des méta-attributions comme un nouvel indice d'interaction directionnel, prouvé être une extension directionnelle des indices d'interaction basés sur des ensembles existants (STII et SOP).
4. Validation Empirique : Démonstration de l'utilité du cadre à travers trois domaines distincts de l'IA :
   • Quantification des interactions de jetons dans les grands modèles de langage (LLM) ajustés par instruction.
   • Explication de la similarité intermodale dans les encodeurs vision-langage.
   • Interprétation des concepts texte-vers-image dans les transformateurs de diffusion multimodaux.

Résultats Expérimentaux

L'article valide MÉTAGAME à travers trois scénarios d'application :

1. Modèles de Langage (Gemma 3) :

   • En utilisant Méta-AttnLRP, le cadre identifie des interactions directionnelles de jetons (par exemple, comment "miel" influence l'attribution de "beurre" dans un contexte végétalien) que les méthodes du premier ordre manquent.
   • Il détecte que les modèles prêtent plus d'attention à "pulmonaire" lorsque "embolie" est présente, tandis que le retrait de "pulmonaire" augmente l'importance de "embolie".
   • L'évaluation quantitative montre une amélioration du rappel dans la détection des interactions de jetons étiquetées par des humains par rapport aux bases de référence du premier ordre.

2. Encodeurs Vision–Langage (CLIP, SigLIP-2, MetaCLIP-2) :

   • Méta-Grad-ECLIP et Méta-MaskSigLIP ont été appliqués pour expliquer les cartes de similarité.
   • Sur la métrique de reconnaissance d'interaction de pointage ImageNet-1k, les méta-attributions ont systématiquement surpassé les méthodes du premier ordre (Attention, MaskCLIP, Grad-ECLIP) et même la base de référence boîte noire du second ordre FIxLIP.
   • Notamment, Méta-MaskSigLIP a atteint la plus grande fidélité pour SigLIP-2, et Méta-Attention a surpassé Méta-Grad-ECLIP sur le grand modèle MetaCLIP-2.

3. Transformateurs de Diffusion Multimodaux (FLUX.1) :

   • Méta-ConceptAttention a été utilisé pour interpréter les concepts dans la génération d'images à partir de texte.
   • La méthode a atténué la limitation de dépendance au contexte de l'original ConceptAttention.
   • Sur les benchmarks de segmentation Pascal VOC et MS COCO, Méta-ConceptAttention a dominé au sens de Pareto la méthode originale sur les métriques de précision, mIoU et mAP, même lorsque le nombre de concepts en contexte augmentait.

Signification et Revendications

L'article revendique que le cadre MÉTAGAME offre une voie mathématiquement fondée pour comprendre les interactions du second ordre sans les problèmes de fuite et de directionnalité des méthodes antérieures. En traitant les attributions comme des jeux coopératifs, il comble le fossé entre les principes discrets de la théorie des jeux et la dynamique continue des méthodes modernes d'interprétabilité.

Les auteurs positionnent ce travail comme une étape vers des systèmes d'apprentissage automatique plus crédibles. Ils soulignent que, bien que le cadre augmente le coût computationnel et la charge cognitive, il fournit une décomposition hiérarchique rigoureuse des attributions qui révèle exactement comment les caractéristiques influencent les contributions les unes des autres. Le travail est modeste quant à son ampleur, notant que l'analyse des modèles de langage sert d'application illustrative et que des mesures rigoureuses de fidélité (par exemple, courbes d'insertion/suppression) pour des comparaisons plus larges restent une nécessité future. Le cadre est présenté comme un outil général applicable à toute méthode d'attribution du premier ordre, s'étendant au-delà des exemples spécifiques fournis.