🤖 machine learning

AGOP as Explanation: From Feature Learning to Per-Sample Attribution in Image Classifiers

Ce papier présente AGOP-Weighted, une nouvelle méthode d'attribution a posteriori qui exploite le Produit Extérieur Moyen des Gradients (AGOP) pour supprimer le bruit des gradients et amplifier les pixels constamment importants, démontrant des performances supérieures aux techniques existantes telles que Integrated Gradients et GradCAM sur des benchmarks synthétiques et photoréalistes avec un coût d'inférence minimal.

Auteurs originaux : Raj Kiran Gupta Katakam

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raj Kiran Gupta Katakam

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un réseau de neurones (un type d'IA) qui examine des images et devine ce qu'elles représentent. Vous voulez savoir : « Qu'est-ce exactement que l'IA observe lorsqu'elle fait cette hypothèse ? »

Pendant longtemps, les scientifiques ont utilisé des outils pour mettre en évidence les pixels importants dans une image, comme une carte thermique montrant où l'IA « se concentre ». Mais l'article que vous avez fourni soutient que ces anciens outils sont comparables à essayer de comprendre une personne en ne l'observant qu'une seule fois à un moment précis. Ils manquent la vue d'ensemble de la manière dont l'IA a appris à voir les choses.

Voici une explication simple des nouvelles idées de l'article, utilisant des analogies du quotidien.

1. L'Ancienne Méthode : L'Approche « Instantané »

La plupart des méthodes actuelles (comme les Gradients Intégrés ou GradCAM) agissent comme un photographe prenant un seul instantané du cerveau de l'IA pendant qu'elle résout un problème spécifique.

Le Problème : Si l'IA est confuse ou si les mathématiques deviennent compliquées (comme lorsque les pixels se multiplient entre eux), ces instantanés deviennent bruyants ou flous. Ils pourraient mettre en évidence les mauvais endroits ou manquer complètement le signal.
L'Analogie : Imaginez essayer de comprendre ce qu'un chef sait faire en le regardant éplucher un seul oignon. Vous pourriez le voir lutter avec cet oignon précis, mais vous manquez le fait qu'il est en réalité un maître pour éplucher des carottes.

2. La Nouvelle Idée : Le « Journal d'Entraînement » (AGOP)

Les auteurs introduisent un concept appelé AGOP (Produit Externe des Gradients Moyens). Au lieu de regarder seulement un instantané, ils examinent tout le « journal d'entraînement » de l'IA.

Qu'est-ce que c'est ? C'est un enregistrement de chaque fois que l'IA a commis une erreur ou apporté une correction pendant son apprentissage. Il suit les pixels sur lesquels l'IA s'est régulièrement appuyée à travers des milliers d'exemples.
L'Analogie : Au lieu de regarder un chef éplucher un seul oignon, vous regardez une vidéo de lui éplucher des oignons, des carottes et des pommes de terre pendant un mois entier. Vous remarquez un motif : « Ah, chaque fois qu'ils voient une forme ronde, ils utilisent un mouvement de couteau spécifique. » Ce motif est l'AGOP.

3. Les Trois Nouveaux Outils

L'article transforme ce « journal d'entraînement » en trois outils spécifiques pour expliquer l'IA :

A. AGOP-Local (L'« Instantané Standard »)

C'est simplement l'ancienne façon de regarder une seule image, mais les auteurs ont réalisé qu'il s'agit en fait d'un tout petit morceau du plus grand puzzle AGOP. C'est comme regarder une seule image de la vidéo du chef. Cela fonctionne correctement, mais ce n'est pas spécial.

B. AGOP-Pondéré (Le « Surligneur Intelligent »)

C'est la star des inventions de l'article. Il combine l'« instantané » de l'image actuelle avec le « journal d'entraînement ».

Comment ça marche : Il examine l'image actuelle, mais il utilise le journal pour dire : « Hé, dans le passé, l'IA a toujours ignoré ce pixel bruyant, mais elle a toujours prêté attention à celui-là. » Il renforce les pixels importants et réduit le bruit.
L'Analogie : Imaginez un détective résolvant un crime. L'ancienne méthode examine l'alibi actuel du suspect. AGOP-Pondéré examine l'alibi et le confronte à l'ensemble du casier judiciaire du suspect. Si le suspect ment habituellement les mardis, le détective sait qu'il doit être encore plus sceptique face à un alibi de mardi.
Le Résultat : Sur des tâches simples, cette méthode était 44 % meilleure pour trouver les bons pixels que la meilleure méthode précédente.

C. AGOP-Global (La « Triche Gratuite »)

Cet outil ne regarde pas l'image spécifique du tout. Il regarde simplement le « journal d'entraînement » pour créer une carte générique de ce à quoi l'IA généralement s'intéresse.

Comment ça marche : Si l'IA regarde toujours le centre de l'image pour trouver un « bloc Tetris », cet outil dessine un projecteur permanent sur le centre.
Le Résultat : Cela ne coûte rien à utiliser (vous consultez simplement un fichier enregistré). Sur des tâches délicates où les pixels se multiplient entre eux (rendant les mathématiques très bruyantes), cet outil était 7 fois meilleur que les anciennes méthodes. C'est comme avoir une triche qui dit : « La réponse est toujours au milieu », ce qui fonctionne parfaitement si le jeu est prévisible.

4. Ce Qu'ils Ont Découvert (Les « Pièges »)

Les auteurs ont testé ces outils sur deux types de puzzles différents :

Le Puzzle « Linéaire » (Simple) : L'IA additionne simplement la luminosité des pixels.
- Vainqueur : AGOP-Pondéré. Il a combiné la vue actuelle avec l'historique parfaitement.
Le Puzzle « Multiplicatif » (Difficile) : L'IA doit multiplier les valeurs des pixels. Cela crée beaucoup de bruit mathématique qui confond les outils standards.
- Vainqueur : AGOP-Global. Parce que le bruit était aléatoire, la « moyenne » du journal d'entraînement a tout lissé, révélant le vrai signal.
Le Puzzle « Cible Mobile » : L'objet se déplace dans l'image.
- Vainqueur : Gradients Intégrés (l'ancienne méthode). Puisque l'objet se déplace, une carte « globale » (AGOP-Global) échoue car elle tente de mettre en évidence tout partout à la fois. L'ancienne méthode, qui examine l'image spécifique, gagne ici.

5. Un Avertissement Concernant « GradCAM »

L'article a également découvert qu'un outil populaire appelé GradCAM échoue complètement sur de petites images de faible résolution.

L'Analogie : Imaginez essayer de lire une toute petite image de 8x8 pixels, mais l'outil que vous utilisez n'a qu'une grille de 3x3 pour travailler. C'est comme essayer de peindre un portrait détaillé en utilisant seulement trois grandes touches de pinceau. Le détail est perdu, et l'outil pointe vers le mauvais endroit.

Résumé

L'article soutient que pour vraiment comprendre une IA, vous ne devriez pas seulement regarder ce qu'elle fait maintenant. Vous devriez regarder comment elle a appris.

AGOP-Pondéré est comme un assistant intelligent qui connaît les habitudes de l'IA et vous aide à interpréter ses pensées actuelles.
AGOP-Global est une triche gratuite et instantanée qui fonctionne étonnamment bien lorsque le travail de l'IA est cohérent.
La Grande Conclusion : En utilisant l'historique d'entraînement de l'IA (l'AGOP), nous pouvons expliquer ses décisions beaucoup plus précisément et à moindre coût qu'auparavant, surtout lorsque les mathématiques deviennent compliquées.

Résumé Technique : AGOP comme Explication

Énoncé du Problème

Le domaine de l'IA explicable (XAI) fait face à un défi central dans la classification d'images : expliquer quels pixels d'entrée déterminent la prédiction d'un réseau de neurones. Les méthodes d'attribution actuelles (par exemple, Integrated Gradients, GradCAM, SmoothGrad) traitent largement le modèle entraîné comme une boîte noire, appliquant des constructions géométriques indépendamment des dynamiques d'apprentissage du réseau. De plus, ces méthodes éprouvent souvent des difficultés avec des caractéristiques spécifiques de la tâche, telles que les interactions multiplicatives, les contraintes de résolution spatiale ou les tâches nécessitant un raisonnement du second ordre. Il existe un manque de comparaison rigoureuse entre les bases de référence établies et les méthodes ancrées dans la mécanique théorique de l'apprentissage des caractéristiques.

Méthodologie

Ce travail introduit AGOP-Weighted, une nouvelle méthode d'attribution fondée sur l'Ansatz des Caractéristiques Neurales (NFA). Le NFA postule que les matrices de Gram des poids d'un réseau de neurones s'alignent avec les matrices du Produit Moyen des Gradients Extérieurs (AGOP) calculées sur la distribution d'entraînement. Les auteurs exploitent cette insight théorique pour proposer que la diagonale de la matrice AGOP, $diag(M)$, sert de prior naturel, basé sur la distribution d'entraînement, pour l'attribution.

La méthodologie comprend trois composants principaux :

Variantes AGOP :
- AGOP-Local : Équivalent à VanillaGrad, représentant le gradient par échantillon.
- AGOP-Weighted : Une méthode hybride qui multiplie le gradient par échantillon par un prior normalisé de la distribution d'entraînement, $v = \sqrt{diag(M)} / \max(diag(M))$ . Cela supprime le bruit du gradient et amplifie les pixels constamment importants à travers l'ensemble d'entraînement.
- AGOP-Global : Utilise $diag(M)$ directement comme carte de saillance à coût nul pour l'ensemble du jeu de données, en ignorant les variations par instance.
AGOPTrainingHook : Un mécanisme d'implémentation qui accumule $diag(M)$ pendant l'entraînement standard via une passe arrière séparée (utilisant autograd.grad) sans modifier les mises à jour des poids. Cela permet le calcul efficace du prior global.
Cadre d'Évaluation : Les auteurs mènent une comparaison rigoureuse contre Integrated Gradients (IG), SmoothGrad, GradCAM et VanillaGrad sur deux benchmarks avec vérité terrain au niveau des pixels :
- XAI-TRIS : Un benchmark synthétique avec des images de 8×8 et quatre scénarios de classification (Linéaire, Multiplicatif, Translations+Rotations, XOR).
- CLEVR-XAI : Un benchmark photoréaliste utilisant ResNet-18 fine-tuné sur des scènes 3D.

Contributions Clés

Formulation Nouvelle d'Attribution : L'introduction d'AGOP-Weighted, qui fait le pont entre l'attribution par échantillon et l'attribution globale en modulant les gradients avec un prior de distribution d'entraînement.
Implémentation Efficace : Le développement de AGOPTrainingHook, permettant à AGOP-Global de fonctionner à un coût d'inférence nul (recherche sur disque) et à AGOP-Weighted à un coût d'une seule passe de gradient.
Évaluation Systématique : La première comparaison rigoureuse des méthodes basées sur AGOP par rapport aux bases de référence standard à travers divers types de tâches (linéaires, multiplicatives, spatialement variables) et résolutions.
Insights Empiriques :
- Démonstration que AGOP-Weighted atteint un Intersection sur Union moyen (mIoU) significativement plus élevé que Integrated Gradients sur les tâches linéaires.
- Démonstration que AGOP-Global surpasse drastiquement Integrated Gradients sur les tâches multiplicatives (où IG échoue en dessous du hasard) à un coût d'inférence nul.
- Identification de l'échec de GradCAM sur les images de petite résolution en raison de l'effondrement de la résolution spatiale.
- Observation que la qualité de $diag(M)$ s'améliore de manière monotone tout au long de l'entraînement, même après que la précision de classification ait atteint un plateau.

Résultats

Les expériences produisent des profils de performance distincts basés sur les caractéristiques de la tâche :

Tâches Linéaires (XAI-TRIS) : AGOP-Weighted atteint un mIoU de 44 % supérieur à Integrated Gradients (0,314 contre 0,218) avec la moitié du coût d'inférence (1,0 ms contre 2,4 ms).
Tâches Multiplicatives (XAI-TRIS) : AGOP-Global domine, atteignant 7 fois le mIoU de Integrated Gradients (0,337 contre 0,048). Dans ce scénario, IG tombe en dessous de la base de référence aléatoire, tandis que la moyenne des gradients au carré par AGOP-Global annule le bruit par échantillon pour récupérer le signal stable.
Tâches Spatialement Variables (Translations+Rotations) : Integrated Gradients surpasse toutes les méthodes (mIoU 0,540) car il suit des formes spécifiques par instance, tandis qu'AGOP-Global échoue (mIoU 0,080) en raison de la diffusion des statistiques globales.
CLEVR-XAI (ResNet-18) : À la fois AGOP-Weighted (+18 % de mIoU sur IG) et AGOP-Global (+37 % de mIoU sur IG) surpassent Integrated Gradients. AGOP-Global atteint des résultats compétitifs à un coût d'inférence 6 600 fois inférieur (0,02 ms/échantillon contre 131,98 ms/échantillon).
Limites de GradCAM : GradCAM et GradCAM++ échouent complètement sur les images de petite résolution (entrées de 8×8 et 64×64) en raison de l'effondrement des cartes de caractéristiques spatiales (par exemple, des cartes de 3×3 ou 2×2), résultant en un score de Pointing Game de 0,000.

Importance et Revendications

L'article revendique d'établir AGOP non pas seulement comme un concept théorique, mais comme un outil d'attribution post-hoc pratique. L'importance réside dans :

Faire le Pont entre Théorie et Pratique : Valider l'Ansatz des Caractéristiques Neurales en démontrant que les statistiques de gradient accumulées pendant l'entraînement ($diag(M)$) offrent un pouvoir explicatif supérieur par rapport aux méthodes qui ignorent le processus d'apprentissage.
Supériorité Dépendante de la Tâche : Montrer qu'aucune méthode unique ne domine tous les scénarios ; cependant, les variantes AGOP offrent des avantages spécifiques et à haute valeur : AGOP-Weighted pour les tâches linéaires et AGOP-Global pour les tâches multiplicatives ou spatialement cohérentes à un coût d'inférence nul.
Efficacité : Fournir une méthode (AGOP-Global) qui ne nécessite aucun calcul au moment de l'inférence, la rendant idéale pour les pipelines par lots et les diagnostics au niveau du jeu de données.
Limites des Bases de Référence Actuelles : Souligner que des méthodes standard comme GradCAM sont fondamentalement inadaptées aux entrées de faible résolution et que Integrated Gradients peut échouer de manière catastrophique sur les interactions multiplicatives.

Les auteurs concluent que, bien que AGOP-Weighted et AGOP-Global offrent des améliorations significatives dans des contextes spécifiques, le choix de la méthode d'attribution doit être guidé par la nature de la tâche (linéaire vs multiplicatif, signal spatial fixe vs variable). Des travaux futurs sont suggérés pour étendre ces résultats à des réseaux plus grands et explorer les termes d'interaction hors diagonale.