Using the Path of Least Resistance to Explain Deep Networks

Cet article propose la méthode Geodesic Integrated Gradients (GIG), qui améliore l'attribution des caractéristiques dans les réseaux de neurones profonds en intégrant les gradients le long de géodésiques définies par une métrique riemannienne induite par le modèle, surmontant ainsi les limites des chemins rectilignes traditionnels et introduisant un nouvel axiome de complétude sans annulation.

L'essentiel

🕵️‍♂️ Le Détective et la Carte Trésor : Pourquoi les IA se trompent parfois de chemin

Imaginez que vous avez un détective très intelligent (c'est votre intelligence artificielle ou "Deep Learning") qui doit résoudre une énigme : "Est-ce que cette image contient un jet ?"

Pour comprendre pourquoi le détective a pris sa décision, les scientifiques utilisent une méthode appelée Intégration de Gradients. C'est comme demander au détective de retracer son chemin mental depuis un point de départ vide (une image noire) jusqu'à l'image finale (le jet).

🚧 Le Problème : La "Route Droite" est un Piège

Jusqu'à présent, la méthode standard consistait à tracer une ligne droite entre le point de départ (l'image noire) et le point d'arrivée (le jet).

L'analogie du voyageur :
Imaginez que vous devez traverser un pays pour aller de Paris à Lyon.

• La méthode ancienne (Ligne Droite) : Vous tracez une ligne droite sur la carte. Le problème ? Cette ligne passe peut-être par des montagnes escarpées, des zones de tempête ou des terrains boueux (des zones où l'IA est très confuse ou très sensible).
• Le résultat : Votre détective s'arrête en chemin, panique à cause des montagnes, et vous dit : "Ah ! C'est à cause de cette montagne que j'ai décidé qu'il y avait un jet !". C'est faux ! La montagne n'a rien à voir avec le jet. C'est un artefact (une erreur de calcul).

Dans l'article, les auteurs montrent que cette "ligne droite" dans l'espace des images peut faire croire à l'IA que des zones noires ou inutiles sont importantes, simplement parce que le chemin "droit" les traverse de manière bizarre.

🧭 La Solution : Le "Chemin de Moindre Résistance"

Les auteurs proposent une nouvelle méthode appelée Intégration de Gradients Géodésique (GIG).

L'analogie du randonneur expert :
Au lieu de tracer une ligne droite à travers les montagnes, imaginez un randonneur très expérimenté qui connaît le terrain. Il ne va pas tout droit s'il y a un précipice. Il va contourner les zones dangereuses (les "hautes gradients" ou zones de forte confusion) pour emprunter le chemin le plus facile et le plus logique.

En mathématiques, ce chemin s'appelle une géodésique. C'est comme si l'IA avait sa propre carte du terrain, où les zones "faciles" sont des plaines et les zones "difficiles" sont des montagnes. Le détective suit alors ce chemin sinueux mais sûr, évitant les pièges.

💡 La Nouvelle Règle d'Or : "Pas de Compensation Magique"

Les auteurs introduisent aussi une nouvelle règle pour vérifier si le détective est honnête.

• L'ancienne règle (Complétude) : Si vous additionnez toutes les raisons pour lesquelles le détective a choisi "Jet", le total doit correspondre à la décision finale.
  • Le problème : Le détective pourrait dire : "J'ai vu un aileron (+100 points) mais j'ai aussi vu un nuage qui ressemble à un aileron (-100 points). Donc, au total, c'est 0, mais j'ai quand même dit 'Jet' !" C'est mathématiquement juste, mais mentalement faux. Les raisons s'annulent entre elles, ce qui rend l'explication confuse.
• La nouvelle règle (NCC - Pas d'annulation) : Les raisons ne doivent pas s'annuler. Si le détective dit "Jet", chaque élément positif doit vraiment compter. On ne doit pas avoir de "fausses excuses" négatives qui cachent la vérité.

Les auteurs prouvent mathématiquement que seul le chemin de moindre résistance (la géodésique) respecte cette nouvelle règle d'honnêteté.

🏆 Les Résultats : Qui gagne ?

Les auteurs ont testé leur méthode sur deux types de jeux :

1. Un jeu simple (des demi-lunes) : Là où l'IA doit distinguer deux formes courbes. La méthode "ligne droite" se trompait souvent, attribuant de l'importance à des zones vides. La méthode "chemin sinueux" a tout compris parfaitement.
2. Un vrai jeu (reconnaissance d'images de chats, d'oiseaux, etc.) : Sur des images réelles, la nouvelle méthode a mieux réussi à identifier les pixels vraiment importants (les plumes de l'oiseau, les roues de la voiture) et a évité de se faire piéger par le fond noir ou les ombres.

⚖️ Le Prix à payer

Il y a un petit bémol. Suivre ce "chemin de moindre résistance" demande plus de calculs que de tracer une simple ligne droite. C'est comme si le détective prenait le temps de faire un tour complet pour vérifier le terrain, au lieu de foncer tête baissée. C'est plus lent, mais le résultat est beaucoup plus fiable et honnête.

📝 En résumé

• Le problème : Les anciennes méthodes d'explication d'IA prenaient des chemins trop "droits" et se faisaient piéger par des zones confuses du modèle.
• La solution : Une nouvelle méthode qui fait suivre à l'IA le chemin le plus fluide (géodésique) dans son propre monde mental.
• Le résultat : Des explications plus justes, qui ne se font pas berner par des illusions d'optique mathématiques, et qui respectent une nouvelle règle d'honnêteté (pas de compensation de fausses raisons).

C'est un peu comme passer d'une navigation GPS qui vous fait traverser des champs de bataille pour une ligne droite, à un GPS intelligent qui vous guide par les routes sinueuses mais sûres pour arriver à bon port sans accident.

Résumé technique

1. Problématique et Contexte

Les méthodes d'attribution basées sur les chemins, telles que les Intégrales de Gradients (Integrated Gradients - IG), sont largement utilisées pour expliquer les prédictions des réseaux de neurones profonds. IG attribue l'importance des caractéristiques d'entrée en intégrant les gradients du modèle le long d'un chemin linéaire droit (segment de droite) reliant une entrée de référence (baseline) à l'entrée observée.

Cependant, les auteurs identifient une limitation fondamentale : les chemins droits dans l'espace euclidien peuvent traverser des régions où le gradient du modèle est artificiellement élevé ou non représentatif du comportement réel du modèle (par exemple, des zones de saturation ou des artefacts de classification). Cela conduit à des attributions erronées (misattributions), où l'importance est attribuée à des caractéristiques non pertinentes simplement parce que le chemin linéaire les traverse.

Exemple illustratif : Dans un problème de classification de "moitiés de lune" (half-moons), un modèle bien entraîné est plat (gradients nuls) partout sauf à la frontière de décision. Un chemin linéaire partant d'une baseline peut traverser des zones à fort gradient inutiles, faussant l'attribution, alors que le modèle ne dépend pas de ces variations pour sa décision.

2. Méthodologie : Geodesic Integrated Gradients (GIG)

Pour résoudre ce problème, les auteurs proposent Geodesic Integrated Gradients (GIG), une généralisation d'IG qui remplace les chemins linéaires par des géodésiques définies sur une variété riemannienne induite par le modèle.

A. Métrique Riemanienne Induite par le Modèle

Les auteurs définissent l'espace d'entrée comme une variété riemannienne $(R^n, G)$, où le tenseur métrique $G_x$ est induit par le Jacobien du modèle $J_x$ :
$$G_x = J_x^T J_x$$
Cette métrique mesure la "résistance" locale au changement de la fonction du modèle.

• Chemin de moindre résistance : Une géodésique sur cette variété est le chemin qui minimise la longueur accumulée (intégrale de la norme du gradient).
• Comportement : Ce chemin évite naturellement les régions à fort gradient (où le coût de traversée est élevé) et privilégie les régions plates, reflétant ainsi fidèlement la logique du modèle.

B. Approximation des Géodésiques

Calculer une géodésique exacte étant impossible en pratique, deux méthodes d'approximation sont proposées selon la dimensionnalité des données :

1. Approche k-Plus Proches Voisins (kNN) :

   • Adaptée aux données de faible dimension (ex: données synthétiques, tabulaires).
   • On échantillonne l'espace entre la baseline et l'entrée, on construit un graphe pondéré où le poids des arêtes correspond à la longueur géodésique approximée (intégrale du gradient le long du segment).
   • On utilise un algorithme de plus court chemin (Dijkstra) pour trouver la séquence de points minimisant cette longueur.

2. Approche par Inférence Variationnelle Stochastique (SVI) :

   • Adaptée aux données de haute dimension (ex: images).
   • On optimise un chemin continu en minimisant une fonction d'énergie composée de deux termes :
     • Un terme de distance (pour rester proche de la ligne droite initiale).
     • Un terme de pénalité de courbure (basé sur le gradient $\|\nabla f(x)\|^2$) pour repousser le chemin des zones à fort gradient.
   • Une distribution variationnelle est optimisée pour échantillonner les trajectoires de faible énergie.

3. Contributions Clés et Contributions Théoriques

A. Nouvel Axiome : Complétude sans Annulation (No-Cancellation Completeness - NCC)

Les auteurs introduisent un nouvel axiome, le NCC, qui renforce l'axiome de complétude standard.

• Complétude standard : La somme des attributions signées égale la différence de sortie ($\sum A_i = f(x) - f(x')$). Cela permet des annulations (une attribution positive forte compensée par une négative forte), ce qui peut masquer l'importance réelle des features.
• NCC : La somme des valeurs absolues des attributions doit égaler la valeur absolue de la différence de sortie ($\sum |A_i| = |f(x) - f(x')|$). Cela interdit les annulations entre caractéristiques.

Théorème 1 : Les auteurs prouvent que, sous la métrique induite par le modèle, l'axiome NCC est satisfait si et seulement si le chemin d'intégration est une géodésique. Cela fournit une justification théorique solide pour l'utilisation de GIG.

B. Préservation de la Symétrie

Contrairement à d'autres méthodes de chemin qui pourraient briser la symétrie, GIG préserve l'axiome de symétrie pour les fonctions symétriques, car les géodésiques sur la variété riemannienne définie respectent cette symétrie structurelle.

4. Résultats Expérimentaux

Les auteurs ont évalué GIG sur des données synthétiques et réelles :

• Dataset "Half-Moons" (Synthétique) :

  • GIG (kNN) a surpassé toutes les méthodes de référence (IG, GradientShap, KernelShap, Occlusion, Guided IG) en termes de Pureté (capacité à attribuer une importance élevée aux points correctement classés).
  • GIG a correctement identifié que les points loin de la frontière de décision avaient une attribution stable et élevée, là où IG échouait en raison de la sensibilité au chemin linéaire.

• Dataset Pascal VOC 2012 (Images réelles) :

  • Utilisation d'un modèle ConvNext pré-entraîné.
  • Métriques : Comprehensiveness (chute de probabilité lors du masquage des features importantes) et Log-odds.
  • Résultats : GIG (SVI) a obtenu les meilleurs scores, surpassant IG de manière significative (amélioration relative de ~29% en Comprehensiveness).
  • Qualité visuelle : Les cartes d'attribution de GIG mettent en évidence les objets pertinents (ex: les jets dans l'image de l'abstract) sans être trompés par des artefacts de fond noir, contrairement à IG qui peut considérer les jets comme non importants.

• Coût Computations :

  • GIG est plus coûteux que IG (environ 840x plus lent par image avec SVI sur GPU L4), ce qui le rend actuellement adapté aux scénarios d'audit et de débogage plutôt qu'au temps réel.

5. Signification et Impact

Ce travail apporte plusieurs avancées majeures dans le domaine de l'IA explicable (XAI) :

1. Correction des artefacts de chemin : Il démontre que la géométrie de l'espace d'entrée (définie par le modèle) doit guider l'explication, et non une métrique euclidienne arbitraire.
2. Fondement théorique rigoureux : L'introduction et la preuve de l'axiome NCC établissent un lien mathématique direct entre la géométrie riemannienne et la qualité des attributions, prouvant que les géodésiques sont la solution unique pour éviter les annulations d'attributions.
3. Distinction par rapport aux travaux précédents : Contrairement aux méthodes comme Manifold Integrated Gradients (MIG) qui utilisent des générateurs (VAE) pour rester sur la variété des données, GIG utilise la géométrie du modèle explicatif lui-même pour éviter les zones de gradient élevé. Cela permet d'expliquer directement le classifieur sans nécessiter de modèle génératif auxiliaire.
4. Diagnostic des biais : En suivant fidèlement le paysage de gradient du modèle, GIG peut révéler des biais ou des corrélations spurious que le modèle a appris, là où des méthodes lissant les chemins pourraient masquer ces comportements.

En conclusion, Geodesic Integrated Gradients propose une refonte théorique et pratique des méthodes d'attribution, passant d'une intégration linéaire naïve à une intégration géométrique adaptative, garantissant ainsi des explications plus fidèles et robustes.