🤖 machine learning

FRInGe: Distribution-Space Integrated Gradients with Fisher--Rao Geometry

L'article propose FRInGe, une méthode d'attribution novatrice qui remplace les lignes de base d'entrée heuristiques et les chemins rectilignes par une référence à entropie maximale et une interpolation géodésique de Fisher-Rao dans l'espace de la distribution prédictive afin de produire des explications plus robustes et orientées vers l'étalonnage pour les modèles d'apprentissage profond.

Auteurs originaux : Gabriele Martino, Sebastian Tschiatschek

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gabriele Martino, Sebastian Tschiatschek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Pourquoi les explications actuelles de l'IA sont « fragiles »

Imaginez que vous avez une IA très intelligente qui regarde une photo de chat et dit : « C'est un chat ! » Vous voulez savoir pourquoi. Vous demandez à l'IA de pointer les pixels qui l'ont amenée à décider « chat ».

Une méthode populaire pour faire cela s'appelle les Intégrations de Gradients (IG). Imaginez l'IG comme un randonneur essayant d'expliquer une vue de montagne. Le randonneur commence au bas de la montagne (une image vide et ennuyeuse, sans information) et marche en ligne droite jusqu'au sommet (la photo réelle du chat). En cours de route, il mesure à chaque étape combien la vue change pour déterminer quelles parties du chemin étaient les plus importantes.

Le problème ? L'explication du randonneur dépend entièrement de :

Son point de départ : S'il commence sur une image noire ou une image grise, il pourrait raconter une histoire différente.
Le chemin qu'il emprunte : Marcher en ligne droite à travers une chaîne de montagnes signifie souvent traverser des rochers, des falaises ou des zones où la vue ne change pas beaucoup (saturation). Cela rend le calcul de « l'importance » désordonné et peu fiable.

La Solution : FRInGe (Le « Navigateur Intelligent »)

Les auteurs proposent une nouvelle méthode appelée FRInGe. Au lieu de marcher dans le « monde des pixels » (l'image elle-même), FRInGe décide de naviguer dans le « monde des prédictions » (la confiance interne de l'IA).

Voici comment cela fonctionne, étape par étape :

1. Le Point de Départ : La « Table Rase »

Dans l'ancienne méthode, vous deviez deviner à quoi ressemblait une image « vide » (par exemple, des pixels tous noirs). C'est comme deviner à quoi ressemble un « sentiment » vide.

L'approche de FRInGe : Au lieu de deviner une image vide, elle commence par une prédiction vide. Imaginez que l'IA est à 100 % confuse, disant : « Cela pourrait être un chat, un chien, une voiture ou un grille-pain — tous avec une chance égale ». C'est l'état de « Maximum d'Entropie ». C'est une définition mathématiquement parfaite de « Je ne sais rien », sans avoir besoin d'inventer une fausse image.

2. Le Chemin : L'« Autoroute Courbe »

Dans l'ancienne méthode, le randonneur marchait en ligne droite. Mais dans le monde des prédictions de l'IA, une ligne droite est souvent un mauvais chemin. Elle peut passer par des zones où l'IA est confuse ou où la vue ne change pas.

L'approche de FRInGe : Elle utilise une Géodésique de Fisher–Rao.
- L'Analogie : Imaginez que vous pilotez un avion. Si vous volez en ligne droite sur une carte plate, vous pourriez percuter une montagne. Mais si vous volez le long d'un grand cercle (le chemin le plus court sur un globe), vous suivez la courbe naturelle de la Terre.
- FRInGe vole le long de l'« autoroute courbe » de la confiance de l'IA. Elle se déplace en douceur de la « confusion totale » à la « certitude totale » d'une manière qui respecte la façon dont l'IA pense réellement, évitant les zones rocheuses et non informatives.

3. La Traduction : Le « Traducteur »

Voici la partie délicate : L'IA vit dans le « monde des prédictions », mais nous devons vous montrer l'explication dans le « monde de l'image » (les pixels).

L'approche de FRInGe : Elle utilise une Métrique de Rétroaction (Pullback).
- L'Analogie : Imaginez que vous marchez sur un terrain accidenté et irrégulier (le monde des prédictions). Vous voulez savoir comment vos pas se traduisent sur une carte plate (l'image). FRInGe agit comme un traducteur intelligent. Il dit : « Pour faire un pas fluide dans le monde des prédictions, je dois faire un pas spécifique, légèrement courbe, dans le monde de l'image. »
- Elle utilise également une Région de Confiance (une laisse de sécurité). Si la traduction essaie de sauter trop loin dans le monde de l'image (ce qui ressemblerait à une image bizarre et défectueuse), la laisse la ramène pour garder les pas petits et stables.

Pourquoi est-ce mieux ?

Le papier a testé cela sur six modèles d'IA célèbres différents (comme ResNet et VGG) en utilisant des milliers d'images.

Meilleure Calibration (Le « Jauge de Vérité ») : Le plus grand avantage de FRInGe est que ses explications correspondent mieux à la confiance de l'IA.
- L'Analogie : Si l'IA est sûre à 90 % qu'il s'agit d'un chat, une bonne explication devrait montrer 90 % de la « chatitude » dans l'image. Les anciennes méthodes montraient souvent trop ou trop peu. La « masse » d'explication de FRInGe est parfaitement calibrée à la confiance de l'IA.
Moins de Bruit : Parce qu'elle évite la « ligne droite » à travers les mauvaises zones, les cartes d'explication résultantes sont plus propres. Elles se concentrent sur l'objet réel (le chat) plutôt que sur du bruit aléatoire.
Plus de Devinette sur les Lignes de Base : Vous n'avez plus besoin de deviner à quoi ressemble une image « vide ». La méthode définit « rien » mathématiquement dans l'espace des prédictions.

Le Compromis (Le « Coût »)

Il y a un inconvénient mentionné dans le papier : la Vitesse.

L'Analogie : L'ancienne méthode (IG) est comme prendre un bus sur une route droite. C'est rapide. FRInGe est comme engager un pilote privé qui doit calculer le chemin de vol courbe parfait et vérifier la météo à chaque seconde. Il faut environ 10 à 20 fois plus de temps pour calculer l'explication.
Cependant, les auteurs notent que cela convient pour une utilisation « hors ligne » — par exemple, lorsque vous voulez comprendre profondément un modèle après qu'il a déjà été entraîné, plutôt que d'avoir besoin d'une explication instantanée pendant que l'IA fonctionne.

Résumé

FRInGe est une nouvelle façon d'expliquer les décisions de l'IA. Au lieu de marcher sur une ligne droite et ennuyeuse à travers une image, elle navigue sur la « carte de confiance » interne de l'IA le long de la courbe la plus douce et la plus naturelle possible. Elle traduit ce voyage fluide de retour dans l'image, nous offrant des explications plus précises, mieux calibrées et moins dépendantes de devinettes arbitraires.

Résumé technique : FRInGe – Gradients Intégrés dans l'Espace des Distributions avec Géométrie de Fisher–Rao

1. Énoncé du problème

Les méthodes d'attribution basées sur le gradient, telles que les Gradients Intégrés (IG), sont largement utilisées pour expliquer les prédictions des réseaux de neurones profonds en raison de leur fidélité au modèle et de leur évolutivité. Cependant, l'IG standard souffre de plusieurs limitations pratiques qui affectent la stabilité et l'interprétabilité des explications :

Sensibilité à la référence : Le choix d'une référence dans l'espace d'entrée (par exemple, des images nulles ou du bruit) est heuristique et peut conduire à des explications qualitativement différentes.
Artéfacts de trajectoire : L'interpolation linéaire standard dans l'espace d'entrée traverse souvent des régions où les gradients sont mal conditionnés, dominés par des artéfacts ou saturés.
Saturation : Le long des trajectoires standards, les sorties du modèle peuvent changer rapidement au début puis se stabiliser, concentrant les gradients informatifs dans un segment étroit tandis que les étapes ultérieures contribuent du bruit.
Erreur de discrétisation : L'approximation de l'intégrale de trajectoire par des sommes de Riemann finies peut introduire des erreurs substantielles lorsque les gradients varient brusquement.

Les tentatives existantes pour résoudre ces problèmes impliquent souvent la conception de trajectoires directement dans l'espace d'entrée ou le recours à des modèles génératifs explicites pour définir des variétés de données, ce qui peut confondre la qualité de l'attribution avec la qualité du modèle génératif.

2. Méthodologie : FRInGe

Les auteurs proposent FRInGe (Fisher–Rao Integrated Gradients), une méthode qui redéfinit le point de référence et le calendrier d'interpolation dans l'espace des distributions prédictives plutôt que dans l'espace d'entrée. La méthode se compose de trois composants principaux :

A. Référence de distribution prédictive

Au lieu de sélectionner une référence d'entrée heuristique, FRInGe définit la référence dans l'espace des distributions prédictives. Elle adopte une référence à entropie maximale ( $q^\star = \frac{1}{C}\mathbf{1}$ ), représentant une distribution uniforme sur les classes. Cela opérationnalise « aucune information » directement au niveau de la sortie du modèle, éliminant la dépendance à l'égard de conceptions de référence spécifiques au type de données.

B. Calendrier géodésique de Fisher–Rao

L'interpolation entre la distribution prédictive du modèle $p(x)$ et la référence à entropie maximale $q^\star$ est définie comme une géodésique de Fisher–Rao sur le simplexe de probabilité.

En utilisant l'embedding racine carrée $\psi(p) = \sqrt{p}$ , le simplexe est mappé sur le quadrant positif d'une sphère unité.
La géodésique est calculée par interpolation linéaire sphérique (slerp) dans cet espace embarqué, garantissant que la trajectoire suit la géométrie intrinsèque des distributions prédictives.

C. Trajectoire dans l'espace d'entrée via la métrique de rappel

Pour réaliser cette trajectoire dans l'espace des distributions dans l'espace d'entrée, FRInGe utilise la métrique de rappel de Fisher.

Étapes conscientes de la géométrie : La méthode minimise une perte d'alignement sphérique entre la prédiction actuelle et le prochain point de passage sur la géodésique. La direction de descente est calculée en utilisant la métrique de rappel de Fisher $G(x) = J_F(x)^\top S(x) J_F(x)$ , où $J_F$ est la jacobienne des logits et $S(x)$ est la matrice d'information de Fisher de la distribution softmax.
Stabilisation par région de confiance : Pour assurer la stabilité numérique et prévenir les déplacements d'entrée importants et non perceptuels, la méthode emploie une règle double de région de confiance :
1. Contrôle KL : Limite la taille de l'étape en fonction de la divergence KL locale (approximée par la norme de Fisher), garantissant un progrès constant dans l'espace prédictif.
2. Plafond euclidien : Impose une taille d'étape euclidienne maximale pour prévenir l'instabilité dans les régions où la géométrie prédictive est plate.
Régularisation spatiale : Pour décourager les perturbations adverses à haute fréquence, un opérateur de lissage spatial (par exemple, le Laplacien discret) est ajouté au système linéaire résolvant la direction de mise à jour.

D. Calcul de l'attribution

Les attributions de caractéristiques sont obtenues en intégrant les gradients d'entrée le long de la trajectoire réalisée dans l'espace d'entrée. Puisque la trajectoire se déplace de l'entrée vers la référence, l'intégrale accumulée est niée pour restaurer l'orientation standard de la référence vers l'entrée. La méthode satisfait la complétude par rapport au point final réalisé de la trajectoire.

3. Contributions clés

Définition dans l'espace des distributions : FRInGe est la première méthode d'attribution à définir à la fois la référence IG et le calendrier d'interpolation entièrement dans l'espace des distributions prédictives, en utilisant une référence à entropie maximale.
Géométrie intrinsèque : Elle construit le calendrier d'intégration comme une géodésique de Fisher–Rao, évitant les lignes droites euclidiennes arbitraires dans l'espace d'entrée.
Réalisation par rappel : Elle induit la trajectoire correspondante dans l'espace d'entrée via la métrique de rappel de Fisher, créant un champ de directions conscient du modèle sans nécessiter de modèle génératif explicite de la variété des données.
Mécanisme de stabilisation : L'intégration de régions de confiance basées sur le KL et de plafonds euclidiens assure une réalisation numérique stable du chemin, résolvant les problèmes de saturation et d'erreur de discrétisation.

4. Résultats expérimentaux

Les auteurs ont évalué FRInGe sur 1 000 images de validation ImageNet à travers six architectures (Inception-v3, ResNet-18/50/101/152, VGG-19).

Métriques d'étalonnage (MAS) : FRInGe démontre l'amélioration la plus significative sur les métriques Magnitude Aligned Scoring (MAS) (Insertion et Suppression). Cela indique que les attributions FRInGe sont mieux étalonnées par rapport aux dynamiques de confiance du modèle ; la masse d'attribution accumulée suit étroitement le changement réel de la confiance du modèle.
Métriques de perturbation : FRInGe reste compétitive sur les AUC basés sur la perturbation standard (Insertion/Suppression) et les métriques d'infidélité, bien qu'elle ne domine pas uniformément toutes les références (par exemple, SmoothGrad fonctionne parfois mieux sur l'AUC de suppression).
Comparaison avec des références géométriques : FRInGe surpasse d'autres méthodes conscientes de la géométrie comme GGIG et GeoIG sur MAS et l'infidélité, suggérant que ses gains proviennent de la combinaison de l'ordonnancement dans l'espace prédictif et de la géométrie de rappel plutôt que du seul design de trajectoire.
Études d'ablation : Le retrait de la géométrie de rappel (suivi euclidien) ou de la régularisation spatiale conduit à des trajectoires plus bruyantes et à haute fréquence et à des scores d'étalonnage inférieurs, confirmant que les trois composants (référence prédictive, géométrie de Fisher et régularisation) sont nécessaires pour des performances optimales.
Coût computationnel : FRInGe est computationnellement plus coûteuse que l'IG standard (nécessitant des résolutions de gradient conjugué à chaque étape), avec des temps d'exécution allant de 4 à 22 fois plus lents selon l'architecture. Cependant, les auteurs notent que cela est acceptable pour l'analyse et l'audit hors ligne.

5. Signification et affirmations

L'article affirme que FRInGe offre une alternative principielle aux Gradients Intégrés euclidiens en déplaçant la définition du « progrès » de la distance dans l'espace des pixels vers les changements dans l'état prédictif du modèle.

Alignement avec les dynamiques du modèle : Le principal avantage est l'alignement de la magnitude de l'attribution avec les dynamiques de confiance interne du modèle. En suivant la géodésique de Fisher–Rao, la méthode évite la saturation et les artéfacts courants dans les trajectoires linéaires, produisant des explications plus fidèles à la façon dont le modèle traite réellement l'information.
Indépendance de la modalité : En définissant la référence dans l'espace des distributions (entropie maximale), la méthode réduit le besoin de références conçues à la main et spécifiques à la modalité des données.
Limitations : Les auteurs reconnaissent la surcharge computationnelle comme la principale limitation pratique. Ils suggèrent que des travaux futurs pourraient se concentrer sur des approximations structurelles moins coûteuses de la métrique de rappel inverse ou sur des prédicteurs amortis pour accélérer la méthode.

L'article conclut que FRInGe démontre avec succès que les explications suivant les propres dynamiques prédictives du modèle (via la géométrie de Fisher–Rao) produisent des attributions de meilleure qualité et mieux étalonnées que celles suivant des trajectoires euclidiennes arbitraires.