🤖 machine learning

Learn to Rank: Visual Attribution by Learning Importance Ranking

Cet article propose une méthode d'apprentissage qui optimise directement les métriques d'insertion et de suppression pour générer des cartes d'attribution visuelle denses et précises, en contournant la non-différentiabilité du tri par une relaxation Gumbel-Sinkhorn afin d'améliorer l'interprétabilité des modèles de vision par ordinateur, notamment les transformers.

Auteurs originaux : David Schinagl, Christian Fruhwirth-Reisinger, Alexander Prutsch, Samuel Schulter, Horst Possegger

Publié 2026-04-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David Schinagl, Christian Fruhwirth-Reisinger, Alexander Prutsch, Samuel Schulter, Horst Possegger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un super-héros de l'intelligence artificielle (un modèle de vision par ordinateur) capable de dire ce qu'il voit sur une photo : "C'est un chien", "C'est une voiture", etc. Mais ce super-héros est un peu comme un magicien silencieux : il vous donne la réponse, mais il ne vous dit jamais pourquoi il a choisi cette réponse. Est-ce qu'il a vu les oreilles du chien ? Ou est-ce qu'il s'est trompé en regardant l'herbe verte derrière ?

C'est là qu'intervient le problème de la confiance. Si ce magicien doit aider un médecin à diagnostiquer une maladie ou une voiture autonome à éviter un piéton, nous devons absolument savoir sur quoi il se base.

Le Dilemme des Anciennes Méthodes

Avant cette nouvelle recherche, il existait trois façons de "forcer" le magicien à parler, mais chacune avait un gros défaut :

Les "Détecteurs de Gradients" (Propagation) : C'est comme si on regardait les câbles électriques à l'intérieur du cerveau du magicien pour voir où l'électricité passe.
- Avantage : C'est très rapide.
- Défaut : C'est souvent biaisé. Ça peut nous montrer des lignes ou des textures (comme les bords d'une image) plutôt que l'objet réel. C'est comme si le magicien disait "J'ai vu des lignes verticales" au lieu de "J'ai vu un arbre".
Les "Testeurs de Perturbation" (Perturbation) : C'est comme si on prenait une photo et qu'on effaçait petit à petit des bouts de l'image pour voir si le magicien change d'avis. "Si j'enlève le nez, il voit toujours un chien ?"
- Avantage : C'est très précis et logique (causal).
- Défaut : C'est extrêmement lent. Il faut refaire des milliers de tests pour une seule image. De plus, sur les modèles modernes (les Transformers), ça donne des résultats "pixelisés" et flous, comme une image basse résolution.
Les "Élèves Apprenants" (Learning-based) : On entraîne un petit robot pour qu'il imite le magicien et devine où regarder.
- Avantage : Une fois entraîné, c'est ultra-rapide.
- Défaut : Souvent, ce petit robot apprend par cœur des astuces de copier-coller ou utilise des règles simplistes qui ne sont pas toujours vraies.

La Solution : AHA (Amortized Hybrid Attribution)

Les auteurs de cet article ont créé une nouvelle méthode appelée AHA. Imaginez que vous voulez apprendre à un élève (le petit robot) à devenir le meilleur détective du monde, mais au lieu de lui donner des règles à suivre, vous lui donnez un jeu de classement.

Voici comment ça marche, étape par étape :

1. Le Jeu du "Top 10" (Apprendre à classer)

Au lieu de demander au robot de dire "ce pixel est important à 85%", on lui demande simplement de classer les pixels du plus important au moins important.

L'analogie : Imaginez que vous devez ranger une pile de livres du plus intéressant au moins intéressant. Vous ne devez pas donner une note sur 10 à chaque livre, juste les mettre dans l'ordre.

2. Le Problème du "Tri" (La magie mathématique)

Le problème, c'est que les ordinateurs détestent trier des choses de manière "dure" (comme mettre un livre à la première place et un autre à la deuxième). C'est mathématiquement bloquant pour l'apprentissage automatique.

La solution magique : Les chercheurs ont utilisé une astuce mathématique appelée Gumbel-Sinkhorn. C'est comme si on remplaçait le tri rigide par un tri "flou" et lisse. Au lieu de dire "ce livre est 1er", on dit "ce livre a 90% de chances d'être 1er, et celui-ci 80%". Cela permet à l'ordinateur d'apprendre doucement, comme un enfant qui affine son jugement, au lieu de buter sur des murs.

3. L'Entraînement par l'Action (Le test de vérité)

Comment sait-on si le robot a bien appris ? On ne lui demande pas de deviner. On le teste !

On prend l'image, on cache les zones que le robot a jugées "les plus importantes" (comme si on mettait un bandeau sur les yeux du magicien).
Si le magicien ne voit plus rien (sa note chute), c'est que le robot a bien trouvé les bons endroits.
Si le magicien voit toujours le chien même après avoir caché le museau, c'est que le robot s'est trompé.
Le robot apprend directement de ces échecs et réussites pour améliorer son classement.

Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, AHA combine le meilleur des deux mondes :

La vitesse : Comme un élève qui a déjà appris, il donne sa réponse en une fraction de seconde (un seul coup d'œil).
La précision : Contrairement aux anciennes méthodes qui donnaient des blocs flous (comme des pixels géants), AHA donne une carte de chaleur très fine, qui colle parfaitement aux contours des objets (comme le museau d'un chien ou les ailes d'un oiseau).
L'adaptabilité : Si le robot fait une erreur sur une image très particulière, on peut lui demander de faire quelques "révisions" rapides (quelques secondes de calcul supplémentaire) pour affiner sa réponse et devenir parfait.

En Résumé

Imaginez que vous avez un expert qui regarde des photos.

Les anciennes méthodes lui demandaient de pointer du doigt, mais il pointait souvent n'importe quoi ou c'était flou.
Cette nouvelle méthode (AHA) lui apprend à classer ce qui est important, en se basant sur des tests réels ("Si je cache ça, est-ce que tu vois encore ?").
Le résultat ? Une carte de chaleur nette, précise et rapide qui nous montre exactement ce que l'IA regarde, ce qui nous permet de lui faire confiance, surtout dans des situations importantes comme la médecine ou la conduite autonome.

C'est comme passer d'une carte dessinée au crayon gras et flou à une photo haute définition prise par un drone, le tout en un clin d'œil.

1. Problématique et Contexte

L'interprétabilité des modèles de vision par ordinateur complexes (notamment les Transformers comme les ViT) est cruciale pour établir la confiance, en particulier dans des domaines critiques. Les méthodes d'attribution visuelle existantes souffrent d'un compromis à trois voies :

Méthodes basées sur la propagation (ex: Grad-CAM, Attention Rollout) : Efficaces et alignées avec les calculs internes du modèle, mais souvent biaisées vers les basses fréquences (bords) et spécifiques à l'architecture.
Méthodes basées sur la perturbation (ex: RISE, SHAP) : Fondées sur des relations causales (mesure de l'impact de la suppression de pixels), mais très coûteuses en calcul et produisant souvent des cartes d'attribution grossières au niveau des "patches" pour les Transformers, nécessitant un sur-échantillonnage.
Méthodes basées sur l'apprentissage (Amortisées) : Rapides à l'inférence, mais elles optimisent généralement des objectifs de substitution (surrogates) ou distillent des heuristiques, sans garantir une optimisation directe de la qualité de l'explication.

Le défi : Comment obtenir des cartes d'attribution denses, au niveau du pixel, qui soient à la fois causalement fondées (basées sur la perturbation), efficaces (inférence rapide) et optimisées directement selon des métriques de qualité reconnues (Deletion et Insertion), sans être limitées par la granularité des patches des Transformers ?

2. Méthodologie : Amortized Hybrid Attribution (AHA)

Les auteurs proposent AHA, un cadre d'apprentissage qui fusionne les forces des approches par perturbation et par apprentissage. L'idée centrale est d'entraîner un modèle "explicateur" (explainer) qui génère des cartes d'attribution en optimisant directement les métriques de Deletion et Insertion.

A. Formulation du problème

Les métriques de Deletion et d'Insertion mesurent la variation de la probabilité de la classe cible lorsque les pixels sont retirés (Deletion) ou ajoutés (Insertion) par ordre d'importance.

Défi technique : Ces métriques impliquent un tri (sorting) des pixels par importance, ce qui est une opération discrète et non différentiable, empêchant l'optimisation par rétropropagation (backpropagation) directe.

B. Relaxation Différentiable (Learn to Rank)

Pour contourner la non-différentiabilité, les auteurs reformulent le problème comme un problème d'apprentissage de permutation :

Matrices de Permutation Douces (Soft Permutation) : Au lieu de trier rigidement les scores d'attribution, ils utilisent l'algorithme Gumbel-Sinkhorn. Cela permet de transformer le tri dur en une matrice de permutation continue et différentiable.
- Une matrice de similarité $L$ est calculée entre les scores d'attribution et des positions cibles (une distribution linéaire décroissante).
- Du bruit de Gumbel est ajouté pour l'exploration stochastique.
- L'algorithme Sinkhorn-Knopp normalise itérativement la matrice pour obtenir une matrice doublement stochastique $P^{soft}$ , qui approxime la permutation.
Masques Top-k Doux : À partir de cette matrice de permutation douce, on génère des masques "Top-k" continus (valeurs entre 0 et 1) au lieu de masques binaires. Cela permet de créer des images perturbées "douces" où les pixels sont progressivement masqués ou révélés.
Optimisation Directe : Le modèle explicateur est entraîné pour minimiser l'AUC (Area Under Curve) de Deletion (en le rendant aussi bas que possible) et maximiser l'AUC d'Insertion, via une fonction de perte combinée.

C. Stratégies d'Optimisation Efficace et Robuste

Pour rendre l'entraînement faisable sur des images haute résolution et éviter le surapprentissage à des artefacts de pixels individuels :

Permutation par Régions : L'image est divisée en une grille de régions ( $G \times G$ ). Le tri et la sélection Top-k sont effectués au niveau de ces régions (moyenne des scores), puis les masques sont upscalés.
Échantillonnage des Étapes de Perturbation : Au lieu d'évaluer toutes les étapes de 1 à $N$ , un sous-ensemble d'étapes est échantillonné pour approximer l'AUC.
Augmentation de Grille : La taille et le décalage de la grille sont randomisés à chaque itération pour éviter les biais spatiaux.
Régularisation : Une pénalité L2 est appliquée pour décourager les pics isolés de haute importance non soutenus par les régions voisines.

D. Raffinement au Moment du Test (Test-Time Refinement)

Bien que la méthode soit amortisée (une seule passe avant), elle permet une étape optionnelle de raffinement : quelques étapes de gradient supplémentaires sont effectuées sur l'image spécifique à expliquer pour affiner la carte d'attribution, offrant un compromis flexible entre débit et qualité.

3. Contributions Clés

Cadre Hybride : Première approche apprenant directement à optimiser les métriques de Deletion/Insertion, combinant la fondation causale de la perturbation et l'efficacité de l'explication amortie.
Apprentissage de Permutation : Utilisation innovante de la relaxation Gumbel-Sinkhorn pour rendre les métriques d'évaluation non différentiables optimisables de bout en bout.
Résolution Dense pour les Transformers : Génération de cartes d'attribution au niveau du pixel (denses) pour les modèles ViT, résolvant le problème de la granularité des patches des méthodes existantes.
Efficacité et Flexibilité : Une inférence ultra-rapide (une seule passe) avec une option de raffinement pour les cas nécessitant une précision maximale.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet avec des classificateurs ViT-B/16, ViT-B/32 et ConvNeXt Small.

Performance Quantitative :
- AHA surpasse ou égale l'état de l'art (SOTA) sur les métriques de Deletion et Insertion, ainsi que sur les métriques de fidélité (Positive/Negative perturbation).
- Avec seulement 3 étapes de raffinement ( $T=3$ ), AHA obtient les meilleurs scores globaux de fidélité, surpassant des méthodes d'optimisation par échantillon (comme MDA) qui sont des ordres de grandeur plus lentes.
Qualité Visuelle :
- Les cartes d'attribution sont nettement plus précises et alignées avec les contours des objets (boundary-aligned) par rapport aux méthodes basées sur les patches (qui produisent des cartes "blocy" et floues).
- Les exemples qualitatifs montrent que AHA isole correctement les parties pertinentes de l'objet (ex: la tête d'un impala, les bouchons d'une canette) même en cas de classification erronée.
Efficacité Temporelle :
- À $T=0$ , AHA est aussi rapide que les méthodes de propagation (ex: Grad-CAM, ~0.016s) tout en étant bien plus fidèle.
- Même avec le raffinement ( $T=3$ ), le temps de calcul reste inférieur aux méthodes de perturbation itérative lourdes (ex: MDA prend ~13s).

5. Signification et Impact

Ce travail marque une avancée significative dans l'explicabilité des modèles de vision, en particulier pour les Vision Transformers.

Il démontre qu'il est possible d'optimiser directement des métriques d'évaluation "causales" (perturbation) via l'apprentissage profond, en contournant les obstacles de différentiabilité grâce à des techniques de tri différentiable.
Il résout le dilemme classique entre vitesse (méthodes amortisées) et fidélité (méthodes par perturbation), offrant une solution qui est à la fois rapide à l'inférence et précise.
La capacité à générer des cartes denses au niveau du pixel pour les Transformers comble un vide important, permettant une interprétation fine des décisions de ces modèles modernes.

En résumé, AHA propose une nouvelle voie pour l'explicabilité : apprendre à classer l'importance des pixels de manière différentiable pour maximiser directement la qualité de l'explication, sans compromis sur la vitesse ou la précision spatiale.