Uncertainty-Aware Subset Selection for Robust Visual Explainability under Distribution Shifts

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous avez un détective très intelligent (une intelligence artificielle) qui regarde des photos pour dire ce qu'il voit. Parfois, ce détective est excellent quand il regarde des photos qu'il a déjà vues des milliers de fois (par exemple, des oiseaux dans un parc). Mais si vous lui montrez une photo floue, une photo d'un oiseau d'une espèce qu'il ne connaît pas, ou une photo prise dans un pays étranger, il commence à paniquer. Il pointe du doigt des choses au hasard : un bout d'herbe, un nuage, ou une tache sur le sol, en disant : "C'est ça qui m'a fait dire 'oiseau' !" C'est très dangereux, surtout si ce détective aide à conduire une voiture autonome ou à diagnostiquer une maladie.

Voici l'histoire de la solution proposée par les auteurs de ce papier, expliquée simplement :

1. Le Problème : Le Détective qui perd ses lunettes

Les méthodes actuelles pour expliquer pourquoi l'IA a pris une décision fonctionnent bien en "terrain connu". Elles utilisent une technique appelée sélection de sous-ensemble. C'est comme si le détective essayait de trouver les 3 ou 4 pièces du puzzle les plus importantes pour résoudre l'énigme.

Mais dès qu'il y a un changement (une "distribution shift", comme une photo floue ou un objet nouveau), ce détective devient confus. Il commence à choisir des pièces de puzzle inutiles, redondantes ou qui ne veulent rien dire. Il perd sa fiabilité.

2. La Solution : Donner un "Sixième Sens" au Détective

Les auteurs ont créé une nouvelle méthode qui ajoute un sens de l'incertitude à la sélection de ces pièces de puzzle.

Imaginez que le détective, avant de pointer un élément, se demande : "Suis-je vraiment sûr de moi ?"

Si la réponse est "Oui, je suis sûr", il garde l'élément.
Si la réponse est "Hé, je ne suis pas sûr, ça pourrait être un hasard", il jette cet élément et cherche autre chose.

3. Comment ça marche ? (L'analogie du "Tremblement de Main")

Pour savoir s'il est sûr de lui, le détective utilise une astuce géniale appelée perturbation adaptative.

Imaginez que le détective a une main qui tremble légèrement.

La méthode classique : Il secoue sa main de la même façon, peu importe la photo.
La nouvelle méthode (de ce papier) : Il ajuste la force de son tremblement en fonction de la photo.
- Si la photo est normale, il tremble à peine.
- Si la photo est bizarre ou floue (hors distribution), il secoue sa main plus fort pour tester sa stabilité.

Ensuite, il regarde comment sa "vision" (la prédiction) change quand sa main tremble.

Si sa vision reste claire malgré le tremblement, c'est qu'il a trouvé un élément solide et fiable.
Si sa vision devient floue ou change complètement, c'est qu'il a trouvé un élément fragile et douteux.

4. L'Algorithme du "Tri Intelligent" (Sous-modularité)

Une fois qu'il a testé tous les éléments avec ce "tremblement de main", il doit choisir les meilleurs. Il utilise une règle mathématique intelligente (appelée sélection sous-modulaire) qui fonctionne comme un curateur de musée.

Le curateur ne veut pas juste les meilleures pièces, il veut un ensemble diversifié et complet.

Il évite de choisir deux pièces qui disent la même chose (rédundance).
Il s'assure que les pièces choisies racontent une histoire cohérente.
Grâce à son "sixième sens" (l'incertitude), il rejette les pièces qui ne tiennent pas la route quand la situation change.

5. Le Résultat : Un Détective Inébranlable

Grâce à cette méthode :

En terrain connu (ID) : Le détective devient encore plus précis. Il trouve les meilleures pièces plus vite.
En terrain inconnu (OOD) : Au lieu de pointer du doigt des taches au hasard, il reste calme. Il identifie les vraies caractéristiques de l'objet (comme les oreilles d'un chat ou les plumes d'un oiseau), même si la photo est bizarre.

En résumé :
Ce papier propose de ne plus faire confiance aveuglément à l'IA. Au lieu de cela, on lui demande de douter de ses propres choix quand la situation est étrange. En filtrant les choix fragiles et en ne gardant que ceux qui résistent à la "secousse", on obtient des explications qui sont à la fois plus courtes, plus claires et beaucoup plus fiables, même quand l'IA se retrouve face à des situations qu'elle n'a jamais vues. C'est un pas de géant vers une IA plus honnête et plus sûre pour le monde réel.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Les modèles de vision par ordinateur sont de plus en plus déployés dans des applications critiques (conduite autonome, imagerie médicale), où l'interprétabilité est essentielle. Les méthodes d'attribution visuelle actuelles, qui visent à identifier les régions d'une image responsables d'une prédiction, fonctionnent bien sur des données in-distribution (ID). Cependant, leur fiabilité se dégrade considérablement face aux décalages de distribution (Out-of-Distribution ou OOD).

Les auteurs identifient plusieurs lacunes majeures dans les méthodes existantes basées sur la sélection de sous-ensembles (subset selection) :

Instabilité et redondance : Sous des conditions OOD, ces méthodes produisent des explications fragmentées, redondantes et sensibles aux incertitudes.
Manque de robustesse : Les cartes de saillance (saliency maps) deviennent peu fiables lorsque l'entrée s'éloigne de la distribution d'entraînement (ex: bruit, transformations géométriques, classes non vues).
Absence de gestion de l'incertitude : Les approches actuelles ne intègrent pas une estimation rigoureuse de l'incertitude épistémique pour guider la sélection des régions, ce qui conduit à une mauvaise généralisation.

2. Méthodologie

L'article propose un cadre novateur qui combine la sélection de sous-ensembles submodulaire avec une estimation d'incertitude basée sur le gradient et des perturbations adaptatives des poids, le tout sans nécessiter de réentraînement du modèle.

A. Estimation d'Incertitude par Perturbation Adaptative

Au lieu d'utiliser des ensembles de modèles lourds (Deep Ensembles) ou des méthodes bayésiennes complexes, les auteurs introduisent une estimation légère de l'incertitude :

Perturbation des poids : Pendant l'inférence, des perturbations stochastiques gaussiennes sont injectées dans les poids du réseau ( $\theta$ ).
Modulation Adaptative : L'amplitude de ces perturbations n'est pas fixe. Elle est modulée par une fonction $u(x)$ $u (x)$ qui dépend :
- Des statistiques de la couche (norme des poids).
- De la distance de l'entrée par rapport au centroïde des caractéristiques d'entraînement (via une distance de Mahalanobis).
- Cela permet d'augmenter la sensibilité aux déviations OOD tout en préservant la stabilité sur les données ID.
Score de Confiance ( $s_{conf}$ ) : En effectuant plusieurs passes stochastiques ( $T$ ), on calcule la norme des gradients par couche. Une grande variabilité des gradients indique une forte incertitude. Un score d'incertitude normalisé est dérivé de la distance de Mahalanobis entre les descripteurs de sensibilité de l'échantillon et ceux de l'entraînement.

B. Fonctions Objectif Submodulaires

Le problème d'explication est formulé comme une maximisation d'une fonction objectif $F(S)$ sur un sous-ensemble de régions $S$ . Les auteurs proposent deux formulations :

Pour l'attribution visuelle générale : Une fonction combinant un score de confiance (le nouveau score $s_{conf}$ ), d'efficacité (diversité), de cohérence et de collaboration.
Pour l'interprétation au niveau objet (Object-Level) : Une adaptation pour les modèles de fondation (ex: GroundingDINO), intégrant le score de confiance dans une fonction de recherche de précision visuelle (Visual Precision Search), utilisant des scores de "indice" (clue) et de collaboration.

C. Optimisation

Une recherche gloutonne (greedy) est utilisée pour maximiser ces fonctions submodulaires. Grâce aux propriétés de sous-modularité, cette approche garantit une solution proche de l'optimum (approximation à $1 - 1/e$) tout en restant efficace.

3. Contributions Clés

Révélation d'un fossé de robustesse : Une étude empirique démontrant que les méthodes de sélection de sous-ensembles existantes échouent sévèrement (chute de jusqu'à 40% des scores) sur des données OOD.
Cadre d'attribution robuste : Intégration réussie de l'estimation d'incertitude (via perturbations de poids adaptatives) dans l'optimisation submodulaire pour prioriser les régions stables et informatives.
Légèreté et généralisation : La méthode ne nécessite aucun modèle d'incertitude supplémentaire ni réentraînement. Elle fonctionne sur n'importe quelle architecture fine-tunée.
Amélioration double : Le cadre améliore non seulement la robustesse OOD, mais augmente également la fidélité des explications sur les données ID.

4. Résultats Expérimentaux

Les expériences ont été menées sur des paires de données ID/OOD soigneusement curatées (CUB/NABirds, COCO/iNaturalist, CIFAR-100) couvrant trois types de décalages : transformés, liés et complémentaires.

Métriques : Évaluation via les scores AUC d'insertion (plus haut est mieux) et de suppression (plus bas est mieux).
Performance sur Classification Fine (CUB) :
- Sur les données ID, la méthode améliore le score d'insertion de +1,7% à +5,0% selon la stratégie de partitionnement (SLICO/SEEDS).
- Sur les données OOD, les gains sont significatifs : +6,2% à +13,7% sur NABirds (lié) et +10% à +12% sur CIFAR-100 (complémentaire).
Performance sur Détection d'Objets (GroundingDINO) :
- Sur COCO ID, amélioration de +6,2% du score d'insertion.
- Sur OOD (ex: CIFAR-100 ou COCO transformé), l'amélioration est spectaculaire, avec des gains d'insertion allant jusqu'à +108% par rapport à la méthode de référence (VPS).
Qualité Visuelle : Les visualisations montrent que la méthode proposée sélectionne des sous-ensembles plus compacts, cohérents sémantiquement et centrés sur l'objet, évitant les régions de fond ou fragmentées typiques des méthodes de base sous conditions OOD.

5. Signification et Conclusion

Ce travail démontre que l'intégration de l'incertitude dans les mécanismes de sélection d'explications est cruciale pour l'IA fiable. En remplaçant les scores de confiance statiques par une estimation dynamique basée sur la sensibilité des gradients aux perturbations, les auteurs comblent un fossé critique de robustesse.

Impact :

Fiabilité : Permet de faire confiance aux explications même lorsque le modèle rencontre des données inattendues ou corrompues.
Efficacité : Offre une solution "plug-and-play" légère, évitant le coût computationnel des ensembles de modèles.
Transparence : Pave la voie vers des systèmes de vision plus transparents et dignes de confiance pour des applications réelles où les décalages de distribution sont inévitables.

En résumé, cette recherche propose une avancée méthodologique majeure pour rendre les explications de modèles de vision non seulement interprétables, mais aussi robustes face aux incertitudes du monde réel.