Explainable embeddings with Distance Explainer

Cet article présente le « Distance Explainer », une nouvelle méthode post-hoc qui adapte les techniques de salience pour générer des explications locales interprétables des distances dans les espaces vectoriels embarqués, démontrant ainsi son efficacité et sa robustesse sur des modèles comme CLIP.

L'essentiel

🕵️‍♂️ Le Détective des Espaces Cachés : Comment "Distance Explainer" fonctionne

Imaginez que vous avez un super-ordinateur (une intelligence artificielle) qui a appris à reconnaître des choses. Pour faire simple, ce cerveau numérique ne voit pas les images comme nous (avec des yeux), mais il les transforme en codes secrets : de très longues listes de chiffres appelées "vecteurs" ou "espaces intégrés".

Dans ce monde de chiffres, si deux images sont proches l'une de l'autre, c'est qu'elles se ressemblent beaucoup. Si elles sont loin, elles sont très différentes.

Le problème ?
Ces listes de chiffres sont incompréhensibles pour nous. Si l'IA dit : "Ces deux images sont très proches", nous ne savons pas pourquoi. Est-ce à cause des yeux ? De la couleur ? De la forme ? C'est comme si un ami vous disait "Je sais que ce chien ressemble à ce chat" sans pouvoir vous montrer la moindre raison. C'est flou et ça manque de confiance.

La solution : Distance Explainer
Les auteurs (Christiaan Meijer et Patrick Bos) ont créé un nouvel outil, un peu comme un détective scientifique, pour répondre à la question : "Pourquoi ces deux points sont-ils proches (ou loin) dans l'espace de l'IA ?"

🎭 L'Analogie du Masque de Théâtre

Pour comprendre comment fonctionne ce détective, imaginez que vous regardez une photo d'un abeille et que vous voulez savoir pourquoi elle ressemble (ou non) à une photo de mouche.

L'outil utilise une technique appelée "masquage aléatoire" (inspirée d'une méthode existante appelée RISE). Voici comment il procède, étape par étape :

1. Le Jeu du "Caché" : Le détective prend la photo de l'abeille et la couvre de milliers de petits masques aléatoires (comme si on cachait des parties de la photo avec du papier noir).
2. L'Expérience : À chaque fois qu'il cache une partie, il demande à l'IA : "Maintenant que j'ai caché cette partie, est-ce que l'abeille ressemble encore à la mouche ?"
   • Si l'IA dit : "Ah ! En cachant cette partie, elles ne se ressemblent plus du tout !", alors cette partie cachée était cruciale (c'est probablement les ailes ou les rayures).
   • Si l'IA dit : "Peu importe, elles se ressemblent toujours", alors la partie cachée n'était pas importante.
3. Le Tri Intelligent (La Magie) : Au lieu de tout mélanger, le détective trie les masques.
   • Il garde seulement les masques qui ont le plus changé la ressemblance (ceux qui ont fait basculer la décision).
   • Il utilise une astuce appelée "mode miroir" : il compare ce qui rapproche les images (les similitudes) et ce qui les éloigne (les différences), et il soustrait le bruit pour ne garder que le signal pur.

🎨 Le Résultat : Une Carte de Chaleur

À la fin de ce processus, le détective vous montre une carte colorée superposée à l'image :

• Rouge : "C'est ici que l'image ressemble à l'autre !" (Exemple : les ailes de l'abeille qui la rapprochent de la mouche).
• Bleu : "C'est ici que l'image est différente !" (Exemple : les rayures de l'abeille qui la distinguent de la mouche).

C'est comme si l'IA vous montrait du doigt : "Regarde, c'est à cause de ces détails précis que j'ai fait ce choix."

🧪 Pourquoi est-ce important ?

Les chercheurs ont testé cet outil sur des modèles célèbres (comme CLIP, qui comprend à la fois les images et le texte) et sur des milliers d'images.

• C'est fiable : Si on change un peu l'image, la carte change de la même manière (elle est robuste).
• C'est honnête : La carte dépend vraiment de l'IA et non d'une astuce de l'outil lui-même.
• C'est polyvalent : Ça marche aussi bien pour comparer deux images, ou une image avec une phrase (ex: une photo de chien vs la phrase "un chien").

🚀 En résumé

Imaginez que l'IA est un chef cuisinier qui a créé un plat mystérieux.

• Avant, on lui demandait : "Pourquoi ce plat est-il bon ?" et il répondait : "C'est magique."
• Avec Distance Explainer, on lui demande la même chose, et il nous sort une carte qui dit : "C'est parce que j'ai mis beaucoup de sel ici (rouge) et pas de poivre là (bleu) que le goût est comme ça."

Cet outil rend les décisions des intelligences artificielles transparentes, ce qui permet aux humains de mieux leur faire confiance, surtout dans des domaines sensibles comme la médecine ou la recherche scientifique.

---

En termes simples : C'est un outil qui transforme les calculs mathématiques obscurs d'une IA en une image claire et colorée, nous montrant exactement quels détails font qu'une chose ressemble (ou non) à une autre.

Résumé technique

1. Problématique

Le domaine de l'IA explicable (XAI) a considérablement progressé pour les données structurées (images, texte, séries temporelles), mais il existe un manque critique de méthodes pour interpréter les espaces vectoriels embarqués (embedded spaces).

• Le défi : Dans les modèles d'apprentissage profond (comme FaceNet, Word2vec, VAE, ou les modèles multimodaux comme CLIP), les données sont projetées dans des espaces vectoriels de haute dimension où chaque dimension représente une abstraction complexe.
• La lacune : Les méthodes XAI existantes (comme RISE, LIME, GradCAM) expliquent généralement les décisions d'un modèle pour une seule entrée (classification). Elles ne sont pas conçues pour expliquer la distance ou la similarité entre deux points dans un espace embarqué. Comprendre pourquoi deux instances (ex: une image et un texte, ou deux images) sont proches ou éloignées dans cet espace reste difficile, limitant la confiance et la transparence dans les applications scientifiques et industrielles.

2. Méthodologie : Distance Explainer

Les auteurs proposent une nouvelle méthode, Distance Explainer, qui génère des explications locales a posteriori (post-hoc) pour les distances entre deux points dans un espace embarqué. La méthode s'inspire de l'algorithme RISE (Randomized Input Sampling for Explanation) mais l'adapte spécifiquement à la tâche de comparaison de paires.

Principes clés de l'algorithme :

1. Configuration d'entrée : Contrairement à RISE qui prend une seule entrée, Distance Explainer prend deux entrées :
   • Un élément de référence ($r$).
   • Un élément à expliquer ($e$).
2. Masquage aléatoire : L'élément à expliquer ($e$) est soumis à un processus de masquage aléatoire (génération de $N_{masks}$ masques binaires), similaire à RISE. Les pixels masqués sont remplacés par une valeur de base.
3. Calcul de distance : Pour chaque masque appliqué, le modèle encode l'entrée masquée et calcule la distance (généralement la distance cosinus) entre l'embedding masqué et la référence fixe $r$.
4. Filtrage par rang de distance (Innovation majeure) :
   • Au lieu de pondérer les masques par les scores de classe (comme dans RISE), la méthode trie les masques en fonction de l'impact de leur suppression sur la distance.
   • Filtrage sélectif : Seuls les masques ayant un impact significatif sont conservés. Les auteurs explorent trois stratégies :
     • Top x% : Masques qui augmentent le plus la distance (révèlent les régions les plus importantes pour la similarité).
     • Bottom x% : Masques qui diminuent le plus la distance (révèlent les régions qui éloignent les points).
     • Mode "Miroir" (Mirror mode) : Combinaison des deux ensembles (Top et Bottom). Les masques du bas sont multipliés par -1 et soustraits des masques du haut. Cette approche améliore le rapport signal/bruit en annulant partiellement le bruit statistique.
5. Carte d'attribution : Les masques filtrés sont sommés pour produire une carte de chaleur (attribution map) indiquant quelles régions de l'entrée contribuent à la proximité ou à la séparation des deux points.

3. Contributions Clés

• Première méthode générique pour les distances : C'est la première approche modale-agnostique capable d'expliquer les distances dans des espaces embarqués arbitraires, au-delà des tâches spécifiques de reconnaissance faciale (comme S-RISE ou CorrRISE).
• Adaptation de RISE pour la comparaison : Transformation d'un algorithme de classification en un outil de comparaison de paires, résolvant le problème de l'absence de probabilités de classe pour pondérer les masques.
• Stratégie de filtrage "Miroir" : Introduction d'une méthode de sélection de masques qui combine les effets de rapprochement et d'éloignement pour améliorer la robustesse et la clarté des explications.
• Analyse des paramètres : Une étude approfondie sur l'impact du nombre de masques, de la couverture des masques ($p_{keep}$) et de la résolution des super-pixels sur la qualité de l'explication.

4. Résultats Expérimentaux

Les auteurs ont évalué la méthode sur deux types de modèles et de données :

• Données : Paires Image-Image (modèles ImageNet comme ResNet50, VGG16) et Paires Image-Texte (modèle CLIP ViT-B/32).
• Métriques quantitatives (via Quantus) :
  • Fidélité (Faithfulness) : Mesurée par la suppression incrémentale des pixels. Les résultats montrent que supprimer les pixels identifiés comme importants modifie significativement la distance, prouvant que l'explication capture bien les caractéristiques déterminantes.
  • Robustesse / Sensibilité : Les scores de sensibilité moyenne sont très faibles (0.04 - 0.06), indiquant que les cartes d'attribution sont stables face à de petites perturbations d'entrée.
  • Randomisation (MPRT) : La méthode dépend fortement des paramètres du modèle. Lorsque les poids du modèle sont randomisés, les cartes d'attribution changent radicalement (corrélation proche de zéro), confirmant que l'explication n'est pas un artefact de l'algorithme mais bien une propriété du modèle appris.
• Évaluation Qualitative :
  • Les cartes d'attribution identifient correctement les caractéristiques sémantiques (ex: les ailes rapprochent une image d'abeille d'une autre, tandis que les rayures les éloignent).
  • La méthode fonctionne bien pour les paires multimodales (Image vs Légende), bien que les cartes soient légèrement moins nettes que pour les paires Image-Image.

5. Signification et Impact

• Combler un vide de recherche : Cette méthode adresse un besoin critique dans la recherche sur l'IA explicable en rendant les espaces vectoriels abstraits interprétables.
• Confiance et Transparence : Elle permet aux chercheurs et aux développeurs de comprendre les mécanismes de similarité dans des modèles complexes (comme CLIP), facilitant le débogage et l'audit des biais.
• Extensibilité : Bien que les expériences se concentrent sur les images, l'algorithme est conçu pour être étendu à d'autres modalités (texte, tableaux, séries temporelles) en utilisant des fonctions de masquage adaptées (comme celles fournies par la bibliothèque DIANNA).
• Limites et Perspectives : Le coût computationnel reste élevé (nécessite de nombreuses passes du modèle), et le réglage des hyperparamètres (nombre de masques, seuils) nécessite une attention. Les travaux futurs pourraient explorer des stratégies d'échantillonnage guidé pour réduire le coût et étudier l'interprétabilité par les utilisateurs non experts.

En résumé, Distance Explainer est une avancée significative pour rendre les "boîtes noires" des espaces d'embeddings plus transparentes, offrant un outil robuste pour analyser les relations sémantiques apprises par les modèles d'IA modernes.