Résumé technique : Expliquer la similitude d'images à l'aide de vecteurs d'activation de concepts extraits automatiquement

Problématique

La similitude d'images est une composante fondamentale de nombreuses applications de vision par ordinateur, notamment la recherche d'images, la reconnaissance faciale et la compatibilité de mode. Bien que la similitude soit généralement mesurée dans les espaces de plongement (embeddings) latents de réseaux profonds préentraînés, la logique sous-jacente aux scores de similitude spécifiques reste opaque. Les méthodes d'explicabilité (xAI) existantes, principalement conçues pour des tâches de classification à entrée unique, peinent à fournir des informations globales sur les fonctions de similitude, qui nécessitent intrinsèquement deux entrées. Les approches actuelles reposent souvent sur des cartes d'attribution basées sur le gradient ou sur des attributs définis manuellement (par exemple, « rayures » ou « couleur ») pour générer des cartes de saillance. Ces méthodes font face à deux limitations principales :

1. Manque d'insight global : Elles échouent souvent à expliquer ce qui motive spécifiquement la similitude à travers des régions d'un espace d'embedding (par exemple, la texture vs la forme).
2. Dépendance aux définitions manuelles : Elles nécessitent fréquemment des bases de données de concepts prédéfinies ou des jeux de données étiquetés de manière intentionnelle, ce qui limite leur applicabilité à de nouveaux domaines ou modèles.
3. Fidélité distributionnelle : Les perturbations dans l'espace des pixels bruts (par exemple, le masquage) poussent souvent les entrées hors de la variété (manifold) des données, conduisant à des explications peu fiables.

Méthodologie

Les auteurs proposent un cadre agnostique au modèle et à la métrique qui explique la similitude d'images en utilisant des vecteurs d'activation de concepts (CAV) extraits automatiquement via des autoencodeurs creux (Sparse Autoencoders - SAE). La méthodologie se compose de trois étapes principales :

1. Apprentissage de dictionnaire creux (Extraction de concepts)

Étant donné un ensemble de données $\mathcal{X}$ et une fonction d'embedding $g: \mathcal{X} \to \mathbb{R}^d$, les auteurs décomposent la matrice des activations $A$ en une matrice de poids $U$ et un dictionnaire de concepts $V$. Ceci est réalisé en minimisant la norme de Frobenius :
$$(U, V) = \arg \min_{U,V} \|A - UV^\top\|_F^2$$
Ce processus utilise diverses formulations de SAE (Top-K, JumpReLU et SAE Vanilla) pour apprendre un dictionnaire de concepts sans étiquetage humain. Chaque activation est approximée comme une combinaison linéaire de ces concepts appris.

2. Perturbation de l'espace latent pour l'explication par paire

Pour expliquer la similitude entre deux images avec des embeddings $a_i$ et $a_j$, la méthode perturbe les embeddings le long des directions des concepts appris. L'importance d'un concept spécifique $c_k$ est déterminée en mesurant le changement de la fonction de similitude $f$ lorsque la contribution du concept est supprimée :
$$e_l^k(a_i, a_j) = (f(a_i, a_j) - f(a_i/c_k, a_j)) + (f(a_i, a_j) - f(a_i, a_j/c_k))$$
où $a_i/c_k = a_i - u_{i,k}v_k^\top$. Cette approche symétrique garantit que l'explication prend en compte les contributions des deux entrées. Le résultat est un vecteur d'explication locale caractérisant les attributs partagés et distincts.

3. Explication au niveau du groupe et recherche d'exemplaires

Le cadre s'étend aux contextes de groupe en moyennant les explications locales sur un groupe $G$ :
$$e_G = \frac{1}{\binom{|G|}{2}} \sum_{i,j \in G, i<j} e_l(a_i, a_j)$$
Cela permet l'analyse des clusters dans l'espace d'embedding. De plus, les auteurs introduisent la Recherche d'Exemplaires (Exemplar Retrieval), une tâche où, étant donné une paire requête-référence, le système récupère d'autres paires d'images qui partagent les mêmes raisons de similitude (c'est-à-dire des vecteurs d'explication similaires) plutôt que de simples scores d'apparence globale.

Principales contributions

1. Cadre novateur : Un cadre d'explicabilité agnostique au modèle et à la métrique pour la similitude d'images basé sur des CAV extraits automatiquement, permettant l'analyse par paire et au niveau du groupe sans bases de données de concepts prédéfinies.
2. Attribution basée sur la similitude : Une méthode pour dériver des scores d'importance de concept directement de la fonction de similitude, fournissant à la fois la localisation (via des cartes de chaleur) et la quantification de l'impact des concepts.
3. Perturbations fidèles : Preuves expérimentales démontrant que les perturbations dans l'espace latent sont plus fidèles à la distribution de données sous-jacente que les stratégies de masquage dans l'espace des pixels, entraînant moins d'embeddings hors distribution (OOD).
4. Insights exploitables : L'introduction de la Recherche d'Exemplaires et de l'analyse de groupe, permettant aux utilisateurs de comprendre et de manipuler les jugements de similitude basés sur des concepts sémantiques.

Résultats expérimentaux

Les auteurs ont évalué leur approche sur le jeu de données VITON-HD (mode) et un jeu de données synthétique Multi-CIFAR-10 Collage en utilisant six backbones de vision (DINOv2, DINOv3, ResNet50, ConvNeXt, ViT, SigLIP).

• Vérification des concepts : Sur le jeu de données synthétique, la méthode a réussi à préserver la symétrie de la fonction de similitude. Les dictionnaires entraînés ont atteint environ 90 % de récupération des scores de similitude originaux après des échanges de concepts, les SAE Top-K montrant la plus faible déviation.
• Fidélité distributionnelle : Les perturbations latentes ont systématiquement obtenu des scores de Wasserstein (W1) et OOD plus faibles par rapport aux stratégies de masquage dans l'espace d'entrée (ex: floutage, masquage aléatoire) pour tous les modèles testés. Cela confirme que les perturbations latentes restent plus proches de la variété des données.
• Récupérabilité linéaire : Un modèle de régression linéaire entraîné sur les vecteurs d'explication pouvait prédire les scores de similitude originaux avec une grande précision ($R^2 > 0,87$ pour les métriques Cosine et Euclidienne), surpassant les bases comme CSIM, les vecteurs basés sur le flou et l'attribution basée sur le gradient.
• Utilité qualitative : Dans les études de cas, la méthode a identifié avec succès les moteurs sémantiques de la similitude (ex: « rayures », « encolure ») et a permis la Recherche d'Exemplaires qui a récupéré des images basées sur des concepts partagés (ex: récupérer des chemises à rayures pour une requête de chemise à rayures) plutôt que sur une simple similitude visuelle.

Signification et affirmations

L'article affirme que son approche fournit une compréhension plus fidèle et interprétable de la similitude d'images que les méthodes existantes. En opérant dans l'espace latent, la méthode évite les pièges des perturbations dans l'espace des pixels qui génèrent souvent des images irréalistes. Les auteurs soulignent que leur cadre est automatisé, ne nécessitant aucune définition manuelle de concept, et est flexible, applicable à n'importe quel modèle préentraîné et toute métrique de similitude.

La signification réside dans la capacité de passer du « où » un modèle se concentre (saillance) au « quoi » des caractéristiques sémantiques qui pilotent la similitude. Les auteurs positionnent leur travail comme une étape vers des informations exploitables, permettant aux concepteurs de modèles d'identifier et potentiellement d'atténuer les pilotes de similitude indésirables (ex: artefacts d'arrière-plan) et de permettre des tâches de recherche avancées conditionnées par des raisons sémantiques spécifiques. Cependant, les auteurs notent modestement que leur approche suppose une reconstruction linéaire de l'espace d'embedding via les CAV, ce qui est une approximation de premier ordre, et que la stabilité des SAE reste une considération.