💻 computer science

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

Ce papier présente SITH, un cadre d'interprétabilité sans données ni entraînement qui décompose les matrices des têtes d'attention de CLIP en concepts sémantiques cohérents via la décomposition en valeurs singulières, permettant ainsi des modifications précises du modèle et l'analyse de son adaptation.

Auteurs originaux : Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

Publié 2026-03-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que le modèle CLIP (ce cerveau artificiel qui comprend à la fois les images et le texte) est une gigantesque bibliothèque secrète. Jusqu'à présent, pour comprendre comment cette bibliothèque fonctionne, les chercheurs devaient y jeter des milliers de livres (des images) et observer comment les bibliothécaires (les neurones du modèle) réagissaient. C'était lent, dépendait des livres qu'on choisissait, et on ne voyait souvent que les grandes étagères, pas les détails.

Les auteurs de cette nouvelle étude, SITH, ont une approche radicalement différente. Ils disent : « Pourquoi attendre de voir les livres ? Regardons directement la structure des étagères et les plans de construction (les poids du modèle) ! »

Voici l'explication simple de leur méthode, avec quelques analogies :

1. Le Problème : Regarder les ombres au lieu de la statue

Les méthodes actuelles regardent ce que le modèle "pense" quand on lui montre une photo (les activations). C'est comme essayer de comprendre un orchestre en écoutant seulement les applaudissements du public. Ça dépend du public (les données) et ça ne vous dit pas exactement quel musicien joue quelle note.

2. La Solution SITH : La Radiographie du Modèle

SITH (Semantic Inspection of Transformer Heads) est comme une radiographie ou une analyse d'ingénierie inverse.

Sans données : Ils n'ont pas besoin de montrer une seule photo au modèle. Ils ouvrent simplement le "moteur" et regardent les pièces métalliques (les poids mathématiques).
Sans entraînement : Ils ne modifient pas le modèle, ils l'observent tel quel.

3. La Magie : Le "Déchiquetage" (SVD)

Imaginez que chaque "tête d'attention" du modèle (un petit module qui aide à comprendre une image) est une boîte à outils géante. À l'intérieur, il y a des milliers d'outils mélangés.
Les chercheurs utilisent une technique mathématique appelée Décomposition en Valeurs Singulières (SVD).

L'analogie : C'est comme prendre cette boîte à outils et la trier automatiquement pour isoler les outils principaux. Au lieu de voir un gros tas de marteaux, vis et clés, ils séparent les "marteaux rouges", les "clés pour les vis de voiture" et les "clés pour les vis de vélo".
Chaque outil isolé (appelé vecteur singulier) représente une direction précise dans laquelle le modèle "écrit" de l'information.

4. Le Traducteur Intelligent : COMP

Une fois qu'ils ont isolé ces outils mathématiques abstraits, ils sont incompréhensibles pour un humain (c'est juste des nombres). C'est là qu'intervient COMP, le nouvel algorithme.

L'analogie : Imaginez que vous avez un morceau de musique complexe. COMP est un traducteur qui dit : « Ce morceau n'est pas juste du bruit, c'est en fait un mélange de jazz, de blues et d'un peu de rock, dans des proportions précises ».
COMP prend le vecteur mathématique et le décompose en une liste de concepts humains simples (comme "rouge", "chat", "plage", "tissu").
La cohérence : Contrairement aux anciennes méthodes qui pouvaient dire "ce vecteur c'est 'chat' ET 'pomme' ET 'avion'" (ce qui n'a pas de sens), COMP s'assure que les concepts choisis vont bien ensemble. Si le vecteur parle de "chat", COMP dira "poil de chat", "moustaches" et "ronronnement", pas "pneus de voiture".

5. Pourquoi c'est génial ? (Les Applications)

Grâce à cette carte précise des "outils" du modèle, les chercheurs peuvent faire de la chirurgie de précision sans jamais réapprendre le modèle :

Nettoyer les préjugés (Spurious Correlations) :
- Problème : Si le modèle apprend que "les vaches sont toujours dans les prés", il peut échouer s'il voit une vache sur un tapis.
- Solution SITH : Ils identifient l'outil mathématique qui correspond à "herbe" ou "prairie" et le désactivent. Le modèle apprend à regarder la vache elle-même, pas le décor. C'est comme retirer un filtre déformant de la caméra.
Rendre le modèle plus sûr (NSFW) :
- Ils peuvent repérer les outils qui traitent de contenus violents ou inappropriés et les "éteindre" ou les inverser, rendant le modèle plus sûr sans avoir besoin de le réentraîner sur des millions d'images propres.
Améliorer les performances :
- Si vous voulez que le modèle soit meilleur pour reconnaître des fleurs, ils peuvent "amplifier" le volume des outils qui parlent de pétales et de couleurs, et "baisser le volume" de ceux qui parlent de voitures.

6. La Découverte sur l'Apprentissage (Fine-tuning)

Enfin, ils ont étudié ce qui se passe quand on "entraîne" un modèle sur une nouvelle tâche (comme reconnaître des chiens).

L'analogie : On pensait que l'entraînement réécrivait tout le cerveau du modèle.
La réalité SITH : L'entraînement ne construit pas de nouvelles étagères. Il se contente de réajuster le volume des outils existants. Le modèle utilise toujours les mêmes concepts de base (couleurs, formes, textures), mais il les mélange différemment pour s'adapter à la nouvelle tâche. C'est comme un chef qui utilise toujours les mêmes épices, mais change les proportions pour faire un plat italien ou un plat mexicain.

En résumé

SITH est une loupe magique qui permet de lire les plans de construction d'une intelligence artificielle sans avoir besoin de la tester sur des milliers d'exemples. Elle transforme des maths obscures en concepts clairs, permettant aux humains de comprendre, de corriger et d'améliorer ces modèles comme on réparerait une montre de précision, pièce par pièce.

1. Problématique et Contexte

Les modèles vision-langage (VLM) comme CLIP sont de plus en plus déployés à grande échelle, mais leur fonctionnement interne reste souvent une "boîte noire". Les méthodes d'interprétabilité existantes reposent principalement sur l'analyse des activations (réponses du modèle à des données d'entrée). Cette approche présente plusieurs limites majeures :

Dépendance aux données : Les interprétations sont biaisées par l'ensemble de données utilisé pour générer les activations (ex: ImageNet).
Granularité grossière : Elles expliquent souvent le comportement d'une tête d'attention entière plutôt que des sous-composants spécifiques.
Vulnérabilité : Les biais des données d'entraînement se répercutent sur l'interprétation.

L'objectif de ce travail est de proposer une méthode sans données (data-free) et sans entraînement (training-free) pour interpréter directement les poids du modèle, permettant une analyse plus fine, robuste et indépendante des données d'entrée.

2. Méthodologie : Le Framework SITH

Les auteurs introduisent SITH (Semantic Inspection of Transformer Heads), un cadre d'interprétabilité mécaniste qui opère directement dans l'espace des poids du transformateur visuel de CLIP.

A. Analyse des Poids (Value-Output Matrix)

Contrairement aux méthodes basées sur les activations, SITH isole la matrice de poids Value-Output (VO) ( $W_{VO}$ ) de chaque tête d'attention. Selon la théorie des circuits de transformateurs, cette matrice détermine quelles informations sont écrites dans le flux résiduel, indépendamment des motifs d'attention (qui gèrent le flux d'information).

B. Décomposition en Vecteurs Singuliers (SVD)

Pour chaque tête d'attention, la matrice $W_{VO}$ est décomposée via la Décomposition en Valeurs Singulières (SVD) :
$W_{VO} = U \Sigma V^T$

Les vecteurs singuliers droits ( $v_i$ ) représentent les directions de sortie dominantes (ce que la tête "écrit").
Les vecteurs singuliers gauches ( $u_i$ ) représentent les directions d'entrée (ce que la tête "lit").
Les valeurs singulières ( $\sigma_i$ ) indiquent l'importance de chaque direction.
Cette étape permet de décomposer le comportement d'une tête en plusieurs sous-composants orthogonaux, chacun potentiellement dédié à un concept sémantique spécifique.

C. Interprétation Sémantique via COMP

Pour donner un sens humain à ces vecteurs singuliers (qui sont des vecteurs mathématiques dans un espace de haute dimension), les auteurs proposent un nouvel algorithme : COMP (Coherent Orthogonal Matching Pursuit).

Objectif : Représenter chaque vecteur singulier comme une combinaison linéaire sparse (peu de termes) et cohérente de concepts textuels issus d'un dictionnaire (ConceptNet 5.5).
Fonctionnement : COMP est une variante du Non-Negative Orthogonal Matching Pursuit (NNOMP). Il sélectionne itérativement des concepts pour reconstruire le vecteur cible.
Innovation clé : Contrairement à NNOMP qui optimise uniquement l'erreur de reconstruction, COMP ajoute un terme de cohérence sémantique. Lors de la sélection d'un nouveau concept, l'algorithme favorise ceux qui sont sémantiquement proches des concepts déjà sélectionnés dans le support. Cela évite les ensembles de concepts hétéroclites et produit des explications plus interprétables.

3. Contributions Clés

SITH : Un cadre d'interprétabilité entièrement sans données et sans entraînement pour les VLM, analysant directement les poids des têtes d'attention.
Granularité Intra-tête : La méthode permet de disséquer une tête d'attention en plusieurs vecteurs singuliers, révélant que des têtes apparemment uniformes contiennent en réalité des sous-composants spécialisés (ex: une même tête gère à la fois le "rouge" et le "vert" via des vecteurs différents).
Algorithme COMP : Une technique de décomposition sparse régularisée par la cohérence, capable de mapper des vecteurs mathématiques abstraits vers des ensembles de concepts naturels et cohérents.
Édition de Modèle Interprétable : La capacité d'éditer directement les valeurs singulières pour supprimer des corrélations fallacieuses ou améliorer des tâches spécifiques sans réentraînement.

4. Résultats Expérimentaux

A. Fidélité et Interprétabilité

Qualité de reconstruction : SITH avec COMP atteint un équilibre optimal entre la fidélité de la reconstruction du vecteur singulier et la cohérence sémantique des concepts, surpassant les méthodes de base (Top-k et NNOMP).
Validation visuelle : Les images récupérées dans le dataset CC12M qui correspondent le mieux à un vecteur singulier donné confirment visuellement l'interprétation textuelle fournie par COMP (ex: un vecteur interprété comme "plages" correspond bien à des images de plages).

B. Édition de Modèle (Model Editing)

SITH permet de modifier le comportement du modèle en ajustant les valeurs singulières ( $\sigma_i$ ) :

Suppression de corrélations fallacieuses : Sur le dataset Waterbirds (oiseaux sur des arrière-plans non naturels), la suppression des vecteurs liés aux concepts de "fond" ou "lieu" améliore significativement la précision sur le groupe le plus défavorisé (worst-group accuracy), surpassant les méthodes basées sur l'activation.
Sécurité (NSFW) : En supprimant ou en inversant les vecteurs liés à des concepts non sécurisés (nudité, violence), le modèle devient plus robuste aux requêtes dangereuses, surpassant même des modèles spécifiquement entraînés pour la sécurité (Safe-CLIP) sur des requêtes sûres.
Amélioration de la classification : En amplifiant les vecteurs liés aux concepts pertinents pour une tâche de classification spécifique (ex: fleurs, animaux), la précision zero-shot s'améliore sur plusieurs benchmarks (Flowers 102, Oxford Pets, CUB-200) sans aucune donnée d'entraînement.

C. Analyse de l'Adaptation (Fine-tuning)

L'étude de l'adaptation du modèle (fine-tuning) révèle que :

Le fine-tuning ne crée pas de nouvelles bases de features radicalement différentes.
Il provoque un décalage subtil dans l'espace des sous-espaces sémantiques existants.
Les vecteurs singuliers "tâche" (différence entre les poids avant et après fine-tuning) sont fortement alignés sémantiquement avec le domaine de la tâche (ex: concepts floraux pour Flowers 102).

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'interprétabilité des modèles multimodaux :

Indépendance des données : En s'affranchissant des données d'entrée, SITH évite les biais de dataset et offre une vue "pure" de la connaissance encodée dans le modèle.
Précision chirurgicale : La capacité d'intervenir au niveau des vecteurs singuliers (plutôt que des têtes entières) permet un contrôle plus fin et plus efficace du comportement du modèle.
Universalité : Les auteurs montrent que des architectures et des tailles de modèles différentes (ViT-B, ViT-L, ViT-H, MobileCLIP) convergent vers des têtes d'attention spécialisées similaires (couleurs, lieux, matériaux), soutenant l'hypothèse de l'universalité des circuits neuronaux.

En résumé, SITH transforme les poids abstraits d'un modèle VLM en concepts humains compréhensibles, permettant non seulement de mieux comprendre le modèle, mais aussi de le modifier de manière ciblée et sûre sans coût computationnel supplémentaire lié à l'entraînement.