💻 computer science

Interpretability Transfer from Language to Vision via Sparse Autoencoders

Ce papier présente VISTA, un cadre qui transfère l'interprétabilité du langage vers la vision en alignant les tokens visuels sur un espace préexistant d'autoencodeurs parcimonieux textuels étiquetés dans les modèles vision-langage, permettant ainsi une localisation précise des concepts visuels et des interventions intermodales efficaces sans entraîner d'autoencodeurs parcimonieux visuels dédiés.

Auteurs originaux : Alexey Kravets, Da Li, Chuan Li, Da Chen, Vinay P. Namboodiri

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexey Kravets, Da Li, Chuan Li, Da Chen, Vinay P. Namboodiri

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot très intelligent capable de voir des images et d'en parler. Ce robot possède un « cerveau » (un modèle de langage de grande taille) qui est incroyablement performant pour comprendre les mots, mais il reste un mystère de savoir comment il « voit » réellement le monde. Habituellement, lorsque nous tentons de jeter un coup d'œil à l'intérieur du cerveau de ce robot pour voir ce qu'il pense d'une image, c'est comme essayer de lire un livre écrit dans une langue que personne ne parle encore.

Ce papier présente une nouvelle méthode appelée VISTA (Visual Interpretability via SAE Transfer Alignment) pour résoudre ce problème. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : L'incompatibilité du « Dictionnaire »

Imaginez le cerveau du robot comme possédant un dictionnaire massif et pré-écrit de concepts (comme « chien », « courir », « heureux »). Ce dictionnaire a été construit en lisant des millions de livres et est très bien organisé. Cependant, lorsque le robot regarde une image, les signaux qu'il reçoit de ses yeux (les données visuelles) ne correspondent pas aux mots de ce dictionnaire. Ils sont comme deux langues différentes.

Pour comprendre ce que le robot voit, les scientifiques essaient généralement de construire un nouveau dictionnaire spécifiquement pour les images. Mais cela est difficile car l'étiquetage des concepts visuels est confus. Une fonctionnalité « chien » est-elle simplement un chien, ou une race spécifique, ou un chien en train de courir ? C'est ambigu et cela demande beaucoup de travail pour étiqueter.

2. La Solution : VISTA (L'Adaptateur Universel)

Au lieu de construire un nouveau dictionnaire pour les images, VISTA agit comme un adaptateur traducteur universel.

La Configuration : Le robot possède un « cerveau » figé (le modèle de langage) avec son dictionnaire existant et étiqueté. Il dispose également d'une « caméra » (un encodeur visuel) qui voit le monde.
L'Astuce : VISTA entraîne un petit connecteur simple (un projecteur) entre la caméra et le cerveau.
L'Objectif : Le but est de forcer les signaux de la caméra à s'adapter parfaitement au dictionnaire existant du cerveau. Les chercheurs font cela en ajoutant une règle spéciale pendant l'entraînement : « Les signaux d'image que vous envoyez au cerveau doivent être reconstruisibles en utilisant le propre dictionnaire de mots du cerveau. »

C'est comme forcer un clou carré (l'image) à entrer dans un trou rond (le dictionnaire de mots) en remodelant le clou, plutôt que d'essayer de construire tout un nouveau trou carré.

3. Le Résultat : Voir, c'est Comprendre

Parce que VISTA force les signaux d'image à s'aligner sur le dictionnaire de mots, nous pouvons maintenant « lire » ce que le robot voit en utilisant les mots qu'il connaît déjà.

Le Lien avec « Neuronpedia » : Le papier utilise une base de données publique appelée Neuronpedia, qui agit comme une légende pour le cerveau du robot. Elle nous indique qu'un signal spécifique signifie « chat » ou « biscuit ».
La Percée : Avec VISTA, lorsque le robot regarde une image d'un chat, le signal qu'il envoie au cerveau active exactement le même concept de « chat » dans le dictionnaire que si quelqu'un avait simplement tapé le mot « chat ». Cela se produit sans avoir besoin de re-étiqueter quoi que ce soit ou d'entraîner un nouveau dictionnaire.

4. La Caméra Compte : DINOv2 vs CLIP

Le papier a également testé différentes « caméras » (encodeurs visuels) pour voir laquelle fonctionne le mieux avec ce traducteur.

CLIP (Le Penseur Global) : Imaginez une caméra qui regarde une image entière et dit : « C'est une scène avec un chat. » Elle est bonne pour la vue d'ensemble mais mauvaise pour les détails. Si vous lui demandez de pointer exactement où se trouve le chat, elle pourrait se confondre et pointer vers l'arrière-plan.
DINOv2 (Le Détective Local) : Cette caméra est comme un détective qui examine de petits fragments de l'image. Elle sait exactement quel tout petit carré de pixels contient l'oreille du chat et lequel contient la queue.
La Découverte : VISTA fonctionne mieux avec DINOv2. Parce que DINOv2 conserve la localisation précise des objets, VISTA peut effectuer une « chirurgie » sur la vision du robot.

5. Le Tour de Magie : La Direction Visuelle

Parce que les signaux d'image sont maintenant parfaitement alignés avec le dictionnaire de mots, les chercheurs peuvent effectuer une « direction visuelle ». C'est comme éditer la perception de la réalité du robot en utilisant les mathématiques.

L'Expérience : Ils ont pris une image d'une « fille mangeant un biscuit au chocolat ».
L'Action : Ils ont trouvé les signaux spécifiques pour « chocolat » et les ont soustraits, ou ont ajouté des signaux pour « pain ».
Le Résultat : La description du robot est passée de « mangeant un biscuit au chocolat » à « mangeant un sandwich » ou « mangeant du pain », mais uniquement pour cette partie spécifique de l'image. Le reste de la scène (la fille, la chaise) est resté exactement le même.

Sans VISTA (et spécifiquement avec la caméra DINOv2), le robot échouerait soit à changer l'objet, soit commencerait à halluciner des choses étranges (comme une personne apparaissant de nulle part) parce qu'il ne pouvait pas identifier exactement où effectuer le changement.

Résumé

En bref, ce papier montre que nous n'avons pas besoin d'enseigner à un robot une nouvelle langue pour comprendre sa vision. Au lieu de cela, nous pouvons enseigner à ses « yeux » à parler la même langue que son « cerveau ». En utilisant un type spécifique de caméra (DINOv2) et une astuce d'entraînement ingénieuse, nous pouvons rendre la vision du robot si claire et précise que nous pouvons non seulement comprendre ce qu'elle voit, mais aussi éditer sa perception d'objets spécifiques dans une image, tout en gardant le reste du monde intact.

Résumé Technique : Transfert d'Interprétabilité du Langage vers la Vision via des Autoencodeurs Creux

1. Énoncé du Problème

L'interprétabilité des Modèles Multimodaux de Grande Taille (LMM) demeure un défi majeur. Bien que les Autoencodeurs Creux (SAE) aient réussi à décomposer les caractéristiques polysemantiques du langage en concepts monosémantiques et interprétables au sein des Modèles de Langage de Grande Taille (LLM), l'application de ce succès au domaine visuel est entravée par deux limitations principales :

Ambiguïté de l'Étiquetage : L'entraînement de SAE spécifiques à un domaine sur des encodeurs visuels produit des caractéristiques visuelles monosémantiques, mais l'étiquetage de ces caractéristiques est difficile. Distinguer si une caractéristique représente un objet spécifique, une race ou une action est ambigu. De plus, les SAE purement visuels ne révèlent pas comment les caractéristiques visuelles sont interprétées une fois qu'elles pénètrent dans le flux résiduel du LLM.
Coût Computationsnel : Le fine-tuning des SAE existants basés sur des LLM pour intégrer des informations visuelles est prohibitivement coûteux. Par exemple, l'adaptation d'un modèle comme Gemma Scope nécessite des ressources computationnelles massives et des efforts d'étiquetage étendus (par exemple, des centaines de milliers de requêtes LLM) pour tenir compte des espaces latents décalés.

La question centrale abordée est : Les autoencodeurs creux de langage peuvent-ils être réutilisés pour interpréter des concepts visuels sans entraîner de nouveaux SAE spécifiques à la vision ?

2. Méthodologie : Cadre VISTA

Les auteurs proposent VISTA (Visual Interpretability via SAE Transfer Alignment), un cadre conçu pour transférer l'interprétabilité du langage vers la vision au sein d'un modèle vision-langage de style LLaVA. L'innovation centrale consiste à contraindre le projecteur visuel à mapper les jetons visuels directement dans l'espace SAE textuel préexistant et étiqueté du LLM.

Architecture et Objectif d'Entraînement

Configuration : Le cadre utilise un encodeur visuel figé (par exemple, DINOv2, CLIP) et un LLM figé. Un projecteur linéaire entraînable ( $P_\theta$ ) mappe les jetons visuels ( $v$ ) dans l'espace d'incorporation du LLM ( $e_v$ ).
Fonction de Perte : Contrairement à l'entraînement standard qui minimise uniquement la Perte d'Entropie Croisée ( $L_{CE}$ $L_{C E}$ ) sur le texte cible, VISTA introduit une Perte de Reconstruction SAE auxiliaire ( $L_{SAE}$ $L_{S A E}$ ).
- Un SAE pré-entraîné, entraîné sur le flux résiduel du LLM en utilisant uniquement des données textuelles, est utilisé comme contrainte.
- La perte minimise l'erreur quadratique moyenne entre les jetons visuels projetés et leur reconstruction par le SAE textuel : $L_{SAE} = \frac{1}{|M|} \sum_{l \in M} ||SAE_l(e^l_v) - e^l_v||^2_2$ .
- L'objectif total est $L_{total} = L_{CE} + L_{SAE}$ .
Mécanisme : Cela force les jetons visuels à se situer sur la variété définie par les SAE textuels. Par conséquent, les entrées visuelles peuvent être interprétées via des concepts SAE linguistiques pré-étiquetés avec un coût computationnel supplémentaire négligeable, contournant ainsi la nécessité d'un entraînement de SAE spécifiques à la vision.

Pilotage Fin

Une fois alignés, la manipulation visuelle devient une opération arithmétique au sein de la variété linguistique. Le cadre permet un pilotage localisé en ajoutant ou en soustrayant des directions de décodeur (concepts) du SAE textuel à des positions spécifiques de jetons visuels ( $v_{source}$ ) :

Suppression : $v_{steered} = v_{source} - \beta \cdot v_{remove}$
Remplacement : $v_{steered} = v_{source} + \alpha \cdot v_{add}$
Cela permet la suppression ou le remplacement d'objets spécifiques dans la perception du modèle tout en préservant le contexte de la scène environnante.

3. Contributions Clés

Transfert d'Interprétabilité : L'introduction d'un objectif d'entraînement qui aligne les jetons visuels avec les caractéristiques SAE des LLM, facilitant le transfert d'interprétabilité intermodale sans le fardeau computationnel de l'entraînement ou de l'étiquetage de SAE spécifiques à la vision.
Analyse des Encodeurs : Une comparaison rigoureuse des encodeurs visuels rendue possible par VISTA, révélant que DINOv2 atteint une localisation spatiale supérieure et stable architecturalement. Contrairement aux modèles contrastifs comme CLIP, qui privilégient les résumés globaux et souffrent de confusion spatiale, l'objectif auto-supervisé de DINOv2, allant du local au global, préserve les informations locales fines requises pour une précision au niveau des patches.
Validation Causale : Démonstration que les interventions arithmétiques sur les jetons visuels utilisant les directions SAE textuelles produisent des changements cohérents et localisés dans la sortie du modèle. Cela fournit des preuves causales que les jetons visuels habitent la variété du SAE textuel.

4. Résultats et Constats

Alignement et Taux de Correspondance

Taux de Correspondance : Les contraintes VISTA entraînent une augmentation de trois fois du taux de correspondance (la précision avec laquelle l'activation de concepts textuels correspond aux éléments sémantiques dans l'image) par rapport aux bases de référence sans contraintes.
Alignement Différé : L'article remet en question la notion d'"alignement différé" (où les jetons visuels s'alignent naturellement avec les caractéristiques textuelles uniquement dans les couches plus profondes). Bien que ce phénomène ait été observé dans les modèles Gemma sans contraintes, il ne se produit pas universellement (par exemple, dans LLaMA-3.1-8B). Les contraintes VISTA forcent un alignement immédiat sur toutes les architectures et toutes les couches.
Reconstruction et Sparsité : Avec les contraintes SAE, les jetons visuels atteignent une convergence immédiate de l'erreur de reconstruction et de la sparsité, correspondant à la distribution des jetons textuels dès la première couche, tandis que les jetons non contraints restent souvent denses et à haute erreur tout au long du réseau.

Localisation Spatiale

DINOv2 vs CLIP : DINOv2 démontre une Précision de Localisation Spatiale (SLA) de 0,927 (avec Gemma-2-2B), surpassant significativement CLIP (0,201) et I-JEPA (0,702).
Limites de CLIP : Les activations de CLIP présentent une confusion spatiale, activant souvent des concepts loin de l'objet pertinent, rendant le pilotage fin instable.
Robustesse : DINOv2 maintient une haute précision de localisation à travers différents noyaux LLM (Gemma-2-2B, Gemma-2-9B, LLaMA-3.1-8B), tandis que les performances de CLIP varient considérablement et restent inférieures.

Performance de Pilotage

Gains Quantitatifs : En tirant parti de la précision de DINOv2, VISTA réalise une amélioration de 35 % dans les tâches de suppression d'objets et une amélioration de 47 % dans les tâches de remplacement d'objets par rapport aux meilleures bases de référence purement visuelles (VisionSAE et PatchSAE).
Résultats Qualitatifs : Le pilotage avec DINOv2 permet des modifications précises (par exemple, transformer un "chien qui court" en "chat qui court" ou retirer un chat d'un canapé) tout en préservant le contexte global de la scène. En revanche, le pilotage basé sur CLIP entraîne souvent des hallucinations ou des altérations du contexte global.
Preuves Causales : Des comparaisons contrôlées confirment que VISTA modifie la perception du modèle de patches visuels spécifiques plutôt que de détourner la voie de génération de langage. Le pilotage uniquement textuel ou le pilotage par prompt échoue à préserver la cohérence de la scène.

Impact sur les Performances

Petits Modèles : Dans les petits modèles (par exemple, Gemma-2-2B), les contraintes SAE induisent une régression marginale de la précision sur certains benchmarks, probablement due à une capacité de représentation limitée.
Grands Modèles : Dans les grandes architectures (par exemple, LLaMA-3.1-8B), les contraintes SAE agissent comme un régularisateur bénéfique, améliorant les performances sur la majorité des benchmarks.
Robustesse OOD : L'alignement de VISTA se généralise aux données Hors Distribution (OOD) (DomainNet), maintenant des taux de reconstruction, de sparsité et de correspondance cohérents, indiquant que l'alignement est une propriété structurelle plutôt qu'un artefact de l'ensemble de données d'entraînement.

5. Signification et Revendications

L'article revendique que l'interprétabilité est une propriété transférable entre les modalités. En imposant des contraintes SAE lors de l'alignement des encodeurs visuels sur les LLM, VISTA mappe les jetons visuels dans un espace de caractéristiques linguistiques préexistant et étiqueté. Cela élimine le besoin des coûts computationnels et d'étiquetage associés à l'entraînement de SAE spécifiques à la vision.

Les auteurs soulignent que le succès de l'interprétabilité localisée et du pilotage est intrinsèquement lié à la fidélité spatiale du noyau visuel. Ils démontrent que l'objectif local de DINOv2 fournit la précision nécessaire pour ce transfert, surpassant significativement les modèles contrastifs comme CLIP. Ce paradigme de "transfert d'interprétabilité" offre une voie évolutive pour comprendre et contrôler des systèmes multimodaux complexes, permettant des interventions causales fines et une analyse de circuits de caractéristiques sans les coûts prohibitifs du réentraînement de modèles fondamentaux.

Le travail est validé sur plusieurs architectures LLM (Gemma, LLaMA) et encodeurs visuels (CLIP, DINOv2, I-JEPA), avec un code mis à disposition pour soutenir des recherches ultérieures sur l'interprétabilité mécaniste dans les systèmes multimodaux.