Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models

Résumé Technique : Embeddings Conceptuels : Désentanglement Sparse pour les Modèles Vision–Langage

Énoncé du Problème
Les modèles vision-langage (VLM) tels que CLIP, BLIP et CoCa apprennent des embeddings partagés puissants de haute dimension, mais leur structure sémantique interne reste opaque. Les méthodes d'interprétabilité existantes font face à des limitations significatives :

• Explications Locales : Des techniques comme les cartes de saillance ou les méthodes d'attribution identifient les régions d'entrée pertinentes mais échouent à révéler l'organisation globale de l'espace d'embedding.
• Alignement des Concepts : Des méthodes comme TCAV ou le sondage linéaire alignent les embeddings avec des concepts prédéfinis, mais supposent souvent que les concepts significatifs sont déjà linéairement séparables au sein de la géométrie originale, limitant ainsi la flexibilité.
• Autoencodeurs Sparses (SAE) : Bien que les SAE extraient avec succès des caractéristiques interprétables et monosémantiques en apprenant des dictionnaires surcomplets, ils augmentent la dimensionalité de la représentation. Cette expansion altère la géométrie originale de l'espace d'embedding, introduit de la redondance et produit des représentations avec perte et non inversibles, rendant difficile le rattachement fidèle des explications au modèle sous-jacent.

Les auteurs émettent l'hypothèse que l'entrelacement apparent dans les représentations des VLM pourrait provenir d'un désalignement de base plutôt que d'une dimensionalité insuffisante, suggérant que la structure sémantique pourrait être révélée en réorganisant l'espace au sein de sa dimensionalité originale.

Méthodologie : CEDAR
Les auteurs proposent CEDAR (Conceptual Embedding Disentanglement via Adaptive Rotation), une méthode a posteriori qui apprend une reparamétrisation inversible de l'espace d'embedding sans augmenter la dimensionalité.

1. Transformation Inversible : CEDAR cherche un opérateur linéaire orthogonal $U$ (paramétré comme $U = \exp(A - A^\top)$) qui transforme l'embedding original $z$ en un nouvel espace $\tilde{z} = U(z - b)$, où $b$ est l'embedding moyen. La contrainte d'orthogonalité assure que la transformation préserve la géométrie et la norme de l'espace original ($\|Uz\|_2 = \|z\|_2$) et est strictement inversible.
2. Goulot d'Étranglement de Sparsité : Dans l'espace transformé, un opérateur top-k ($\Pi_k$) est appliqué pour ne conserver que les $k$ coordonnées ayant les magnitudes absolues les plus élevées, en mettant les autres à zéro. Cela impose une représentation sparse où l'information sémantique est concentrée dans un petit sous-ensemble de dimensions.
3. Objectif de Reconstruction : Le modèle est entraîné pour minimiser l'erreur de reconstruction entre l'embedding original et la version sparse mappée de retour dans l'espace original :
   $$\min_U \mathbb{E}_z \left[ \| z - (U^{-1}\Pi_k(U(z - b)) + b) \|_1 \right]$$
   Comme $U$ est inversible, l'embedding original peut être fidèlement reconstruit, préservant la structure géométrique essentielle pour des tâches telles que l'alignement texte-image.
4. Stratégie d'Entraînement : Pour gérer la transition non lisse induite par l'opérateur top-k, les auteurs adoptent une approche d'apprentissage par curriculum, commençant par des reconstructions denses et transitionnant progressivement vers le régime sparse cible. Pendant l'entraînement, $k$ est échantillonné aléatoirement pour améliorer la robustesse.
5. Modes d'Interprétabilité :
   • Basé sur les Concepts (style CLIP) : Les axes individuels dans l'espace transformé sont alignés avec des concepts textuels en utilisant la similarité cosinus par rapport à un encodeur de texte (par exemple, les embeddings textuels de CLIP).
   • Libre-Forme (Génératif) : Pour les modèles génératifs (par exemple, BLIP), les embeddings reconstruits et sparse sont transmis au décodeur de texte pour générer des descriptions en langage naturel, permettant des explications au niveau de la phrase dérivées d'un petit ensemble de coordonnées actives.

Contributions Clés

• Désentanglement Préservant la Dimensionnalité : Contrairement aux SAE, CEDAR atteint des représentations sparse et désentrelacées sans étendre la dimensionalité de l'embedding, évitant ainsi la distorsion géométrique et la redondance.
• Inversibilité : La méthode garantit une reconstruction fidèle de l'embedding original, assurant que les explications restent directement liées à l'espace de représentation du modèle original.
• Cadre Unifié : CEDAR prend en charge à la fois l'alignement basé sur les concepts (faire correspondre les neurones au texte) et la génération libre-forme (décoder des vecteurs sparse en texte) au sein d'un cadre unique.
• Validation de l'Hypothèse : Ce travail fournit des preuves empiriques que la structure sémantique dans les VLM peut être découverte par un changement de base approprié, remettant en question la nécessité d'expansions surcompletes pour l'interprétabilité.

Résultats
Les auteurs évaluent CEDAR par rapport à des variantes d'Autoencodeurs Sparses (MSAE, TopK, ReLU, BatchTopK) et à des bases denses sur des benchmarks standards (ImageNet-1K) et via des études utilisateurs.

• Compromis Reconstruction-Sparsité : CEDAR atteint un compromis compétitif entre l'erreur de reconstruction (FVU) et la sparsité (nombre de caractéristiques actives $K$). Dans les régimes de faible dimensionalité, il nécessite souvent moins de composants actifs pour atteindre une fidélité de reconstruction comparable à celle d'autres méthodes.
• Préservation Sémantique : Des métriques telles que l'alignement des plus proches voisins du noyau centré (CKNNA) et l'entropie croisée du sondage linéaire (LP) indiquent que CEDAR préserve la structure sémantique et les performances des tâches en aval comparables aux meilleures bases (par exemple, BatchTopK) et au modèle dense.
• Étude Utilisateur :
  • Préférence : Les participants ont systématiquement préféré les explications conceptuelles de CEDAR à celles de MSAE, les jugeant plus représentatives du contenu de l'image.
  • Pertinence : Les concepts suggérés par CEDAR ont été sélectionnés comme pertinents par les évaluateurs humains de manière significativement plus fréquente que ceux de MSAE.
  • Qualité de la Description : Lorsqu'ils sont utilisés pour générer des légendes via un décodeur de texte, les représentations sparse de CEDAR produisent des descriptions qui « décrivent l'image » à des taux comparables au modèle dense complet, surpassant largement les modèles sparse sans désentanglement.
• Analyse Qualitative : Des exemples visuels montrent que CEDAR identifie des concepts sémantiques cohérents et de haut niveau (par exemple, « chien », « husky », « en bois ») et génère des légendes précises, tandis que les bases récupèrent souvent des caractéristiques bruyantes ou de bas niveau.

Signification et Revendications
L'article revendique que CEDAR démontre que l'entrelacement apparent dans les embeddings vision-langage modernes est largement le résultat d'un désalignement de base plutôt que d'un manque de dimensionalité. En apprenant un système de coordonnées global et inversible, la méthode révèle une structure compositionnelle où les facteurs sémantiques sont concentrés dans un petit nombre de dimensions alignées sur les axes.

Les auteurs positionnent CEDAR comme un cadre flexible et agnostique au modèle unifiant l'interprétabilité basée sur les concepts et libre-forme. Ils soulignent que leur approche élimine le besoin d'expansions surcompletes, offrant un moyen plus fidèle et efficace en information de comprendre et de manipuler les représentations apprises. Ce travail suggère qu'une reparamétrisation appropriée peut résoudre l'entrelacement tout en préservant l'intégrité géométrique du modèle original.