A Unifying Framework for Concept-Based Representational Similarity

Résumé Technique : Un Cadre Unificateur pour la Similitude de Représentation Basée sur les Concepts

Énoncé du Problème

Les modèles de deep learning modernes présentent souvent des similitudes structurelles frappantes dans leurs représentations internes, suggérant des décompositions de concepts sous-jacentes partagées à travers les architectures, les initialisations et les modalités. Cependant, la notion d'« alignement de concepts » reste mal définie. La littérature existante utilise la même terminologie pour optimiser des objectifs différents, occultant quelles propriétés spécifiques sont réellement alignées. De plus, il n'est pas clair si l'optimisation d'un objectif d'alignement (par exemple, la translation) permet de récupérer de manière fiable les autres (par exemple, la cohérence conceptuelle), ou si des objectifs purement non supervisés et distributionnels peuvent récupérer un alignement au niveau de l'instance qui soit significatif. L'article soutient que les méthodes actuelles manquent d'un cadre rigoureux pour distinguer l'alignement des représentations de l'alignement des concepts, et l'alignement par instance de l'alignement distributionnel.

Méthodologie : Un Cadre Unificateur

Les auteurs proposent un cadre formel qui décompose l'alignement des concepts selon deux axes :

1. Ce qui est aligné : Représentations (translation) vs Concepts (cohérence conceptuelle).
2. Le niveau d'alignement : Par instance (points de données spécifiques) vs Distributionnel (propriétés statistiques des données).

Cette décomposition produit quatre propriétés fondamentales :

• Translation par instance ($P_{tr}$) : La capacité de mapper une représentation d'un système $i$ vers un système $j$ ($(\psi^{-1}_j \circ \psi_i)(x_i) = x_j$).
• Cohérence conceptuelle par instance ($P_{cont}$) : La capacité des deux systèmes à récupérer la même vue compressée d'un espace de concepts partagé ($\psi_i(x_i) = \psi_j(x_j)$).
• Translation distributionnelle ($P^{dist}_{tr}$) : La mesure de poussée (pushforward measure) de la translation correspond à la distribution cible.
• Cohérence conceptuelle distributionnelle ($P^{dist}_{cont}$) : Les mesures de poussée des espaces de concepts correspondent.

Le cadre opérationnalise ces propriétés comme des termes de régularisation dans la perte d'entraînement des Autoencodeurs Creux (SAE). Les auteurs analysent les relations théoriques entre ces propriétés, notant que bien que la translation et la cohérence conceptuelle soient théoriquement équivalentes sous des hypothèses strictes d'injectivité et de reconstruction, ces conditions échouent souvent en pratique.

Pour évaluer ces propriétés, les auteurs introduisent InterVenchA, un benchmark de diagnostic étendant SAEBench. Il sépare l'évaluation en :

• Qualité d'extraction ($M_{extract}$) : La capacité de l'SAE à reconstruire et à désentrelacer les caractéristiques au sein d'un seul domaine.
• Qualité de translation ($M_{tr}$) : La capacité des concepts appris dans un domaine à transférer la reconstruction d'un autre (indépendamment de la cohérence).
• Cohérence conceptuelle ($M_{cont}$) : La capacité du même ensemble de concepts à capturer l'information pertinente pour la tâche à travers les domaines (indépendamment de la translation).

Solution Proposée : Autoencodeur Creux Couplé (CoSAE)

Sur la base de la découverte qu'aucun objectif unique ne suffit, les auteurs proposent CoSAE, un cadre d'SAE modulaire qui impose conjointement des objectifs d'alignement complémentaires. CoSAE combine :

• Une perte de reconstruction ($L_{dcy}$).
• Une perte de translation par instance ($L_{tr}$) sur un petit sous-ensemble de données appariées.
• Une perte de cohérence conceptuelle par instance ($L_{cont}$) sur ces mêmes données appariées.
• Des pertes d'alignement distributionnel ($L^{dist}_{tr}$ et $L^{dist}_{cont}$) sur l'ensemble du jeu de données.

Crucialement, la méthode repose sur l'« ancrage » des objectifs distributionnels avec une quantité minimale de données appariées (aussi peu que 0,1 % du jeu de données) pour résoudre l'indéterminabilité du problème de transport.

Résultats Clés

À travers des expériences sur des données synthétiques, des modèles de vision (ViT, DinoV2, SigLIP) et des encodeurs multimodaux (CLIP, OpenCLIP), les auteurs démontrent :

1. Échec des équivalences : Les équivalences communément supposées entre les objectifs d'alignement ne se vérifient pas en pratique.

   • Optimiser la translation ne permet pas de récupérer de manière fiable la cohérence conceptuelle, et vice versa.
   • La cohérence de cycle (souvent utilisée comme substitut à la translation dans les contextes sans paires) n'est pas un substitut fidèle de l'alignement ; une haute cohérence de cycle peut coexister avec un faible alignement.
   • Les objectifs purement distributionnels échouent à récupérer l'alignement au niveau de l'instance en raison de l'indéterminabilité du problème de transport.

2. Nécessité d'une optimisation multi-objectifs : Un alignement fort n'émerge que lorsque la translation et la cohérence conceptuelle sont explicitement régularisées ensemble.

   • Dans les embeddings réels, optimiser $L_{tr}$ seul améliore la translation mais pas la cohérence ; optimiser $L_{cont}$ seul améliore la cohérence mais dégrade la qualité d'extraction.
   • Seule la combinaison des deux produit des scores élevés dans les deux métriques.

3. Efficacité de la supervision rare : La stratégie d'« ancrage » est hautement efficace. Utiliser seulement 1 paire appariée sur 1 000 pour ancrer les objectifs distributionnels permet à CoSAE de récupérer un alignement par instance robuste, égalant ou dépassant les performances de modèles entraînés avec une supervision complète par instance.

4. Performance : CoSAE surpasse les méthodes de l'état de l'art, y compris les Crosscoders, les SAE Universels (USAEs) et le SAE-Aligned (SAE-A), sur toutes les métriques d'alignement ($M_{tr}$ et $M_{cont}$). Notamment, les Crosscoders, qui imposent la cohérence via des contraintes architecturales (somme des codes), échouent à maintenir des encodeurs individuels robustes, alors que CoSAE maintient des encodeurs individuels performants.

5. Utilité en aval : L'alignement appris par CoSAE supporte des performances de transfert zero-shot compétitives (par exemple, la classification ImageNet) comparables aux méthodes utilisant des projecteurs denses, malgré le fait que CoSAE repose sur des autoencodeurs creux.

Signification et Revendications

L'article affirme que l'alignement des concepts est fondamentalement un problème multi-objectif qui ne peut être capturé par un seul objectif de substitution. Les auteurs soutiennent que :

• Les méthodes existantes confondent souvent des propriétés distinctes, menant à des interprétations ambiguës de l'« alignement ».
• Un cadre rigoureux distinguant l'alignement des représentations de celui des concepts, ainsi que le niveau instance vs distributionnel, est nécessaire pour progresser.
• La performance pratique la plus forte ne provient pas de l'optimisation parfaite d'un seul objectif, mais de la combinaison de régulariseurs complémentaires avec une supervision minimale.

Les auteurs positionnent CoSAE non pas seulement comme un nouveau modèle, mais comme une conséquence constructive d'une compréhension théorique plus claire de l'alignement. Ils soulignent que l'alignement significatif nécessite de respecter la structure du problème tant dans l'évaluation que dans la conception de la méthode, en s'éloignant des métriques à score unique vers une famille d'objectifs couplés.

Limites reconnues :

• Le cadre se concentre sur la structure partagée et ne modélise pas explicitement les caractéristiques idiosyncrasiques ou spécifiques au domaine au-delà de l'auto-reconstruction.
• L'évaluation repose sur des métriques de substitution plutôt que sur des concepts de vérité terrain, ce qui signifie que l'alignement sémantique et le transfert fonctionnel peuvent ne pas toujours coïncider.
• L'objectif combiné introduit une sensibilité aux hyperparamètres.
• La validation empirique est limitée à des architectures et des jeux de données spécifiques, bien que le cadre soit destiné à être généralisable.