Universal Sparse Autoencoders: Interpretable Cross-Model Concept Alignment

1. Problématique et Contexte

L'interprétabilité des réseaux de neurones profonds (DNN) est cruciale pour la gestion des risques, la conception de modèles robustes et la conformité réglementaire. Cependant, les méthodes existantes se concentrent généralement sur l'analyse d'un seul modèle à la fois. Cette approche isolée présente plusieurs limites :

• Manque de généralisation : Il est difficile de comparer les représentations internes de modèles différents (architectures, tâches, ensembles de données variés).
• Inefficacité des méthodes post-hoc : Les techniques actuelles pour trouver des concepts universels (comme les "Rosetta Neurons") opèrent souvent a posteriori en extrayant des concepts de modèles individuels puis en les appariant via des processus de filtrage coûteux. Cela manque d'évolutivité et empêche une traduction directe des concepts entre architectures dans un espace unifié.
• Besoin d'un espace commun : Avec la prolifération des modèles de fondation (foundation models), il existe une hypothèse selon laquelle différents modèles encodent des concepts sémantiques similaires (représentation "platonicienne"). Il manque un cadre pour apprendre et aligner ces concepts universels de manière conjointe et efficace.

2. Méthodologie : Les Auto-encodeurs Clairsemés Universels (USAE)

Les auteurs proposent les USAE (Universal Sparse Autoencoders), un cadre qui apprend un espace de concepts universel et partagé capable de reconstruire et d'interpréter les activations internes de plusieurs modèles simultanément.

Architecture et Fonctionnement

Contrairement à un SAE standard qui apprend un dictionnaire pour un seul modèle, un USAE est entraîné sur $M$ modèles différents ($f^{(1)}, \dots, f^{(M)}$) :

1. Encodage : Pour un modèle $i$, les activations $A^{(i)}$ sont encodées par un encodeur spécifique $\Psi^{(i)}_\theta$ en un code clairsemé partagé $Z$.
   $$Z = \Psi^{(i)}_\theta(A^{(i)}) = \text{TopK}(W^{(i)}_{enc}(A^{(i)} - b^{(i)}_{pre}))$$
   Le code $Z$ est commun à tous les modèles.
2. Décodage : Ce code partagé $Z$ est ensuite décodé par des dictionnaires (décodeurs) spécifiques à chaque modèle $D^{(j)}$ pour reconstruire les activations de n'importe quel modèle $j$ :
   $$\hat{A}^{(j)} = Z D^{(j)}$$
3. Entraînement Joint : L'objectif est d'apprendre simultanément tous les paires encodeur-décodeur $\{( \Psi^{(i)}_\theta, D^{(i)} )\}_{i=1}^M$.
   • Stratégie d'optimisation : Pour éviter des coûts de calcul prohibitifs, l'entraînement utilise une stratégie itérative : à chaque itération, un modèle $i$ est sélectionné aléatoirement pour encoder un lot de données en $Z$. Ce $Z$ est ensuite utilisé pour reconstruire les activations de tous les modèles $j \in [M]$.
   • Fonction de perte : La perte totale est la somme des erreurs de reconstruction (norme de Frobenius) pour tous les modèles :
     $$L_{Universal} = \sum_{j=1}^M \| A^{(j)} - \hat{A}^{(j)} \|_F$$
     Cette contrainte force le code latent $Z$ à capturer des facteurs de variation communs (les concepts universels) qui sont suffisants pour reconstruire les représentations de tous les modèles.

Application : Maximisation d'Activation Coordinée

Une application clé des USAE est la Maximisation d'Activation Coordinée. Au lieu de maximiser l'activation d'un neurone dans un seul modèle, on optimise les entrées de plusieurs modèles simultanément pour activer la même dimension de concept $k$ dans l'espace partagé $Z$. Cela permet de visualiser comment différents modèles encodent le même concept abstrait.

3. Contributions Principales

1. Cadre USAE : Introduction d'une méthode d'apprentissage conjoint pour découvrir un espace de concepts interprétable partagé entre plusieurs modèles de vision pré-entraînés (DinoV2, SigLIP, ViT).
2. Alignement de Concepts : Démonstration que l'entraînement universel aligne les représentations internes, permettant une reconstruction croisée efficace et une interprétation unifiée.
3. Analyse Comparative : Identification de concepts universels (de bas niveau comme les couleurs/textures à haut niveau comme les parties d'objets ou les visages) et mise en évidence des concepts uniques à certains modèles (ex: DinoV2 encode des indices de perspective et de profondeur).
4. Nouvelle Application : Démonstration de la maximisation d'activation coordinée pour visualiser les similarités et les divergences dans l'encodage des concepts entre architectures.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois modèles de vision populaires entraînés sur ImageNet : DinoV2 (apprentissage auto-supervisé), SigLIP (contraste image-texte) et ViT (classification supervisée).

• Reconstruction Croisée : Les USAE réussissent à reconstruire les activations d'un modèle à partir du code d'un autre (scores $R^2$ positifs hors diagonale), prouvant l'existence de caractéristiques partagées. DinoV2 montre les meilleures performances de reconstruction auto, suggérant des features plus clairsemées.
• Universalité et Importance :
  • Entropie de tirage : La distribution de l'entropie de tirage des concepts est bimodale, avec un grand nombre de concepts ayant une entropie maximale (universels) et un groupe de concepts spécifiques à certains modèles.
  • Corrélation : Il existe une forte corrélation entre l'importance d'un concept (énergie de reconstruction) et sa fréquence de tirage conjoint (co-firing). Les concepts les plus importants sont aussi les plus universels.
• Comparaison avec SAE Indépendants :
  • Environ 23-38% des concepts universels découverts par USAE sont également présents dans des SAE entraînés indépendamment sur un seul modèle.
  • L'entraînement universel découvre des concepts partagés qui n'apparaissent pas dans l'entraînement individuel, car il est contraint de minimiser la perte globale sur tous les modèles.
• Concepts Uniques :
  • DinoV2 : Découvre des concepts uniques liés à la perspective, à la profondeur et à l'invariance de vue (lignes convergentes, objets à différentes profondeurs), cohérent avec son entraînement par distillation.
  • SigLIP : Découvre des concepts liés à la fois au texte et à l'image (ex: la lettre 'C' ou des notes de musique), reflétant son objectif d'apprentissage contraste image-texte.
• Généralisation : Les USAE entraînés sur ImageNet montrent une bonne généralisation hors distribution (OOD) sur des ensembles de données comme DTD (textures) et CelebA (visages), confirmant la robustesse des concepts appris.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'interprétabilité des systèmes d'IA multi-modèles :

• Passage du "Single-Model" au "Multi-Model" : Il offre un cadre systématique pour analyser les similitudes et les différences fondamentales entre des architectures variées, dépassant l'analyse isolée.
• Efficacité et Évolutivité : Contrairement aux méthodes post-hoc coûteuses, les USAE apprennent l'alignement de manière end-to-end, rendant l'analyse de grands modèles de fondation plus tractable.
• Sécurité et Régulation : En identifiant des concepts universels et des biais spécifiques à certains modèles, cette méthode aide à mieux comprendre les risques de déploiement et à concevoir des modèles plus robustes et transparents.
• Insights Architecturaux : La capacité à isoler des concepts uniques (comme la sensibilité à la perspective chez DinoV2) fournit des retours d'information précieux sur la manière dont les objectifs d'entraînement et les architectures façonnent les représentations internes.

En résumé, les USAE fournissent une "loupe" unifiée pour explorer l'intérieur des réseaux de neurones, révélant que malgré leurs différences de surface, les modèles de vision modernes convergent vers un ensemble commun de concepts abstraits, tout en conservant des signatures uniques liées à leur entraînement spécifique.