Ablating Archetypes: The Stability of Archetypal SAEs is an Artifact of Initialization and Metric Design

Résumé Technique : Ablation des Archétypes

Énoncé du Problème
Les Autoencodeurs Creux (SAE - Sparse Autoencoders) sont un outil standard en interprétabilité mécaniste pour décomposer les activations de réseaux de neurones en caractéristiques interprétables et creuses. Un défi critique dans ce domaine est l'instabilité : les SAE entraînés sur des données identiques avec des graines aléatoires différentes apprennent souvent des dictionnaires sensiblement différents, ce qui rend difficile la distinction entre les véritables caractéristiques computationnelles et les artefacts d'entraînement.

Des travaux récents par Fel et al. (2025) ont proposé les SAE Archétypaux, qui contraignent les atomes du dictionnaire à se situer dans l'enveloppe convexe d'un ensemble d'« archétypes » (généralement des centroïdes de k-means). Ils ont rapporté que cette méthode produit des dictionnaires nettement plus stables à la fin de l'entraînement par rapport aux SAE classiques. Cet article soutient que la stabilité rapportée n'est pas le résultat de la contrainte archétypale elle-même, mais plutôt un artefact d'une initialisation identique entre les exécutions et d'une faille de métrique dépendante du prétraitement.

Méthodologie et Analyse
Les auteurs emploient une combinaison d'analyses de trajectoire, d'ablations d'initialisation et de diagnostics de métriques pour déconstruire les affirmations de stabilité des SAE Archétypaux.

1. Distinction entre Stabilité et Stabilisation :
   L'article clarifie une confusion conceptuelle dans la littérature :

   • Stabilité (Consistance) : Accord entre deux modèles entraînés indépendamment à la fin de l'entraînement.
   • Stabilisation : La convergence de deux exécutions partant d'initialisations réellement différentes vers une solution commune.
     Les auteurs soutiennent que les SAE Archétypaux démontrent la première de manière triviale (en fixant le point de départ) mais échouent à démontrer la seconde.

2. Diagnostics de Trajectoire :
   Au lieu de mesurer uniquement la similarité finale, les auteurs tracent la distance de dictionnaire inter-exécution (distance cosinus minimale moyenne) en fonction des étapes d'entraînement.

   • TopK Classique (Initialisation Aléatoire) : Commence avec une distance élevée et diminue de manière monotone, indiquant une véritable stabilisation pilotée par les contraintes des données.
   • Archétypal TopK (Initialisation k-means Fixe) : Reste plat à zéro de distance tout au long de l'entraînement car les deux graines partent du même dictionnaire ($D=C$).
   • Archétypal TopK (Initialisation Aléatoire) : Lorsque la contrainte archétypale est appliquée mais que l'initialisation est randomisée, la distance diminue mais à un taux environ deux fois plus lent que le TopK classique, suggérant que la contrainte entrave en réalité la convergence dans ce contexte.

3. L'Effet « Galaxie Loin d'Ici » (Pathologie de la Métrique) :
   L'article identifie un biais géométrique lors de l'utilisation de la distance cosinus sur des activations non centrées. Dans les flux résiduels des LLM, les activations possèdent une moyenne ($\mu$) non négligeable. Les centroïdes de k-means sur des données non centrées se regroupent dans un cône étroit autour de $\mu$. Par conséquent, la distance cosinus entre deux atomes est dominée par l'écart de la moyenne plutôt que par leurs différences directionnelles, gonflant artificiellement les scores de similarité. Les auteurs démontrent que le centrage des activations (soustraction de la moyenne) élimine ce biais, faisant passer les similitudes cosinus pré-centrées de ~0,36 à ~0,00.

4. Études d'Ablation :
   Utilisant un protocole contrôlé sur des données DinoV2 (vision) et Pythia-160m (langage), les auteurs effectuent deux ablations :

   • Désactivation de la Projection de l'Enveloppe Convexe : Supprimer la contrainte de projection des SAE Archétypaux (tout en conservant l'initialisation k-means) entraîne une stabilité plus élevée (distance de Hongrois plus faible) que le SAE Archétypal complet, tout en améliorant la reconstruction ($R^2$).
   • Fixation de l'Initialisation du SAE Classique : Initialiser un SAE TopK standard avec les mêmes centroïdes k-means utilisés dans le SAE Archétypal (sans la contrainte d'enveloppe convexe) produit une métrique de stabilité identique au SAE Archétypal ablaté.

Résultats Clés

• L'Initialisation est le Moteur : La stabilité rapportée par Fel et al. (2025) est principalement due à l'initialisation k-means déterministe partagée entre les graines, et non à la contrainte archétypale. Lorsque l'initialisation est randomisée, la contrainte archétypale ralentit la stabilisation par rapport aux SAE classiques.
• Coût de Reconstruction : La contrainte de projection de l'enveloppe convexe dans les SAE Archétypaux réduit la qualité de la reconstruction ($R^2$) sans apporter de bénéfice de stabilisation dans les contextes testés.
• Validité de la Métrique : La métrique de stabilité cosinus standard est invalide pour les activations non centrées en raison de l'effet « galaxie loin d'ici ». Le centrage est une étape de prétraitement nécessaire pour garantir que les métriques de stabilité reflètent de réelles différences directionnelles.
• Preuve Quantitative : Dans les expériences, un SAE Classique avec initialisation k-means fixe a atteint une distance de Hongrois de 0,068 (Vision) et 0,112 (Pythia), égalant le SAE Archétypal ablaté et surpassant significativement le SAE Archétypal complet (0,243 et 0,170, respectivement).

Signification et Revendications
L'article ne prétend pas que les SAE Archétypaux sont inutiles pour toutes les fins (ex: visualisation ou bornage de norme), mais il réfute rigoureusement l'affirmation selon laquelle ils offrent une stabilisation supérieure pour la découverte de caractéristiques.

• Correction Méthodologique : Les auteurs affirment que les revendications de stabilité des SAE doivent être validées par des diagnostics de trajectoire (montrant la convergence à partir de points de départ différents) plutôt que par le simple accord final.
• Avertissement sur la Reproductibilité : Ils soulignent que la « stabilité » des SAE Archétypaux est un artefact d'un design expérimental qui ne parvient pas à isoler la contrainte de son initialisation.
• Implications pour l'Interprétabilité : Si la stabilité est utilisée comme un proxy de la validité d'une caractéristique (ex: « si elle apparaît à travers plusieurs graines, elle est réelle »), alors les méthodes qui sont stables par construction (initialisation fixe) ne fournissent aucune preuve de ce type. La véritable preuve nécessite une convergence à partir de points de départ divers.

L'étude conclut que bien que la construction archétypale possède des vertus géométriques, elle ne constitue pas une voie viable de stabilisation dans le contexte actuel, et que le domaine doit distinguer la stabilité (accord) de la stabilisation (convergence) pour éviter des interprétations trompeuses des découvertes mécanistes.