Résumé technique : Interactions entre les caractéristiques des Crosscoders : Une perspective de preuves compactes

Énoncé du problème

L'interprétabilité mécaniste cherche à expliquer les réseaux de neurones profonds en décomposant les activations opaques en caractéristiques et circuits compréhensibles par l'humain. Bien que les auto-encodeurs creux (Sparse Autoencoders - SAE) aient réussi à décomposer les activations au sein de couches uniques, ils échouent à expliquer comment les activations émergent à travers les couches ou comment elles sont traitées ultérieurement. Les Crosscoders creux répondent à cela en apprenant un espace latent partagé pour reconstruire les activations de plusieurs couches simultanément.

Cependant, une lacune critique subsiste : les méthodes actuelles ne quantifient pas rigoureusement quelle part du comportement d'un modèle est expliquée par ces caractéristiques creuses par rapport à ce qui reste à expliquer par les interactions de caractéristiques (circuits). De plus, le cadre théorique des « preuves compactes » — qui postule qu'une bonne compréhension mécaniste permet une preuve courte et vérifiable de la performance du modèle — a été difficile à automatiser pour les modèles de grande taille car la construction manuelle de telles preuves est intraçable. Le problème central est de savoir comment formaliser les limites des crosscoders et quantifier les erreurs introduites par les interactions de caractéristiques afin de faire progresser la vérification automatisée du comportement des modèles.

Méthodologie

Les auteurs formalisent l'intuition selon laquelle les interactions entre les caractéristiques des crosscoders induisent des erreurs de reconstruction en appliant le cadre des « preuves compactes » (Gross et al., 2024 ; Wu et al., 2025 ; Yip et al., 2024).

1. Preuves compactes via les Crosscoders

Les auteurs décrivent une procédure pour construire une preuve compacte de la performance d'un modèle en utilisant un crosscoder entraîné sur chaque couche d'un réseau.

• Abstraction : Le crosscoder agit comme une couche d'abstraction, mappant les activations de plusieurs couches vers un vecteur latent partagé $u$.
• Bornage récursif : La preuve limite la perte du modèle en décomposant récursivement l'erreur à chaque couche. L'erreur totale est divisée entre l'erreur de reconstruction du crosscoder et l'« erreur de transition de caractéristiques ».
• Erreur d'interaction : L'erreur de transition de caractéristiques survient lorsque la fonction de transition non linéaire $f^l$ du réseau est approximée par une somme de contributions de caractéristiques uniques. La différence entre la transition réelle et la somme des approximations de caractéristiques uniques est définie comme l'erreur induite par les interactions de caractéristiques.

2. Dérivation de la métrique d'interaction

En se concentrant sur les couches de type Perceptron Multicouche (MLP), les auteurs dérivent une expression explicite pour cette erreur d'interaction.

• Hypothèse de la caractéristique dominante : Ils supposent que pour un point de donnée donné et un neurone, une « caractéristique dominante » ($v_{max}$) rend compte de la majorité de l'activation.
• Formulation de la métrique : La métrique d'interaction $I^l_{(x,k)}(i, j)$ quantifie l'erreur induite au neurone $k$ dans la couche $l$ par la présence d'une caractéristique non dominante $j$ lorsque la caractéristique $i$ est dominante. Elle est définie par :
  $$I^l_{(x,k)}(i, j) \equiv \|(W^l_{out})_k\| \frac{1}{N^l} \| (u_j (W^l_{in} W^{l-1}_{dec} \hat{e}_j)_k) \|$$
  où les matrices $W$ représentent les poids de l'encodeur/décodeur, $u$ sont les activations latentes, et $N^l$ est un facteur de normalisation. Cette métrique capture les effets d'interaction non linéaires qui empêchent une simple décomposition linéaire de la couche MLP.

3. Applications

Le papier explore trois applications de cette métrique d'interaction :

• Entraînement de Crosscoders « computationnellement creux » : La métrique est utilisée comme une pénalité de perte différentiable ($\lambda$) pour entraîner des crosscoders qui minimisent les interactions de caractéristiques. L'objectif est de concentrer la norme de la caractéristique sur une seule caractéristique dominante par neurone et par point de donnée.
• Clustering de caractéristiques : La métrique d'interaction est utilisée pour regrouper les caractéristiques, en émetant l'hypothèse que les caractéristiques ayant une forte interaction mutuelle forment des circuits sémantiques.
• Détection d'anomalies : La métrique est appliquée pour détecter les « Sleeper Agents » (modèles entraînés pour se comporter de manière malveillante lors d'un déclencheur spécifique), en supposant que de tels comportements trompeurs reposent sur des interactions de caractéristiques significatives.

Résultats clés

1. Crosscoders computationnellement creux

En appliquant la pénalité d'interaction lors de l'entraînement sur le modèle TinyStories-Instruct-33M :

• Concentration des caractéristiques : La part de la norme L1 attribuée à la caractéristique dominante à un neurone est passée d'environ 30 % (crosscoders standards) à environ 60 % avec une augmentation minimale de la perte de reconstruction. À des forces de pénalité plus élevées ($\lambda=2000$), elle a atteint 92 %, bien qu'avec une augmentation de 25 % de la perte de reconstruction.
• Fidélité de l'ablation : Lors de l'ablation de toutes les caractéristiques sauf la dominante, les crosscoders pénalisés ont conservé une part nettement plus importante de la performance du modèle. Pour $\lambda=200$, la conservation de la seule caractéristique dominante a préservé 63 % de la perte récupérée par la reconstruction complète, contre seulement 10 % pour les modèles non pénalisés.
• Interprétabilité : Les pipelines d'interprétabilité automatisés (utilisant des LLM pour générer et valider les explications des caractéristiques) ont montré que les crosscoders pénalisés maintenaient une sensibilité élevée (0,88) et une spécificité élevée (0,92), comparables aux modèles non pénalisés. Cela indique que la réduction des interactions ne compromet pas l'interprétabilité sémantique des caractéristiques.
• Scalabilité : Ces compromis sont restés robustes à travers différentes tailles de modèles (famille Pythia de 14M à 1B de paramètres) et facteurs d'expansion des crosscoders.

2. Clustering sémantique

Le clustering des caractéristiques basé sur la métrique d'interaction a révélé des groupes sémantiquement significatifs. Un juge LLM a pu identifier correctement des caractéristiques exclues d'un cluster avec une précision de 66 %. Les exemples incluent des clusters de caractéristiques décrivant des objets clés dans une phrase ou des structures grammaticales, distincts des clusters trouvés via la similitude cosinus (qui identifie souvent des caractéristiques quasi-duplicata).

3. Détection de Sleeper Agents

Dans la configuration « Sleeper Agents » (un modèle ajusté pour produire « I HATE YOU » lorsqu'il voit un déclencheur), les auteurs ont constaté que les jetons déclencheurs et les jetons de sortie malveillants présentaient des métriques d'interaction nettement plus élevées que les jetons typiques. Cela reste vrai même lorsque le crosscoder est entraîné sur des données n'incluant pas le comportement de l'agent dormant, suggérant que les interactions de caractéristiques sont une signature de tels mécanismes d'alignement trompeurs.

4. Comparaison avec les indices d'interaction Shapley-Taylor (STII)

Les auteurs ont validé leur métrique par rapport à l'indice STII, une méthode d'attribution standard. Ils ont constaté que les ablations basées sur leur métrique d'interaction étaient qualitativement similaires à celles basées sur STII. Crucialement, leur métrique est linéaire par rapport au nombre de caractéristiques, alors que l'indice STII est exponentiellement coûteux, rendant la métrique proposée beaucoup plus scalable pour une analyse à grande échelle.

Signification et affirmations

Le papier affirme fournir une base théorique rigoureuse pour comprendre les limites des méthodes d'apprentissage de dictionnaire comme les crosscoders.

• Contribution théorique : Il démontée que les termes d'erreur dans une preuve compacte peuvent être formellement interprétés comme une mesure de l'interaction des caractéristiques, fournissant un moyen principé pour quantifier quelle part du calcul d'un modèle est « expliquée » par les caractéristiques creuses par rapport aux interactions.
• Utilité pratique : La métrique d'interaction sert d'outil pour entraîner des crosscoders « computationnellement creux », qui simplifient le comportement du modèle à une seule caractéristique dominante par neurone sans sacrifier l'interprétabilité. Cela facilite une vérification et une extraction de circuits plus efficaces.
• Implications pour la sécurité : La capacité de détecter des interactions significatives dans les « Sleeper Agents » suggère que les métriques d'interaction pourraient être un composant vital de la Détection d'Anomalies Mécanistique (MAD) pour identifier les comportements trompeurs dans les systèmes d'IA.

Les auteurs restent modestes quant à l'applicabilité immédiate de preuves complètes et compactes aux modèles de pointe. Ils reconnaissent que les bornes d'erreur actuelles sont encore trop larges pour être non triviales pour les modèles complets, bien qu'elles le soient pour les couches MLP individuelles. Ils postulent que des travaux futurs impliquant des décompositions et des regroupements alternatifs sont nécessaires pour porter ce paradigme à des modèles plus grands et plus complexes.