Résumé technique : Décomposition de l'espace de représentation en sous-espaces interprétables par apprentissage non supervisé

Énoncé du problème

L'interprétabilité mécaniste vise à révéler les algorithmes et les circuits internes des réseaux de neurones. Bien que des progrès significatifs aient été réalisés dans l'identification de composants (têtes d'attention, couches MLP), de caractéristiques éparses (via des Auto-Encodeurs Epars) et de sous-espaces spécifiques, les méthodes existantes rencontrent des limites. L'analyse basée sur les composants nécessite souvent des données contrefactuelles spécialisées pour l'intervention causale. Les caractéristiques éparses offrent une interprétabilité mais aboutissent à des circuits dépendants de l'entrée qui modifient le calcul du modèle. Les approches actuelles basées sur les sous-espaces reposent généralement sur un apprentissage supervisé guidé par des modèles causaux abstraits spécifiés par l'humain, ce qui oblige les chercheurs à anticiper des mécanismes spécifiques au préalable.

La question centrale abordée par cet article est de savoir s'il est possible de trouver des sous-espaces « naturels » et interprétables au sein de l'espace de représentation des modèles neuronaux de manière purement non supervisée, sans accès à des caractéristiques de vérité terrain ni à des hypothèses définies par l'humain.

Méthodologie : Minimisation de la distance entre voisins (NDM)

Les auteurs proposent la Minimisation de la distance entre voisins (NDM), une méthode non supervisée pour partitionner l'espace de représentation en sous-espaces orthogonaux non alignés avec la base.

Intuition fondamentale

La méthode repose sur l'hypothèse que les représentations neuronales présentent une exclusivité mutuelle au sein des groupes de caractéristiques. Si un ensemble de caractéristiques est mutuellement exclusif (une seule ou aucune n'est active à la fois), elles peuvent être superposées au sein d'un sous-espace dédié. À l'inverse, les caractéristiques de groupes différents (qui peuvent co-occurrence) doivent être représentées orthogonalement pour éviter les interférences.

• Interprétation géométrique : Dans un espace correctement partitionné, les points de données projetés sur un sous-espace spécifique se situeront sur quelques lignes concentrées (représentant les caractéristiques actives de ce groupe). Par conséquent, chaque point aura un voisin très proche au sein de ce sous-espace.
• Objectif d'optimisation : La NDM cherche une matrice orthogonale $R$ et une configuration de dimensions $c$ qui minimisent la distance entre chaque activation et son voisin le plus proche au sein de chaque sous-espace résultant.

Algorithme

1. Transformation : Une matrice orthogonale $R$ fait tourner et reflète les activations du modèle $h$. L'espace transformé est partitionné en sous-espaces selon une configuration de dimensions $c = [d_1, \dots, d_S]$.
2. Fonction de perte : L'objectif minimise la distance moyenne vers le voisin le plus proche au sein de chaque sous-espace $s$ :
   $$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$$
   où $\hat{h}_{n^*}^{(s)}$ est le voisin le plus proche de $\hat{h}_n^{(s)}$ dans le sous-espace $s$.
3. Configuration des dimensions : Puisque le nombre de sous-espaces et leurs dimensions sont inconnus, la méthode commence avec de petits sous-espaces de taille égale. Pendant l'entraînement, elle estime périodiquement l'Information Mutuelle (MI) entre les sous-espaces en utilisant un estimateur KSG. Si la MI entre deux sous-espaces dépasse un seuil, ils sont fusionnés. Ce processus se poursuit jusqu'à ce qu'aucune paire ne dépasse le seuil, trouvant ainsi efficacement une partition où les sous-espaces sont aussi indépendants que possible.

Contributions et résultats clés

1. Validation sur un modèle jouet

Dans un cadre contrôlé de type modèle jouet où les groupes de caractéristiques de vérité terrain sont connus, la NDM récupère avec succès les sous-espaces orthogonaux dédiés à chaque groupe de caractéristiques. La méthode minimise la distance aux voisins les plus proches, conduisant à une partition où chaque sous-espace encode un seul groupe de caractéristiques, validant ainsi le lien théorique entre l'exclusivité mutuelle, la superposition et l'orthogonalité des sous-espaces.

2. Évaluation quantitative sur GPT-2 Small

Les auteurs ont évalué la NDM sur GPT-2 Small en utilisant le patching d'activation de sous-espace sur des circuits connus (identification de l'objet indirect et circuits « plus grand que»).

• Métrique : Ils ont mesuré la concentration des effets de patching en utilisant le coefficient de Gini. Un coefficient de Gini élevé indique qu'une information spécifique (par exemple, le token précédent) est concentrée dans un seul sous-espace.
• Performance : La NDM a nettement surpassé les références (Identité, Aléatoire, PCA et regroupement de caractéristiques SAE). La NDM a atteint un coefficient de Gini moyen de 0,71, bien au-dessus du seuil de 0,6 pour une concentration satisfaisante, tandis que les références variaient de 0,21 à 0,38.
• Preuve : Les résultats démontrent que la NDM trouve des sous-espaces qui s'alignent avec des « variables » de haut niveau dans des circuits connus, tels que le token précédent ou la position du sujet, indépendamment des valeurs spécifiques que ces variables prennent.

3. Analyse qualitative via InversionView

En utilisant InversionView, les auteurs ont analysé les préimages (entrées qui mappent vers des activations similaires) des sous-espaces découverts.

• Interprétabilité : Il a été constaté que les sous-espaces encodent des aspects distincts et interprétables du contexte, tels que le token actuel, le token précédent, la position du token et le sujet global.
• Cohérence : La fonction d'un sous-espace était cohérente à travers différentes entrées (par exemple, un sous-espace spécifique encodait constamment le token actuel), suggérant que ces sous-espaces agissent comme des « variables » stables pour le modèle.

4. Passage à l'échelle vers des modèles plus grands

La méthode a été appliquée à Qwen2.5-1.5B et Gemma-2-2B pour étudier des scénarios de conflit de connaissances (connaissances paramétriques vs connaissances contextuelles).

• Résultats : La NDM a identifié des sous-espaces séparés médiatisant le routage des connaissances paramétriques et le routage des connaissances contextuelles. Des expériences de patching ont montré que des sous-espaces spécifiques avaient des effets marqués sous des entrées contrefactuelles conçues pour briser un mécanisme tout en laissant l'autre intact.
• Signification : Cela suggère que même dans des modèles plus grands sans circuits de vérité terrain connus, la NDM peut révéler des structures fonctionnelles significatives et séparables.

Importance et affirmations

L'article affirme que la NDM offre une nouvelle perspective pour comprendre l'intérieur des modèles en décomposant l'espace de représentation en sous-espaces interprétables et indépendants de l'entrée, sans supervision.

• Nouvelles unités de base : Les auteurs proposent que ces sous-espaces puissent servir d'unités fondamentales pour les circuits de sous-espaces. Contrairement aux circuits de caractéristiques qui dépendent de l'entrée, les circuits de sous-espaces opèrent sur des « variables » (groupes de caractéristiques) et peuvent être construits en analysant les poids du modèle (par exemple, quels sous-espaces une tête d'attention lit et écrit).
• Découverte non supervisée : La méthode démontre que des partitions « naturelles » existent dans des modèles du monde réel, pilotées par la structure statistique des données (exclusivité mutuelle) plutôt que par des hypothèses humaines.
• Limites : Les auteurs reconnaissent que les partitions actuelles peuvent ne pas être assez fines (par exemple, manquant de minuscules sous-espaces pour des variables avec de petits ensembles de valeurs) et que certains sous-espaces restent difficiles à interpréter. Ils notent que la méthode repose sur l'hypothèse de la représentation linéaire et que l'optimisation peut parfois rester bloquée dans des minima locaux.

En conclusion, l'article soutient que la décomposition non supervisée par minimisation de la distance entre voisins est une voie viable pour découvrir les « variables » et les circuits qui régissent le comportement des modèles neuronaux, offrant un cadre évolutif et interprétable pour l'analyse mécaniste.