🤖 machine learning

Semantic Optimal Transport for Sparse Autoencoder Feature Matching and Circuit Compression

Ce papier introduit un cadre distributionnel unifié fondé sur la distance de Wasserstein qui représente les caractéristiques des Autoencodeurs Epars comme des distributions pondérées par l'activation afin de permettre un appariement sémantique robuste à travers les couches et une compression automatique des circuits de caractéristiques en supernœuds interprétables.

Auteurs originaux : Tue M. Cao, Nguyen Do, My T. Thai

Publié 2026-05-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tue M. Cao, Nguyen Do, My T. Thai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Décoder le « Cerveau » de l'IA

Imaginez un Grand Modèle de Langage (comme l'IA avec laquelle vous discutez) comme une immense bibliothèque à plusieurs étages. À l'intérieur de cette bibliothèque, l'information n'est pas stockée dans des livres bien rangés ; elle est dispersée à travers des millions de petits points lumineux appelés caractéristiques (features). Ces caractéristiques sont les briques de base des pensées de l'IA.

Pour comprendre comment l'IA pense, les chercheurs utilisent un outil appelé Autoencodeur Sparse (SAE). Imaginez le SAE comme un microscope haute puissance qui nous permet de voir ces points lumineux. Cependant, deux gros problèmes rendent cela difficile :

Le Problème « Même Idée, Étage Différent » : Le même concept (comme « la justice » ou « l'addition de nombres ») peut être représenté par un point lumineux au 1er étage de la bibliothèque et par un point lumineux complètement différent en apparence au 50e étage. Les outils actuels peinent à réaliser que ces deux points représentent la même idée, car ils ont des apparences différentes dans leurs pièces respectives.
Le Problème « Trop de Pièces » : Lorsque nous traçons une pensée spécifique (un « circuit »), nous finissons souvent par un réseau emmêlé de centaines de points lumineux. Il est impossible pour un humain de lire chacun d'eux. Nous devons les regrouper en « super-nœuds » (comme regrouper tous les articles de « cuisine » ensemble), mais actuellement, cela nécessite qu'un humain étiquette manuellement chaque article, ce qui ne s'adapte pas à grande échelle.

L'Ancienne Méthode : Comparer des Instantanés Statiques

Auparavant, les chercheurs tentaient de résoudre ce problème en prenant un seul « instantané » de chaque caractéristique. Imaginez prendre une photo d'un point lumineux et mesurer sa couleur et sa luminosité. Si la photo du 1er étage ressemble à celle du 50e étage, ils supposent qu'il s'agit de la même caractéristique.

Le Défaut : C'est comme essayer d'identifier une personne en ne regardant qu'une seule photo floue de son ombre. Cela manque de contexte. Une caractéristique n'est pas juste un point statique ; c'est un motif de quand et à quelle intensité elle s'allume à travers des milliers de phrases différentes. L'ancienne méthode jetait ce riche contexte, ce qui menait à des erreurs, surtout lors de la comparaison d'étages éloignés de la bibliothèque.

La Nouvelle Solution : La « Carte de Foule » et le « Camion de Déménagement »

Les auteurs proposent une nouvelle façon d'examiner ces caractéristiques en utilisant le Transport Optimal, un concept mathématique qui semble sophistiqué mais qui est en fait assez intuitif.

1. D'un Point Unique à une Carte de Foule

Au lieu de prendre une seule photo d'une caractéristique, la nouvelle méthode crée une « Carte de Foule ».

Imaginez qu'une caractéristique est une célébrité.
Ancienne Méthode : Vous mesurez simplement la taille de la célébrité.
Nouvelle Méthode : Vous prenez une carte de chaque fan individuel qui s'est présenté pour la voir, et vous marquez exactement où ils se tenaient et à quel point ils étaient excités (leur « poids d'activation »).
Cette carte capture le contexte de la caractéristique. Elle sait que cette caractéristique s'allume lorsque les gens parlent de « chats » mais pas de « chiens ».

2. L'Espace de Référence Partagé (Le Terrain Neutre)

Puisque le 1er étage et le 50e étage ont des agencements différents (des « variétés » différentes), vous ne pouvez pas comparer directement leurs cartes.

Les auteurs projettent toutes ces cartes de fans sur un Espace de Référence Partagé. Imaginez cela comme un immense parc urbain neutre.
Ils prennent les fans du 1er étage et les fans du 50e étage et les placent tous sur cette même carte de parc. Maintenant, ils sont dans le même quartier, ce qui les rend comparables.

3. Transport Optimal (Le Camion de Déménagement)

Maintenant, comment mesurez-vous à quel point deux caractéristiques sont similaires ?

Imaginez que vous avez un tas de sable (les fans) représentant la Caractéristique A et un autre tas représentant la Caractéristique B.
Le Transport Optimal est comme embaucher un camion de déménagement pour déplacer le sable du Tas A vers le Tas B.
Le « coût » est la distance que le sable doit parcourir.
Si les fans du Tas A se tiennent exactement aux mêmes endroits que les fans du Tas B, le camion n'a pas besoin de les déplacer loin. Le coût est faible. Coût faible = Grande similarité.
Si les fans sont dans des parties totalement différentes du parc, le camion doit faire un long trajet. Coût élevé = Significations différentes.

Cette méthode est puissante car elle examine la distribution complète de l'activité, et non pas un simple point unique. Elle peut distinguer deux caractéristiques qui semblent similaires au premier coup d'œil mais qui ont des « motifs de fans » différents.

Ce Qu'ils Ont Réussi

En utilisant cette approche de « Carte de Foule » et de « Camion de Déménagement », le papier revendique trois victoires majeures :

Meilleure Correspondance : Ils peuvent maintenant faire correspondre avec précision les caractéristiques à travers différentes couches de l'IA, même si les couches sont très éloignées. C'est comme reconnaître qu'un type spécifique d'arbre au rez-de-chaussée est de la même espèce qu'un arbre sur le toit, même s'ils ont une apparence différente due au vent et à la lumière.
Compression Automatique : Ils peuvent regrouper automatiquement des centaines de caractéristiques emmêlées en « super-nœuds » propres et compréhensibles. Au lieu qu'un humain trie manuellement 500 articles, l'algorithme les regroupe en fonction de la similarité de leurs « cartes de fans ».
Détection de Différences Subtiles : Ils ont réussi à identifier des caractéristiques qui font des choses très spécifiques, comme « ajouter deux nombres ». D'autres méthodes ont échoué à distinguer les caractéristiques qui faisaient simplement « des maths » en général, mais cette méthode a repéré les motifs spécifiques d'« addition de chiffres ».

La Garantie du « Pourquoi Ça Marche »

Le papier inclut également des preuves mathématiques (les « reçus ») pour montrer pourquoi cela fonctionne :

Invariance d'Échelle : Peu importe si la caractéristique est « forte » (très active) ou « faible » (moins active), tant que le motif de qui écoute est le même. La méthode ignore le volume et se concentre sur la forme de la foule.
Stabilité : Si vous ajoutez un peu de bruit (comme quelques fans supplémentaires qui arrivent au hasard), le coût du « camion de déménagement » ne change pas de manière démesurée. La méthode est robuste.
Récupération : Si la différence entre deux caractéristiques est suffisamment grande, la méthode est mathématiquement garantie de trouver la bonne correspondance, même avec des données imparfaites.

Résumé

En bref, ce papier dit : « Arrêtez de considérer les caractéristiques de l'IA comme des points statiques uniques. Regardez-les comme des foules dynamiques d'activité. En utilisant un système mathématique de camion de déménagement pour comparer ces foules sur une carte neutre, nous pouvons automatiquement comprendre comment les pensées de l'IA évoluent à travers les couches et simplifier des circuits complexes en résumés lisibles. »

Résumé technique : Transport optimal sémantique pour l'appariement de caractéristiques d'autoencodeurs parcimonieux et la compression de circuits

1. Définition du problème

Les autoencodeurs parcimonieux (SAE) sont devenus un outil principal pour l'interprétation des modèles de langage de grande taille (LLM) en décomposant les espaces latents en caractéristiques interprétables. Cependant, deux défis critiques subsistent lors de la mise à l'échelle de l'analyse des SAE :

Appariement de caractéristiques inter-couches : Identifier des caractéristiques sémantiquement similaires à travers différentes couches d'un LLM. Les méthodes existantes reposent généralement sur la comparaison de vecteurs de décodeur. Cette approche échoue lors de l'appariement de caractéristiques entre des couches non consécutives, car les vecteurs de décodeur sont entraînés pour reconstruire des distributions d'activation distinctes, rendant la comparaison directe des vecteurs inexacte.
Compression de circuits de caractéristiques : Les circuits de caractéristiques (graphes causaux reliant des caractéristiques à travers les couches) contiennent souvent des centaines de nœuds, rendant l'inspection manuelle peu pratique. Les méthodes de compression actuelles reposent sur le regroupement manuel de nœuds sémantiquement similaires en « super-nœuds », un processus qui ne se met pas à l'échelle.

Le problème central identifié par les auteurs est l'estimation de la distance sémantique entre des caractéristiques résidant sur des variétés d'activation différentes. Les approches existantes traitent les caractéristiques comme des vecteurs uniques (par exemple, les poids du décodeur), ce qui élimine le riche contexte de l'endroit et de la force de l'activation d'une caractéristique, entraînant une perte d'information et une incapacité à gérer les comparaisons multi-variétés.

2. Méthodologie

Les auteurs proposent un cadre distributionnel qui reformule la comparaison de caractéristiques comme un problème de Transport Optimal (OT).

2.1 Représentation des caractéristiques sous forme de distributions

Au lieu de représenter une caractéristique par un seul vecteur de décodeur, la méthode représente chaque caractéristique $i$ à la couche $\ell$ comme une distribution empirique pondérée par l'activation sur les états cachés où elle s'active.

Étant donné un corpus de positions de tokens $T$ , la méthode sélectionne les $K$ positions de tokens où la caractéristique $i$ s'active le plus fortement.
Chaque token sélectionné $t$ se voit attribuer un poids $w_{i,t}$ proportionnel à son amplitude d'activation.
La caractéristique est représentée comme une distribution $\hat{\mu}_{i,T} = \sum w_{i,t} \delta_{x_t}$ , où $x_t$ est l'état caché au token $t$ .

2.2 Espace de référence partagé

Pour comparer des caractéristiques à travers différentes couches (qui résident sur des variétés différentes), la méthode projette ces distributions spécifiques aux couches dans un espace de référence partagé $\mathcal{R}$ .

Pour l'appariement inter-couches, l'espace de référence est généralement l'espace des états cachés de la couche cible. Les activations de la couche source sont projetées vers les positions de tokens correspondantes dans la couche cible.
Pour la compression de circuits, l'espace de référence est la concaténation des états cachés à travers toutes les couches.

2.3 Distance sémantique via la distance de Wasserstein

Une fois projetées dans l'espace partagé, la distance sémantique entre deux caractéristiques est calculée en utilisant la distance de Wasserstein (distance du déménageur de terre).

La distance $W_c(\hat{\mu}, \hat{\nu})$ mesure le coût minimal pour transporter la masse de probabilité de la distribution d'activation d'une caractéristique vers l'autre.
Le coût de base $c(z, z')$ mesure le coût de l'appariement de deux représentations de contexte dans l'espace partagé.
Cette approche capture la structure géométrique des motifs d'activation plutôt que la simple similarité vectorielle point par point.

2.4 Tâches en aval

Appariement de caractéristiques : Pour une caractéristique cible, la méthode trouve la caractéristique source ayant la distance de Wasserstein minimale (plus proche voisin).
Compression de circuits : La méthode traite les nœuds du circuit comme des points dans l'espace distributionnel et applique un clustering (par exemple, clustering agglomératif) pour regrouper les nœuds ayant de faibles distances de Wasserstein par paires en super-nœuds, minimisant ainsi la distance sémantique intra-cluster.

3. Contributions clés et garanties théoriques

L'article fournit trois garanties théoriques principales pour le cadre proposé :

Invariance au redimensionnement des activations : La distribution de caractéristique projetée est invariante à l'échelle globale des valeurs d'activation. Puisque la représentation repose sur le classement relatif et la distribution proportionnelle des activations (sélection Top-K et poids normalisés), des décalages scalaires arbitraires dans les amplitudes d'activation n'altèrent pas la distance sémantique.
Stabilité sous perturbations : La distance de Wasserstein entre les distributions de caractéristiques est stable sous des perturbations lisses des distributions. La variation de la distance est bornée par les constantes de Lipschitz du coût de base et la distance de Wasserstein entre les distributions perturbées et originales. Cela assure une robustesse face au bruit dans la sélection de tokens ou au réentraînement des SAE.
Récupération basée sur la marge : Les auteurs établissent les conditions selon lesquelles l'appariement empirique du plus proche voisin et le regroupement sémantique récupèrent parfaitement les correspondances réelles (oracle). Si la « marge » (l'écart entre la meilleure correspondance et la deuxième meilleure correspondance) dépasse deux fois l'erreur d'estimation, la décision empirique est garantie correcte.

4. Résultats expérimentaux

La méthode a été évaluée sur des SAE entraînés sur GPT-2 et Gemma-2-2B, en comparaison avec des bases de référence incluant SAE Match (norme L2 des vecteurs de décodeur), Feature Flow (cosinus des vecteurs de décodeur), Attribution Patching et la sélection basée sur les LLM.

Appariement de caractéristiques : La méthode proposée a surpassé toutes les bases de référence dans l'évaluation par LLM (notes de similarité sémantique) et la précision de l'appariement sur des configurations de couches consécutives, du milieu à la fin, et du début à la fin. Crucialement, elle a maintenu des performances compétitives sur les métriques en aval (perte d'entropie croisée et variance expliquée), démontrant qu'elle identifie des caractéristiques ayant des rôles fonctionnels similaires, et non pas seulement des tokens d'activation similaires. Elle a notamment réussi à appairer des caractéristiques subtiles d'« addition de chiffres » là où d'autres méthodes ont échoué.
Compression de circuits : La méthode a atteint une précision supérieure dans la compression des circuits de caractéristiques en super-nœuds intuitifs par rapport au regroupement manuel et aux autres bases de référence. Elle a identifié avec succès des groupes de caractéristiques modulaires (par exemple, « têtes d'induction » et « détection de tokens ») qui remplissent constamment le même rôle fonctionnel à travers différents circuits.
Étude d'ablation : Les expériences ont confirmé que la représentation des caractéristiques sous forme de distributions préserve plus d'informations sémantiques que leur effondrement en un seul vecteur de centroïde, même lorsqu'elles sont projetées sur la même variété.

5. Importance et revendications

L'article revendique fournir une métrique sémantique unifiée qui résout à la fois l'appariement de caractéristiques inter-couches et la compression de circuits comme des instances d'un même problème fondamental : l'estimation de la distance sémantique à travers des variétés.

Évolutivité : En automatisant le regroupement des caractéristiques en super-nœuds, la méthode élimine la dépendance à l'étiquetage humain, rendant l'analyse des circuits de caractéristiques à grande échelle réalisable.
Robustesse : L'approche distributionnelle capture le « contexte » de l'activation des caractéristiques, permettant un appariement précis même lorsque les caractéristiques évoluent considérablement à travers les couches (distributions dissimilaires), un scénario où les méthodes basées sur les vecteurs échouent.
Interprétabilité : La capacité à compresser automatiquement des circuits complexes en super-nœuds interprétables améliore la compréhension des mécanismes du modèle, comme démontré dans des études de cas sur les circuits « Dallas » (géographie), « Rimes » et « Opposés ».

Les auteurs positionnent ce travail comme une étape fondamentale vers une interprétabilité mécaniste automatisée et évolutive, dépassant les limites de la comparaison de caractéristiques centrée sur les vecteurs.