💬 NLP

Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms

Cet article introduit une méthode de découverte de caractéristiques non supervisée au niveau de la distribution qui regroupe les continuations de LLM en optimisant conjointement la cohérence sémantique et les signatures d'attribution mécaniste, révélant ainsi des modes de continuation diversifiés et des mécanismes internes exploitables que les analyses à vue unique et conditionnées par la cible omettent souvent.

Auteurs originaux : Hyunjin Cho, Youngji Roh, Jaehyung Kim

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hyunjin Cho, Youngji Roh, Jaehyung Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le piège de la « réponse unique »

Imaginez que vous êtes un détective essayant de comprendre comment fonctionne une boîte magique (un grand modèle de langage ou LLM). Habituellement, quand vous posez une question à la boîte, elle vous donne une seule réponse. Pour comprendre comment la boîte fonctionne, vous pourriez examiner les engrenages et les ressorts à l'intérieur uniquement pour cette réponse spécifique.

Le papier soutient que c'est un piège. Si vous ne regardez qu'une seule réponse, vous risquez de manquer le fait que la boîte possède de nombreux « modes » de pensée différents. Parfois, deux réponses peuvent sembler très similaires (même sens) mais ont été construites avec des engrenages internes complètement différents. D'autres fois, deux réponses peuvent sembler totalement différentes mais ont été construites en utilisant exactement les mêmes engrenages.

Les auteurs appellent cela le « désalignement entre les espaces sémantique et mécaniste ». C'est comme deux maisons qui se ressemblent de l'extérieur (même peinture, mêmes fenêtres) mais qui ont des systèmes de plomberie totalement différents à l'intérieur. Ou encore, deux maisons qui sont totalement différentes (l'une est un château, l'autre une cabane) mais qui partagent exactement la même plomberie.

La solution : Une nouvelle façon de regrouper les réponses

Au lieu de choisir une réponse spécifique à étudier, les auteurs proposent une nouvelle méthode pour observer d'un coup toutes les réponses possibles que la boîte pourrait donner à une seule question. Ils appellent cela la « Découverte de caractéristiques non supervisée au niveau de la distribution ».

Voici comment leur méthode fonctionne, décomposée en trois étapes simples :

1. L'étape « Échantillonner la foule »

Au lieu de demander une seule réponse à la boîte, ils lui demandent des centaines de réponses différentes pour la même question.

Analogie : Imaginez demander à un chef : « Comment faites-vous la soupe ? » Au lieu d'obtenir une seule recette, vous recevez 500 variations différentes. Certaines sont épicées, d'autres crémeuses, certaines utilisent du poulet, d'autres du tofu.

2. L'étape « Double vue »

Pour chaque recette de soupe, l'équipe crée deux « cartes d'identité » différentes :

La Carte Sémantique (Ce qu'elle dit) : Elle décrit le sens de la soupe. Est-elle épicée ? Est-ce une soupe à la tomate ?
La Carte Mécaniste (Comment elle est faite) : Elle décrit les engrenages internes que le modèle a utilisés pour la créer. Quels neurones spécifiques se sont activés ? Quels « interrupteurs » internes ont été actionnés ?
Analogie : Pour chaque soupe, vous notez à la fois le profil de saveur (Sémantique) et la liste des équipements de cuisine utilisés (Mécaniste). Vous réalisez que deux soupes peuvent avoir le même goût (correspondance sémantique) mais que l'une a été faite avec un mixeur et l'autre avec un mortier et un pilon (discordance mécaniste).

3. L'étape « Tri intelligent »

Maintenant, ils ont un énorme tas de recettes de soupe, chacune avec deux cartes d'identité. Ils utilisent une machine de tri mathématique spéciale (appelée Clustering de Distorsion-Taux) pour regrouper ces recettes.

Le but : Ils veulent trouver des groupes où les soupes sont similaires à la fois en saveur et en équipement.
Le compromis : La machine possède un « bouton » (appelé $\beta$ $β$ ) qui contrôle la rigueur du tri.
- Réglage souple : Il regroupe les soupes qui sont simplement de type « soupe » de manière générale.
- Réglage strict : Il sépare les soupes en petits groupes comme « Soupe à la tomate épicée faite avec un mixeur » vs « Soupe à la tomate épicée faite avec un mortier ».
Le résultat : Ils trouvent des « modes » de pensée cachés qu'un humain regardant une seule réponse ne verrait jamais.

Pourquoi cela importe : Le test de « pilotage » (Steering)

Le papier ne se contente pas de dire : « Regardez, nous avons trouvé des groupes ». Ils prouvent que ces groupes sont réels en effectuant un test de « pilotage ».

Le test : Ils prennent un groupe de soupes que la machine a identifiées comme étant une « Tomate épicée faite avec un Mixeur ». Ils essaient ensuite de forcer la boîte magique à faire plus de soupes comme celle-ci en tournant l'interrupteur « Mixeur » à l'intérieur de la machine.
Le résultat : Lorsqu'ils tournent l'interrupteur, la boîte commence réellement à produire plus de soupes « Tomate épicée ».
La comparaison : Lorsqu'ils ont essayé de faire cela en utilisant uniquement la « saveur » (Sémantique) ou en choisissant simplement une soupe au hasard, le pilotage n'a pas fonctionné aussi bien.
Analogie : C'est comme réaliser que pour obtenir un type de gâteau spécifique, vous n'avez pas seulement besoin de dire « je veux un gâteau » ; vous devez savoir exactement quels réglages de mélangeur et de four produisent cette texture spécifique. Les auteurs ont trouvé les « réglages du mélangeur » pour différents types de pensée.

L'idée principale à retenir

Le papier introduit un outil qui aide à auditer les modèles d'IA en observant tout le paysage des réponses possibles, et non pas seulement une seule.

Ancienne méthode : Choisir une réponse, trouver les engrenages qui l'ont produite. (Comme étudier une seule voiture pour comprendre comment toutes les voitures fonctionnent).
Nouvelle méthode : Regarder toutes les voitures que l'usine pourrait construire, les regrouper par construction et par apparence, et trouver les motifs cachés.

Cela aide les chercheurs à comprendre qu'un modèle d'IA n'est pas seulement un chemin logique unique ; c'est un paysage complexe avec de nombreux « chemins » (mécanismes) différents qui peuvent mener à des résultats similaires ou différents. En cartographiant ces chemins, nous pouvons mieux comprendre, auditer et contrôler la façon dont ces modèles pensent.

Résumé Technique : Découverte de Caractéristiques Non Supervisée par Alignement Sémantique et Mécaniste

Problématique

Alors que les modèles de langage de grande taille (LLM) sont déployés dans des domaines à enjeux élevés, il devient nécessaire d'auditer non seulement les sorties des modèles, mais aussi les calculs internes qui les génèrent. Bien que l'interprétabilité mécaniste offre des outils pour expliquer des comportements spécifiques, l'approche dominante, l'analyse de circuits, est généralement conditionnée par la cible. Cela signifie que les analystes doivent spécifier un prompt unique et une complétion cible choisie pour identifier le circuit causal.

Cette configuration conditionnée par une cible présente deux limitations critiques :

Généralisabilité : Il n'est pas clair si un mécanisme identifié pour une complétion spécifique se généralise à des paraphrases sémantiquement similaires ou s'il reflète une dépendance fragile à une forme de surface spécifique.
Hétérogénéité Cachée : Même pour une cible fixe, l'analyse sur une cible unique peut occulter l'hétérogénéité du calcul interne. Des sorties sémantiquement similaires peuvent reposer sur des motifs d'activation internes distincts que l'analyse sur cible unique ne parvient pas à capturer.

Les évaluations comportementales actuelles sont limitées aux corrélations entrée-sortie, tandis que les méthodes mécanistes existantes nécessitent souvent la spécification manuelle de cibles, risquant ainsi de manquer la diversité des « modes de continuation » qu'un modèle peut produire pour un même prompt.

Méthodologie

Les auteurs proposent un cadre pour la découverte de caractéristiques non supervisée au niveau de la distribution. Au lieu d'analyser une cible unique, la méthode regroupe la distribution de continuation échantillonnée d'un modèle en alignant conjointement le contenu sémantique et les attributions mécanistes au niveau de la séquence.

Le cadre opère en trois étapes :

1. Échantillonnage de la Continuation

Étant donné un préfixe $x$ , le modèle échantillonne $N$ continuations distinctes $y^{(n)}$ en utilisant l'échantillonnage de noyau (nucleus sampling). Chaque continuation est associée à une probabilité normalisée par la longueur $P_n$ , représentant sa vraisemblance sous la distribution du modèle. Ces probabilités sont utilisées pour pondérer les contributions de chaque continuation lors du regroupement (clustering).

2. Représentation Duale

Chaque continuation échantillonnée est représentée par deux vues complémentaires :

Embedding Sémantique ( $e_n$ ) : Capture la signification linguistique de la continuation en contexte, généralement dérivée d'un modèle d'embedding préentraîné (ex: EmbeddingGemma).
Embedding Mécaniste ( $a_n$ ) : Capture la manière dont les caractéristiques du préfixe affectent les logits de la continuation. Ceci est calculé en utilisant des transcodeurs (auto-encodeurs creux entraînés pour approximer les couches MLP) afin de décomposer les calculs MLP en caractéristiques creuses interprétables. Le vecteur d'attribution $a_n$ agrège l'attribution linéaire directe des caractéristiques du préfixe aux logits démoyés sur l'ensemble de l'étendue de la continuation.

3. Regroupement Conjoint via le Taux-Distorsion

L'innovation centrale consiste à formuler la découverte latente comme un problème d'optimisation taux-distorsion. L'objectif est de trouver un regroupement qui minimise la distorsion (erreur de reconstruction) dans les vues sémantique et mécaniste tout en minimant le taux (entropie des assignations de clusters).

La fonction d'objectif est :
$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$
Où :

$H(C)$ est l'entropie de l'a priori du cluster (Taux).
$D(e)$ et $D(a)$ sont les distorsions pondérées par la probabilité dans les espaces sémantique (L2) et d'attribution (L1), respectivement.
$\beta$ contrôle le compromis entre la compression (moins de clusters) et la fidélité (faible distorsion).
$\gamma$ équilibre le poids entre les vues sémantique et mécaniste ( $\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$ ).

Opérations Adaptatives : Contrairement à K-means, qui fixe $K$ a priori, ce cadre utilise des opérations de Division (Split) et de Rebut (Junk) pour ajuster de manière adaptative le nombre de clusters :

Division (Split) : Divise un cluster hétérogène si la réduction de la distorsion compense le coût de l'augmentation de l'entropie (taux).
Rebut (Junk) : Supprime les clusters spécieux qui capturent du bruit plutôt que des modes cohérents si la réassignation de leurs membres réduit l'objectif total.

Contributions Clés

Analyse au Niveau de la Distribution : Le papier introduit le premier cadre pour regrouper la distribution de continuation d'un modèle en utilisant à la fois la structure sémantique et l'attribution mécaniste au niveau de la séquence, allant au-delà de l'analyse sur cible unique.
Optimisation Conjointe : Il démontre que l'optimisation conjointe de la cohérence sémantique et de la cohérence mécaniste révèle des modes de continuation que les bases de comparaison à vue unique (sémantique seule ou attribution seule via K-means) manquent.
Validation Causale par Pilotage (Steering) : Les auteurs fournissent une preuve interventionnelle que les signatures de clusters découvertes correspondent à des facteurs mécanistes exploitables. En pilotant le long des directions dérivées des clusters (en utilisant les médoïdes), ils montrent des changements directionnels et cohérents dans la préférence du modèle pour les continuations au sein de ce cluster.
Contrôle de la Granularité : Le cadre permet de contrôler la granularité des modes découverts en faisant varier le paramètre $\beta$ , révélant des structures hiérarchiques où les clusters plus fins héritent des signatures mécanistes des clusters plus grossiers.

Résultats Expérimentaux

La méthode a été évaluée sur AmbigQA (utilisant Qwen3-8B) et MMLU, avec des expériences supplémentaires sur Gemma3 et des tâches de raisonnement (GSM8K, MATH500).

Performance de Regroupement : Dans les comparaisons de taux égal, le regroupement par Taux-Distorsion (RD) proposé a obtenu la plus faible distorsion mixte ( $D_\gamma$ ) dans 94 % des cas par rapport aux bases de comparaison K-means (KM-S pour le sémantique seul, KM-A pour l'attribution seule). KM-S préservait la cohérence sémantique mais échouait sur la cohérence mécaniste, tandis que KM-A présentait le mode d'échec opposé.
Analyse de Granularité : La variation de $\beta$ a révélé une structure hiérarchique. Par exemple, un cluster grossier défini par un « style de formatage » (ex: artiste solo vs groupe) s'est divisé en clusters plus fins basés sur des détails de contenu spécifiques (ex: lister les membres du groupe vs descriptions de genres musicaux) à mesure que $\beta$ augmentait.
Validation par Pilotage (Steering) : Les expériences de pilotage ont confirmé les relations causales. Les directions des médoïdes dérivées de RD ont produit des corrélations fortes et monotones entre l'intensité du pilotage ( $\epsilon$ ) et les changements de logits de la cible du cluster. En revanche, les bases de comparaison sémantiques seules (KM-Sem) montraient des corrélations proches de zéro, et les bases de comparaison sur cible unique étaient plus faibles et moins cohérentes.
Tâches de Raisonnement : Dans les tests de raisonnement, la méthode a réussi à identifier que des étapes de raisonnement antérieures spécifiques influencent causalement des clusters d'étapes cibles spécifiques, les effets les plus forts étant observés entre les premières étapes de la source et les cibles ultérieures.

Signification et Revendications

Le papier affirme que cette approche complète l'analyse de circuit conventionnelle et l'évaluation comportementale en fournissant un audit évolutif des mécanismes sous-jacents à la distribution de continuation d'un modèle.

Complémentarité : Elle réduit la dépendance aux cibles choisies manuellement, faisant émerger des hypothèses mécanistiques soutenues par le pilotage au niveau du cluster. Les utilisateurs peuvent d'abord découvrir des clusters, puis tracer les circuits spécifiques associés à un cluster sélectionné.
Mécanismes Actionnables : Les modes découverts ne sont pas simplement descriptifs ; ils correspondent à des facteurs mécanistiques actionnables qui peuvent être manipulés pour déplacer le comportement du modèle de manière prévisible.
Limites : Les auteurs reconnaissent des limites concernant la charge de calcul (due à la nécessité de passages arrières pour l'attribution) et l'absence de cadre rigoureux pour attribuer des étiquettes interprétables par l'humain aux clusters. Ils notent que la validation par intervention ne garantit pas l'unicité des caractéristiques identifiées, nécessant une inspection contrefactuelle plus approfondie.

En résumé, ce travail propose un changement de paradigme, passant de l'analyse de paires entrée-sortie isolées à l'analyse de la distribution des continuations, offrant une perspective plus robuste pour comprendre les calculs internes hétérogènes des modèles de langage de grande taille.