Differential syntactic and semantic encoding in LLMs

Ce papier démontre que les informations syntaxiques et sémantiques dans le LLM DeepSeek-V3 sont encodées partiellement de manière linéaire et distribuées de façon différentielle à travers les couches, comme en témoigne la capacité à découpler ces signaux par la soustraction des centroïdes de représentations moyennées.

L'essentiel

Imaginez un grand modèle de langage (LLM) comme DeepSeek-V3 comme une immense bibliothèque à plusieurs étages. À l'intérieur de cette bibliothèque, chaque phrase que vous tapez est transformée en une « empreinte » unique et de haute dimension (un vecteur) alors qu'elle traverse les différents étages (couches) du bâtiment.

La grande question que pose cet article est : Comment la bibliothèque organise-t-elle ces empreintes ? Plus précisément, conserve-t-elle la « structure » de la phrase (syntaxe) séparée de la « signification » de la phrase (sémantique), ou sont-elles toutes mélangées dans un grand smoothie ?

Voici ce que les chercheurs ont découvert, expliqué simplement :

1. L'astuce de la « Moyenne » (Trouver le noyau)

Les chercheurs ont réalisé que si vous avez un groupe de phrases qui se ressemblent grammaticalement (par exemple, « Le chat s'est assis », « Le chien a couru », « L'oiseau a volé »), elles partagent un même « squelette ».

• L'analogie : Imaginez prendre une photo de 100 personnes différentes portant exactement le même type de chapeau. Si vous faites la moyenne de toutes ces photos, les visages deviennent flous, mais le chapeau devient super net et clair.
• La méthode : Ils ont fait cela mathématiquement. Ils ont pris des phrases ayant la même structure grammaticale et ont fait la moyenne de leurs empreintes pour créer un « Centroïde Syntaxique » (le chapeau de grammaire pure). Ils ont fait de même pour des phrases ayant la même signification mais des mots différents afin de créer un « Centroïde Sémantique » (le chapeau de sens pur).

2. Le test de « Soustraction » (Retirer le chapeau)

Une fois qu'ils ont obtenu ces vecteurs de grammaire et de sens « purs », ils ont essayé de les retirer des empreintes de phrases originales.

• L'analogie : Imaginez que vous avez une photo d'une personne portant un chapeau. Si vous soustrayez numériquement le vecteur « chapeau » de la photo, le chapeau disparaît. Si la photo ressemble toujours à la personne, vous savez que le chapeau était une couche distincte. Si le visage de la personne disparaît aussi, le chapeau et le visage étaient mélangés.
• Le résultat : Lorsqu'ils ont soustrait le « Chapeau de Grammaire » d'une phrase, la phrase a perdu sa capacité à correspondre avec d'autres phrases ayant la même grammaire. Lorsqu'ils ont soustrait le « Chapeau de Sens », elle a perdu sa capacité à correspondre avec des phrases ayant la même signification.
• La conclusion : Cela prouve que le modèle encode la grammaire et le sens de manière linéaire. Ils sont comme des ingrédients distincts dans une recette qui peuvent être séparés mathématiquement, plutôt qu'une réaction chimique où ils deviennent une nouvelle substance.

3. La découverte du « Plan d'étage » (Où vivent les choses)

La bibliothèque a de nombreux étages. Les chercheurs ont découvert que la grammaire et le sens vivent sur des étages différents.

• Grammaire (Syntaxe) : C'est comme les fondations et les étages inférieurs. Elle est présente dès le début et reste constante jusqu'au sommet. Le modèle connaît la structure d'une phrase presque immédiatement.
• Sens (Sémantique) : C'est comme les étages intermédiaires. Lorsqu'une phrase entre dans la bibliothèque, le modèle examine d'abord les mots et la structure (étages inférieurs). Ensuite, alors que la phrase se déplace vers le milieu, le modèle détermine ce qu'elle signifie réellement. Au moment où elle atteint le tout dernier étage (où le modèle écrit sa réponse), le sens est toujours là, mais l'accent se déplace vers la génération de la sortie.
• L'analogie : Pensez à la lecture d'un livre. D'abord, vous reconnaissez les lettres et les mots (grammaire). Ensuite, au milieu du paragraphe, vous comprenez l'histoire (sens). Vous n'avez pas besoin de re-reconnaître les lettres pour comprendre l'histoire, mais vous avez besoin des lettres pour commencer.

4. La rue à sens unique (Asymétrie)

Voici la partie la plus intéressante : la séparation n'est pas parfaitement égale.

• La grammaire est indépendante : Si vous retirez le « Sens » d'une phrase, la « Grammaire » reste parfaitement intacte. Le squelette reste debout même si vous enlevez la chair.
• Le sens est dépendant : Si vous retirez la « Grammaire » d'une phrase, le « Sens » devient un peu vacillant. Il ne disparaît pas complètement, mais il devient plus difficile à reconnaître.
• L'analogie : Imaginez une maison. Si vous enlevez les meubles (sens), la structure de la maison (grammaire) est toujours clairement une maison. Mais si vous enlevez les murs et le toit (grammaire), les meubles (sens) ne sont qu'un tas de choses sur le sol ; il est difficile de dire ce qu'ils étaient censés être.

Résumé

L'article montre que dans ces immenses modèles d'IA :

1. La grammaire et le sens sont distincts : Ils sont encodés séparément, pas désespérément mélangés.
2. Ils sont linéaires : Vous pouvez mathématiquement « soustraire » l'un de l'autre.
3. Ils vivent à des endroits différents : La grammaire est partout (surtout au début), tandis que le sens atteint son apogée au milieu du traitement du modèle.
4. La grammaire est la fondation solide : Vous pouvez retirer le sens sans briser la grammaire, mais retirer la grammaire rend le sens plus difficile à retenir.

Cela suggère que même si ces modèles sont entraînés uniquement en prédisant le mot suivant, ils développent naturellement une structure qui ressemble beaucoup à la façon dont les linguistes humains pensent que le langage fonctionne : un cadre structurel qui soutient une couche de sens.

Résumé technique

Résumé Technique : Encodage Syntactique et Sémantique Différentiel dans les LLM

Énoncé du Problème

Cette étude examine la manière dont les modèles de langage de grande taille (LLM) encodent les informations syntaxiques (structurelles) et sémantiques (significatives) au sein de leurs représentations internes de haute dimension. Bien que le succès des LLM ait suscité un intérêt pour décoder où et comment la compétence linguistique est stockée, un désaccord important persiste concernant la relation entre la syntaxe et la sémantique. Les traditions génératives postulent souvent une autonomie stricte de la syntaxe, tandis que les approches fonctionnalistes les considèrent comme profondément imbriquées. L'article vise à résoudre cette question en déterminant si ces deux composantes sont encodées de manière linéaire, comment elles sont distribuées à travers les couches du réseau, et dans quelle mesure elles peuvent être découplées dans des modèles entraînés sans priors linguistiques explicites.

Méthodologie

Les auteurs utilisent une approche géométrique basée sur des opérations linéaires pour sonder les représentations du modèle DeepSeek-V3 (671 milliards de paramètres), avec une réplication qualitative sur des modèles plus petits (Qwen2-7b, Gemma3-12b, Pythia-6.9b).

1. Construction du Jeu de Données

L'étude repose sur des paires de phrases appariées générées à l'aide d'autres LLM (Gemini, ChatGPT, DeepSeek) :

• Appariement Syntaxique : Paires de phrases partageant le même modèle de classe grammaticale (POS) mais exprimant des significations non liées (« jumeaux syntaxiques »).
• Appariement Sémantique : Paires de phrases composées d'une phrase originale et de sa paraphrase en anglais, ainsi que de traductions de la phrase originale dans six langues (arabe, chinois, allemand, italien, espagnol, turc).

2. Construction des Centroïdes et Ablation

Pour isoler des types d'informations spécifiques, les auteurs construisent des « centroïdes » en moyennant les représentations cachées :

• Centroïde Syntaxique ($S_i$) : La moyenne des représentations de tous les « jumeaux syntaxiques » partageant un modèle de POS spécifique. Cela moyenne la variance sémantique tout en conservant la structure syntaxique.
• Centroïde Sémantique ($T_i$) : La moyenne des représentations de toutes les traductions d'une phrase $X_i$ (en excluant l'original et sa paraphrase anglaise). Cela moyenne la variance syntaxique et lexicale tout en conservant le contenu sémantique.

Procédure d'Ablation : Les auteurs retirent des informations spécifiques d'un vecteur de phrase $X_i$ en soustrayant sa projection sur le centroïde correspondant.

• Ablation syntaxique : $X_i \perp S_i = X_i - \frac{X_i \cdot S_i}{|S_i|^2} S_i$
• Ablation sémantique : $X_i \perp T_i = X_i - \frac{X_i \cdot T_i}{|T_i|^2} T_i$

3. Mesure de Similarité

Au lieu de métriques linéaires comme l'Alignement du Noyau Centré (CKA), qui, selon les auteurs, fournissent des signaux faibles en haute dimension, ils emploient une mesure de similarité basée sur le rang dérivée du Déséquilibre d'Information. Cette métrique quantifie dans quelle mesure les plus proches voisins dans un espace de représentation prédisent les plus proches voisins dans un autre.

4. Agrégation des Représentations

Deux méthodes sont utilisées pour agréger les états cachés au niveau des jetons en vecteurs au niveau de la phrase :

• Concaténation : Concaténation des $N$ derniers jetons (préserve l'information de position).
• Moyenne : Moyenne des représentations des $N$ derniers jetons (supprime l'information de position).

Résultats Clés

1. Encodage Linéaire de la Syntaxe et de la Sémantique

L'étude révèle que la syntaxe et la sémantique sont au moins partiellement encodées de manière linéaire. La soustraction des centroïdes syntaxiques ou sémantiques des vecteurs de phrases réduit considérablement la similarité entre les paires appariées (jumeaux syntaxiques ou paraphrases), respectivement. Cela suggère qu'une proportion significative de l'information pertinente est capturée par ces directions linéaires.

2. Profils de Couches Différentiels

Les profils d'encodage inter-couches de la syntaxe et de la sémantique diffèrent :

• Syntaxe : La similarité syntaxique est élevée dans les premières couches et reste relativement constante tout au long du réseau. Elle est plus prononcée dans les représentations concaténées, suggérant une dépendance à l'information de position.
• Sémantique : La similarité sémantique est faible dans les premières couches, atteint un pic dans les couches centrales, puis diminue légèrement dans les couches de sortie finales. La similarité sémantique est plus forte dans les représentations moyennées.

3. Découplage Asymétrique

Une découverte cruciale est l'asymétrie dans la manière dont la syntaxe et la sémantique s'influencent mutuellement :

• Retrait de la Sémantique : L'ablation du centroïde sémantique des jumeaux syntaxiques ne réduit pas significativement leur similarité syntaxique. La syntaxe reste robuste même lorsque l'information sémantique est retirée.
• Retrait de la Syntaxe : L'ablation du centroïde syntaxique des paraphrases réduit considérablement leur similarité sémantique, en particulier dans les couches centrales.
• Interprétation : Cela suggère que, bien que la sémantique puisse être partiellement séparée de la syntaxe, la syntaxe est plus autonome. Le retrait de la structure syntaxique (par exemple, l'ordre des mots) dégrade la capacité à retrouver le sens, tandis que le retrait du sens ne détruit pas le squelette syntaxique.

4. Décomposition de la Norme

La décomposition de la norme au carré des vecteurs de phrases révèle que :

• La composante syntaxique domine dans les premières couches.
• La composante sémantique domine dans les couches centrales.
• Ensemble, ces centroïdes représentent une fraction significative mais non totale (environ 40 % dans les couches centrales) de la norme du vecteur, laissant une importante composante « résiduelle ».

5. Effets sur les Sondages en Aval

Les méthodes d'ablation impactent les tâches de sondage en aval comme prévu :

• Classification POS : L'ablation des centroïdes syntaxiques réduit drastiquement la précision ; l'ablation des centroïdes sémantiques a un effet minimal.
• Rappel de Paraphrase : L'ablation des centroïdes sémantiques réduit drastiquement le rappel ; l'ablation des centroïdes syntaxiques a un effet négatif plus faible (bien que présent).

Importance et Revendications

L'article revendique trois contributions principales aux domaines de l'interprétabilité des LLM et de la linguistique computationnelle :

1. Identification d'un Cœur Sémantique : Les résultats confirment qu'un « cœur sémantique » existe dans le traitement des LLM, concentré spécifiquement dans les couches internes du réseau, distinct du traitement syntaxique plus stable et s'étendant sur toutes les couches.
2. Preuve de Superposition Linéaire : L'étude fournit de nouvelles preuves qu'une superposition linéaire simple est un mécanisme fondamental pour l'encodage de caractéristiques linguistiques abstraites (syntaxe et sens) dans les réseaux profonds.
3. Autonomie Émergente de la Syntaxe : L'observation d'une séparation imparfaite mais claire entre la syntaxe et la sémantique dans des modèles entraînés sans priors linguistiques explicites suggère que l'autonomie de la syntaxe pourrait être une propriété inhérente et optimale des représentations linguistiques. Cette découverte comble le fossé entre les théories linguistiques génératives (syntaxe autonome) et les vues fonctionnalistes, impliquant que cette distinction pourrait émerger universellement dans les systèmes cognitifs, des cerveaux humains aux LLM.

Les auteurs maintiennent une position modeste, reconnaissant que leur approche linéaire ne capture que des aspects partiels de ces caractéristiques complexes et qu'une portion significative de la norme de représentation reste inexpliquée par ces centroïdes. Ils suggèrent que des travaux futurs devraient explorer l'extraction de caractéristiques non linéaires et la dynamique temporelle de ces encodages.