Semantic Structure of Feature Space in Large Language Models

1. Énoncé du problème

Alors que des recherches récentes ont établi que des caractéristiques sémantiques spécifiques (par exemple, la tromperie, le refus, la sycophancie) dans les grands modèles de langage (LLM) sont encodées comme des directions linéaires dans les états cachés, l'approche prédominante traite ces caractéristiques de manière isolée. Cette perspective suppose que les caractéristiques sont orthogonales (indépendantes). Cependant, la recherche psychologique (spécifiquement la tradition du « différentiel sémantique ») suggère que les associations sémantiques humaines sont hautement intercorrélées et peuvent être réduites à un sous-espace de faible dimension (par exemple, Évaluation, Puissance, Activité).

Le papier comble une lacune critique : Les relations géométriques entre les caractéristiques sémantiques dans les LLM reflètent-elles les associations psychologiques humaines ? Plus précisément, il examine si les espaces de caractéristiques des LLM sont composés d'axes indépendants ou s'ils présentent une non-orthogonalité significative (intrication) qui reflète les structures culturelles et cognitives humaines.

2. Méthodologie

L'étude emploie une méthodologie en plusieurs étapes combinant des données d'enquête, une analyse des activations et des expériences d'intervention sur les modèles Llama 3 (3B et 70B) et les modèles Qwen3.

A. Construction des données

• Référence humaine : Une enquête auprès de 1 750 répondants a noté 360 mots sur 32 échelles sémantiques (par exemple, beau-laid, doux-dur). Cet ensemble de données sert de vérité terrain pour les associations sémantiques humaines.
• Vecteurs de caractéristiques LLM (Mots) : Pour chacun des 360 mots, des vecteurs de caractéristiques ont été extraits des états cachés du LLM.
  • Protocole : Quatre prompts ont été utilisés par mot (par exemple, « Parlez-moi de {mot} », « Définissez {mot} »).
  • Extraction : Les activations ont été collectées à partir de couches spécifiques (Couche 8 pour 3B, Couche 40 pour 70B) et moyennées sur les tokens et les prompts pour créer un vecteur unique robuste par mot.
• Axes sémantiques LLM : 32 axes sémantiques ont été construits en utilisant une conception de paires contrastives.
  • Pour chaque échelle (par exemple, bon-mauvais), 10 paires d'antonymes ont été sélectionnées.
  • Des vecteurs de caractéristiques pour chaque antonyme ont été générés, et le vecteur d'axe a été calculé comme la différence moyenne entre les vecteurs d'antonymes positifs et négatifs :
    $$\vec{f}_{axe} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$$

B. Techniques d'analyse

1. Corrélation de projection : Projection des vecteurs de caractéristiques de mots sur les axes sémantiques et corrélation de ces projections avec les notes de l'enquête humaine.
2. Alignement géométrique : Calcul des similarités cosinus entre les axes sémantiques eux-mêmes pour tester si les axes sont non orthogonaux. Ces similarités géométriques ont ensuite été corrélées avec les corrélations par paires trouvées dans les données de l'enquête humaine.
3. Réduction de dimensionnalité : Application de l'Analyse en Composantes Principales (ACP) aux données de l'enquête et aux axes sémantiques LLM pour déterminer si la variance dans les deux espaces est capturée par un sous-espace de faible dimension (spécifiquement les trois premières composantes). L'Analyse Canonique des Corrélations (CCA) a été utilisée pour aligner les sous-espaces des données LLM et humaines.
4. Interventions de pilotage (Steering) : Pour tester les implications pratiques, les auteurs ont réalisé des interventions de « pilotage ».
   • Mécanisme : Ajout d'un vecteur d'axe sémantique mis à l'échelle ($\alpha \hat{f}$) au flux résiduel lors du passage avant d'un prompt demandant au modèle de noter un mot.
   • Mesure : Mesure du changement dans la probabilité du modèle de sélectionner un antonyme spécifique (effet de débordement) sur des échelles hors cible.
   • Hypothèse : Si les axes sont alignés géométriquement, le pilotage le long d'un axe devrait provoquer des effets de débordement prévisibles sur d'autres axes, proportionnels à leur similarité cosinus.

3. Contributions clés

1. Validation d'une géométrie de type humain : Démonstration que la structure géométrique des espaces de caractéristiques des LLM n'est ni aléatoire ni purement orthogonale, mais reflète étroitement les associations sémantiques psychologiques humaines.
2. Non-orthogonalité des caractéristiques : Preuve que les axes sémantiques dans les LLM sont significativement non orthogonaux. La similarité cosinus entre deux axes dans le modèle prédit la corrélation entre ces échelles dans les enquêtes humaines.
3. Sous-espace de faible dimension : Démonstration qu'une part substantielle de la variance des caractéristiques sémantiques des LLM (comme dans les données humaines) réside dans un sous-espace de faible dimension (environ 3 dimensions), reproduisant la structure « Évaluation-Puissance-Activité » trouvée en psychologie classique.
4. Débordement prédictif du pilotage : Établissement d'un lien causal entre l'alignement géométrique et le comportement du modèle. Le pilotage d'un modèle le long d'un axe sémantique induit des effets de « débordement » prévisibles sur d'autres axes, dont l'ampleur est déterminée par la similarité cosinus entre les axes.

4. Résultats clés

• Corrélation de projection : Il existe une forte corrélation positive ($r > 0,3$ à $r > 0,8$) entre la projection des vecteurs de mots sur les axes sémantiques des LLM et les notes humaines de ces mots. Cela vaut pour les petits (3B) et les grands (70B) modèles.
• Corrélation des axes : Les similarités cosinus entre les axes sémantiques des LLM sont hautement prédictives des corrélations entre ces échelles dans l'enquête humaine ($r \approx 0,8$). Cela confirme que la géométrie interne du modèle encode les associations culturelles humaines.
• Alignement par ACP :
  • Les données de l'enquête humaine se sont réduites efficacement à 3 dimensions.
  • Les axes sémantiques des LLM ont également montré que les trois premières composantes principales expliquaient la majorité de la variance (>45 % pour 3B, >33 % pour 70B).
  • La CCA a révélé des corrélations élevées entre les sous-espaces 3D du LLM et de l'enquête humaine, indiquant que les modèles « pensent » à ces concepts d'une manière structurellement similaire aux humains.
• Débordement du pilotage :
  • Le pilotage d'un mot vers un attribut spécifique (par exemple, beau) a amené le modèle à noter le mot plus haut sur des attributs géométriquement similaires (par exemple, doux).
  • Il existe une forte relation linéaire ($r \approx 0,65 - 0,68$) entre la similarité cosinus de deux axes et l'ampleur de l'effet de débordement.
  • Note : Le modèle 70B a montré des amplitudes de débordement plus faibles que le modèle 3B, suggérant que les modèles plus grands sont plus résilients au pilotage, mais la relation structurelle (la géométrie prédisant le débordement) reste cohérente.

5. Signification et implications

• Au-delà de l'isolement : Les résultats remettent en question la vision des caractéristiques des LLM comme un catalogue de « boutons » indépendants. Au lieu de cela, les caractéristiques doivent être comprises à travers leurs relations géométriques et les sous-espaces qu'elles forment.
• Sécurité et contrôle de l'IA : Si des caractéristiques critiques pour la sécurité (par exemple, vrai-faux, sûr-dangereux) reposent sur un sous-espace de faible dimension partagé, le contrôle de l'une peut affecter involontairement les autres en raison de l'intrication géométrique. Cela complique le « pilotage de caractéristiques » mais offre également un moyen d'auditer les modèles en comprenant ces structures relationnelles.
• Ingénierie des représentations : L'étude valide que les techniques utilisées sur les plongements de mots statiques (comme l'analyse des angles et des dimensions culturelles) sont applicables et fructueuses pour les représentations profondes des LLM.
• Alignement cognitif : Les résultats suggèrent que, malgré leur entraînement sur du texte brut, les LLM développent des représentations internes qui s'alignent structurellement avec les modèles cognitifs humains du monde, renforçant l'idée que les LLM capturent les structures sémantiques humaines.

En conclusion, le papier soutient que la géométrie de l'espace de caractéristiques a un sens humain. Comprendre les angles entre les caractéristiques et les sous-espaces qu'elles définissent est essentiel pour interpréter, auditer et contrôler les grands modèles de langage.