Polar probe linearly decodes semantic structures from LLMs

Résumé Technique : La Sonde Polaire Décodant Linéairement les Structures Sémantiques des LLM

Formulation du Problème
L'article aborde la question fondamentale de savoir comment les Modèles de Langage à Grande Échelle (LLM) lient des concepts pour former des structures sémantiques complexes. Alors que des travaux antérieurs ont démontré que les structures syntaxiques (par exemple, les dépendances sujet-verbe) peuvent être décodées linéairement à partir des activations des LLM en utilisant des principes géométriques (Hewitt & Manning, 2019 ; Diego-Simon et al., 2024), il reste incertain si des principes similaires s'appliquent à la liaison sémantique. Les auteurs émettent l'hypothèse que les LLM représentent l'existence et le type de relations entre entités non pas par le biais de mécanismes complexes et non linéaires, mais via un code géométrique simple : la distance euclidienne entre les plongements d'entités encode l'existence d'une relation, tandis que la direction relative encode le type de relation.

Méthodologie
Pour tester cette hypothèse, les auteurs introduisent une Sonde Polaire, une transformation linéaire entraînée pour mapper les activations d'une couche de LLM dans un espace de sonde où le graphe relationnel peut être récupéré.

1. Ensembles de Données : L'étude utilise un ensemble de données synthétique couvrant cinq domaines sémantiques distincts :

   • Domaines Euclidiens : Ordinalité variable (variables mathématiques), agencements spatiaux (dispositions d'objets 2D) et rôles thématiques (interactions sociales).
   • Domaines Non-Euclidiens : Arbres généalogiques (relations non commutatives, plusieurs-à-plusieurs) et plans de métro (chemins les plus courts basés sur un réseau).
   • Chaque échantillon consiste en une description en langage naturel d'un graphe relationnel. Pour empêcher le modèle d'apprendre des corrélations de surface, l'ordre des relations et des entités est randomisé, et plusieurs descriptions textuelles sont générées pour le même graphe.

2. Architecture de la Sonde :

   • Perte Structurelle ($L_s$) : Optimise la corrélation de rang de Spearman entre la matrice de distances paires prédite et la matrice de distances de chemin le plus court de référence du graphe sémantique.
   • Perte Angulaire ($L_a$) : Optimise l'alignement entre le vecteur de différence de deux plongements d'entités ($\delta_{ij}$) et un vecteur prototype appris ($p_r$) spécifique au type de relation $r$.
   • La sonde est entraînée indépendamment sur chaque couche de divers LLM (Llama3-8B, OLMo-7B et la famille Pythia).

3. Évaluation :

   • Performance de Décodage : Mesurée via le $\rho$ de Spearman pour l'existence de la relation (ordonnancement des distances) et le type de relation (alignement directionnel).
   • Généralisation : Testée sur des noms d'entités et des formes de surface de relations hors distribution (OOD).
   • Intervention Causale : Les auteurs interviennent sur les états cachés en orientant les activations le long des directions de prototypes apprises pour observer les changements de performance dans les tâches de Question-Réponse (QA) en aval.
   • Corrélation : Les erreurs de la sonde sont corrélées avec la probabilité de logit des réponses correctes dans les tâches de QA.

Résultats Clés

• Décodabilité Linéaire : Les véritables structures sémantiques peuvent être récupérées linéairement à partir des activations des LLM. La Sonde Polaire décode avec succès à la fois l'existence et le type de relation dans les cinq domaines.
• Émergence par Couche : Le code géométrique est le plus prononcé dans les couches intermédiaires des LLM préentraînés (atteignant un pic autour des couches 12–15 pour Llama3-8B). Dans les modèles initialisés aléatoirement, la performance de décodage reste au niveau du hasard, indiquant que le code émerge durant le préentraînement.
• Taille du Modèle et Entraînement : La performance évolue avec la taille du modèle (de 14M à 6,9B de paramètres) et augmente avec le nombre d'étapes de préentraînement, suggérant que le code polaire est une capacité apprise dépendante de la capacité du modèle et de la durée de l'entraînement.
• Généralisation : Les sondes se généralisent à de nouvelles entités et formes de surface de relations, bien que la performance diminue modérément avec les entités OOD et plus significativement avec les types de relations OOD. La performance décline également à mesure que le nombre d'entités dans le graphe augmente, probablement en raison de l'expansion de l'espace combinatoire.
• Influence Causale : L'orientation des activations du modèle le long des directions de prototypes apprises décale causalement la probabilité des réponses correctes dans les tâches de QA, confirmant que ces représentations géométriques sont fonctionnellement pertinentes pour le raisonnement du modèle.
• Disjointure des Sous-espaces : Les sous-espaces appris pour différents domaines sémantiques sont largement disjoints dans l'espace d'activation, avec l'exception notable des agencements spatiaux et de l'ordinalité variable, qui montrent un chevauchement significatif (soutenant l'hypothèse de superposition).

Signification et Revendications
L'article revendique démontrer que les LLM apprennent à construire des structures sémantiques complexes en liant des représentations par le biais d'un principe géométrique simple. Plus précisément, il étend la portée du sondage linéaire au-delà de la syntaxe vers une classe plus large de graphes dirigés et étiquetés.

• Au-delà de la Syntaxe : Contrairement aux travaux antérieurs limités aux arbres syntaxiques, cette approche décode avec succès des structures sémantiques qui ne sont pas nécessairement structurées en arbres et incluent des topologies non euclidiennes (par exemple, arbres généalogiques, plans de métro), bien qu'avec certaines limitations de précision pour les relations non commutatives.
• Au-delà de la Récupération de Connaissances : L'étude cible des structures compositionnelles qui ne pouvaient pas être mémorisées durant l'entraînement (en raison de la randomisation des entités et des relations), fournissant des preuves de la manière dont les modèles effectuent l'apprentissage en contexte et la liaison.
• Tension Symbolique-Connectionniste : Les résultats suggèrent une résolution à la tension entre les approches symboliques et connectionnistes, proposant que les structures symboliques peuvent être représentées au sein de systèmes vectoriels via des sous-espaces linéaires et des relations géométriques.

Les auteurs restent modestes concernant les limitations de la méthode, notant que la Sonde Polaire repose sur des distances linéaires et est adaptée aux graphes euclidiens. Par conséquent, elle ne peut pas représenter parfaitement des relations entières non commutatives, plusieurs-à-plusieurs, ni des distances de chemin le plus court complexes trouvées dans les domaines non euclidiens, bien qu'elle capture la cohérence locale au sein de ceux-ci.