Résumé technique : Dynamiques causales-géométriques émergentes à travers la profondeur dans les grands modèles de langage

Énoncé du problème

La recherche actuelle sur les grands modèles de langage (LLM) est bifurquée en deux approches distinctes mais souvent déconnectées : l'analyse géométrique et l'intervention causale.

• Les analyses géométriques caractérisent l'évolution des représentations de tokens à travers la profondeur du réseau en utilisant des métriques telles que la similarité, la dimensionnalité et la courbure. Bien que ces études révèlent des variations structurées dépendantes de la profondeur, elles restent largement corrélationnelles. Elles décrivent comment le contexte est encodé, mais échouent à identifier quelles caractéristiques géométriques spécifiques gouvernent directement la distribution de prédiction de sortie.
• Les interventions causales (études mécanistes) perturbent les états internes pour observer les changements de sortie. Ces études ont révélé des profils d'efficacité dépendants de la profondeur (par exemple, certaines interventions fonctionnent mieux dans les premières couches par rapport aux dernières), mais manquent souvent d'un cadre représentatif unificateur. Il reste unclear comment les représentations manipulées sont organisées géométriquement ou pourquoi les interventions réussissent dans des couches spécifiques mais pas dans d'autres.

La question centrale non résolue est la manière dont la structure géométrique des représentations internes est réorganisée à travers la profondeur du réseau pour façonner causalement les prédictions. Plus précisément, la structure représentative peut être accessible de manière descriptive et décodable linéairement sans être causalement opérationnelle dans la génération de sorties. Cet article vise à synthétiser ces perspectives en définissant la « géométrie mécaniste » : une géométrie représentative dont la structure est directement liée au contrôle causal de la prédiction.

Méthodologie

Les auteurs emploient une approche intégrée combinant analyse géométrique et interventions causales ciblées sur trois LLM de type décodeur uniquement : Llama V3.1 8B, Mistral 0.3 7B et Qwen 2.5 7B.

1. Analyses d'intervention

L'étude utilise trois tâches modulaires avec des espaces d'entrée-sortie bien définis : « Mois de l'année », « Jours de la semaine » et « Mathématiques de l'horloge ». Deux types principaux d'interventions sont appliqués :

• Interventions centrées sur l'entrée : Des vecteurs de guidage ($V_L$) sont calculés à partir des différences de centroïde entre des représentations de tokens d'entrée spécifiques (par exemple, déplaçant la représentation de « Janvier » vers « Février »). Ces vecteurs sont ajoutés aux activations cachées des tokens d'entrée à des couches spécifiques.
• Interventions centrées sur la sortie : Des vecteurs de guidage sont calculés à partir des différences de centroïde entre les représentations cachées du token final associées à différentes sorties prédites. Ceux-ci sont appliqués à l'activation du token final.
• Métrique : L'efficacité d'une intervention est quantifiée par le changement dans la préférence de logit du modèle entre les prédictions originales et cibles.

2. Analyses de représentation

Pour caractériser la géométrie sous-jacente, les auteurs analysent les représentations en utilisant le jeu de données WikiText-103, en se concentrant sur :

• Dimensionnalité : Mesurée via le Ratio de Participation (PR) des activations de la couche cachée pour déterminer la dimensionnalité effective. Des comparaisons sont faites entre des « tokens identiques » (le token final à travers différentes séquences) et des « tokens non identiques » (tokens près de la fin qui varient selon la séquence).
• Codage géométrique : Les distances euclidiennes et angulaires par paires entre les représentations de tokens sont corrélées avec la divergence symétrique de Kullback-Leibler (KL) de leurs distributions de prédiction de sortie correspondantes.
• Interventions pures : Pour isoler les composantes géométriques, les auteurs réalisent des « interventions angulaires pures » (normalisation des vecteurs avant le guidage pour préserver uniquement la direction) et des « interventions de norme pures » (redimensionnement des vecteurs pour correspondre aux normes moyennes).

Résultats clés

1. Une transition nette en profondeur

Les expériences d'intervention révèlent une structure computationnelle bi-phasique à travers tous les modèles testés :

• Phase précoce (centrée sur le contexte) : Environ les deux tiers premiers des couches sont sélectivement sensibles aux interventions centrées sur l'entrée. Perturber les tokens d'entrée ici déplace efficacement les prédictions.
• Phase tardive (centrée sur la prédiction) : Environ le tiers final des couches est sélectivement sensible aux interventions centrées sur la sortie. Perturber la représentation du token final ici déplace efficacement les prédictions.
• Cette transition représente un passage d'une computation de traitement du contexte à une computation de formation de prédiction.

2. Réorganisation de la géométrie représentative

L'analyse géométrique révèle une réorganisation distincte de l'espace de représentation suivant le point de transition :

• Dimensionnalité : Les tokens identiques montrent une expansion puis une contraction de la dimensionnalité effective dans les couches précoces, se stabilisant dans les couches tardives. Les tokens non identiques exhibent des profils de dimensionnalité plus larges et multi-pic, pilotés par l'identité du token et le contexte.
• Codage angulaire vs euclidien : Dans la phase centrée sur la prédiction (couches tardives), un code géométrique à deux composantes émerge :
  • Structure angulaire : Les distances angulaires entre les représentations de tokens deviennent fortement positivement corrélées avec la similarité de leurs distributions de prédiction de sortie.
  • Normes : Les distances euclidiennes deviennent largement découplées de la similarité de prédiction. La divergence entre les distances euclidiennes et angulaires indique que les normes vectorielles encodent des informations (variation spécifique au token et au contexte) qui sont orthogonales au mécanisme de prédiction.

3. Validation causale du codage angulaire

L'hypothèse selon laquelle la prédiction est contrôlée par la géométrie angulaire dans les couches tardives est confirmée par des interventions pures :

• Interventions angulaires : Les interventions purement directionnelles sur le token final sont hautement efficaces dans la phase tardive (centrée sur la prédiction) mais inefficaces dans la phase précoce.
• Interventions de norme : Les interventions purement basées sur la norme sont largement inefficaces à travers toutes les couches et tous les types d'interventions.
• Mécanisme : Les auteurs proposent que dans la dernière couche, la distribution de sortie $p \propto \text{Softmax}(W_{out} h_L)$ dépend de la direction de $h_L$ pour les valeurs de logit relatives, tandis que la norme agit simplement comme un facteur d'échelle global (température inverse). Ainsi, modifier la structure angulaire altère directement l'identité de la prédiction.

Contributions clés

1. Synthèse des perspectives : L'article unifie les approches géométriques et causales, démontrant que bien que la structure géométrique existe tout au long du réseau, seuls des aspects spécifiques (organisation angulaire dans les couches tardives) sont causalement pertinents pour la prédiction.
2. Identification d'une architecture bi-phasique : Il établit une dissociation fonctionnelle claire où les couches précoces traitent le contexte et les couches tardives forment les prédictions, marquée par une transition nette dans l'efficacité des interventions.
3. Géométrie mécaniste de la prédiction : Il identifie un code géométrique spécifique dans les couches tardives où la structure angulaire paramètre la similarité distributionnelle du prochain token, tandis que les normes de représentation portent des informations découplées de la prédiction.
4. Réfutation de la décodabilité en tant que causalité : Le travail démontre que la simple présence d'une structure sémantique décodable (séparabilité linéaire) n'implique pas une pertinence causale pour la prédiction, remettant en question les hypothèses de la littérature antérieure sur les interventions.

Signification et revendications

Les auteurs affirment que leurs résultats fournissent un récit mécaniste de la manière dont les LLM transforment le contexte en prédiction. La signification réside dans :

• Réconciliation de résultats déroutants : Cela explique pourquoi les interventions sont dépendantes de la profondeur et pourquoi la similarité angulaire ne corrèle avec la pertinence sémantique que dans des contextes spécifiques (couches tardives).
• Implications pour le contrôle : L'article soutient que la fonction par couche ne peut être comprise ou efficacement ciblée par intervention de manière isolée. Un contrôle efficace nécessite de cibler la structure dynamique globale émergente, spécifiquement la géométrie angulaire des couches tardives. Les interventions ciblant des caractéristiques facilement décodables (qui peuvent être basées sur la norme ou dans les couches précoces) peuvent échouer à se généraliser ou n'exercer qu'un contrôle indirect.
• Insights architecturaux : Les résultats suggèrent que les schémas de normalisation (comme RMSNorm) peuvent créer des conditions favorables au codage angulaire, où la direction devient un signal plus fiable que la magnitude pour la prédiction.

Les auteurs restent modestes, notant que ces résultats sont basés sur des tâches modulaires spécifiques et des familles de modèles, et que la relation entre la géométrie du contexte dans les couches précoces et l'émergence de codes angulaires dans les couches tardives reste une question ouverte. Ils ne proposent pas de nouvelles interventions de sécurité ou de stratégies de déploiement, se concentrant plutôt sur l'amélioration de la compréhension scientifique du calcul des LLM.