The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers

Dans l'esprit numérique des modèles de langage modernes, les mots ne restent pas immobiles. Lorsqu'un ordinateur lit une phrase, il transforme chaque mot en une longue liste de nombres, un point flottant dans un vaste espace invisible aux centaines de dimensions. Ces points ne sont pas dispersés au hasard ; ils se regroupent, formant de fines feuilles courbes au sein de ce vide de haute dimension. Les scientifiques appellent ces feuilles des variétés (manifolds), et l'épaisseur de la feuille raconte une histoire sur la quantité d'informations qu'un mot transporte. Si un mot est libre de changer dans de nombreuses directions, la feuille est épaisse et complexe. Si le mot est étroitement contraint par ses voisins, la feuille devient fine et simple. Cette compression de l'information est une manière fondamentale dont ces modèles comprennent le monde, mais jusqu'à présent, les chercheurs peinaient à voir comment la fonction spécifique qu'un mot exerce dans une phrase — qu'il s'agisse d'un nom lourd comme « chat » ou d'un connecteur léger comme « le » — façonne cette géométrie.

Une équipe de chercheurs s'est donné pour mission de cartographier ce paysage caché, demandant si le rôle grammatical d'un mot dicte le chemin qu'il emprunte à travers les couches d'un réseau neuronal. Ils se sont concentrés sur la distinction entre les mots de classe ouverte, qui portent un sens riche comme les noms et les verbes, et les mots de classe fermée, qui servent un but structurel comme les prépositions et les pronoms. En injectant des milliers de phrases dans quatre types différents de modèles de langage, ils ont suivi la façon dont la forme des données change, couche par couche. Ils ont découvert que ces deux types de mots ne suivent pas le même itinéraire. Les mots de classe fermée s'étendent dans un espace plus large et plus complexe au début du processus, pour ensuite s'effondrer à nouveau en une forme étroite et simple bien plus tôt que leurs homologues riches en contenu. Cela suggère que le modèle étire d'abord ces mots structurels pour comprendre comment ils se connectent aux autres parties de la phrase, et une fois que cette connexion est établie, il les replie, ayant extrait toute l'information relationnelle nécessaire.

Les chercheurs ont découvert que ce repliement géométrique n'est pas une simple fluctuation aléatoire, mais une réorganisation précise du voisinage autour de chaque mot. À mesure qu'un mot s'enfonce plus profondément dans le réseau, ses plus proches voisins dans l'espace mathématique changent. Pour les mots structurels, ce changement se produit rapidement et de manière décisive. Un mot comme « le » peut commencer son voyage entouré d'autres déterminants, mais à mesure que le réseau traite la phrase, il se détache de ce groupe et se rapproche du nom spécifique qu'il modifie. Ce changement de voisinage correspond exactement au moment où la représentation interne du mot devient plus simple et plus compressée. En revanche, les mots de contenu comme « éléphant » ou « courir » maintiennent une géométrie plus complexe et ouverte plus longtemps, reflétant le besoin continu d'intégrer leurs significations spécifiques au contexte évolutif de la phrase.

L'étude a également révélé que l'architecture du modèle importe profondément. Les modèles qui lisent les phrases dans les deux sens à la fois, comme les encodeurs, résolvent ces connexions structurelles tôt, provoquant les changements géométriques dans les couches intermédiaires. Les modèles qui lisent strictement de gauche à droite, comme les décodeurs, empruntent un chemin différent, ces changements géométriques survenant plus tard, à mesure que le contexte s'accumule. Malgré ces différences architecturales, la conclusion fondamentale reste vraie : le chemin qu'un mot parcourt à travers le réseau est une réflexion directe de sa fonction grammaticale. Les chercheurs l'ont prouvé en montrant qu'un ordinateur pouvait regarder uniquement la forme des points de données — leur épaisseur et la façon dont leurs voisins se déplacent — et deviner correctement si un mot était un mot fonctionnel ou un mot de contenu, ou même identifier sa catégorie grammaticale spécifique, sans jamais voir le mot lui-même.

Ce travail suggère que la grammaire d'une phrase n'est pas seulement un ensemble de règles que le modèle suit, mais une réalité physique au sein de sa structure mathématique. Le modèle ne se contente pas de stocker le sens d'un mot ; il remodèle physiquement l'espace autour de ce mot pour résoudre l'énigme de la façon dont il s'insère dans la phrase. Dès l'instant où un mot structurel trouve son partenaire dans la phrase, le modèle réduit les dimensions supplémentaires qu'il avait besoin d'explorer, laissant derrière lui une représentation compacte et efficace. C'est comme si le modèle construisait un échafaudage temporaire pour maintenir la phrase ensemble, et qu'une fois la structure sécurisée, il retirait l'échafaudage, ne laissant que la forme essentielle du sens. Cette danse géométrique d'expansion et de contraction offre une nouvelle fenêtre sur la façon dont l'intelligence artificielle comprend l'équilibre délicat entre les mots qui portent le sens et les mots qui le soutiennent.