🤖 AI

Laguerre Geometry for Interpreting Large Language Models

Cet article introduit un cadre de géométrie de Laguerre qui redéfinit les concepts des LLM comme des régions spatiales plutôt que comme des points, permettant le développement d'outils sans entraînement tels que la Lentille Géométrique et l'Autoencodeur de Laguerre pour visualiser, mesurer et manipuler avec précision les trajectoires de raisonnement internes et les structures hiérarchiques des modèles de transformeurs.

Auteurs originaux : Chunwei Ma, Russell Wolfinger

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chunwei Ma, Russell Wolfinger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme une immense bibliothèque à plusieurs étages où chaque livre représente un mot possible que le modèle pourrait dire ensuite. Pendant longtemps, les scientifiques ont pensé que chaque « idée » ou « concept » à l'intérieur de cette bibliothèque n'était qu'une simple épingle minuscule plantée sur la carte de la pièce. Si vous vouliez trouver le concept de « Chien », il vous suffirait de chercher une épingle spécifique.

Mais ce nouvel article suggère que cette vision est trop simpliste. Au lieu d'une simple épingle, les auteurs proposent qu'un concept est en réalité une pièce entière avec des murs, un sol et un plafond. Ils appellent cela une « cellule de Laguerre-Voronoi ». Imaginez cela comme un quartier dans une ville : « Chien » n'est pas seulement une maison ; c'est tout le pâté de maisons où vivent toutes les idées liées aux chiens, délimité par des clôtures invisibles qui le séparent de « Chat » ou d'« Oiseau ».

La carte qui a tout changé

Les auteurs, Chunwei Ma et Russell D. Wolfinger, ont utilisé une branche des mathématiques appelée Géométrie de Laguerre pour dessiner ces cartes. Dans cette géométrie, chaque concept a un centre (comme une place de village) et un « poids » spécial (comme un rayon d'influence).

Voici le grand tournant qu'ils ont découvert : le poids importe.
Si vous regardez seulement la proximité de deux mots l'un par rapport à l'autre (la distance), vous ne pouvez pas faire la différence entre un « chiot » (un type de chien) et un « mammifère » (une catégorie qui inclut les chiens). Ils pourraient être également proches sur une carte simple. Mais quand on ajoute le « poids » de la géométrie de Laguerre, la carte révèle une hiérarchie. Elle montre que « chiot » est à l'intérieur de la chambre « chien », et que « chien » est à l'intérieur de la chambre « mammifère ». Les mathématiques prouvent que le modèle organise naturellement ces idées comme des poupées russes, et que l'on ne peut voir cet emboîtement qu'en utilisant ce prisme géométrique spécifique.

Jeter un œil à l'intérieur de la machine

L'article s'attaque également à un mystère : à quoi pense le modèle au milieu d'une phrase, avant qu'il ne finisse de taper ?

Imaginez que vous demandiez au modèle : « La capitale de la France est... »

Ancienne vision (Logit Lens) : Les scientifiques pensaient que le modèle dérivait lentement vers la réponse « Paris » dès le premier mot.
Nouvelle vision (Geometric Lens) : Les auteurs ont construit un outil appelé « Geometric Lens » pour observer le « processus de pensée » du modèle en temps réel. Ils ont découvert que le chemin interne du modèle est beaucoup plus chaotique et intéressant.

Dans leurs expériences, ils ont observé les pensées cachées du modèle voyager à travers différents « quartiers » (régions) tandis qu'il traitait la phrase.

Au début, le modèle considère de nombreuses options.
Ensuite, il semble saisir le mot factuellement correct « Paris » (sans l'espace) dans les couches intermédiaires.
Enfin, dans les toutes dernières étapes, il se corrige pour produire le mot grammaticalement correct « _Paris » (avec l'espace) avant de donner la réponse.

Le Geometric Lens est le seul outil qui a pu capturer tout ce voyage. Les autres outils soit se sont bloqués trop tôt, soit ont manqué les étapes intermédiaires.

Quand le modèle est confus

Les auteurs ont également testé ce qui se passe lorsque vous essayez de piéger le modèle. Ils lui ont donné une consigne du type : « Vous êtes dans un monde fictif où Marseille et Lyon ont échangé leurs noms. Le Louvre est à... »
Normalement, le modèle est perturbé par l'histoire fictive et pourrait dire « Lyon » ou « Marseille » au lieu de la vraie réponse, « Paris ».

Cependant, lorsque les auteurs ont utilisé leur Geometric Lens pour observer les pensées du modèle avant qu'il ne finisse de taper (spécifiquement à la couche 20), ils ont découvert quelque chose d'incroyable : le modèle connaissait la vérité depuis le début. Même si la réponse finale était fausse à cause du piège, le Geometric Lens a montré que la « pensée » interne du modèle avait brièvement visité la bonne réponse, « Paris », avant d'être emportée par l'histoire fictive.

Ce que cela signifie (et ce que cela ne signifie pas)

L'article suggère que nous devrions cesser de considérer les concepts comme des points uniques et commencer à les voir comme des régions entières avec des formes et des poids spécifiques. Ils ont prouvé mathématiquement que ces régions existent et sont linéairement séparables (ce qui signifie que l'on peut tracer une ligne droite entre deux quartiers de concepts différents).

Ils ont mesuré cela en utilisant de vrais modèles comme Phi-2 et Gemma-2. Dans des tests comparant différentes manières de définir les concepts, leur méthode « Laguerre » a permis de distinguer plus facilement les « Animaux » des « Plantes » que les méthodes précédentes. Par exemple, sur le modèle Phi-2, leur méthode présentait un taux d'erreur de 0,111 pour distinguer les animaux des plantes, ce qui est meilleur que le taux d'erreur de 0,121 de l'ancienne méthode de « Géométrie Catégorielle ».

Ils ont également démontré que leur « Geometric Lens » est plus efficace pour repérer le véritable raisonnement du modèle lors de consignes confuses que les autres outils. Dans le test d'interférence sur « Paris », le Geometric Lens a permis de récupérer le jeton (token) correct avec une précision de 0,56 sur Phi-2, battant les 0,55 de Patchscopes et les 0,05 du Logit Lens.

L'essentiel

Cet article ne prétend pas avoir résolu tous les mystères de l'IA. Il ne nous dit pas encore comment contrôler le modèle (c'est l'objet de travaux futurs). Mais il offre une nouvelle façon plus claire de voir ce qui se passe à l'intérieur de la boîte noire. Il suggère que l'intelligence du modèle n'est pas simplement une ligne droite de A vers B ; c'est un voyage complexe à travers une ville de quartiers, où le modèle visite différentes idées, les pèse, et change parfois d'avis avant de parler. Et grâce à la géométrie de Laguerre, nous avons enfin une carte qui nous montre tout le quartier, et pas seulement un point isolé.

Résumé Technique : La Géométrie de Laguerre pour l'Interprétation des Grands Modèles de Langage

Énoncé du Problème
Malgré la clarté ontologique des calculs atomiques au sein des Grands Modèles de Langage (LLM), les mécanismes épistémologiques par lesquels ces calculs se coalisent en une intelligence émergente restent opaques. Un mystère central concerne l'organisation des concepts sémantiques dans les espaces de représentation des LLM. Les approches existantes, principalement fondées sur l'Hypothèse de Représentation Linéaire (LRH), définissent généralement les concepts comme des points uniques, des directions linéaires ou des clusters gaussiens. Cependant, quatre questions fondamentales restent non résolues sous ces cadres : (I) Quelle est la définition précise d'un concept ? (II) Dans quel espace de représentation est-il encodé ? (III) Quelle structure géométrique concrète le porte ? et (IV) Pourquoi la linéarité est-elle supposée, et dans quelle mesure est-elle vérifiée ? De plus, les outils d'interprétabilité actuels (par exemple, Logit Lens, Tuned Lens) reposent souvent sur un décodage heuristique ou nécessitent un entraînement, manquant ainsi d'une vérité terrain principielle pour le « sens » des vecteurs cachés dans les couches intermédiaires.

Méthodologie
Les auteurs proposent un cadre géométrique basé sur la Géométrie de Laguerre pour unifier la décomposition géométrique de bas niveau avec l'organisation sémantique de haut niveau. La méthodologie procède à travers trois étapes principales :

La Couche de Décodage (Unembedding) comme Diagramme de Laguerre-Voronoi (LVD) :
Le papier établit que la couche de projection linéaire finale (couche de décodage) d'un LLM, paramétrée par des poids $W$ et des biais $b$ , partitionne naturellement l'espace de représentation $\mathbb{R}^d$ en un Diagramme de Laguerre-Voronoi (également appelé Diagramme de Puissance).
- Définition du Concept : Un concept est redéfini non pas comme un vecteur, mais comme une cellule de Laguerre-Voronoi spécifique $\omega_j$ , caractérisée par un centre $c_j$ et un poids $\nu_j$ . Une catégorie est définie comme l'union de plusieurs de ces cellules.
- Propriétés Géométriques : Cette formulation permet une définition stricte de la séparabilité linéaire entre concepts et catégories. Crucialement, elle introduit un Score de Domination dérivé des poids et centres de Laguerre, permettant la détection de relations hiérarchiques (par exemple, l'hyponymie/hypernymie) telles que « chien » $\subset$ « mammifère » $\subset$ « animal », qui sont difficiles à détecter en utilisant uniquement les distances vectorielles.
Décomposition des Couches de Transformer :
Les auteurs étendent cette vision géométrique aux blocs de transformer intermédiaires. En décomposant le réseau en opérateurs de type linéaire par morceaux (blocs MLP) et en analysant le mécanisme d'attention, ils démontrent que l'espace d'entrée est partitionné en régions linéaires par morceaux.
- Entrée Unique vs Entrées Multiples : Pour les jetons (tokens) à entrée unique, la trajectoire suit un arbre statique de flux linéaire par morceaux. Pour les entrées multiples, le mécanisme de cross-attention agit comme un terme de transport dynamique, faisant « sauter » la trajectoire cachée d'un arbre à l'autre (régions) lorsque l'attention s'active.
- Correspondance de Région : Chaque région linéaire dans n'importe quelle couche est assignée un label sémantique correspondant à la cellule de Laguerre qu'elle atteindrait finalement si elle était propagée à travers le reste du réseau sans interférence contextuelle supplémentaire.
Lent Géométrique et Autoencodeur de Laguerre :
- Lent Géométrique (Geometric Lens) : Une méthode sans entraînement et sans hyperparamètre pour décoder les vecteurs cachés. Elle isole un vecteur caché $h^{(\ell)}_i$ des effets contextuels ultérieurs en forçant les poids d'auto-attention à 1 (annulant les mises à jour entre les jetons) et en propageant le vecteur à travers le réseau linéaire par morceaux restant pour identifier sa cellule de Laguerre finale.
- Autoencodeur de Laguerre (LAE) : Un outil de visualisation en 2D qui rend conjointement les représentations cachées et leurs régions LVD correspondantes. Il est entraîné avec une fonction de perte qui combine l'erreur de reconstruction et un terme garantissant que le point reconstruit se trouve dans la même cellule de Laguerre que l'original, préservant ainsi la géométrie de décision.

Contributions Clés

Redéfinition des Concepts : Le papier dépasse les définitions basées sur des points ou des directions, définissant les concepts comme des régions polyédriques convexes (cellules de Laguerre-Voronoi) induites par la couche de décodage.
Découverte Hiérarchique : Il démontre que les poids de Laguerre encodent naturellement les hiérarchies conceptuelles et les relations d'inclusion, permettant la découverte non supervisée d'hyponymes et d'hypernymes sans ensembles d'attributs prédéfinis.
Lent Géométrique : Un nouvel outil d'interprétabilité sans entraînement qui révèle le concept exact qu'un vecteur caché encode à n'importe quelle couche en traçant son chemin à travers la partition linéaire par morceaux intrinsèque du modèle.
Visualisation : L'Autoencodeur de Laguerre fournit une vue 2D unifiée de la géométrie de décision du modèle et de la trajectoire des jetons.

Résultats Expérimentaux
Les auteurs valident leur cadre à travers plusieurs expériences :

Séparabilité Linéaire : Dans des tâches de sondage linéaire comparant « Animal vs Plante » et « Événement vs Cognition », la Géométrie de Laguerre (en utilisant des points élevés de l'LVD) a obtenu des taux d'erreur plus faibles que la Géométrie Catégorielle (vecteurs blanchis) et la Géométrie de Treillis (Lattice Geometry) sur plusieurs modèles (Phi-2, Gemma-2, Pythia).
Détection de Hiérarchie : Le score de domination proposé a identifié avec succès des relations hiérarchiques (par exemple, « chien » sous « animal ») avec une précision dépassant significativement la Géométrie de Treillis et les bases aléatoires sur Phi-2 et Pythia-70M.
Analyse de Trajectoire : Les visualisations de l'invite (prompt) « La capitale de la France est » montrent que le Lent Géométrique trace un chemin plus complexe et diversifié à travers l'espace de représentation par rapport au Logit Lens et à Patchscopes. Il capture le processus de raffinement interne du modèle, où des jetons grammaticalement incorrects mais factuellement corrects (par exemple, « Paris ») apparaissent dans les couches intermédiaires avant que le modèle ne se stabilise sur le jetons grammaticalement correct (« _Paris »).
Interférence de Contexte : Dans des invites conçues pour induire de l'interférence (par exemple, en échangeant des noms de villes dans un contexte fictif), le Lent Géométrique a démontré une robustesse supérieure. En examinant le rang du jeton aux couches intermédiaires (spécifiquement la couche 20), le Lent Géométrique a récupéré plus souvent le jeton factuellement correct que le Logit Lens ou Patchscopes, suggérant qu'il révèle le véritable processus de raisonnement du modèle avant qu'il ne soit écrasé par l'interférence de la couche finale.

Signification et Revendications
Le papier affirme fournir un fondement géométrique rigoureux à l'Hypothèse de Représentation Linéaire, passant d'une supposition informelle à une propriété strictement définie de la structure linéaire par morceaux du modèle. En établissant que les concepts sont des régions plutôt que des points, les auteurs soutiennent que ce cadre offre une vérité terrain principielle pour les représentations cachées, éliminant le besoin de décodage heuristique ou d'entraînement externe.

La signification réside dans le passage de l'interprétabilité de la « géométrie explicative » (décrivant des structures statiques) à une « interprétabilité actionnable ». Le Lent Géométrique permet aux chercheurs de lire le concept exact encodé dans un vecteur caché et, comme démontré, de récupérer des vérités factuelles même lorsque la sortie finale du modèle est corrompue par une interférence de contexte. Les auteurs positionnent ce travail comme une étape fondamentale vers la compréhension de la manière dont l'intelligence de haut niveau émerge des partitions géométriques de bas niveau, avec des travaux futurs prévus pour étendre ce cadre à l'intervention causale et au pilotage du comportement.

La carte qui a tout changé

Jeter un œil à l'intérieur de la machine

Quand le modèle est confus

Ce que cela signifie (et ce que cela ne signifie pas)

L'essentiel

Articles similaires