🤖 machine learning

Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames

Ce papier démontre que les structures relationnelles d'ordre élevé dans les états cachés des Transformers peuvent être détectées via l'entropie du signe de Plücker et efficacement orientées par des interventions ciblées sur la géométrie du cadre relationnel, permettant ainsi de retrouver des sorties comportementales correctes sur des modèles Llama de différentes échelles.

Auteurs originaux : Mazen Kobrosly

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mazen Kobrosly

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme ceux qui alimentent les chatbots) comme une immense et animée ville. À l'intérieur de cette ville, l'information circule à travers des rues appelées « états cachés ». La plupart des chercheurs ont observé cette ville en étudiant des bâtiments individuels (neurones), des feux de circulation uniques (têtes d'attention) ou des routes spécifiques (directions). Ils se demandent : « Que fait ce bâtiment précis ? »

Ce papier pose une question différente : « À quoi ressemble la relation entre plusieurs bâtiments dans son ensemble ? »

L'auteur, Mazen Kobrosly, propose que lorsqu'un modèle comprend une relation complexe (comme « A est à B ce que C est à D »), il n'allume pas simplement quelques points au hasard. Au lieu de cela, les tokens (mots) impliqués forment une forme géométrique spécifique et rigide dans l'espace interne du modèle. Le papier appelle cela un « Cadre de Relation ».

Voici une décomposition des résultats du papier utilisant des analogies simples :

1. Le « Niveau de Plombier » (Détection de la forme)

Pour trouver ces formes, l'auteur a inventé un outil appelé Entropie de Signe de Plücker.

L'Analogie : Imaginez que vous avez un ensemble de trois bâtons flottant dans l'espace 3D. Vous pouvez les disposer pour former une pyramide. Si vous échangez l'ordre des bâtons, la pyramide peut se retourner à l'envers ou à l'intérieur. Ce « retournement » est un changement d'orientation (comme une main gauche par rapport à une main droite).
Le Test : L'auteur examine des groupes de mots qui devraient être liés (par exemple, trois mots formant une énigme logique spécifique) et des groupes de mots qui ne sont que du charabia mélangé.
La Découverte : Lorsque le modèle traite les mots liés correctement, ils s'organisent en une orientation géométrique très cohérente et prévisible (comme une pyramide parfaitement construite). Lorsque les mots sont mélangés, ils ressemblent à un tas désordonné de bâtons sans forme cohérente.
Le Résultat : Cette « signature géométrique » a été trouvée dans des modèles Llama de différentes tailles (8 milliards, 70 milliards et 405 milliards de paramètres). Plus le modèle est grand, plus cette forme est claire et cohérente.

2. La « Grille Magique » (L'expérience)

Pour prouver que cette forme cause réellement la pensée correcte du modèle, l'auteur a créé un jeu appelé Test de la Grille des Arêtes.

L'Analogie : Imaginez un tableur avec 8 lignes et 8 colonnes.
- État Propre : Les marques « OUI » forment une ligne diagonale parfaite (Ligne 1 connectée à Colonne 1, Ligne 2 à Colonne 2, etc.). Le modèle identifie correctement cela comme un « motif diagonal ».
- État Corrompu : Les marques « OUI » sont mélangées de sorte que plusieurs lignes pointent vers la même colonne. Le modèle identifie correctement cela comme un « motif de duplication ».
L'Intervention : L'auteur a pris l'état « Corrompu » (où le modèle était confus) et a tenté de le « diriger ». Il n'a pas simplement poussé le modèle ; il a tenté de remodeler physiquement le « nuage » interne de données représentant ces mots.

3. La « Sculpture en Argile » (Diriger le modèle)

L'auteur a tenté de corriger le modèle « Corrompu » en déplaçant ses données internes de différentes manières. Considérez les données comme une boule d'argile.

Tentative A : Déplacer le centre (Centroïde uniquement) : Ils ont essayé de simplement pousser toute la boule d'argile dans la direction de la réponse « Propre ».
- Résultat : Échec. Le modèle est resté confus. Déplacer le centre de masse n'a pas corrigé la logique.
Tentative B : Ajouter du bruit : Ils ont ajouté du bruit aléatoire aux données.
- Résultat : Échec. Le modèle est resté confus.
Tentative C : Remodeler la boule (Forme uniquement) : Ils ont gardé la boule au même endroit mais l'ont remodelée pour correspondre à la géométrie de la réponse « Propre ». Ils ont tordu et tourné l'argile jusqu'à ce qu'elle ressemble exactement à la sculpture « Propre ».
- Résultat : Succès ! Le modèle a soudainement commencé à donner la bonne réponse.

L'Idée Clé : Ce n'était pas où se trouvaient les données (l'emplacement) qui comptait ; c'était comment les données étaient arrangées les unes par rapport aux autres (la forme). Le modèle a besoin du « squelette » géométrique spécifique de la relation pour fonctionner.

4. Le « Transfert de Plan » (Succès transversal aux invites)

L'auteur a testé si cette « Forme Propre » était une correction universelle.

Ils ont pris la « Forme Propre » d'une énigme spécifique et l'ont appliquée à une autre énigme ayant la même structure mais des mots différents.
Résultat : Ça a marché ! Le modèle a résolu la nouvelle énigme.
La Contrainte : Cela n'a fonctionné que si la « Forme Propre » provenait d'un exemple correctement résolu. S'ils ont essayé de transférer une « Forme Propre » provenant d'un exemple corrompu, cela a échoué. Cela prouve que le modèle ne mémorise pas simplement des mots spécifiques ; il apprend un format géométrique portable pour la « correction ».

Résumé des affirmations

Le papier fait trois affirmations spécifiques, rien de plus :

Détection : Nous pouvons détecter que les modèles représentent les relations comme des formes géométriques spécifiques (Cadres de Relation) en utilisant un outil mathématique appelé l'entropie de signe de Plücker.
Intervention : Nous pouvons corriger les erreurs de raisonnement d'un modèle non pas en changeant les mots, mais en remodelant chirurgicalement le « nuage » géométrique interne de la relation pour qu'il corresponde à un exemple correct.
Spécificité : Cela fonctionne à cause de la forme des données, et non simplement de son emplacement ou de sa taille. Le modèle s'appuie sur cet arrangement géométrique spécifique pour obtenir la bonne réponse.

Ce que le papier NE prétend PAS :

Il ne prétend pas avoir trouvé l'« âme » de l'IA.
Il ne prétend pas que cela fonctionne pour chaque type de question (il a été testé sur des grilles logiques spécifiques).
Il ne prétend pas avoir cartographié l'ensemble du circuit de la manière dont le modèle construit ces formes (il n'a observé que la forme elle-même, et non la « machinerie » qui la construit).

En bref, le papier montre qu'à l'intérieur de la « boîte noire » d'une grande IA, les relations ont une forme 3D distincte et mesurable, et si vous pouvez corriger cette forme, vous pouvez corriger la réponse de l'IA.

Résumé technique : Géométrie des rangs relationnels dans les Transformers

Énoncé du problème

L'interprétabilité mécanistique actuelle se concentre largement sur des objets locaux ou d'ordre faible, tels que des neurones individuels, des têtes d'attention, des caractéristiques éparses ou des directions linéaires dans le flux résiduel. Bien qu'efficaces pour des caractéristiques localisées, ces outils laissent un vide fondamental : ils ne décrivent pas adéquatement la géométrie des relations entre plusieurs jetons en tant qu'objet unifié. La littérature récente suggère que les concepts peuvent former des variétés courbes et que la liaison relationnelle reste une difficulté systématique pour les modèles de pointe. Cet article postule que lorsqu'un modèle représente une relation entre plusieurs jetons, la relation elle-même constitue un objet géométrique distinct — un cadre relationnel — défini comme la configuration des états cachés des tuples de jetons participants. Le problème central est de déterminer si ces cadres possèdent une structure d'orientation mesurable, indexée par un rang, et si cette structure peut être ciblée pour orienter le comportement du modèle.

Méthodologie

1. Diagnostic : Entropie du signe de Plücker

Pour détecter la géométrie des relations, l'article introduit l'entropie du signe de Plücker, une statistique diagnostique dérivée des coordonnées de Plücker (mineurs de déterminants).

Projection : Les états cachés sont projetés dans un sous-espace fixe de faible dimension (dimension $p=64$ ) à l'aide d'une matrice de projection gaussienne.
Mesure d'orientation : Pour un tuple de $k$ jetons, la méthode calcule le signe du déterminant du mineur de ligne sélectionné dans l'embedding des jetons des $k$ vecteurs singuliers gauches. Ce signe enregistre l'orientation (la chiralité) du tuple tout en ignorant l'échelle.
Calcul de l'entropie : L'entropie de ces signes est calculée sur des ensembles de tuples de relations réels, de tuples brouillés (mêmes jetons, liaison brisée) et de contrôles aléatoires. Une entropie de signe plus faible indique une signature d'orientation plus cohérente.
Hypothèse de rang : L'article émet l'hypothèse qu'une relation à $r$ arguments présentera sa plus forte cohérence d'orientation (entropie la plus faible) au rang de Plücker $k=r$ . Le diagnostic mesure la « marge diagonale », en comparant l'écart d'entropie au rang attendu $k=r$ par rapport aux autres rangs admissibles.

2. Intervention : Essai de grille d'arêtes Net/Corrompu

Pour tester si ces cadres sont actionnables, l'article utilise un essai de grille d'arêtes avec des grilles de jetons de lignes/colonnes de $8 \times 8$ comportant des marqueurs OUI/NON.

Configuration : Les prompts partagent la même charpente de lignes/colonnes et le même vocabulaire, mais diffèrent par la carte de relation OUI/NON (Net : carte d'identité cohérente ; Corrompu : carte cible dupliquée). Cela crée un cadre contrôlé où l'état de la relation change tandis que la structure de surface reste fixe.
Chemins de pilotage : L'étude patche les états cachés à des positions spécifiques de jetons marqueurs OUI/NON (Couche 5) pour déplacer le nuage de « marqueurs de relation corrompus » vers le nuage « net ». Plusieurs familles d'interventions sont testées :
- Basées sur la forme : Remplacement de l'arrangement relatif des marqueurs (forme centrée) tout en maintenant le centroïde fixe.
- Basées sur le centroïde : Translation uniquement du vecteur moyen.
- Basées sur le sous-espace : Déplacement du sous-espace de Grassmann engendré par le nuage.
- Contrôles : Bruit de norme égale, rotations aléatoires et patchs à des sites incorrects.
Lecture : Le rétablissement est mesuré par deux métriques au niveau de la couche de lecture (Couche 35 pour les modèles 70B/405B) :
1. Rétablissement comportemental : Le déplacement des logits de réponse vers la réponse nette.
2. Rétablissement de la géométrie résiduelle : Le déplacement d'un vecteur de lame relationnelle résiduelle (construit à partir de produits extérieurs de jetons de lignes/colonnes) vers la géométrie nette.
3. Rétablissement couplé : Une métrique assurant que le comportement et la géométrie évoluent ensemble le long du chemin.

Contributions clés

Essai diagnostique indexé par le rang : L'article démontre que les tuples de relations à $r$ arguments contrôlés présentent une cohérence plus forte du signe d'orientation au rang de Plücker attendu $k=r$ à travers les modèles de la famille Llama 8B, 70B et 405B. Ce signal est le plus uniforme dans le modèle 405B et persiste à travers des audits multi-modèles, le distinguant des artefacts de surface.
Essai de grille d'arêtes à porte de compétence : Une conception expérimentale novatrice qui isole la géométrie des marqueurs de relation de la charpente de prompt environnante, permettant une intervention précise sur l'état de la relation sans altérer la structure de la tâche.
Preuve interventionnelle des cadres relationnels : L'étude montre que, dans les modèles compétents (70B et 405B), le pilotage de la forme du nuage de marqueurs de relation (spécifiquement la géométrie ordonnée de l'état net) rétablit à la fois le comportement de réponse nette et la géométrie relationnelle résiduelle. Crucialement, la translation uniquement du centroïde et le bruit de norme égale échouent à produire ce rétablissement, indiquant que la forme structurée, et non seulement la moyenne ou l'amplitude de la perturbation, est l'objet causalement efficace.

Résultats

Détection : Pour toutes les tailles de modèles, les tuples de relations réels montrent des marges diagonales positives au rang attendu ( $k=r$ pour les seuls arguments, $k=r+1$ pour prédicat-plus-arguments). Le modèle 405B présente des marges positives cohérentes pour tous les constructeurs et arités testés ( $r=3$ à $6$), tandis que les modèles 8B et 70B montrent des variations structurées mais spécifiques aux constructeurs.
Pilotage : Dans les modèles 70B et 405B, des chemins de cadres relationnels lisses (marqueur linéaire, forme uniquement, forme de Grassmann) atteignent un rétablissement quasi complet du point final, tant pour le comportement que pour la géométrie résiduelle.
- Forme vs Centroïde : Les interventions de forme uniquement rétablissent le comportement presque aussi efficacement que les interventions complètes centroïde-plus-forme, tandis que la translation uniquement du centroïde produit un rétablissement négligeable ( $\approx 0,002$ ).
- Contrôles de site/ordre : La permutation de l'ordre des formes nettes ou leur réflexion abolit le rétablissement, confirmant que la géométrie ordonnée est essentielle. Le transfert inter-prompt de la forme nette réussit, mais le transfert d'une forme corrompue ou l'application de deltas nets à des sites incorrects échoue.
- Lecture de Plücker : Les interventions réussies rétablissent également la lecture de Plücker des marqueurs d'arêtes (structure du signe du déterminant) vers l'état net, faisant le lien entre les deux moitiés diagnostique et interventionnelle de l'étude.
Limites : Le modèle 8B est identifié comme une frontière de compétence ; il manque de la compétence comportementale de base pour ancrer l'affirmation de pilotage, bien qu'un certain mouvement géométrique soit observé. Les résultats de transfert inter-prompt sont spécifiques à l'état net de carte d'identité utilisé dans la banque de prompts et ne prouvent pas encore le transfert à travers des contenus relationnels arbitraires.

Signification et affirmations

L'article affirme établir un pont au niveau de l'état allant du sondage des relations à l'intervention sur les cadres relationnels. Il soutient que la géométrie des rangs relationnels est à la fois détectable via des statistiques de signe de déterminant et ciblable via des interventions sur les états cachés qui rétablissent un comportement dépendant de la relation.

La signification réside dans le déplacement de l'unité d'analyse, passant de caractéristiques isolées ou de directions linéaires à des configurations finies et ordonnées d'états cachés de jetons. Les résultats suggèrent que pour les relations d'ordre supérieur, le modèle utilise un objet géométrique (le cadre relationnel) dont la forme structurée est le principal moteur du comportement correct. Cela fournit une poignée concrète, au niveau de la relation, pour l'interprétabilité mécanistique, distincte mais complémentaire aux objets au niveau des circuits ou des caractéristiques. L'article déclare explicitement ne pas affirmer avoir localisé l'ensemble de la circuitrie amont/aval, mais plutôt d'avoir identifié un objet d'état mesurable et pilotable qui médie le comportement relationnel.