📊 statistics

Signed-Permutation Coordinate Transport for RMSNorm Transformers

Cet article identifie que les transformeurs RMSNorm possèdent une jauge de permutation signée ( $B_d$ ) plutôt qu'une simple jauge de permutation ( $S_d$ ), et introduit une méthode d'appariement hongrois marginalisée par le signe pour permettre un transport de coordonnées robuste à travers les points de contrôle, améliorant ainsi significativement la transférabilité des outils d'interprétabilité, des vecteurs de pilotage et des états d'optimiseur tout en résolvant les échecs induits par la symétrie dans les approches d'alignement existantes.

Auteurs originaux : John Sweeney

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : John Sweeney

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez deux maisons identiques construites à partir du même plan. Dans une maison, chaque pièce est étiquetée « Cuisine », « Chambre » et « Salle de bain ». Dans l'autre maison, les pièces sont exactement aux mêmes endroits, mais quelqu'un a mélangé les étiquettes.

Si vous voulez déplacer un meuble spécifique (comme un « vecteur de pilotage » qui fait dire « non » aux mauvaises requêtes) de la Maison A vers la Maison B, vous devez savoir quel étiquetage dans la Maison B correspond à la « Cuisine » de la Maison A. Si vous vous trompez, vous pourriez placer le bouton « Non » dans la « Salle de bain », et la maison ne fonctionnera pas correctement.

Ce document traite de la résolution d'une version très spécifique et complexe de ce problème d'« étiquetage mélangé » pour les modèles d'IA modernes.

Le problème central : Le mystère du « Signe »

Pendant longtemps, les chercheurs ont pensé que la seule façon dont ces maisons d'IA pouvaient être mélangées était par permutation (échange) des pièces. Si la Pièce 1 devenait la Pièce 5, il suffisait d'échanger les étiquettes.

Cependant, l'auteur a découvert que pour les modèles d'IA modernes les plus populaires (appelés modèles RMSNorm, utilisés par des géants comme Llama et Qwen), il existe une deuxième façon cachée dont les pièces peuvent être brouillées : l'inversion de signe.

Considérez l'étiquette d'une pièce non pas seulement comme un nom, mais comme une flèche pointant dans une direction.

Permutation : Échanger la flèche qui pointe vers le Nord par une qui pointe vers l'Est.
Inversion de signe : Garder la flèche pointant vers le Nord, mais la retourner pour qu'elle pointe vers le Sud.

Dans ces modèles d'IA modernes, chaque pièce peut indépendamment inverser sa flèche (Nord $\to$ Sud) sans briser la maison. Cela crée une confusion massive. Si vous essayez de déplacer un outil d'un modèle à un autre en utilisant uniquement les anciennes règles de « permutation », vous pourriez accidentellement inverser la moitié des flèches.

L'analogie de la « Boussole Cassée »

L'auteur soutient que les outils actuels pour aligner les modèles d'IA sont comme une boussole qui ne connaît que le « Nord » et l'« Est », mais qui est aveugle au « Sud ».

L'ancienne méthode (Permutation uniquement) : Vous essayez de faire correspondre les pièces en observant leur comportement. Si la Pièce A du Modèle 1 est très similaire à la Pièce B du Modèle 2, vous les associez. Mais si la Pièce A se comporte en réalité comme l'opposé de la Pièce B (à cause d'une inversion de signe), l'ancienne boussole pense qu'elles sont totalement différentes et refuse de les associer.
Le résultat : Lorsque les chercheurs ont essayé de déplacer des « outils de pilotage » (comme un bouton pour faire refuser les requêtes nuisibles à l'IA), les outils se sont souvent complètement cassés. Le bouton « Refus » a été inversé pour devenir « Accepter », ou l'outil a simplement cessé de fonctionner.

La solution : La carte « Signe-Marginalisée »

L'auteur introduit une nouvelle méthode appelée Transport de Permutation Signée (Signed-Permutation Transport).

Imaginez que vous essayez de faire correspondre les pièces à nouveau, mais cette fois-ci, vous avez une loupe spéciale. Au lieu de simplement demander : « La Pièce A est-elle comme la Pièce B ? », vous demandez : « La Pièce A est-elle comme la Pièce B, ou est-elle l'exact opposé de la Pièce B ? »

Observer la magnitude : D'abord, vous vérifiez la force de la connexion, en ignorant qu'elle soit positive ou négative. Cela permet de trouver la bonne pièce, même si la flèche est inversée.
Vérifier le signe : Une fois que vous avez trouvé la pièce correspondante, vous vérifiez la direction de la flèche. Si elle est inversée, vous la retournez avant de déplacer votre outil.

L'auteur prouve mathématiquement que si vous ignorez les inversions de signe, vous échouerez environ 50 % du temps (car la moitié des flèches pourraient être inversées). En tenant compte des inversions, vous pouvez récupérer l'alignement correct presque 100 % du temps.

Tests en conditions réelles dans l'article

L'auteur n'a pas fait que des mathématiques ; il a testé cela sur de vrais modèles d'IA :

Le test du « Refus » : Il a pris un outil qui fait refuser à une IA de répondre à des questions nuisibles.
- Ancienne méthode : L'outil a échoué. L'IA a commencé à accepter les requêtes nuisibles au lieu de les refuser (parce que le signe était inversé).
- Nouvelle méthode : L'outil a parfaitement fonctionné, préservant 95,8 % de sa puissance originale.
Le test du « Dictionnaire » : Il a tenté de déplacer un dictionnaire de caractéristiques (SAE) d'un modèle à un autre.
- Ancienne méthode : Le dictionnaire était inutile (l'erreur de reconstruction était énorme).
- Nouvelle méthode : Le dictionnaire fonctionnait presque parfaitement.
Le test du « CV » (Resume) : Il a mis en pause l'entraînement d'une IA, a changé les étiquettes (gauge), et a tenté de reprendre l'entraînement.
- Ancienne méthode : L'IA a oublié où elle en était et a pris un chemin complètement différent.
- Nouvelle méthode : L'IA a continué exactement là où elle s'était arrêtée, comme si de rien n'était.

La conclusion majeure

L'article conclut que pour les modèles d'IA modernes, vous ne pouvez pas simplement demander : « Quel neurone est-ce ? » sans d'abord spécifier le « gauge » (le code de règles pour la façon dont les étiquettes et les signes sont organisés).

Si vous voulez déplacer des outils, des dictionnaires ou des états d'entraînement entre ces modèles, vous devez utiliser les nouvelles règles de « Permutation Signée ». Si vous ne le faites pas, vous essayez essentiellement de conduire une voiture avec un volant inversé de 180 degrés : vous pensez aller tout droit, mais vous allez en réalité en arrière.

En bref : Les modèles d'IA modernes possèdent une symétrie cachée d'« inversion de signe ». Pour déplacer des éléments entre eux, vous devez corriger les signes, et pas seulement les noms. Cet article fournit la carte et la boussole pour faire précisément cela.

Résumé technique : Transport de coordonnées par permutation signée pour les transformeurs avec RMSNorm

Énoncé du problème

Les flux de travail modernes des grands modèles de langage (LLM) reposent de plus en plus sur le déplacement d'artefacts indexés par coordonnées — tels que les vecteurs de pilotage (steering vectors), les dictionnaires d'auto-encodeurs clairsemés (SAE), les ensembles de neurones top-k ou les adaptateurs LoRA — à travers différents points de contrôle (checkpoints) de modèles. Cependant, la question « quel neurone est-ce ? » est mal posée sans une jauge fixe (système de coordonnées). Alors que les outils d'alignement standard (par exemple, Git Re-Basin, l'appariement de poids) supposent un groupe de symétrie de permutations uniquement ( $S_d$ ), cette hypothèse est incorrecte pour les modèles utilisant la RMSNorm (Root Mean Square Layer Normalization).

Contrairement à la LayerNorm, qui inclut une centration de la moyenne et restreint la symétrie aux permutations (jusqu'à un changement de signe global), la RMSNorm ne possède pas de centration de la moyenne. Par conséquent, son flux résiduel admet des inversions de signe indépendantes pour chaque coordonnée, en plus des permutations. La jauge discrète native pour la RMSNorm est le groupe hyperoctaédrique $B_d = S_d \ltimes \{\pm 1\}^d$ (permutations signées), et non $S_d$ . Ignorer la composante de signe (alignement $S_d$ uniquement) conduit à un mode de défaillance structurelle où les artefacts indexés par coordonnées sont désalignés, provoquant une dégradation significative des performances ou un effondrement fonctionnel complet lors du transfert entre modèles.

Méthodologie

1. Caractérisation théorique des jauges natives

Le papier établit que pour les transformeurs avec un gain par canal $\gamma$ générique :

LayerNorm : Le sous-groupe maximal préservant les coordonnées de $O(d)$ est $S_d \times C_2$ (permutations plus un changement de signe global).
RMSNorm : Le sous-groupe maximal préservant les coordonnées est le groupe complet des permutations signées $B_d$ .
Implication : Les rotations orthogonales continues (utilisées dans des méthodes comme SliceGPT ou QuaRot) sont valides pour la préservation de la fonction, mais détruisent l'identité des coordonnées clairsemées. Seul $B_d$ préserve l'identité des objets clairsemés (par exemple, des neurones ou des caractéristiques SAE spécifiques).

2. Récupération de la jauge par marginalisation du signe

Pour récupérer la jauge $B_d$ correcte à partir de paires d'activations, le papier propose une modification de l'algorithme de couplage hongrois standard :

Fonction de coût : Au lieu de maximiser la corrélation signée $\sum C_{i, \pi(i)}$ , l'algorithme maximise la corrélation absolue $\sum |C_{i, \pi(i)}|$ .
Récupération du signe : Une fois la permutation optimale $\pi^*$ trouvée via la matrice de coût absolu, les signes sont récupérés par $s_i = \text{sign}(C_{i, \pi^*(i)})$ .
Garantie théorique : Le papier prouve que dans le cas d'une population de coordonnées décorrelées, l'appariement par corrélation signée standard présente un plafond de précision structurelle d'environ 50 % (la fraction des signes positifs) car il évite activement les entrées anti-corrélées correctes. L'appariement par marginalisation du signe élimine cette obstruction, convergeant vers une précision de 100 %.

3. Transport parallèle via la composition de trajectoires

Plutement que de coupler uniquement deux points terminaux, le papier introduit le transport parallèle le long d'une trajectoire d'entraînement :

Les jauges $B_d$ locales sont estimées entre des checkpoints consécutifs en utilisant l'appariement par marginalisation du signe.
Ces jauges locales sont composées pour former une carte de transport globale entre des checkpoints distants (ou à travers des exécutions partageant une base).
Cette approche évite les problèmes d'« holonomie » de l'appariement direct entre points terminaux et tire parti des marges d'assignation élevées entre checkpoints consécutifs.

4. Règles de transport covariantes par la jauge

Le papier dérive des règles de transformation explicites pour diverses classes d'artefacts indexés par coordonnées sous $B_d$ (Tableau 1) :

Vecteurs (Pilotage, Sondes, Encodeurs SAE) : Se transforment selon $v \mapsto vG$ .
Matrices (Décodeurs SAE, LoRA WRITE) : Se transforment selon $W \mapsto G^\top W$ .
États de l'optimiseur (AdamW) : Le premier moment $m_W$ se transforme avec les poids ; le second moment $v_W$ (étant un carré) est aveugle au signe et se transforme via la permutation uniquement.

Résultats clés

1. Précision de récupération

Marginalisation du signe vs Signé : Dans des expériences sur des modèles RMSNorm de 7B/8B, l'appariement naïf par corrélation signée n'a récupéré qu'environ 49,5 % des permutations et ~50 % des signes. L'appariement par marginalisation du signe a atteint 100 % de récupération.
Transport vs Appariement de point terminal : Sur un benchmark de fine-tuning Qwen2.5-1.5B (1500 étapes), le transport via la composition de base a récupéré 91,1 % des coordonnées, tandis que l'appariement direct de point terminal n'en a récupéré que 60,3 %. L'amélioration ne provient pas de la simple référence à la base seule (l'approche point terminal-via-base était de 11,4 %) mais de la composition de nombreuses jauges locales à haute marge.

2. Performance de transfert d'artefacts

Le transport utilisant $B_d$ a nettement surpassé le transport $S_d$ -uniquement à travers plusieurs classes d'artefacts :

Adaptateurs LoRA : Sur Qwen2.5-1.5B (SST-2), le transport $S_d$ a fait chuter la précision de l'adaptateur au niveau de la base non adaptée (0,523 contre 0,525), tandis que le transport $B_d$ a préservé 99,7 % du gain (0,944).
Reconstruction SAE : Pour TinyLlama, le transport $S_d$ a entraîné un NMSE de reconstruction de 1,08 (échec), tandis que le transport $B_d$ a atteint 0,004 (presque parfait).
Vecteurs de pilotage : Le pilotage de sentiment sur Qwen a préservé 95,8 % de son effet sous $B_d$ contre 17,2 % sous $S_d$ . Les vecteurs de pilotage de refus ont inversé leur signe sous $S_d$ , inversant de fait le comportement.

3. Entraînement avec état et fusion

État de l'optimiseur : Reprendre l'entraînement avec des états AdamW transportés uniquement via $S_d$ (permutation correcte, signes forcés à +1) a provoqué la divergence de la trajectoire d'entraînement par rapport à la référence, malgré un point de départ d'un checkpoint fonctionnellement identique. Le transport $B_d$ a préservé la trajectoire avec une tolérance numérique.
Fusion de modèles : Dans les fusions préservant les coordonnées, l'alignement $S_d$ -uniquement a introduit des désaccords de signe destructeurs, créant des barrières de type « peak-above-chord » élevées. L'alignement signé a éliminé ces barrières (les réduisant à 0,00 dans les tests de désordre de jauge).

Signification et affirmations

Le papier soutient que pour les architectures basées sur RMSNorm (incluant des modèles largement utilisés comme Llama 2, Llama 3 et Qwen), l'identité des coordonnées n'est bien définie que jusqu'à une permutation signée.

Reproductibilité : Les affirmations d'interprétabilité indexées par coordonnées (par exemple, « le neurone X est un neurone de refus ») ne sont pas reproductibles d'une exécution à l'autre à moins qu'une jauge $B_d$ spécifique ne soit fixée et appliquée. Le papier propose les « balayages de jauge » (gauge sweeps) comme un contrôle négatif pour auditer ces affirmations.
Transfert d'outils : L'échec des méthodes $S_d$ -uniquement n'est pas une erreur mineure mais un effondrement structurel. Le transport signé est nécessaire pour déplacer avec succès les vecteurs de pilotage, les dictionnaires SAE et les états d'optimiseur.
Limites : Le papier note que si $B_d$ préserve l'identité des coordonnées, les méthodes orthogonales continues restent utiles pour la fusion dense ou la compression où l'identité des coordonnées n'est pas l'objet principal. De plus, les unités cachées des FFN possèdent leurs propres symétries de permutation indépendantes ( $S_{d_{ffn}}$ ) qui sont distinctes de la jauge du flux résiduel.

En résumé, ce travail fournit le fondement théorique et les algorithmes pratiques pour aligner correctement les modèles RMSNorm, démontant que négliger la composante de signe de la jauge rend les flux de travail basés sur les coordonnées fondamentalement défaillants.