🤖 machine learning

On the Geometry of Positional Encodings in Transformers

Cet article établit une théorie mathématique des encodages positionnels dans les Transformers, prouvant leur nécessité, démontrant que l'entraînement sépare les positions, et proposant une méthode optimale basée sur le multidimensional scaling (MDS) qui révèle que l'encodage ALiBi est supérieur aux approches sinusoïdales et RoPE.

Auteurs originaux : Giansalvo Cirrincione

Publié 2026-04-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giansalvo Cirrincione

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment comprendre une histoire. Le robot est très fort en mathématiques : il peut additionner, multiplier et comparer des nombres à une vitesse incroyable. Mais il a un gros défaut : il est aveugle à l'ordre.

Pour ce robot, la phrase « Le chat mange la souris » est exactement la même chose que « La souris mange le chat » ou « Mange le chat la souris ». Pour lui, ce n'est qu'un sac de mots mélangés. C'est là que les encodages positionnels entrent en jeu. Ce sont comme des étiquettes de couleur ou des numéros de siège que l'on colle sur chaque mot pour lui dire : « Toi, tu es le premier ! », « Toi, tu es le deuxième ! ».

Ce papier de recherche, écrit par Giansalvo Cirrincione, ne se contente pas de dire « ça marche ». Il essaie de comprendre pourquoi ça marche, comment le robot apprend à les utiliser, et quelle est la meilleure façon de les fabriquer.

Voici les quatre grandes découvertes de l'auteur, expliquées simplement :

1. Sans étiquettes, pas d'histoire (La nécessité)

L'auteur prouve une chose fondamentale : si vous enlevez ces étiquettes de position, le robot ne peut jamais comprendre l'ordre des mots.

L'analogie : Imaginez un orchestre où chaque musicien joue une note, mais personne ne sait quand commencer. Si tout le monde joue en même temps, c'est du bruit. Si vous ne leur donnez pas de partition avec des numéros de mesure (1, 2, 3...), ils ne pourront jamais jouer une mélodie cohérente.
La conclusion : Pour que l'IA comprenne le langage, elle doit avoir une information sur la position. Sans ça, c'est comme essayer de lire un livre dont les pages ont été arrachées et mélangées au hasard.

2. Le robot apprend à ne pas confondre les places (La séparation)

Quand on laisse le robot apprendre ses propres étiquettes (au lieu de lui donner des formules fixes), qu'arrive-t-il ? L'auteur montre que le robot finit toujours par donner une étiquette unique à chaque position. Il ne confondra jamais la position 1 avec la position 2.

L'analogie : C'est comme si vous invitiez 100 amis à une fête. Même si vous ne leur donnez pas de chaises numérotées à l'avance, à force de discuter et de s'asseoir, chacun finira par trouver sa propre place unique. Le robot apprend que pour bien faire son travail, il doit distinguer chaque moment de la phrase.

3. La carte idéale : Le GPS des mots (L'optimalité)

C'est la partie la plus fascinante. L'auteur se demande : « Quelle est la meilleure façon de placer ces étiquettes ? »
Il découvre que les mots ne sont pas distribués au hasard. Certains mots apparaissent souvent au début d'une phrase (comme « Bonjour »), d'autres au milieu, d'autres à la fin.

L'analogie : Imaginez que vous voulez dessiner une carte d'un pays. Vous ne voulez pas mettre Paris à côté de Tokyo, même si ce sont deux grandes villes. Vous devez respecter les distances réelles.
La découverte : L'auteur propose une méthode (appelée MDS) pour créer une carte des positions qui respecte exactement la « géographie » des mots dans le corpus (l'ensemble des textes appris).
- Si deux positions ont des mots très différents (ex: début vs fin de phrase), leurs étiquettes doivent être très éloignées.
- Si deux positions ont des mots similaires, leurs étiquettes doivent être proches.
- Il montre que les encodages classiques (comme les ondes sinusoïdales utilisées par Google) sont en fait une très bonne approximation de cette carte idéale, mais seulement si les textes sont réguliers.

4. On peut faire plus simple et plus petit (L'économie)

L'auteur remarque que pour dessiner cette carte idéale, on n'a pas besoin de 1000 détails. Souvent, quelques lignes suffisent.

L'analogie : Pour dessiner la France, vous n'avez pas besoin de dessiner chaque arbre. Un simple trait courbe suffit pour dire « c'est la forme de la France ».
La conclusion : On peut réduire considérablement la taille de la mémoire nécessaire pour stocker ces étiquettes (jusqu'à 90% de moins !) sans perdre en performance. C'est comme passer d'une carte détaillée à 1000 échelles à une carte simplifiée en 3D qui garde l'essentiel.

Le verdict final : Le test de stress

L'auteur invente un outil appelé le « stress ». C'est comme un test de qualité pour voir si la carte des étiquettes est fidèle à la réalité des textes.

Un stress faible signifie que la carte est parfaite : les distances entre les étiquettes correspondent exactement aux différences entre les positions dans le texte.
Un stress élevé signifie que la carte est faussée.

Grâce à ce test, il a pu montrer que certaines méthodes récentes (comme ALiBi) sont en fait très efficaces pour certains types de textes, car elles respectent mieux cette « géographie » que les méthodes classiques.

En résumé :
Ce papier transforme l'art de créer des étiquettes pour les IA en une science exacte. Il nous dit : « Ne devinez plus ! Voici la carte mathématique parfaite pour placer les mots, et voici comment la dessiner simplement pour que votre robot comprenne enfin l'histoire que vous lui racontez. »

Titre : Sur la géométrie des encodages positionnels dans les Transformers

1. Problématique

Les modèles de langage neuronaux, et en particulier l'architecture Transformer, traitent des séquences de mots. Cependant, les opérations mathématiques fondamentales à l'intérieur de ces modèles (multiplications matricielles, mécanismes d'attention) sont intrinsèquement invariantes par permutation : elles ne distinguent pas l'ordre des mots.
Pour remédier à cela, des encodages positionnels sont injectés dans les représentations vectorielles des tokens. Malgré leur importance critique, ces encodages ont été conçus principalement par essais et erreurs (ex: encodages sinusoïdaux fixes, matrices apprises, RoPE, ALiBi) sans théorie mathématique unifiée expliquant :

Pourquoi l'information positionnelle est strictement nécessaire.
Quelle structure acquiert un encodage appris par descente de gradient.
À quoi ressemblerait un encodage optimal d'un point de vue informationnel.

2. Méthodologie et Cadre Théorique

L'auteur développe une théorie géométrique rigoureuse basée sur l'analyse des distributions statistiques des tokens à chaque position de la séquence.

Métrique de Hellinger : L'article utilise la distance de Hellinger ( $d_H$ ) entre les distributions marginales de tokens $\mu_i$ et $\mu_j$ à deux positions $i$ et $j$ . Cette métrique est choisie car elle est bornée, symétrique et correspond à la distance géodésique sur le simplexe des probabilités (métrique de l'information de Fisher).
Critère de Stress (Stress Criterion) : Pour évaluer la qualité d'un encodage $P$ , l'auteur définit un critère de « stress » qui mesure l'écart entre les distances euclidiennes dans l'espace des encodages ( $\|p_i - p_j\|$ ) et les distances statistiques réelles ( $d_H(\mu_i, \mu_j)$ ). Un stress nul implique une reproduction isométrique parfaite de la géométrie du corpus.
Analyse Spectrale et MDS : La construction d'un encodage optimal est abordée via l'Analyse en Composantes Principales (ACP) et le Multidimensional Scaling (MDS) classique appliqué à la matrice de Gram doublement centrée des distances de Hellinger.
Régime NTK (Neural Tangent Kernel) : Pour prouver des conjectures sur le comportement de l'apprentissage, l'article utilise le régime NTK, où la matrice d'attention est considérée comme quasi-stationnaire, permettant de linéariser les dynamiques de gradient.

3. Contributions Clés et Résultats Théoriques

L'article présente quatre résultats majeurs formant une hiérarchie logique :

A. Nécessité de l'information positionnelle (Théorème 1)

Il est prouvé qu'un Transformer sans signal positionnel calcule une fonction équivariante aux permutations. Cela signifie que réorganiser les tokens d'entrée produit simplement une réorganisation correspondante de la sortie, sans capacité à distinguer la séquence originale de ses permutations.

Conséquence : Aucun modèle sans encodage positionnel ne peut résoudre de tâche sensible à l'ordre des mots.

B. Théorème de Séparation Positionnelle (Théorème 4)

Sous des conditions génériques (non-stationnarité des distributions, sensibilité à l'ordre, non-dégénérescence de la matrice d'attention), tout minimiseur global d'une fonction de perte apprenant une matrice positionnelle $P$ assigne des vecteurs d'embedding distincts à chaque position ( $p_i^* \neq p_j^*$ pour $i \neq j$ ).

Signification : L'apprentissage ne peut pas « effondrer » deux positions différentes vers le même vecteur à l'optimum global.

C. Encodage Optimal et Construction MDS (Proposition 6)

L'article démontre qu'une reproduction isométrique exacte de la géométrie statistique (variété courbe du simplexe) dans un espace euclidien plat est généralement impossible.

Solution : La meilleure approximation est construite via le MDS classique sur les distances de Hellinger.
Algorithme 1 : Propose une méthode pour calculer l'encodage optimal $P_{MDS}$ en diagonalisant la matrice de Gram des distances.
Justification des Sinusoïdes : L'encodage sinusoïdal original est montré comme étant une approximation optimale du MDS pour les corpus dont les statistiques positionnelles varient de manière lisse (stationnarité approximative).

D. Conjecture de Monotonie et Preuve dans le régime NTK

L'auteur conjecture que l'encodage appris reflète la structure statistique : si la distance statistique entre deux positions augmente, la distance euclidienne entre leurs embeddings devrait aussi augmenter.

Preuve : Une preuve complète est fournie dans le régime NTK pour les pertes de type MLM (Masked Language Modeling) et classification ([CLS]), établissant que le gradient converge vers un point fixe monotone.

E. Paramétrisation Minimale (Remarque 8)

L'encodage optimal a un rang effectif $r = \text{rank}(B)$ , où $B$ est la matrice de Gram des distances de Hellinger.

Impact : Au lieu d'utiliser une matrice pleine $n \times d$ ($nd$ paramètres), on peut utiliser une factorisation basse rang $P = AB^\top$ avec $A \in \mathbb{R}^{n \times r}$ et $B \in \mathbb{R}^{d \times r}$ , ne nécessitant que $r(n+d)$ paramètres.
Exemple : Sur un corpus synthétique, un rang $r=3$ suffit pour réduire le stress de 99,8 % par rapport à l'encodage sinusoïdal, avec 88 % de paramètres en moins.

4. Résultats Expérimentaux

Les expériences valident la théorie sur un corpus synthétique contrôlé et deux corpus réels (SST-2 et IMDB) avec un modèle BERT-base.

Performance du MDS : L'encodage $P_{MDS}$ atteint un stress quasi nul (isométrie exacte) sur les corpus réels, confirmant que la géométrie statistique est bien capturée.
Comparaison des Encodages :
- ALiBi : Sur SST-2, ALiBi obtient un stress très faible (0,563), bien inférieur aux encodages sinusoïdaux et RoPE. Cela suggère que les statistiques de SST-2 sont approximativement shift-équivariantes (de rang 1), ce qui correspond à la structure de biais linéaire d'ALiBi.
- Sinusoïdal vs RoPE : Ils présentent des valeurs de stress presque identiques, indiquant que leur performance géométrique dépend de la structure de fréquence partagée plutôt que de la distinction absolu/relatif.
Vérification du Théorème de Séparation : Les modèles entraînés (depuis zéro et pré-entraînés) maintiennent une séparation strictement positive entre les embeddings de toutes les positions, confirmant le Théorème 4.
Conjecture de Monotonie : L'encodage $P_{MDS}$ présente un taux de violation de monotonie de 22 % (bien en dessous des 50 % aléatoires), et les modèles pré-entraînés montrent une corrélation positive modérée, soutenant la conjecture.
Analyse par Couche : L'analyse du stress projeté par les matrices d'attention révèle que la couche 3 de BERT réorganise le signal positionnel de manière agressive (pic de stress), ce qui est cohérent avec la spécialisation syntaxique connue de cette couche.

5. Signification et Implications

Fondation Théorique : Ce travail comble le vide théorique autour des encodages positionnels, passant d'une approche empirique à une fondation géométrique et informationnelle.
Diagnostic Géométrique : Le critère de « stress » offre un outil de diagnostic nouveau, indépendant de la tâche finale, pour évaluer la fidélité géométrique d'un encodage par rapport aux statistiques du corpus.
Efficacité des Paramètres : La découverte du rang effectif faible ( $r \ll d$ ) pour de nombreux corpus ouvre la voie à des architectures plus légères et plus efficaces, capables de capturer l'information positionnelle avec beaucoup moins de paramètres.
Justification des Architectures Existantes : L'article fournit une justification mathématique à l'encodage sinusoïdal (optimal pour des statistiques lisses) et explique pourquoi ALiBi fonctionne si bien sur certains corpus (approximation de rang 1).

En résumé, cet article établit que la géométrie des encodages positionnels doit refléter la géométrie statistique des distributions de tokens, et propose des méthodes pour construire ou analyser ces encodages de manière optimale et parcimonieuse.