💬 NLP

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

Cette enquête technique fournit un cadre unifié pour comprendre les méthodes de codage de position dans les Transformers — des approches absolues et relatives aux plongements de position rotatifs (RoPE) — tout en analysant leurs propriétés de calcul, les techniques de mise à l'échelle pour contextes longs, ainsi que la distinction critique entre la capacité d'extrapolation de longueur et la généralisation fiable sur de longs contextes.

Auteurs originaux : Jiguo Li

Publié 2026-08-12

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiguo Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre une histoire. Vous possédez un cerveau super rapide capable de regarder tous les mots d'une phrase en même temps, plutôt que de les lire un par un comme un humain. C'est la magie du Transformer, le moteur qui propulse l'IA moderne. Mais il y a un piège : parce que ce cerveau voit tout à la fois, il n'a aucune idée de quel mot est arrivé en premier, en deuxième ou en dernier. Si vous brouilliez les mots d'une phrase, ce cerveau penserait que la version brouillée est tout aussi bonne que l'originale. Pour corriger cela, nous devons donner à l'IA un moyen de savoir « où » chaque mot se situe dans la file. Nous appelons cela l'Encodage de Position (Position Encoding). Considérez cela comme le fait de donner à chaque mot un badge nominatif unique ou un numéro de siège. Sans ces badges, l'IA est comme un invité à une fête qui voit tous les visages, mais n'a aucune idée de qui se tient à côté de qui, ou qui est arrivé en premier.

Ce document est une plongée profonde dans les différents systèmes de « badges nominatifs » que nous avons inventés pour l'IA au fil des ans. Il retrace l'histoire, des simples numéros de siège aux horloges rotatives complexes, et enfin à une nouvelle génération d'astuces qui permettent à l'IA de lire des livres de centaines de milliers de mots sans s'embrouiller. L'auteur ne se contente pas de lister ces méthodes ; il cherche à déterminer lesquelles fonctionnent réellement lorsque nous essayons de les étendre pour gérer des histoires massives, et il nous avertit que ce n'est pas parce qu'un système peut accepter une entrée longue qu'il la comprend réellement.

L'évolution du « Numéro de Siège » de l'IA

Au début, la manière la plus simple de donner un numéro de siège à un mot était de simplement le chercher dans un dictionnaire. C'est ce qu'on appelle l'Encodage Absolu Appris (Learned Absolute Position). Imaginez un enseignant distribuant une liste où le « Mot 1 » reçoit une couleur spécifique, le « Mot 2 » une autre, et ainsi de suite. Cela fonctionne très bien pour les histoires courtes, mais si vous essayez de lire un roman et que l'enseignant n'a fait une liste que pour les 500 premiers mots, l'IA se perd lorsqu'elle atteint le mot 501.

Puis est venu l'Encodage Sinusoïdal (Sinusoidal Encoding). Au lieu d'une liste statique, l'IA utilise un motif d'onde mathématique (comme une onde sinusoïdale) pour générer des numéros de siège. Voyez cela comme un ensemble d'horloges tournant à des vitesses différentes. Certaines horloges tournent vite pour faire la différence entre le mot 1 et le mot 2, tandis que d'autres tournent lentement pour faire la différence entre le mot 1 et le mot 1 000. C'est ingénieux car l'IA peut calculer un numéro de siège pour n'importe quelle position, même celles qu'elle n'a pas encore vues. Cependant, l'article souligne que ce n'est pas parce que vous pouvez calculer le nombre que l'IA sait comment l'utiliser pour de très longues distances.

Ensuite, les chercheurs ont réalisé que dans le langage, ce qui importe le plus est souvent la distance entre les mots, et non leurs numéros de siège absolus. Est-ce que le mot « il » est proche du nom auquel il se réfère ? Cela a conduit à l'Encodage de Position Relative (Relative Position Encoding). Au lieu de dire « Je suis au siège 50 », l'IA apprend à dire « Je suis à 3 sièges de toi ». C'est comme un jeu de chaises musicales où vous ne vous souciez que de savoir qui est assis à côté de vous, et non du numéro exact sur votre chaise. Des méthodes comme T5 et Transformer-XL utilisent cela pour gérer des textes longs en se concentrant sur l'écart entre les mots.

La Star de la Vedette : RoPE

L'article met en avant une méthode de troisième génération appelée RoPE (Rotary Position Embedding) comme étant la championne actuelle de nombreux grands modèles d'IA. Au lieu d'ajouter un nombre au mot ou de calculer une distance, RoPE traite les données du mot comme une flèche rotative. À mesure que le mot avance dans la ligne, sa flèche tourne. Lorsque l'IA compare deux mots, elle vérifie l'angle entre leurs flèches. Si les flèches sont proches, les mots sont proches dans l'histoire ; si elles sont éloignées, les mots sont éloignés.

La beauté de RoPE est qu'elle gère naturellement la « distance » entre les mots sans avoir besoin d'une table de recherche séparée. C'est comme si chaque personne à la fête portait une montre qui tournait à une vitesse basée sur son heure d'arrivée. Quand deux personnes se parlent, elles regardent simplement la différence entre les aiguilles de leurs montres pour savoir depuis combien de temps elles sont séparées.

Le Défi du Contexte Long : Étirer l'Histoire

Le plus gros problème de ces systèmes est qu'ils sont généralement entraînés sur des histoires courtes (comme 4 000 mots). Lorsque nous essayons de les utiliser pour des documents massifs (comme 128 000 mots ou plus), les « horloges » ou les « flèches rotatives » commencent à tourner selon des motifs que l'IA n'a jamais vus auparavant. C'est comme essayer de conduire une voiture conçue pour les rues de la ville sur une autoroute ; le moteur peut tourner, mais la tenue de route semble incorrecte.

L'article passe en revue plusieurs techniques d'« étirement » pour corriger cela :

Interpolation de Position (PI) : Cela comprime l'histoire longue dans l'espace court que l'IA connaît. C'est comme compresser un film de 10 heures en 2 heures. L'IA peut le regarder, mais les détails deviennent flous, et elle pourrait manquer les subtiles différences entre des mots qui sont proches.
Mise à l'échelle sensible au NTK (NTK-aware Scaling) : C'est plus intelligent. Cela garde les « horloges rapides » (qui gèrent les détails proches) tournant à leur vitesse normale, mais ralentit les « horloges lentes » pour couvrir la longue distance. C'est un compromis qui garde les détails locaux nets tout en allant plus loin.
NTK Dynamique : Cette méthode change le facteur d'étirement en fonction de la longueur de l'histoire actuelle. Si l'histoire est courte, elle n'étire pas du tout. Si elle est longue, elle étire. Cependant, l'article prévient que cela peut être difficile à gérer en temps réel car cela pourrait confondre la mémoire de l'IA concernant les mots passés.
LongRoPE et LongRoPE2 : Ce sont les méthodes les plus avancées. Au lieu d'utiliser une seule règle pour tout le monde, elles chercheent le facteur d'étirement parfait pour chaque partie du cerveau de l'IA. Elles mélangent même des histoires courtes et longues pendant l'entraînement pour que l'IA apprenne à gérer les deux. L'auteur suggère que c'est la voie la plus prometteuse, mais qu'elle nécessite un réglage minutieux et des données spécifiques.

Le Grand Avertissement : Ce n'est pas parce qu'il rentre qu'il fonctionne

La conclusion la plus importante de cet article est un rappel à la réalité. Ce n'est pas parce qu'un modèle d'IA peut accepter une entrée de 100 000 mots qu'il peut la comprendre. L'auteur soutient que de nombreux modèles échouent au test de « l'aiguille dans la botte de foin » (trouver un fait spécifique dans un texte immense) ou peinent à raisonner sur de longues distances, même avec les paramètres de « contexte long » activés.

Ils soulignent que la longueur de contexte effective (ce que l'IA utilise réellement) est souvent bien plus courte que la longueur de contexte nominale (le nombre maximum de mots qu'elle peut techniquement contenir). Ils soulignent également que changer simplement les mathématiques pour gérer de plus grands nombres ne suffit pas ; l'IA doit être réentraînée ou affinée avec ces nouveaux paramètres pour réellement apprendre à les utiliser.

Le Verdict

L'article conclut que bien que nous ayons fait des progrès incroyables, passant des simples numéros de siège aux flèches rotatives complexes, nous n'avons pas encore résolu le problème de la compréhension du contexte long. Il n'y a pas de « solution miracle » unique. La meilleure approche semble être un mélange de mise à l'échelle intelligente (comme LongRoPE), d'un entraînement minutieux avec des exemples courts et longs, et de tests rigoureux pour voir si l'IA prête réellement attention à toute l'histoire, et pas seulement au début et à la fin.

Pour quiconque construit ou utilise ces modèles d'IA, la leçon est claire : ne vous fiez pas seulement aux chiffres marketing. Si vous voulez qu'une IA lise un roman entier, vous devez vérifier si elle peut réellement trouver les rebondissements au milieu, et pas seulement si elle peut avaler tout le livre en une seule bouchée. Le voyage vers une IA à contexte réellement long est toujours en cours, et la route à suivre exige plus que de plus grands nombres ; elle exige des moyens plus intelligents pour maintenir l'attention de l'IA focalisée.

Résumé technique : Encodage de position dans les Transformers

Énoncé du problème

Les mécanismes d'auto-attention dans les Transformers permettent des interactions dépendantes du contenu entre les jetons, mais manquent d'un mécanisme intrinsèque pour encoder l'ordre des jetons. Sans information positionnelle explicite, le modèle est équivariant aux permutations d'entrée ; mélanger la séquence d'entrée entraîne une sortie correspondamment mélangée, rendant le modèle incapable de distinguer la structure de la séquence. Bien que les premières solutions aient injecté des informations de position dans les représentations d'entrée ou les scores d'attention, l'extension de ces mécanismes à des contextes longs (au-delà de la longueur d'entraînement) présente des défis importants. Plus précisément, l'extrapolation simple des encodages de position conduit souvent à des déphasages hors distribution (OOD), une dégradation des scores d'attention et une perte de performance en contexte court. De plus, il existe un manque de compréhension unifiée concernant la manière dont les différentes stratégies d'encodage (absolu, relatif et rotationnel) interagissent avec le cache KV et les choix architecturaux spécifiques comme le Multi-Query Attention (MLA).

Méthodologie et évolution technique

Le document fournit une enquête technique unifiée et une dérivation des méthodes d'encodage de position, les classant en trois générations :

1. Encodage de position absolu

Embeddings appris : Les jetons se voient assigner des vecteurs apprenables à partir d'une table de paramètres ( $P \in \mathbb{R}^{L_{max} \times d}$ ). C'est simple, mais limité à une longueur maximale et dépourvu de contraintes structurelles sur les positions adjacentes.
Encodage sinusoïdal : Utilise des fonctions sinus et cosinus avec des fréquences variables pour générer des vecteurs de position. Bien que la forme soit absolue, les propriétés géométriques (somme des angles) impliquent un déplacement relatif. Cependant, le modèle doit apprendre à exploiter cette structure, et cela ne garantit pas une généralisation fiable en contexte long.

2. Encodage de position relatif

Shaw et al. : Ajoute des vecteurs de distance relative apprenables aux Clés (Keys) et aux Valeurs (Values).
Transformer-XL : Décompose l'attention en contenu-contenu, contenu-position et décalages globaux pour supporter la mémoire par segment.
T5 : Compresse les distances relatives en biais scalaires appris par tête d'attention et par compartiment de distance (distance bucket).
Limitations : Ces méthodes augmentent souvent la complexité computationnelle en raison des calculs par paires $n \times n$ et compliquent la fusion d'opérateurs et le cache KV.

3. Encodages de position rotatifs (RoPE)

Mécanisme : RoPE fait pivoter les vecteurs Query et Key en fonction de leurs positions absolues. Crucialement, le produit scalaire des vecteurs pivotés dépend uniquement de la position relative ( $n-m$ ), encodant ainsi la distance relative tout en conservant la forme standard $QK^\top$ .
Dérivation : Basée sur des matrices de rotation 2D ou la multiplication de nombres complexes ( $z' = z e^{i m \theta}$ ).
Propriétés : Cela ne garantit pas une décroissance monotone de l'attention avec la distance (les scores oscillent périodiquement), mais cela permet une représentation explicite de la distance relative au sein du score d'attention.

4. Extensions de contexte long (Mise à l'échelle de RoPE)

Le document détaille les méthodes pour étendre RoPE au-delà des longueurs d'entraînement, traitant le problème des « phases non entraînées » où les dimensions à basse fréquence entrent dans des intervalles de phase non vus :

Interpolation de position (PI) : Compresse uniformément les indices de position pour faire entrer la longueur cible dans la plage d'entraînement. Cela réduit la résolution locale.
NTK-aware : Modifie la base de RoPE ( $\beta$ ) pour mettre à l'échelle les fréquences de manière non uniforme, préservant la structure locale à haute fréquence tout en étendant la couverture à basse fréquence.
Dynamic NTK : Ajuste dynamiquement le facteur d'échelle en fonction de la longueur actuelle de la séquence pour éviter de compresser les entrées courtes.
NTK-by-parts & YaRN : Applique différentes stratégies d'interpolation basées sur les intervalles de fréquence (rotations à l'intérieur de la longueur d'entraînement) et inclut un étalonnage de la température d'attention pour gérer les changements d'entropie.
LongRoPE & LongRoPE2 : Utilise une recherche évolutive pour trouver les facteurs d'échelle par dimension et les intervalles de rétention dépendants de la position. LongRoPE2 introduit des « périodes d'entraînement effectives » et un entraînement hybride (mélange de contextes courts et longs) pour optimiser à la fois l'extension de contexte long et la rétention de contexte court.

5. Alternative : ALiBi

ALiBi ajoute une pénalité de distance linéaire ( $-m_h|i-j|$ ) aux logits d'attention. Il ne nécessite aucune table de position et injecte un biais de récence, bien qu'il manque de la structure de phase multi-fréquence de RoPE.

Principales contributions

Dérivation unifiée : Le document dérive comment RoPE convertit les indices de position absolue en différences de phase relatives dans les produits scalaires Query-Key, clarifiant la relation mathématique entre encodage absolu et relatif.
Comparaison systématique : Il compare les méthodes selon les points d'injection (entrée, logits ou transformation géométrique), les coûts de calcul, la compatibilité avec le cache KV et les capacités d'extrapolation de longueur.
Analyse des lois d'échelle (Scaling Laws) : Il formalise la relation entre la base de RoPE, la longueur d'entraînement et la plage d'extrapolation, définissant les dimensions critiques où la couverture de phase devient insuffisante.
Directives d'implémentation : Le rapport souligne que la configuration de la position (ex: rope_theta, conventions d'appariement, facteurs d'échelle) doit être liée au checkpoint et que la « longueur nominale » n'est pas égale à la « longueur effective ».
Protocoles d'évaluation : Il préconise une évaluation dépassant la simple acceptation d'entrée, proposant des métriques telles que les taux de rétention de contexte court, la perplexité par position, et des tâches de recherche/raisonnement (ex: aiguille dans une botte de foin, étendues de définition-utilisation de code).

Résultats et conclusions

Extrapolation vs Généralisation : La capacité à calculer des caractéristiques positionnelles au-delà de la longueur d'entraînement n'implique pas une généralisation fiable en contexte long. Une extension réussie nécessite l'adaptation des poids du modèle aux nouvelles distributions de phase.
Compromis : La mise à l'échelle uniforme (PI) préserve la stabilité mais dégrade la résolution locale. La mise à l'échelle non uniforme (NTK, LongRoPE) préserve mieux la structure locale mais nécessite un réglage ou une recherche minutieuse.
Cohérence du cache KV : Les méthodes de mise à l'échelle dynamique (comme Dynamic NTK) entrent en conflit avec le cache KV standard si l'angle de rotation des jetons historiques change ; les implémentations strictes nécessitent de re-router les clés mises en cache ou de fixer la magnification par session.
Diversité des modèles : Bien que RoPE soit devenu dominant dans les LLM de type decoder-only (ex: LLaMA, PaLM, Gemma), des variations significatives existent. Certains modèles (BLOOM, Falcon) utilisent ALiBi, T5 utilise des biais relatifs, et de nouvelles architectures (DeepSeek, GLM-5, Kimi K3) emploient des sous-espaces RoPE/NoPE découplés ou des mécanismes de position implicites (KDA) pour supporter le MLA ou l'attention parcimonieuse.

Signification et conclusion

Le document conclut que le domaine est passé de la simple injection de coordonnées à des stratégies sophistiquées de mise à l'échelle de fréquence et d'entraînement hybride. Cependant, plusieurs défis restent non résolus :

Contexte effectif : Accepter des entrées longues ne garantit pas l'utilisation fiable des dépendances à longue portée.
Aliasing de phase : Les fonctions périodiques peuvent causer le fait que différentes distances produisent des phases similaires, un problème qui n'est pas totalement éliminé par les combinaisons multi-fréquences.
Conflit de contexte court : L'interpolation et la mise à l'échelle dégradent souvent les capacités à courte portée, et des règles stables pour le transfert entre modèles font défaut.
Sémantique du système : Les implémentations d'ingénierie (packing, fenêtres glissantes, décodage spéculatif) peuvent involontairement briser la sémantique de position si elles ne sont pas soigneusement alignées.

L'auteur affirme que la recherche future doit aller au-delà de la simple amplification des longueurs de contexte nominales. L'objectif doit être d'établir des mécanismes de position qui soient prévisibles, entraînables, mis en cache et capables d'exprimer des structures complexes et multidimensionnelles (telles que les graphes d'appel de code ou les relations spatiales multimodales), évalués par des tâches réelles de longue dépendance plutôt que par des benchmarks de recherche synthétique.