Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks

Ce papier présente Jordan-RoPE, un encodage de position relative non semi-simple qui exploite des blocs de Jordan complexes pour générer des caractéristiques oscillatoires-polynomiales afin de modéliser les interactions de phase modulées par la distance, démontrant des avantages structurels et des gains de performance spécifiques par rapport aux bases RoPE et ALiBi standard dans certains contextes.

L'essentiel

Imaginez que vous essayez de comprendre une histoire où l'ordre des événements compte. Dans un modèle informatique appelé Transformer, le mécanisme d'« attention » est comme un lecteur qui décide quels mots précédents dans une phrase sont importants pour comprendre le mot actuel.

Pour ce faire, le modèle doit savoir à quelle distance se trouvent deux mots. Si le modèle ne regarde que les mots eux-mêmes, il ne sait pas si le Mot A est venu juste avant le Mot B ou 100 mots avant. C'est ici qu'intervient le Codage Positionnel : c'est la « règle » que le modèle utilise pour mesurer la distance.

Le Problème : Les Vieilles Règles

L'article examine deux méthodes populaires utilisées actuellement par les modèles pour mesurer la distance :

1. RoPE (Codage Positionnel Rotatif) : Imaginez cela comme une toupie. Elle fait tourner le sens des mots en fonction de leur position. Elle est excellente pour gérer le rythme ou la phase d'une phrase (comme le rythme dans une chanson), mais elle traite la distance comme une simple rotation.
2. ALiBi : Imaginez cela comme une ligne droite. Elle ajoute une simple pénalité pour être loin. Elle est bonne pour dire « plus c'est proche, mieux c'est », mais elle ne capture pas les motifs complexes et ondulatoires du langage.

La plupart des modèles utilisent ces deux méthodes séparément, comme avoir une règle pour la rotation et une règle séparée pour la distance. Ils ne les mélangent pas dans un outil unique et unifié.

La Nouvelle Idée : Jordan-RoPE

L'auteur, Yaobo Zhang, se demande : Et si nous pouvions combiner la toupie et la règle de distance en un seul outil plus complexe ?

En mathématiques, il existe un concept appelé Bloc de Jordan. Habituellement, les outils mathématiques sont « gentils » et séparés (comme la toupie et la règle étant distincts). Mais un Bloc de Jordan « défectueux » ou « non semi-simple » est un outil où les parties sont collées ensemble d'une manière qui crée quelque chose de nouveau.

L'Analogie Créative : La Toupie Qui Trébuche
Imaginez une toupie (la rotation) qui est légèrement déséquilibrée. Alors qu'elle tourne, elle ne fait pas que tourner ; elle trébuche aussi.

• Le tour représente le rythme du langage (la phase).
• Le trébuchement représente la distance.
• Dans le nouveau Jordan-RoPE, le trébuchement devient plus grand à mesure que vous allez plus loin. Ce n'est pas juste une rotation simple ou une distance simple ; c'est une rotation modulée par la distance.

Mathématiquement, cela crée une caractéristique qui ressemble à :

Distance × (Tour × Cosinus + Tour × Sinus)

Au lieu de simplement savoir « c'est à 5 pas » ou « c'est à un angle de 90 degrés », le modèle voit maintenant « c'est à 5 pas et l'angle change à cause de cette distance ». Il capture un type spécifique de motif où le rythme de la phrase change en fonction de la distance à laquelle vous regardez en arrière.

Comment Ils L'Ont Testé

L'auteur n'a pas seulement construit cet outil ; il a testé s'il aide réellement dans des situations spécifiques.

1. Le Test « Synthétique » : Ils ont créé une tâche de langage factice où la réponse dépendait strictement de ce motif de « rotation modulée par la distance » (comme un code secret où le message change en fonction de la distance à laquelle vous lisez en arrière).

   • Résultat : Le nouvel outil (Jordan-RoPE) a résolu cette énigme bien mieux que les anciens outils (RoPE ou ALiBi). C'était le seul à comprendre naturellement le motif de « toupie qui trébuche ».

2. Le Test « Monde Réel » : Ils l'ont essayé sur un petit modèle de langage entraîné sur du texte Wikipédia (WikiText-103).

   • Résultat : Il a mieux performé que l'outil RoPE standard, mais il n'a pas battu la combinaison « championne » de RoPE + ALiBi.
   • La Mise en Garde : L'article précise soigneusement que ce n'est pas une solution miracle pour tout le langage. Dans le langage humain réel, le « trébuchement » n'est peut-être pas toujours la chose la plus importante. L'outil est le plus utile lorsque la tâche nécessite spécifiquement ce rythme complexe dépendant de la distance.

La Version « Stabilisée »

Il y avait un problème : dans la version mathématique pure, le « trébuchement » (la partie nilpotente) croît infiniment à mesure que la distance augmente, ce qui peut briser les mathématiques de l'ordinateur.

• La Solution : Ils ont créé une version « Stabilisée » qui met une limite au trébuchement. C'est comme mettre un régulateur sur la toupie pour qu'elle trébuche beaucoup, mais ne tourne jamais hors de contrôle. Cette version a très bien fonctionné lors des tests.

La Conclusion

Cet article présente Jordan-RoPE, une nouvelle façon de mesurer la distance en IA qui combine rotation et distance dans une seule structure mathématique « collée ensemble ».

• Ce qu'il fait : Il permet à l'IA de voir des motifs où le rythme du texte change en fonction de la distance.
• Quand il fonctionne le mieux : Lorsque la tâche implique des oscillations complexes dépendantes de la distance (comme le test synthétique).
• Ce qu'il ne fait pas : Il ne prétend pas être l'outil absolu le meilleur pour chaque tâche de langage. En fait, la combinaison standard « RoPE + ALiBi » reste plus forte pour le texte général.

Pensez-y comme à une clé spécialisée. Si vous avez un boulon qui nécessite une « rotation qui trébuche » spécifique pour se desserrer, cette clé est parfaite. Mais si vous devez simplement tourner une vis standard, vos anciens outils pourraient encore être le meilleur choix. L'article prouve que cette clé spécialisée existe, fonctionne comme prévu, et est utile pour des travaux spécifiques et complexes.

Résumé technique

Résumé Technique : Jordan-RoPE

Énoncé du Problème
Les encodages de position relatifs (RPE) définissent les fonctions primitives du décalage requête-clé disponibles pour les mécanismes d'attention. Bien que des mécanismes performants comme RoPE (phase rotative) et ALiBi (biais de distance additif) soient bien compris grâce aux classifications théoriques de groupes d'opérateurs linéaires invariants par translation, ils reposent généralement sur des générateurs semi-simples (diagonalisables). Cela laisse le coin non semi-simple de la classification sous-exploité. Plus précisément, les approches standards traitent les caractéristiques de phase (rotative) et de distance (polynomiale/cisaillement) comme des canaux séparés ou des biais additifs. L'article examine si le couplage d'une valeur propre rotative complexe avec une réponse nilpotente au sein d'un seul bloc de Jordan défectif produit de nouvelles caractéristiques primitives de position relative structurellement distinctes des sommes directes simples.

Méthodologie
Les auteurs proposent Jordan-RoPE, une construction qui intègre la valeur propre rotative complexe et une réponse nilpotente dans un seul bloc de Jordan complexe d'ordre deux.

1. Formulation Algébrique :
   Le générateur est défini comme $J_{\gamma, \omega, \eta} = (-\gamma + i\omega)I + \eta N$, où $N$ est une matrice nilpotente ($N^2=0$). L'opérateur relatif résultant pour un décalage causal $d = i-j \ge 0$ est :
   $$G_{exact}(d) = \exp(d J) = e^{(-\gamma + i\omega)d} (I + \eta d N)$$
   Cela génère une base de caractéristiques oscillatoires-polynomiales :
   $$e^{-\gamma d} \cos(\omega d), \quad e^{-\gamma d} \sin(\omega d), \quad d e^{-\gamma d} \cos(\omega d), \quad d e^{-\gamma d} \sin(\omega d)$$
   Crucialement, le canal nilpotent fournit la caractéristique tangente de fréquence $d e^{i\omega d}$, couplant directement la distance et la phase plutôt que de les additionner séparément.

2. Action Contragréde de la Requête :
   Puisque le bloc de Jordan n'est pas orthogonal, appliquer la même transformation aux requêtes et aux clés ne produit pas un opérateur relatif pur ($G(i)^\top G(j) \neq G(j-i)$). Pour retrouver le score relatif correct, les auteurs formulent une action contragréde de la requête : les requêtes sont transformées par l'inverse transposé de la matrice dépendante de la position, tandis que les clés utilisent la transformation primale. Cela garantit que le score d'attention dépend strictement du décalage $d$.

3. Stabilisation :
   Le terme nilpotent exact croît linéairement avec $d$, ce qui pose problème pour les contextes longs. Les auteurs introduisent Jordan-RoPE Stabilisé, remplaçant $d$ par une fonction de cisaillement bornée $\tau(d) = d / (1 + d/L)$. Bien que cela rompe la loi de groupe à un paramètre exacte, cela préserve la réponse locale de Jordan et empêche une croissance illimitée. Une variante Exacte mise à l'échelle est également proposée, qui préserve la loi de groupe en normalisant l'amplitude du cisaillement par la longueur du contexte $L$.

Contributions Clés

• Identification Structurelle : L'article identifie le bloc de Jordan complexe d'ordre deux comme l'extension non semi-simple minimale de RPE rotative où la phase et la réponse nilpotente sont couplées dans une seule représentation défective, plutôt que séparées en sous-espaces.
• Base Primitive : Il démontre que cette construction fournit directement la base primitive de logits $d e^{i\omega d}$ (et ses composantes réelles $d \cos(\omega d), d \sin(\omega d)$), réalisant une base de "phase modulée par la distance" au niveau pré-softmax.
• Implémentation : Elle fournit l'implémentation en bloc réel et l'action contragréde de requête nécessaire pour les applications non orthogonales.
• Distinction par rapport aux Baselines : Elle sépare la représentation exacte des implémentations stabilisées, clarifiant que le cisaillement borné améliore le comportement numérique mais sacrifie la loi de groupe exacte.

Résultats Expérimentaux
L'évaluation se concentre sur des preuves structurelles plutôt que sur des affirmations de performance générales, utilisant trois types de tests :

1. Sondes au Niveau du Noyau : Sur une cible mixte $y(d) = (d/L)\cos(\omega d)$, la base Jordan Exacte/brute atteint le plus faible Erreur Quadratique Moyenne (MSE), surpassant significativement RoPE, ALiBi et les baselines à somme directe. Cela confirme que la base correspond directement à la structure couplée de la cible.
2. Modèle de Langage Synthétique : Dans une tâche exigeant que le modèle apprenne une règle de phase modulée par la distance ($K(d) = (d/L)\cos(\omega d)$), Jordan-RoPE Stabilisé atteint une précision de 0,906 à la longueur 8192, surpassant RoPE (0,781) et la Somme Directe (0,500). Cela suggère que les Transformers peuvent utiliser le mode couplé lorsque la tâche le récompense.
3. Langage Naturel (WikiText-103) : Sur un petit modèle de langage au niveau byte, Jordan-RoPE Exacte mise à l'échelle ($c=1$) atteint la perte moyenne la plus faible au sein de la famille Jordan (1,869) et est compétitive avec RoPE Amorti (1,884). Cependant, RoPE+ALiBi reste le plus performant globalement (1,796). Les auteurs notent qu'un cisaillement initial forcé plus important ($\eta$) aggrave la perte aux longues longueurs dans ce contexte, suggérant que les tâches de langage naturel récompensent principalement l'amortissement et le biais de récence plutôt qu'un fort cisaillement oscillatoire-polynomial.

Signification et Revendications
L'article formule des revendications modestes et structurelles plutôt que d'affirmer un nouvel encodage de position à l'état de l'art :

• Extension Structurelle : Les blocs de Jordan complexes fournissent une extension contrôlée, non semi-simple, de RPE rotative.
• Utilité Conditionnelle : La base de Jordan couplée est utile spécifiquement lorsque le noyau cible récompense les interactions de phase modulées par la distance (par exemple, $d \cdot \text{phase}$).
• Limitations : Les auteurs déclarent explicitement ne pas affirmer que les mécanismes nilpotents sont nouveaux, ni que la famille Jordan domine les encodages existants sur la modélisation générale du langage naturel. La preuve est que la construction offre une base primitive spécifique ($d e^{i\omega d}$) distincte de la somme directe des canaux de phase et de distance.

En résumé, Jordan-RoPE offre une manière mathématiquement rigoureuse de coupler la distance et la phase au sein d'un seul mécanisme d'attention, s'avérant efficace dans des tâches synthétiques nécessitant un tel couplage, tout en montrant que les tâches de langage naturel peuvent encore préférer des biais plus simples, découplés ou additifs.