Résumé Technique : Au-delà des Sinusoïdes : Un Cadre de Wavelet de Morlet pour l'Encodage Positionnel des Transformers

1. Énoncé du Problème

Les encodages positionnels standards pour les Transformers, spécifiquement les sinusoïdes (sin/cos) et l'Embedding de Position Rotatif (ROPE), traitent chaque position comme étant également locale. Bien qu'ils encodent où se trouve un jeton, ils échouent à encoder jusqu'où l'influence positionnelle d'un jeton doit s'étendre.

• PE Sinusoïdal : Utilise des fréquences fixes avec une amplitude uniforme à travers toutes les positions.
• ROPE : Encode la position relative comme une rotation dans l'espace complexe mais maintient une enveloppe d'amplitude constante (toutes les positions sont également présentes).
• Lacune Théorique : Ces méthodes manquent d'un cadre mathématique unificateur. De plus, elles supposent une stationnarité du signal (incertitude de position infinie), ce qui est sous-optimal pour le langage, un signal non stationnaire où la distribution des caractères et des structures syntaxiques varie selon la position.

2. Méthodologie : Encodage Positionnel de Morlet (MOPE)

Les auteurs proposent l'Encodage Positionnel de Morlet (MOPE), qui utilise la wavelet de Morlet complexe comme base naturelle pour l'encodage positionnel. La wavelet de Morlet minimise simultanément l'incertitude en position et en fréquence, respectant le principe d'incertitude de Heisenberg.

2.1 Définition

Pour un jeton à la position $b$ et la dimension d'embedding $i$, le MOPE est défini par :
$$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$$
Cette formulation introduit deux paramètres apprenables par dimension :

1. Fréquence Centrale ($\omega_i$) : Détermine le taux d'oscillation (phase).
2. Largeur de Bande ($\sigma_i$) : Détermine l'enveloppe de localité gaussienne (décroissance d'amplitude).

2.2 Interprétation Géométrique

• Phase : La composante de phase $\omega_i b$ est identique à l'angle de rotation de ROPE. Elle encode la position relative au sein du cycle d'oscillation.
• Amplitude : Le terme $e^{-b^2/2\sigma_i^2}$ agit comme une enveloppe gaussienne centrée sur l'origine de la séquence ($b=0$). Contrairement aux encodages standards où l'amplitude est fixée à 1 (impliquant $\sigma_i \to \infty$), le MOPE apprend un $\sigma_i$ fini, provoquant une décroissance du signal positionnel avec la distance par rapport au début de la séquence.
• Compromis d'Incertitude : Le MOPE apprend le compromis optimal entre l'incertitude de position ($\Delta b_i = \sigma_i$) et l'incertitude de fréquence ($\Delta \omega_i = 1/\sigma_i$), satisfaisant la limite $\Delta b_i \cdot \Delta \omega_i \geq 1/2$.

2.3 Unification des Méthodes Existantes

Le papier prouve que les encodages standards sont des cas limites de MOPE :

• PE Sinusoïdal : Émerge lorsque $\sigma_i \to \infty$ (localité infinie, pas de décroissance).
• ROPE : Émerge lorsque $\sigma_i \to \infty$. Le noyau de corrélation croisée de MOPE récupère exactement le score d'attention de ROPE dans cette limite, modulé par un noyau de localité gaussien appris dans le cas général.
• ALiBi : Conceptuellement analogue comme une limite de localité à fréquence nulle (décroissance exponentielle sans oscillation).

3. Contributions Clés

1. Unification Théorique : Démontré que les encodages sin/cos et ROPE sont des cas dégénérés de MOPE (où la localité est désactivée).
2. Équivalence de Phase : Établi que la différence de phase de MOPE est mathématiquement identique à l'angle de rotation de ROPE. La différence principale est l'ajout d'un noyau de localité gaussien appris dans MOPE.
3. Combinaison Empirique : Combiné le MOPE avec l'Attention à Porte d'Énergie (EGA). Le modèle résultant (EGA-MORLET) a obtenu une amélioration de +0,119 de la perplexité de validation par rapport à l'attention standard sur le jeu de données TinyShakespeare, surpassant chaque composant utilisé isolément.
4. Analyse des Paramètres : Analysé les paramètres appris et constaté que les 128 paires fréquence-largeur de bande convergeaient exactement vers la frontière d'admissibilité de la wavelet ($\omega_i \sigma_i = 5$).

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données de niveau caractère TinyShakespeare avec une longueur de contexte de $T=256$ en utilisant une architecture Transformer à 6 couches et 8 têtes.

• Performance :

  • EGA-MORLET : 1,3550 Perplexité de Validation (+0,119 par rapport à la baseline).
  • EGA-1 (Baseline) : 1,3821 (+0,092).
  • ROPE : 1,4637 (+0,011).
  • Sin/Cos : 1,5863 (-0,112).
  • MOPE Seul : 1,5060 (-0,032).
  • Note : Le MOPE seul a sous-performé la baseline d'embedding appris, probablement en raison de la capacité limitée du petit modèle (512 paramètres pour le PE contre 65 536 pour une table de recherche) et du biais structurel de l'origine centrée de la Gaussienne. Cependant, lorsqu'il est combiné avec EGA, la synergie est significative.

• Paramètres Appris :

  • Frontière d'Admissibilité : Les 128 dimensions ont convergé vers $\omega_i \sigma_i = 5,000$. L'optimiseur a systématiquement poussé les paramètres vers cette frontière, suggérant une préférence pour une localité plus forte et des fréquences plus basses que ce que la contrainte permet.
  • Concentration d'Échelle : Les largeurs de bande apprises ($\sigma_i$) variaient de 1,49 à 4,50 jetons. Cela indique que le modèle a concentré toute sa capacité positionnelle sur l'échelle caractère-mot, plutôt que de couvrir des échelles plus larges (clauses, phrases), ce qui serait attendu dans des contextes plus longs.
  • Compression de Fréquence : Les fréquences apprises ont été compressées dans une bande étroite ($\omega_i \in [1,11, 3,35]$), bien au-dessus de la plage dyadique initiale.

5. Signification et Revendications

Le papier affirme fournir le premier cadre mathématique unificateur pour les encodages positionnels oscillatoires, révélant qu'ils sont des cas particuliers d'une base de wavelet localisée dans le temps et la fréquence.

• Aperçu Théorique : Le travail postule que le langage est non stationnaire, et donc que les encodages positionnels ne devraient pas supposer une localité infinie ($\sigma = \infty$). MOPE permet au modèle d'apprendre le "rayon d'influence temporel" approprié pour chaque dimension.
• Complémentarité : Les résultats suggèrent que la saillance spectrale (gérée par EGA, déterminant ce à quoi prêter attention) et la localité temps-fréquence (gérée par MOPE, déterminant jusqu'où l'influence s'étend) sont des mécanismes complémentaires. Leur combinaison produit des bénéfices super-additifs.
• Reproductibilité : La convergence vers la frontière d'admissibilité ($\omega \sigma = 5$) a été observée tant dans les expériences d'encodage positionnel que dans une expérience séparée de porte d'énergie (Papier 1), suggérant une propriété empirique reproductible des signaux de langage de niveau caractère.

6. Limites et Travaux Futurs

Les auteurs conservent un ton modeste concernant leurs conclusions actuelles :

• Échelle : Les expériences sont limitées à un niveau caractère, un contexte court ($T=256$) et une seule graine (seed).
• Biais d'Origine : La formulation actuelle utilise une Gaussienne centrée en $b=0$, créant un "a priori d'origine absolue" où les jetons proches du début ont une amplitude positionnelle plus forte que ceux à la fin. Cela brise l'invariance par translation. Les auteurs proposent une généralisation future avec un centre apprenable $b_{0,i}$.
• Contrainte d'Admissibilité : La convergence vers la frontière $\omega \sigma = 5$ peut être un artefact de l'implémentation par projection (clamping) plutôt qu'un véritable optimum non contraint. Relâcher cette contrainte est une priorité pour les investigations futures.
• Prochaines Étapes : Les travaux futurs valideront MOPE au niveau du mot (tokenisation par mot), sur des contextes plus longs, et exploreront le Morlet-ROPE (appliquer l'enveloppe gaussienne au mécanisme de rotation de ROPE).