Résumé technique : LeRoPE : Les fréquences de RoPE apprenables améliorent la modélisation du langage

Énoncé du problème

Les encodages positionnels rotatifs (RoPE) sont le mécanisme d'encodage positionnel standard des modèles de langage modernes (LLM). RoPE fonctionne en faisant pivoter les vecteurs de requête (query) et de clé (key) dans des bandes de fréquences bidimensionnelles, où le taux de rotation pour chaque bande est déterminé par une séquence géométrique fixe définie par un hyperparamètre de base ($b$).

Des recherches antérieures ont identifié les limites de cette approche à fréquence fixe :

1. Confusion sémantique vs positionnelle : Des travaux récents indiquent que les bandes de fréquences les plus lentes (celles ayant les taux de rotation les plus bas) portent souvent des informations sémantiques plutôt que positionnelles, car elles pivotent de manière négligeable sur des fenêtres de contexte typiques.
2. Allocation de fréquence sous-optimale : Les améliorations existantes, telles que le RoPE partiel (p-RoPE) ou l'ajustement de la base $b$, impliquent de sélectionner manuellement quelles bandes doivent pivoter ou comment les mettre à l'échelle. Ces méthodes fixent l'allocation des fréquences a priori avant l'entraînement, ce qui peut empêcher le modèle de découvrir le spectre de fréquences optimal pour une tâche et une longueur de contexte données.

Les auteurs postulent que, puisque l'opération RoPE est dérivable par rapport à ses fréquences, ces fréquences devraient être traitées comme des paramètres apprenables plutôt que comme des hyperparamètres fixes.

Méthodologie : LeRoPE

Le papier propose LeRoPE (Learned RoPE), une modification du mécanisme RoPE standard où la fréquence de chaque bande est remise à l'échelle par un scalaire appris.

Mécanisme central

Au lieu d'utiliser une fréquence fixe $\theta_m$ pour la bande $m$, LeRoPE introduit un scalaire apprenable $\alpha_m$ par bande de fréquence. La fréquence effective $\hat{\theta}_m$ est définie par :
$$\hat{\theta}_m = e^{\alpha_m} \theta_m$$
où $\theta_m$ est la fréquence RoPE standard dérivée de la base $b$.

Choix de conception clés :

• Paramétrage logarithmique : Les fréquences sont paramétrées dans l'espace logarithmique ($\alpha_m$). Cela garantit que les mises à jour de $\alpha_m$ entraînent des changements multiplicatifs de la fréquence, offrant un meilleur conditionnement lors de la réduction des fréquences vers zéro et évitant des dynamiques de gradient instables près de zéro.
• Initialisation : $\alpha_m$ est initialisé à 0, rendant LeRoPE mathématiquement équivalent au RoPE standard au début de l'entraînement.
• Partage de paramètres : Le même ensemble de fréquences apprises est partagé à travers toutes les couches et toutes les têtes d'attention. Pour une dimension de tête $d_h$, cela ajoute $d_h/2$ paramètres apprenables au modèle (par exemple, 32 paramètres pour $d_h=64$).
• Optimisation : Les auteurs omettent la décroissance des poids (weight decay) sur les paramètres LeRoPE et appliquent un écrêtage de gradient (gradient clipping) indépendant pour eux afin d'assurer un apprentissage stable des scalaires de fréquence.

Analyse théorique

Le papier dérive le gradient de la perte par rapport aux paramètres de fréquence. Ils montrent que la mise à jour du gradient pour une fréquence $\theta_m$ correspond à la dérivée d'une fonction de perte de substitution $P_m(\theta)$, qui est la composante réelle de la transformée de Fourier à temps discret du signal de gradient agrégé par décalage, ce qui suggère que le modèle apprend les fréquences en les alignant sur les caractéristiques spectrales des signaux de gradient des logits d'attention à travers les décalages relatifs de jetons (tokens).

Configuration expérimentale

Les auteurs valident LeRoPE via une étude de mise à l'échelle rigoureuse :

• Échelle du modèle : Une « échelle en échelle » (ladder) de transformeurs de type décodeur allant de 52M à 2,52B de paramètres.
• Architecture : Basée sur l'échelle Enoki (Charles et al., 2025 ; Ferbach et al., 2026), avec une dimension de tête fixe (64) et une profondeur/largeur co-évolutives.
• Données d'entraînement : Pré-entraîné sur le corpus C4 avec une longueur de séquence de 2048 jetons.
• Baselines :
  • RoPE standard ($b=10\,000$).
  • RoPE partiel (p-RoPE, $p=0,75$), qui supprime la rotation des 25 % des bandes les plus lentes.
• Métriques d'évaluation : Perplexité de validation sur C4, multiplicateurs de calcul (FLOPs requis pour égaler la perte d'une baseline), et précision de récupération « Needle-in-a-Haystack » (NIAH).

Résultats clés

1. Performance à travers les échelles

LeRoPE surpasse systématiquement le RoPE standard et le p-RoPE sur toutes les tailles de modèles (52M à 2,5B).

• Perplexité : LeRoPE atteint une perplexité de validation plus faible à chaque échelle.
• Efficacité de calcul : À la plus grande échelle (2,5B), le RoPE standard nécessite 3,4 % de calcul supplémentaire (FLops) pour atteindre la perte obtenue par LeRoPE. Cet avantage est persistant, le multiplicateur de calcul pour RoPE plafonnant autour de 1,03–1,04 par rapport à LeRoPE.
• Robustesse : L'amélioration se maintient à travers plusieurs graines (seeds) aléatoires. Pour le modèle de 217M, l'écart entre LeRoPE et RoPE (0,0066 nats) est 3 à 7 fois plus grand que l'écart-type de la variabilité des graines.

2. Émergence d'une bande positionnelle dominante

L'analyse des fréquences apprises révèle un schéma cohérent à travers les échelles et les graines :

• Suppression de fréquence : Le modèle apprend à supprimer (pousser vers zéro) les fréquences des bandes les plus lentes, supprimant ainsi leur rotation.
• Bande dominante : Une seule bande de fréquence émerge avec une norme élevée et une forte contribution positionnelle aux logits d'attention. Cette « bande positionnelle dominante » possède une longueur d'onde ($\lambda$) qui évolue linéairement avec la longueur de contexte d'entraînement ($L_{train}$), spécifiquement $\lambda \approx 2,2 \times L_{train}$.
• Mécanisme : Alors que le RoPE standard distribue l'information positionnelle sur de nombreuses bandes, LeRoPE concentre le signal positionnel dans cette bande dominante spécifique, tandis que les bandes restantes semblent gérer d'autres types de signaux ou s'annuler.

3. Ablation et généralisation

• Fréquences gelées : L'entraînement d'un modèle avec des fréquences gelées sur les valeurs apprises par une exécution LeRoPE distincte capture 63,6 % du gain de performance, indiquant que la découverte de l'ensemble de fréquences optimal est un moteur principal du succès, bien que les dynamiques d'entraînement conjoint contribuent au reste.
• Pré-entraînement de code : Les expériences sur le jeu de données StarCoder-Python montrent des gains similaires (amélioration de 0,0104 nats par rapport à RoPE) et des schémas de fréquence similaires, suggérant que la méthode se généralise au-delà du langage naturel.
• Extrapolation : Bien que LeRoPE se dégrade plus brutalement que RoPE lors d'une extrapolation naïve (en raison de la contribution sinusoïdale de la bande dominante devenant positive en dehors de la fenêtre d'entraînement), il reste compatible avec les techniques standard d'extension de contexte comme NTK-by-parts et YaRN. Combiné avec ces méthodes, LeRoF outperform RoPE et p-RoPE pour des longues de séquence allant jusqu'à 32k jetons.

Signification et affirmations

Le papier affirme que LeRoPE offre une amélioration simple, efficace en termes de paramètres et universellement applicable de l'encodage positionnel des modèles de langage.

• Apprentissage plutôt qu'heuristique : Le travail démontre que traiter les bandes de fréquences comme des paramètres apprenables permet au modèle de découvrir automatiquement une allocation spectrale plus efficace qu'une heuristique ajustée manuellement (comme le p-RoPE ou les ajustements de base fixes).
• Efficacité : La méthode fournit un gain de performance constant et « gratuit », réduisant le budget de calcul nécessaire pour atteindre un niveau de performance cible d'environ 3,4 %.
• Aperçu mécaniste : L'émergence d'une bande positionnelle dominante unique offre un nouvel aperçu de la manière dont les modèles utilisent les spectres de fréquences, suggérant qu'une fréquence apprise spécifique est suffisante pour encoder le signal positionnel nécessaire pour les tâches en distribution, tandis que les bandes plus lentes sont mieux utilisées pour le contenu sémantique.

Les auteurs restent modestes quant à la portée de leurs travaux, notant que les expériences sont limitées à des modèles allant jusqu'à 2,5B de paramètres et que les gains sur des modèles plus grands et sur-entraînés restent à démontrer pleinement. Cependant, la cohérence des résultats à travers l'échelle de mise à l'échelle et différents jeux de données (C4 et Code) suggère que la méthode est robuste et probablement bénéfique pour les modèles de fondation plus importants.