🤖 machine learning

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

Le papier introduit RoVE, une modification sans paramètre qui fait pivoter les plongements de valeurs en même temps que les clés pour rendre le chemin de la valeur sensible à la position, unifiant ainsi diverses formulations d'attention et démontrant des améliorations de performance constantes par rapport au RoPE standard dans les tâches de contexte long et d'apprentissage en contexte.

Auteurs originaux : Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le « Messager Aveugle »

Imaginez un grand modèle de langage (comme celui avec lequel vous discutez) comme une immense équipe d'ouvriers se passant des notes les uns aux autres.

La Requête (Le Lecteur) : Un ouvrier pose une question.
La Clé (L'Index) : D'autres ouvriers brandissent des pancartes pour dire : « J'ai la réponse dont tu as besoin ! »
La Valeur (Le Message) : Une fois que le Lecteur a décidé qui écouter, ces ouvriers lui transmettent leurs notes réelles (les données).

Le papier souligne une faille dans la manière dont les modèles modernes (utilisant ce qu'on appelle RoPE) gèrent cela.

Le Bon Côté : Le modèle est très intelligent pour savoir qui écouter. Il sait qu'une note provenant d'un ouvrier situé à 5 pas est différente d'une note provenant d'un ouvier situé à 50 pas. Il traite la distance avec soin.
Le Mauvais Côté : Une fois que le Lecteur a décidé d'écouter un ouvrier, le contenu de la note est traité de la même manière, peu importe la distance de cet ouvrier.
- Analogie : Imaginez que vous écoutiez un ami raconter une histoire. S'il se tient juste à côté de vous, vous entendez sa voix clairement. S'il est à 100 pieds de vous, vous entendez exactement les mêmes mots, comme s'il était juste à côté. Le modèle ne réalise pas que la « distance » devrait changer la façon dont le message est interprété, et pas seulement qui a la parole.

La Solution : RoVE (Rotary Value Embeddings)

Les auteurs proposent une correction simple et gratuite appelée RoVE.

Au lieu de simplement faire pivoter les « pancartes » (Clés) pour indiquer la distance, RoVE fait également pivoter les « notes » (Valeurs) avant qu'elles ne soient lues.

L'Analogie : Imaginez que les ouvriers tiennent tous des cartes.
- L'Ancienne Méthode (RoPE) : Le Lecteur sait exactement où se trouve l'ouvrier. Mais quand l'ouvrier tend sa note, celle-ci est écrite avec une police de caractères standard, peu importe où se trouve l'ouvrier.
- La Nouvelle Méthode (RoVE) : Avant que l'ouvrier ne transmette la note, il fait pivoter le papier en fonction de sa distance. S'il est loin, la note est légèrement inclinée. S'il est proche, elle est à plat.
- Le Résultat : Quand le Lecteur reçoit la note, l'inclinaison du papier lui indique exactement comment interpréter le message par rapport à sa propre position. Le message lui-même « connaît » désormais sa distance.

Pourquoi cela compte : L'« Attention de Convolution »

Le papier affirme que ce petit changement transforme le mécanisme d'attention du modèle en quelque chose appelé « Attention de Convolution ».

La Métaphore : Pensez au mécanisme d'attention standard comme à un projecteur. Il éclaire différentes personnes, mais la lumière est de la même couleur partout.
Le Changement de RoVE : RoVE fait en sorte que le projecteur change de couleur selon la distance de la personne par rapport au centre.
Le Bénéfice : Cela crée une structure « block-Toeplitz » (un terme mathématique sophistiqué), que les auteurs disent être la même structure utilisée dans les convolutions (les mathématiques derrière la façon dont les ordinateurs voient les images).
- En termes simples : En faisant cela, le modèle commence à traiter le langage plus comme il traite les images ou les objets physiques, là où la position et la distance modifient fondamentalement le sens des données.

Ce que les expériences ont montré

Les auteurs ont testé cela sur deux tailles de modèles de langage (petits et moyens) et ont constaté que :

Une meilleure mémoire : Les modèles sont devenus meilleurs pour se souvenir de choses sur de longues distances (récupération de contexte long).
Une meilleure capacité de prédiction : Lorsqu'on leur demande de résoudre des énigmes avec très peu d'exemples (apprentissage few-shot), ils sont plus performants.
Une portée plus longue : Les modèles ont géré des textes beaucoup plus longs que ceux pour lesquels ils ont été entraînés sans perdre la tête (perplexité hors distribution).

L'Amélioration « Gratuite »

La partie la plus excitante du papier est que RoVE ne nécessite ni entraînement supplémentaire, ni mémoire supplémentaire.

Il n'ajoute pas de nouveaux « poids » (paramètres) au modèle.
Il ne ralentit pas significativement l'ordinateur.
C'est un remplacement « prêt à l'emploi ». Vous pouvez remplacer l'ancienne méthode par RoVE, et le modèle devient immédiatement plus intelligent pour gérer la distance et les histoires longues.

Résumé

Le papier soutient que pour qu'un modèle de langage comprenne vraiment une histoire, il ne doit pas seulement savoir qui parle ; il doit aussi savoir à quelle distance se trouve l'interlocuteur, et ajuster le message en conséquence. RoVE est une astuce ingénieuse et sans coût qui rend le « message » (Valeur) conscient de sa distance, transformant le modèle en un auditeur plus robuste qui excelle dans les tâches longues et complexes.

Résumé Technique : RoVE (Rotary Value Embeddings Attention)

Problématique

Les plongements de position rotatifs (RoPE) standards parviennent à rendre les scores d'attention relatifs à la position en faisant pivoter les requêtes et les clés en fonction de leurs positions absolues. Cependant, le chemin des valeurs reste aveugle à la position. Dans le langage des circuits de transformeurs, alors que le circuit Requête-Clé (QK) est biaisé vers les positions relatives, le circuit Sortie-Valeur (OV) traite le jeton de valeur $x_j$ de manière identique, quelle que soit sa distance par rapport à la requête $x_i$ . Plus précisément, la carte de canaux $W_V$ appliquée à un jeton de valeur ne porte aucune information sur son décalage relatif $\delta = j - i$ . Cette asymétrie limite la capacité du modèle à effectuer des transformations sensibles à la position relative sur les valeurs avant l'agrégation, une capacité inhérente aux opérations de convolution mais absente de l'attention RoPE standard.

Méthodologie : RoVE

Les auteurs proposent RoVE (Rotary Value Embeddings), une modification sans paramètres qui étend RoPE au chemin des valeurs. Le mécanisme central consiste à faire pivoter les vecteurs de valeur par les mêmes matrices de rotation dépendantes de la position utilisées pour les clés, mais d'une manière qui les aligne avec le référentiel de la requête avant l'agrégation.

Formulation Mathématique

Dans RoPE standard, la sortie à la position $i$ est calculée comme suit :
$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$
où $A(X)_{ij}$ sont les poids d'attention RoPE dépendant du décalage relatif $j-i$ .

RoVE modifie cela en faisant pivoter la valeur $x_j$ par $R_j$ (la matrice de rotation à la position $j$ ) puis en inversant la rotation à la position de la requête $i$ par $R_i^{-1}$ :
$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$

Interprétation Structurelle

Cette modification change fondamentalement la nature de l'opérateur d'attention :

Convolution Attentive : RoVE transforme le mécanisme d'attention en une convolution attentive. La carte de valeur constante $W_V$ est remplacée par une famille de noyaux dépendants du décalage $\psi_\delta = R_\delta W_V$ . Le décalage relatif $\delta$ module désormais la transformation du jeton (circuit OV) tout comme il module la sélection des jetons (circuit QK).
Structure de Mixeur de Matrice : Dans le cadre des mixeurs de matrices, le mixeur RoPE standard possède une structure de Kronecker ( $A \otimes W_V$ ), découplant le routage de la projection de canal. RoVE remplace cela par une structure de Toeplitz par blocs, où les blocs le long de la même diagonale de décalage relatif partagent le même noyau de valeur pivoté, mis à l'échelle par le poids d'attention.
Perspective de Changement de Référentiel : L'opération peut être vue comme un changement de référentiel : les valeurs sont transformées de leurs référentiels locaux vers un référentiel global partagé via $R_j$ , agrégées, puis transformées de nouveau vers le référentiel local de la requête via $R_i^{-1}$ .

Efficacité

RoVE n'introduit aucun paramètre apprenable supplémentaire. Les opérations de rotation agissent indépendamment sur $n$ jetons et $d^2$ paires de canaux, ce qui résulte en une complexité linéaire $O(nd)$. Cela est négligeable par rapport aux couches linéaires $O(nd^2)$ et aux couches d'attention $O(n^2d)$ . De plus, RoVE est compatible avec les noyaux d'attention efficaces comme FlashAttention, car les rotations ont lieu avant et après l'appel du noyau.

Contributions Clés

Caractérisation Structurelle : L'article fournit une analyse théorique montrant que RoVE unifie les circuits QK et OV en rendant le chemin des valeurs sensible à la position relative. Il démontre que cela transforme l'attention RoPE en une convolution attentive, dotant le modèle d'une structure de mixeur de type Toeplitz par blocs.
Validation Empirique : Les auteurs ont entraîné des modèles de type GPT-2 (124M et 354M de paramètres) sur le jeu de données FineWebEdu-10B. Ils ont évalué RoVE comme un remplacement direct pour le chemin des valeurs dans des modèles de langage standards (non-partageant les KV).
Complémentarité avec YaRN : L'étude examine l'interaction entre RoVE et YaRN (une méthode d'interpolation de fréquence pour l'extrapolation de contexte long).

Résultats Expérimentaux

L'évaluation s'est concentrée sur l'apprentissage en contexte (ICL) de type few-shot, la perplexité hors distribution (OOD) et la récupération en contexte long (benchmark RULER).

Performance en Distribution : RoVE améliore systématiquement la précision de l'ICL de base et la perplexité en contexte au sein du contexte d'entraînement (1024 jetons) par rapport à RoPE standard. Cela indique que le biais de position relative est bénéfique même sans extrapolation.
Perplexité Hors Distribution (OOD) : RoVE réduit considérablement la perplexité pour des longueurs de contexte allant jusqu'à 16k jetons. Combiné avec YaRN, les améliorations sont additives, suggérant que les deux méthodes traitent des aspects complémentaires de la généralisation en contexte long.
Récupération en Contexte Long : Sur le benchmark RULER (4k/8k jetons), RoVE montre des gains significatifs, particulièrement dans les tâches nécessitant le maintien et la recombinaison d'informations à travers le contexte (ex: Variable Tracking, Needle-in-a-Haystack). Les améliorations sont plus prononcées lorsque RoVE est combiné avec YaRN.

Signification et Revendications

L'article affirme que RoVE offre un biais structurel robuste pour les grands modèles de langage (LLM) en corrigeant une asymétrie structurelle dans l'attention RoPE. En rendant le chemin des valeurs sensible à la position, RoVE unifie des formulations indépendantes d'opérations similaires trouvées en vision par ordinateur, en robotique et dans les architectures récentes de LLM (ex: DeepSeek-V4) sous un cadre théorique unique : la convolution attentive.

Les auteurs soulignent que RoVE est une modification efficace, sans paramètres, qui améliore les performances à travers différentes échelles de modèles et tâches, particulièrement celles nécessitant une agrégation à longue portée. Les résultats suggèrent que la conscience de la position relative dans le flux de valeurs est un composant critique pour améliorer la robustesse du contexte long et les capacités de récupération dans les architectures transformeurs.