💬 NLP

YaRN: Efficient Context Window Extension of Large Language Models

YaRN est une méthode efficace pour étendre la fenêtre de contexte des modèles de langage basés sur les embeddings rotatifs (RoPE), nécessitant nettement moins de calculs et de données que les approches précédentes tout en surpassant l'état de l'art.

Auteurs originaux : Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Publié 2026-02-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : La "Mémoire de Poisson Rouge" des IA

Imaginez que vous lisez un roman passionnant. Pour comprendre la fin, vous avez besoin de vous souvenir de ce qui s'est passé au premier chapitre. Un modèle d'intelligence artificielle (comme ChatGPT ou LLaMA) fonctionne un peu comme un lecteur, mais avec un gros défaut : il a une "fenêtre de lecture" limitée.

Si l'IA a été entraînée pour lire des textes de 10 pages, dès qu'on lui donne un livre de 100 pages, elle commence à "oublier" le début ou à devenir totalement confuse. C'est comme si, après la page 10, elle perdait le fil de l'histoire et commençait à halluciner.

Les anciennes solutions : Le "Zoom" maladroit

Avant YaRN, les chercheurs essayaient de régler ce problème de deux manières, mais c'était un peu comme essayer de réparer une montre de luxe avec un marteau :

L'Interpolation (PI) : C'est comme si, pour faire tenir un long texte dans une petite mémoire, on décidait de lire en "vitesse accélérée". On compresse tout. Le problème ? On perd tellement de détails (les "hautes fréquences") que l'IA devient incapable de distinguer les nuances importantes. C'est comme regarder un film en ultra-rapide et en basse résolution : on voit l'action, mais on ne voit plus les expressions des visages.
Le NTK-aware : C'était une tentative de zoomer de manière plus intelligente, mais c'était très difficile à régler. C'est comme essayer de régler un appareil photo complexe sans savoir exactement sur quel bouton appuyer.

La solution YaRN : Le "Zoom Intelligent et Musical"

YaRN (qui signifie "Encore une autre méthode d'extension" — les chercheurs ont de l'humour !) propose une approche beaucoup plus fine. Pour comprendre, utilisons une métaphore musicale.

Imaginez que la position des mots dans un texte est comme une partition de musique. Chaque note a une fréquence (un son) qui indique sa place dans le temps.

Le problème du zoom classique : Si vous voulez faire durer une chanson de 3 minutes sur 30 minutes en ralentissant tout, vous allez transformer une mélodie joyeuse en un bourdonnement grave et indistinct.
L'astuce de YaRN : Au lieu de tout ralentir de la même façon, YaRN agit comme un chef d'orchestre de génie.
- Pour les notes graves (les informations de structure globale, comme le sujet du livre), il les étire pour qu'elles couvrent la nouvelle longueur.
- Pour les notes aiguës (les détails précis, comme la ponctuation ou les nuances entre deux mots proches), il les laisse presque intactes. Il ne les compresse pas trop pour ne pas perdre la "clarté" du son.

En résumé, YaRN ne se contente pas de "compresser" le texte ; il réorganise la musique de la position pour que l'IA puisse entendre à la fois la grande mélodie (le contexte long) et les petits détails (la précision locale) sans confusion.

Pourquoi est-ce une révolution ?

L'article montre trois choses incroyables :

C'est ultra-rapide et économique : Là où les anciennes méthodes demandaient des semaines de calculs intensifs et des montagnes d'énergie, YaRN est 10 fois plus efficace. C'est comme si on pouvait agrandir la mémoire d'un ordinateur avec une simple mise à jour logicielle plutôt que de devoir racheter de la RAM.
L'effet "Apprentissage par transfert" : On peut entraîner l'IA sur des textes de taille moyenne, et grâce à YaRN, elle devient soudainement capable de lire des textes géants sans avoir jamais vu de tels volumes auparavant. C'est comme si, en apprenant à lire des nouvelles, vous deveniez soudainement capable de lire l'Encyclopédie.
La précision reste intacte : L'IA ne devient pas "bête" en lisant plus long. Elle garde sa capacité à répondre à des questions précises (comme retrouver un code secret caché au milieu d'un texte immense) sans perdre le fil.

En bref

YaRN, c'est l'art de donner une mémoire de géant à une IA, sans lui faire perdre sa capacité à remarquer les détails, le tout en faisant des économies d'énergie massives.

Résumé Technique : YaRN (Yet another RoPE extensioN method)

1. Problématique (Le Problème)

Les modèles de langage basés sur l'architecture Transformer utilisent des encodages de position pour comprendre l'ordre des mots. La méthode la plus répandue est le RoPE (Rotary Position Embedding). Cependant, ces modèles souffrent d'une limitation majeure : ils ne peuvent pas généraliser au-delà de la longueur de séquence (fenêtre de contexte) sur laquelle ils ont été entraînés.

Les méthodes précédentes pour étendre cette fenêtre (comme la Position Interpolation - PI) présentent des défauts :

Perte d'informations haute fréquence : En étirant toutes les dimensions de manière uniforme, le modèle perd les détails de positionnement local précis.
Perte de distances relatives locales : L'incapacité à distinguer les positions proches de tokens.
Coût de calcul : Les méthodes d'extension nécessitent souvent un réentraînement massif ou des modifications complexes de l'attention.

2. Méthodologie (La Solution)

Les auteurs proposent YaRN, une méthode qui combine trois innovations techniques pour améliorer l'interpolation des encodages RoPE :

A. Interpolation "NTK-by-parts"

Au lieu d'étirer toutes les dimensions de RoPE de la même manière, YaRN applique une stratégie différenciée basée sur la longueur d'onde ( $\lambda$ ) de chaque dimension :

Dimensions à haute fréquence (courtes longueurs d'onde) : On ne les interpole pas pour préserver la précision des relations locales entre tokens proches.
Dimensions à basse fréquence (longues longueurs d'onde) : On les interpole pour éviter que les distances extrêmes ne sortent de la distribution apprise.
Dimensions intermédiaires : Une fonction de transition douce (ramp function) est utilisée pour passer de l'un à l'autre.

B. Mise à l'échelle de l'attention (Attention Scaling)

YaRN introduit une modification de la fonction softmax de l'attention en y intégrant un facteur de température $t$ . Cela permet de compenser l'augmentation de l'entropie causée par l'extension du contexte. Mathématiquement, cela revient à multiplier les vecteurs Query et Key par un facteur $\sqrt{1/t}$ , ce qui est très efficace car cela peut être implémenté sans modifier le code de l'attention (compatible avec Flash Attention 2).

C. Mise à l'échelle dynamique (Dynamic Scaling)

Pour l'inférence, les auteurs proposent une méthode où le facteur d'échelle $s$ est ajusté dynamiquement en fonction de la longueur de la séquence actuelle, permettant au modèle de gérer des séquences de longueurs variables de manière fluide sans dégradation brutale.

3. Contributions Clés

Efficacité extrême : YaRN nécessite 10 fois moins de tokens et 2,5 fois moins d'étapes d'entraînement que les méthodes précédentes pour atteindre des performances similaires.
Extrapolation : Le modèle peut "apprendre court et tester long" (train short, test long), c'est-à-dire qu'un modèle entraîné sur 64k tokens peut extrapoler efficacement jusqu'à 128k.
Compatibilité : Contrairement à d'autres méthodes, YaRN est une méthode d'interpolation d'encodage pure, ce qui la rend compatible avec les optimisations matérielles comme Flash Attention 2.

4. Résultats Expérimentaux

Les tests ont été menés sur les modèles LLaMA et Llama 2 :

Perplexité : Sur le dataset Proof-pile, YaRN surpasse nettement la Position Interpolation (PI) et le NTK-aware scaling. Les modèles étendus à 128k conservent une perplexité très basse.
Passkey Retrieval (Récupération d'information) : YaRN atteint une précision de plus de 99% pour retrouver une clé dans un contexte de 128k tokens, prouvant sa capacité à maintenir une attention précise sur de longues distances.
Benchmarks Standardisés : Sur les benchmarks Hugging Face (ARC, HellaSwag, MMLU, TruthfulQA), la dégradation des capacités de raisonnement à court terme est quasi négligeable après l'extension du contexte.

5. Signification et Impact

L'importance de YaRN réside dans sa capacité à rendre l'extension de la fenêtre de contexte accessible et peu coûteuse. En permettant aux modèles de traiter des documents massivement plus longs (livres, longs codes sources, rapports juridiques) avec un minimum de ressources de calcul supplémentaires, YaRN lève l'un des principaux verrous technologiques des LLM actuels. C'est une méthode "drop-in" (prête à l'emploi) qui améliore l'état de l'art de manière significative.