🤖 machine learning

Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE

Jet-Long est une méthode sans réglage et sans apprentissage (zero-shot) qui adapte dynamiquement les facteurs de redimensionnement de RoPE pour équilibrer la fidélité du contexte court et l'extrapolation du contexte long, atteignant des performances de pointe sur les benchmarks de contexte long grâce à un mécanisme d'attention bifocal efficace avec un surcoût d'inférence minimal.

Auteurs originaux : Haozhan Tang, Zerui Wang, Yuxian Gu, Song Han, Han Cai

Publié 2026-07-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haozhan Tang, Zerui Wang, Yuxian Gu, Song Han, Han Cai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un cerveau de robot super intelligent (un grand modèle de langage) qui a été entraîné à lire des histoires d'une certaine longueur, disons 32 000 mots. Maintenant, vous voulez lui faire lire un roman entier ou un immense dépôt de code qui est quatre fois plus long. Si vous lui donnez simplement le texte long, le robot s'embrouille. C'est comme essayer de lire un livre où les numéros de pages sautent soudainement de 100 à 1 000 000 ; la boussole interne du robot (appelée RoPE) s'affole, et il commence à halluciner ou à oublier le milieu de l'histoire.

Pendant un certain temps, les scientifiques ont essayé de corriger cela en choisissant un « nombre magique » pour étirer la vision du robot. Mais c'était un jeu perdant-perdant : si on étirait trop la vue pour voir la fin du livre, le robot oubliait le début. Si on la gardait serrée pour se souvenir du début, il ne pouvait pas voir la fin.

Entrez en scène Jet-Long, une nouvelle méthode qui agit comme une lentille bifocale dynamique pour les yeux du robot.

Le tour de magie des lunettes bifocales

Au lieu de forcer le robot à utiliser une seule vue étirée pour tout le livre, Jet-loń lui donne deux paires de lunettes en même temps :

La lentille de près : Pour le premier bloc de texte (la « fenêtre locale »), le robot voit tout exactement comme il a été entraîné à le voir. Pas d'étirement, pas de distorsion. Cela permet de garder la mémoire du robot bien nette pour le passé récent.
La lentille de zoom arrière : Pour le reste du texte (la « fenêtre distante »), le robot utilise un truc spécial. Il ne se contente pas d'étirer la vue ; il regroupe dynamiquement les pages ensemble. À mesure que le livre s'allonge, le robot ajuste automatiquement le nombre de pages qu'il regroupe en une seule « super-page ».

La magie réside dans le fait que ce facteur de regroupement n'est pas fixe. Il change à la volée en fonction de la longueur actuelle du texte. Si le texte est court, le robot voit chaque mot individuellement. S'il est énorme, il regroupe les mots juste assez pour que la boussole interne du robot reste calme et ne s'affole pas. Cela signifie que le robot reste parfaitement précis pour les tâches courtes, mais peut toujours lire des documents massifs sans se perdre.

Le « repas gratuit » de la vitesse

Habituellement, effectuer deux calculs différents en même temps (regarder de près et regarder de loin) rendrait le robot deux fois plus lent. Mais les auteurs de cet article ont trouvé une manière ingénieuse de fusionner ces calculs. Ils ont construit un moteur spécial (un « noyau fusionné » ou fused kernel) qui effectue les calculs des deux lentilles en une seule passe.

Imaginez un chef qui doit habituellement couper les légumes, puis faire bouillir, puis frire dans trois casseroles séparées. Jet-Long est comme une casserole magique qui réalise les trois étapes à la fois sans perdre de saveur.

Le résultat : Lorsqu'un robot lit un contexte massif de 128 000 jetons (tokens), Jet-Long est en réalité 1,39 fois plus rapide lors de la phase initiale (la phase de « prefill ») que la méthode standard (FlashAttention-2) sur une puce H100.
Le bémol : Lorsque le robot génère un nouveau texte mot après mot, il est seulement environ 4 % plus lent que la méthode standard. C'est un prix dérisoire à payer pour être capable de lire une bibliothèque entière plutôt qu'un simple dépliant.

Ce qu'ils ont testé (et ce qu'ils n'ont pas testé)

L'équipe a testé cela sur trois tailles différentes de cerveaux de robots (1,7 milliard, 4 milliards et 8 milliards de paramètres) et a constaté que Jet-Long battait systématiquement les meilleures méthodes précédentes.

Sur un test appelé RULER (qui vérifie si le robot peut trouver une aiguille cachée dans une botte de foin de texte), Jet-Long a obtenu un score 4,79 points plus élevé sur le plus petit modèle et 2,03 points plus élevé sur le plus grand modèle par rapport au meilleur concurrent.
Sur un test appelé HELMET-RAG (qui simule des tâches de recherche en conditions réelles), il a obtenu la meilleure précision globale.
Sur le test PG-19 (lecture de vieux livres), il a maintenu la confusion (perplexité) du robot aux niveaux les plus bas, alors que d'autres méthodes laissaient la confusion du robot monter en flèche à mesure que le texte s'allongeait.

Note importante sur les limites : L'article écarte explicitement l'idée qu'il faille réentraîner le robot de zéro pour que cela fonctionne. Jet-Long fonctionne sur des modèles « zero-shot », ce qui signifie que vous pouvez prendre un robot pré-entraîné et simplement y brancher cette lentille. Cependant, l'article note également que si Jet-Long corrige le problème de la « boussole qui s'affole », il ne corrige pas un autre problème appelé « diffusion de l'attention » (où le robot est submergé par trop d'options). Ce problème est généralement résolu en changeant l'architecture même du robot, et non en ajoutant simplement une lentille.

Le verdict

Jet-Long n'est pas une baguette magique qui rend les robots infiniment intelligents, mais c'est un outil hautement efficace et sans réglage qui permet aux robots existants de gérer des longueurs de texte allant jusqu'à 128 000 jetons sans perdre la tête. Il maintient la mémoire à court terme du robot parfaite tout en ajustant dynamiquement sa vision à long terme, le tout en tournant presque aussi vite que les méthodes standards. Les auteurs ont mesuré cela sur du matériel réel (GPU H100) et ont constaté que cela fonctionne sur différentes tailles de modèles et même sur des cerveaux de robots hybrides mélangeant différents types d'attention. C'est une mise à niveau solide et prouvée pour quiconque cherche à faire lire des textes plus longs à l'IA.

Résumé Technique : Jet-Long

Problématique

Les modèles de langage de grande taille (LLM) modernes sont de plus en plus déployés dans des applications à contexte long, telles que la génération augmentée par récupération (RAG), le codage au niveau du dépôt (repository-level coding) et les flux de travail agentiques. Dans ces scénarios, l'accumulation de traces de raisonnement et de sorties d'outils pousse souvent les longueurs d'entrée d'un ordre de grandeur au-delà de la fenêtre de préentraînement (par exemple, 100K+ tokens contre une fenêtre de préentraînement de 32K).

L'entraînement direct des modèles sur des contextes longs reste prohibitif en raison des coûts de calcul quadratiques et de la rareté des données de contexte long, tandis que l'ajustement fin (fine-tuning) dégrade souvent les performances en contexte court. Par conséquent, l'extension de contexte zero-shot (étendre le contexte sans ajustement fin) est devenue la voie de déploiement dominante pour les checkpoints à poids ouverts.

Cependant, les LLM classiques basés sur les Transformers utilisant l'encodage de position rotatif (RoPE) ne parviennent pas à généraliser au-delà de leur fenêtre d'entraînement en raison de deux modes de défaillance principaux :

Hors-distribution (OOD) de position : Aux positions de séquence non vues lors de l'entraînement, les composantes de basse fréquence de RoPE produisent des angles de rotation en dehors de la distribution d'entraînement, provoquant des scores d'attention erratiques.
Diffusion de l'attention : À mesure que l'ensemble des clés (keys) croît, la distribution softmax s'aplatit, dispersant la masse de probabilité sur des tokens non pertinents, ce qui s'accompagne souvent d'un biais positionnel en forme de « U » qui sous-attend aux informations du milieu du contexte.

Les méthodes zero-shot existantes (ex: NTK, YaRM, Self-Extend, DCA) fixent généralement un facteur de mise à l'échelle ou une taille de groupe unique au préalable. Cela impose un compromis : un facteur agressif sacrifie la fidélité du contexte court, tandis qu'un facteur conservateur échoue à extrapoler proprement aux contextes longs.

Méthodologie : Jet-Long

Jet-Long propose une méthode d'extension de contexte zero-shot sans réglage (tuning-free) qui associe une fenêtre fidèle à la RoPE locale avec une fenêtre à longue portée dont le facteur de mise à l'échelle s'adapte dynamiquement à la longueur actuelle de la séquence.

1. RoPE Bifocale Dynamique

L'innovation centrale est une cartographie bifocale dynamique qui évite le compromis du facteur fixe :

Fenêtre Locale : Une fenêtre de taille $w_0$ conserve la RoPE classique, préservant exactement le comportement de préentraînement du modèle de base pour les entrées courtes.
Fenêtre Distante : Pour les positions au-delà de $w_0$ , une cartographie de position dynamique $f(\cdot)$ est appliquée. Contrairement aux méthodes qui interpolent les fréquences de manière continue, Jet-Long utilise un aliasing de position discret.
Groupement Dynamique : La taille du groupe $G$ est calculée dynamiquement en fonction de la longueur actuelle de la séquence $L$ et de la fenêtre préentraînée $w_{pretrained}$ :
$G = \max\left(1, \left\lceil \frac{L}{w_{pretrained}} \right\rceil\right)$
La cartographie distante est une division entière : $f(x) = \lfloor x/G \rfloor$ . Cela garantit que chaque angle de rotation distant reste dans la distribution (sur la grille préentraînée du modèle) tout en maximisant la résolution positionnelle en appliquant la compression minimale nécessaire.

2. Mécanismes d'Efficacité d'Inférence

Pour garantir l'efficacité computationnelle de la méthode et ne nécessiter ni réentraînement ni modifications lourdes du cache KV, Jet-Long emploie deux techniques clés :

Rotation de Correction à la Volée (On-the-Fly Correction Rotation) : Le cache KV stocke les clés de base non compressées à leurs positions absolates exactes. Pendant la génération, au lieu de réécrire le cache, Jet-Long applique une rotation de correction $\Delta$ à la requête active et aux clés mises en cache à la volée. Puisque les rotations RoPE se composent de manière additive, cela reconstruit les vecteurs extrapolés dans les registres sans toucher au cache physique, permettant une génération en streaming à travers les frontières de longueur sans blocage.
Fusion d'Attention par Inclusion-Exclusion : Pour éviter de matérialiser la matrice d'attention quadratique complète lors du prefill, Jet-Long combine trois passages standard de FlashAttention en utilisant un principe d'inclusion-exclusion :
1. Attention de la fenêtre locale (requêtes/clés de base).
2. Attention causale complète (requêtes/clés distantes).
3. Attention de la fenêtre locale (requêtes/clés distantes).
  En stabilisant la fusion avec des statistiques LogSumExp, la méthode calcule la sortie exacte de routage basée sur la distance sans matrice de masque booléen, conservant l'efficacité mémoire de FlashAttention.

Ces composants sont fusionnés dans un kernel CuTe unique, minimisant les frais de lancement de kernel.

Contributions Clés

Algorithme Jet-Long : Une méthode bifocale sans réglage où le facteur de mise à l'échelle de la fenêtre distante s'adapte dynamiquement à la longueur de la séquence, maintenant les rotations distantes dans la distribution tout en reproduisant exactement le modèle de base dans son contexte natif.
Implémentation Efficace : Une fusion d'attention par inclusion-exclusion et une rotation de correction à la volée qui ne touchent pas au cache KV. Fusionnées dans un seul kernel Cuote, elles atteignent un débit de prefill de 1,28–1,39× FlashAttention-2 (FA2) sur H100 pour les contextes longs et n'induisent qu'un overhead $\le$ 4 % lors de la génération à batch unique.
Validation Empirique : Évaluation étendue sur les modèles Qwen3-1.7B/4B/8B jusqu'à 128K de contexte, démontrant des performances supérieures aux bases zero-shot fortes (DNTK, YaRN, DCA, Self-Extend) sur les benchmarks RULER, HELMET-RAG et PG-19.
Généralisation : La méthode se transfère sans changement aux architectures d'attention hybrides (ex: Jet-Nemotron) et reste robuste au choix de l'hyperparamètre unique $w_0$ .

Résultats Expérimentaux

Évalué sur les modèles de base Qwen3 (1.7B, 4B, 8B) avec une fenêtre native de 32K étendue à 128K :

Benchmark RULER : Jet-Long domine les bases les plus fortes de +4,79, +2,18 et +2,03 points de pourcentage (pp) sur les modèles 1.7B, 4B et 8B, respectivement. Il préserve les performances du modèle de base dans la fenêtre d'entraînement de 32K et surpasse toutes les bases aux longueurs étendues.
HELMET-RAG : Atteint la meilleure précision globale sur ce benchmark, identifié par l'étude HELMET comme le prédicteur le plus efficace des performances de contexte long en aval.
Perplexité PG-19 : Atteint la perplexité la plus basse parmi toutes les méthodes d'extrapolation. Alors que le modèle de base s'effondre (ex: perplexité >70 à 128K pour 1.7B), Jet-Long maintient une perplexité basse (ex: 11,41 pour 1.7B).
Architectures Hybrides : Appliqué à Jet-Nemotron (entrelacement de l'attention softmax et linéaire), Jet-Long augmente la précision RULER de +10,01 pp (2B) et +11,31 pp (4B) à 128K, là où le modèle hybride de base s'effondre autrement.
Études d'Ablation :
- Résilience de l'Hyperparamètre : La taille de la fenêtre locale $w_0$ est robuste ; des valeurs entre 512 et 4096 restent à 1–2 pp de la meilleure performance.
- Aliasing vs Interpolation : L'aliasing de position (l'approche de Jet-Long) surpasse l'interpolation de fréquence (style YaRN) par des marges significatives (ex: +6,99 pp à 64K), confirmant le bénéfice de maintenir les rotations sur la grille discrète préentraînée.

Signification

L'article affirme que Jet-Long traite le mode de défaillance de position-OOD au niveau de la RoPE sans le coût de calcul de l'entraînement de contexte long ou la perte de fidélité de l'extrapolation à facteur fixe. En rendant le facteur de mise à l'échelle dynamique et la construction d'inférence "essentiellement gratuite" via des kernels fusionnés, Jet-Long offre une voie de déploiement pratique et performante pour les LLM à poids ouverts dans des scénarios de contexte long. Il complète les alternatives architecturales (comme l'attention parcimonieuse ou les modèles d'espace d'état) qui traitent la diffusion de l'attention, offrant une solution zero-shot qui ne nécessite aucun réentraînement et se généralise à travers différentes tailles de modèles et architectures hybrides.