💬 NLP

KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference

KV-Fold est un protocole d'inférence à contexte long simple et sans entraînement qui traite le cache KV comme un accumulateur de gauche à droite pour permettre un traitement de séquences stable et économe en mémoire à travers des chaînes profondes, sans nécessiter de réentraînement du modèle ni de modifications architecturales.

Auteurs originaux : Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire brillant, ultra-intelligent (le modèle d'IA) capable de lire un livre et de répondre à des questions à son sujet. Mais il y a un hic : ce bibliothécaire dispose d'un bureau très petit. Il ne peut tenir ouvertes que quelques pages du livre à la fois. Si vous lui donnez un roman de 1 000 pages, il ne peut pas tout lire d'un coup sans que son bureau ne déborde.

Habituellement, pour résoudre ce problème, nous disons au bibliothécaire soit de :

Oublier le début : Ne regarder que les dernières pages (comme une fenêtre coulissante).
Résumer le passé : Essayer de compresser toute l'histoire en une petite note (ce qui perd souvent des détails).
Construire un plus grand bureau : Ce qui est coûteux et souvent impossible pour des livres immenses.

KV-Fold est un nouveau tour de force ingénieux qui permet au bibliothécaire de lire le livre entier sans avoir besoin d'un bureau plus grand, sans résumer, et sans oublier le début.

L'idée centrale : l'astuce du « pliage »

Imaginez le livre comme une longue bande de papier. Au lieu d'essayer de lire toute la bande d'un coup, vous la coupez en petits morceaux gérables.

Le premier morceau : Le bibliothécaire lit le premier morceau. En lisant, il prend des notes sur un « post-it » spécial (c'est le KV Cache). Cette note contient l'essence de ce qu'il vient de lire, mais d'une manière qui lui permet de revenir sur des détails spécifiques plus tard.
Le morceau suivant : Lorsqu'il passe au deuxième morceau, il ne jette pas le premier post-it. Au lieu de cela, il colle les nouvelles notes du deuxième morceau juste à côté des premières. Il dispose maintenant d'une bande de notes plus longue.
La récurrence : Il continue ainsi. Il lit un morceau, ajoute les notes à la bande grandissante, et passe au morceau suivant.

L'article appelle cela un « Left Fold » (Pliage à gauche). Imaginez plier une longue bande de papier encore et encore. Chaque pli ajoute une nouvelle couche, mais les couches précédentes restent là, en dessous, accessibles. Le bibliothécaire fait avancer cette pile grandissante de notes, étape par étape.

La grande surprise : cela ne devient pas « chaotique »

Vous pourriez penser : « Si je continue d'ajouter des notes à une pile, le bibliothécaire finira par se perdre. Les notes de la page 1 pourraient se perdre dans le bruit de la page 500. »

L'article a découvert quelque chose d'extraordinaire : le bibliothécaire ne se perd pas.

Le « plateau de dérive » : Au début, lorsque le bibliothécaire passe du premier morceau au deuxième, son style de pensée change légèrement (comme s'adapter à une nouvelle pièce). Mais après seulement quelques étapes, ce changement s'arrête. Il atteint un « plateau plat ».
État stable : Même après avoir lu des centaines de morceaux (jusqu'à 511 étapes dans leurs tests), la performance du bibliothécaire ne se dégrade pas continuellement. Elle reste stable. C'est comme si le bibliothécaire avait trouvé un rythme confortable et s'y était tenu.
La précision n'a pas d'importance : Même si vous changez la « règle » que le bibliothécaire utilise pour mesurer les choses (passant d'une mathématique haute précision à une mathématique basse précision), le résultat reste le même. La stabilité est inhérente à la logique, pas seulement aux mathématiques.

Le test « Aiguille dans une botte de foin »

Pour prouver que cela fonctionne, les chercheurs ont joué à un jeu appelé « Aiguille dans une botte de foin ».

Le jeu : Ils ont caché une phrase spécifique (l'« aiguille ») au fond d'un document massif (la « botte de foin »).
Le test : Ils ont demandé au bibliothécaire de trouver cette phrase après avoir lu tout le document.
Le résultat :
- Anciennes méthodes (Streaming) : Si l'aiguille se trouvait dans les premières pages, le bibliothécaire la trouvait. Si l'aiguille était au milieu ou à la fin, le bibliothécaire l'oubliait car le « bureau » était trop petit.
- KV-Fold : Le bibliothécaire a trouvé l'aiguille 100 % du temps, même si elle était enfouie au tout début d'un document de 128 000 mots. Il pouvait se souvenir des détails exacts du tout premier morceau, même après avoir lu des centaines de morceaux depuis lors.

Pourquoi cela compte (sans le jargon)

Pas de réentraînement : Vous n'avez pas besoin d'enseigner au bibliothécaire une nouvelle façon de penser. Vous changez simplement la manière dont vous lui remettez le livre. Le bibliothécaire est déjà assez intelligent pour le faire ; nous lui avons simplement offert un meilleur flux de travail.
Compromis mémoire : Le bibliothécaire doit toujours garder toutes les notes (le cache KV) sur son bureau. Ainsi, le bureau grandit à mesure que le livre s'allonge. Cependant, c'est bien mieux que d'essayer de tenir le livre entier en tête d'un coup, ce qui est impossible pour les ordinateurs actuels.
Rappel exact : Contrairement aux méthodes qui résumment ou jettent les anciennes pages, KV-Fold conserve chaque détail accessible. Si vous posez une question sur la toute première phrase, le bibliothécaire peut encore la trouver.

Analogie résumée

Imaginez que vous racontez une longue histoire à un ami.

Ancienne méthode : Vous ne vous souvenez que des 5 dernières minutes de l'histoire. Si je vous demande sur le début, vous répondez : « Je ne sais pas. »
Méthode KV-Fold : Vous gardez une liste en cours de tous les personnages et points de l'intrigue que vous avez mentionnés jusqu'à présent. En racontant la prochaine partie de l'histoire, vous jetez un coup d'œil à votre liste pour vous rappeler qui est qui. Même si la liste s'allonge, vous ne vous perdez pas dedans. Vous pouvez toujours répondre : « Quel était le nom du chien de la toute première phrase ? » car ce nom est toujours sur votre liste, parfaitement préservé.

L'article montre que les modèles d'IA possèdent déjà cette capacité de « liste » intégrée. Nous devions simplement réaliser que nous pouvions l'utiliser comme une boucle répétitive pour lire des livres de longueur infinie sans saturer la mémoire de l'ordinateur.

Résumé technique : KV-Fold

Énoncé du problème

Les transformers préentraînés de grande taille sont limités par le coût mémoire quadratique de l'attention complète et la fenêtre de contexte fixe d'un seul passage avant. Bien que les modèles récents prennent en charge des fenêtres de contexte allant jusqu'à plusieurs centaines de milliers de tokens, les charges de travail réelles (par exemple, le code à l'échelle d'un dépôt, les dossiers médicaux longitudinaux) dépassent souvent ces limites. Les solutions existantes font face à un compromis persistant :

Les méthodes de streaming (par exemple, StreamingLLM) maintiennent une mémoire bornée en ne conservant que les tokens récents et les « puits d'attention », mais elles perdent la capacité de récupérer l'information une fois celle-ci sortie de la fenêtre glissante.
Les méthodes de compression du cache KV et de mémoire récurrente nécessitent souvent une modification du modèle, un fine-tuning, ou introduisent des approximations avec perte qui dégradent la fidélité de la récupération.
L'attention complète est computationnellement irréalisable pour des séquences extrêmement longues sur du matériel standard en raison de la taille massive de la matrice des scores d'attention (par exemple, ~1 To pour une séquence de 128K tokens sur un GPU de 40 Go).

L'article se demande si un transformer préentraîné figé peut porter son état interne à travers des blocs successifs pour effectuer une inférence à contexte long comme une récurrence, sans modifications architecturales ni entraînement.

Méthodologie : KV-Fold

Les auteurs proposent KV-Fold, un protocole d'inférence sans entraînement qui traite le cache Key-Value (KV) comme l'accumulateur dans un pliage gauche (foldl) sur des blocs de séquence.

Mécanisme : Une longue séquence de longueur $T$ $T$ est divisée en blocs de longueur $C$ $C$ . Lors du traitement du bloc $t$ $t$ , le modèle effectue un passage avant où :
1. Les requêtes ( $Q$ ) sont générées à partir des tokens du bloc courant.
2. Les clés ( $K$ ) et les valeurs ( $V$ ) sont formées en concaténant le cache KV accumulé à partir de tous les blocs précédents ($0 $à$ t-1$) avec les états KV du bloc courant.
3. Les embeddings de position (RoPE) sont appliqués continuellement à travers les limites des blocs pour maintenir l'alignement absolu de la séquence.
4. Le cache KV élargi est transmis au bloc $t+1$ .
État : Les paramètres du modèle restent figés. Aucun token mémoire spécial ni fine-tuning n'est introduit. Le cache KV croît linéairement avec la longueur de la séquence, agissant comme un enregistrement structuré et non compressé du calcul passé du modèle.
Analogie : Le processus est analogue à un pliage gauche en programmation fonctionnelle, où le cache KV sert d'état accumulateur mis à jour par une fonction de récurrence à un seul pas $F_\theta$ à chaque limite de bloc.

Contributions clés

Protocole KV-Fold : Un changement opérationnel simple qui convertit un transformer standard en un modèle récurrent à contexte long en portant le cache KV accumulé à travers les blocs.
Stabilité de la récurrence : Des preuves empiriques montrant que la récurrence induite ne souffre pas d'une accumulation de erreurs non bornée. Au contraire, la « dérive » (différence de vraisemblance négative par rapport à l'attention complète) augmente brièvement puis se stabilise dans un plateau plat qui persiste à travers des chaînes profondes.
Dérive structurelle vs numérique : Il est démontré que le plateau est une propriété structurelle de la dynamique de l'attention plutôt qu'un artefact numérique. Il reste stable sous une augmentation de la précision numérique de 10 000 fois (de bf16 à fp32) et est robuste à travers différentes familles de modèles (OLMoE, Qwen, Llama) et tailles de blocs.
Récupération exacte à longue distance : La méthode préserve les informations factuelles exactes sur de longues distances. Sur les benchmarks « aiguille dans une botte de foin », KV-Fold atteint une récupération exacte à 100 % sur des contextes allant jusqu'à 128K tokens et des profondeurs de chaîne jusqu'à 511, égalant les performances de l'attention complète.
Compromis pratiques : L'article caractérise la position de la méthode sur le spectre mémoire-vers-récupération. Bien qu'elle nécessite une croissance linéaire de la mémoire (contrairement au streaming à mémoire bornée), elle permet une récupération à des profondeurs arbitraires où les méthodes de streaming échouent, rendant possible l'exécution d'une récupération équivalente à l'attention complète sur du matériel ne pouvant pas supporter un seul passage avant monolithique.

Résultats clés

Saturation de la dérive : Sur Qwen2.5-7B-Instruct, la dérive se stabilise à la profondeur 7 et reste plate jusqu'à la profondeur 63, avec un changement total de seulement -0,0003 nats entre les profondeurs 15 et 60.
Performances de récupération :
- Aiguille unique : 100 % de précision de récupération sur 152 essais couvrant des contextes de 16K à 128K tokens et des profondeurs de chaîne jusqu'à 511 sur Llama-3.1-8B.
- Aiguilles multiples : 99,4 % de précision de récupération (175/176) lors de la récupération simultanée de plusieurs faits distincts.
Faisabilité matérielle : Sur un GPU A100 de 40 Go, un seul passage avant à attention complète pour une séquence de 128K tokens est irréalisable (nécessitant ~1 To pour les scores d'attention). KV-Fold traite la même séquence en 171 secondes avec une utilisation maximale de mémoire de 35,6 Go, restant dans les limites matérielles.
Comparaison avec StreamingLLM : À un contexte de 128K, StreamingLLM maintient une mémoire bornée (16,6 Go) et un temps d'exécution plus rapide (22 s) mais chute à 0 % de récupération une fois que l'« aiguille » sort de sa fenêtre de 1024 tokens. KV-Fold maintient 100 % de récupération à toutes les distances testées mais nécessite une mémoire plus élevée (35,6 Go) et un temps d'exécution plus long.

Importance et affirmations

L'article affirme que les transformers préentraînés figés supportent déjà une forme stable de récurrence de cache KV. L'importance principale réside dans la démonstration que l'inférence à contexte long ne nécessite pas strictement de modifications architecturales, d'entraînement ou de compression avec perte pour atteindre une récupération de haute fidélité.

Les auteurs soutiennent que KV-Fold révèle un « régime d'attention légèrement décalé mais stable » où le modèle peut traiter récursivement l'information sans dégrader sa capacité à accéder à des tokens passés spécifiques. Cela fournit une voie pratique pour étendre les fenêtres de contexte sur du matériel existant en échangeant une croissance linéaire de la mémoire contre la capacité d'effectuer une récupération exacte sur des séquences qui seraient autrement tronquées ou approximées. L'article conclut que, bien que la méthode ne réduise pas les FLOPs totaux ni la mémoire en dessous de l'attention complète, elle réorganise le calcul en étapes traitables, rendant l'inférence à contexte long réalisable là où elle était auparavant impossible. Les travaux futurs suggérés incluent un fine-tuning modeste pour réduire la dérive résiduelle et la combinaison de la méthode avec des techniques d'extension de position pour dépasser les limites de contexte natives.