🤖 machine learning

Models Take Notes at Prefill: KV Cache Can Be Editable and Composable

Cet article révèle que lors de la phase de préremplissage (prefill), les modèles stockent principalement des conclusions conditionnées par le champ dans les notes du cache KV en aval plutôt que de s'appuyer sur les propres vecteurs du champ, permettant ainsi une nouvelle approche où les caches peuvent être édités efficacement via une chaîne de pensée (chain-of-thought) et composés à travers différents contextes pour atteindre une précision quasi parfaite avec une latence considérablement réduite par rapport à un nouveau calcul complet.

Auteurs originaux : Bojie Li

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bojie Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le « carnet de notes » du modèle

Imaginez qu'un grand modèle de langage (comme un robot assistant très intelligent) est en train de lire un document long pour répondre à une question. Habituellement, quand le robot lit une phrase, il la « réfléchit » puis passe à la suite. Si la phrase change plus tard, le robot doit relire tout le document depuis le début pour comprendre le nouveau contexte. C'est lent et coûteux.

Cette recherche découvre quelque chose de surprenant : le robot ne se contente pas de lire le document ; il prend des notes dans un « carnet » séparé (le KV Cache) au fur et à mesure de sa lecture.

Crucialement, le robot écrit ses conclusions dans ce carnet, et pas seulement les mots bruts. Une fois qu'il a compris : « Oh, le statut de la commande est "expédié", donc je dois refuser le remboursement », il écrit cette conclusion dans son carnet. Plus tard, lorsqu'il doit prendre une décision, il ne regarde pas la phrase d'origine ; il lit simplement ses propres notes.

Le problème : Le piège de la « note obsolète »

Les chercheurs ont essayé une correction simple lorsqu'une information changeait (par exemple, le statut de la commande passait de « expédié » à « en attente »). Ils pensaient : « Si je modifie simplement le mot spécifique dans le texte, le robot verra le changement et mettra à jour sa réponse. »

Ils se trompaient.

Parce que le robot avait déjà écrit sa conclusion (« Refuser le remboursement ») dans le carnet en se basant sur l'ancienne information, le simple fait de modifier le mot d'origine n'a pas fonctionné. Le robot a ignoré le changement et a continué à lire son ancienne note. C'était comme essayer de changer un problème de mathématiques de $2+2=4$ en $2+2=5$ sur une feuille de papier, mais l'élève avait déjà écrit « La réponse est 4 » dans son cahier et se contentait de recopier cela. L'élève ne remarquerait pas le changement dans le problème à moins que vous ne le forciez à relire toute la page.

La Solution 1 : L'« Erratum » (Le Post-it)

Puisque le robot s'appuie sur ses notes, les chercheurs ont trouvé un moyen de corriger l'erreur sans avoir à relire tout le livre.

Au lieu d'essayer d'effacer et de réécrire chirurgicalement l'ancienne note (ce qui échoue), ils ont simplement ajouté une nouvelle note, très voyante, à la fin du document.

L'analogie : Imaginez que le robot lit un contrat. Vous ne pouvez pas facilement rayer une clause au milieu du contrat sans perturber la numérotation des pages. À la place, vous collez une note jaune vif « ERRATUM » à la toute fin du document qui dit : « Ignorez la note précédente. Le statut est maintenant "En attente". La réponse est "Approuver". »
Le résultat : Le robot voit cette nouvelle note frappante, met à jour sa décision et ignore l'ancienne note. C'est incroyablement rapide et cela fonctionne presque parfaitement.

La Solution 2 : Les compétences de « composition » (La brique LEGO)

La seconde découverte concerne la réutilisation du travail.

Imaginez que vous avez un manuel d'instructions long et complexe pour une tâche spécifique (comme « Comment réserver un vol »). Habituellement, chaque fois que vous demandez au robot de réserver un vol, il doit lire tout ce manuel depuis le début.

Les chercheurs ont découvert que, parce que le robot écrit ses conclusions dans son carnet, vous pouvez pré-écrire les notes pour ce manuel une seule fois, les sauvegarder, puis les « coller » dans une nouvelle conversation.

L'analogie : Au lieu de lire un manuel d'instructions de 50 pages à chaque fois que vous devez construire une chaise, vous avez un « Kit de montage de chaise » pré-assemblé (les notes). Vous prenez simplement le kit et vous le déposez dans votre espace de travail.
La magie : Vous pouvez déplacer ce kit à un autre endroit de la conversation (le repositionner) et il fonctionne toujours parfaitement. Le robot n'a pas besoin de relire le manuel ; il ramasse simplement les notes pré-écrites et continue. Cela rend le processus 14 fois plus rapide pour les documents longs.

Pourquoi c'est important

C'est éditable : Si un utilisateur change un détail (comme son nom ou un statut de commande), vous n'avez pas besoin de redémarrer toute la conversation. Vous ajoutez simplement une « note de correction » à la fin, et le robot met instantanément à jour son comportement.
C'est composable : Vous pouvez construire une bibliothèque de « compétences » (comme une recette pour réserver des vols ou un guide pour gérer les retours). Vous pouvez pré-calculer ces compétences et les coller dans n'importe quelle conversation instantanément, ce qui permet d'économiser énormément de temps et de puissance de calcul.
Cela fonctionne partout : Les chercheurs ont testé cela sur de nombreux types de modèles d'IA (des plus petits aux plus grands, et même des modèles qui analysent des images), et cela a fonctionné pour tous.

Résumé en une phrase

L'article révèle que les modèles d'IA écrivent leurs conclusions dans un carnet caché pendant leur lecture ; en réalisant cela, nous pouvons corriger les erreurs en ajoutant une « note de correction » à la fin et accélérer les tâches en collant des « notes de compétences » pré-écrites, plutôt que de forcer l'IA à tout relire depuis le début.

Résumé Technique : Les modèles prennent des notes lors du prefill : le cache KV peut être éditable et composable

1. Énoncé du problème

Les agents modernes basés sur les Grands Modèles de Langage (LLM) relisent fréquemment des instructions longues et principalement statiques (politiques système, spécifications d'outils, documents récupérés) sur plusieurs tours de conversation. Bien que le cache de clés/valeurs (KV) permette la réutilisation des calculs de prefill, les systèmes de production actuels (ex: vLLM, SGLang) reposent sur une correspondance de préfixe exacte.

Le problème central survient lorsqu'un champ mutable au sein d'un préfixe réutilisé change (ex: un identifiant utilisateur, un statut de commande ou un horodatage). Comme chaque jeton (token) suivant dans le contexte est attentif au jeton modifié, les clés et les valeurs de toute la région en aval deviennent invalides. La solution de contournement par défaut — déplacer tout le contenu mutable à la fin du prompt — impose des contraintes au niveau de la couche applicative, empêchant la réutilisation propre de sous-prompts d'agents imbriqués ou de contextes assemblés dynamiquement.

Une tentative naïve de rafraîchir uniquement les vecteurs KV du champ modifié tout en réutilisant le reste du cache échoue complètement : le modèle revient à l'ancienne décision, ignorant l'édition. Cette étude examine pourquoi cet échec se produit et propose un mécanisme pour rendre le cache KV à la fois éditable et composable.

2. Découverte fondamentale : L'inférence mémorisée

L'article établit un mécanisme causal expliquant pourquoi l'édition naïve du KV échoue. À travers quatre sondes causales (patching de localité, concentration de suffixe, sondage linéaire et élimination de circuit) sur quatre familles de modèles (Qwen3, Llama-3.1, Gemma-2, Mistral), les auteurs démontrent que :

Mémorisation lors du prefill : Pendant la phase de prefill, le modèle ne se contente pas de mettre en cache des représentations brutes de jetons. Au lieu de cela, il calcule la conclusion conditionnée par le champ (ex: "le statut est expédié $\to$ l'action est refuser") et écrit cette conclusion sur les vecteurs KV de jetons agrégateurs en aval spécifiques (tels que la ponctuation, les sauts de ligne ou les séparateurs de section).
Lecture de la décision : Lors du décodage, le jeton de décision ne redérive pas la réponse à partir du champ lui-même. Il porte son attention en arrière sur ces positions de "notes" situées en aval.
Contribution causale : Les propres vecteurs KV du champ contribuent à moins de 1 % de la décision finale. La décision est presque entièrement pilotée par les "notes" écrites en aval.

Par conséquent, le rafraîchissement du seul KV du champ (l'édition "champ seul") est ignoré car la décision repose sur les notes obsolètes situées en aval. Le cache KV est ainsi requalifié : non pas comme un sous-produit figé, mais comme un carnet de notes de conclusions mémorisées.

3. Méthodologie et capacités

Sur la base du mécanisme de "carnet de notes", l'article propose deux capacités : des caches KV éditables et composables.

A. Cache KV Éditable

Pour mettre à jour une décision lorsqu'un champ change, il faut amender les "notes" plutôt que simplement le champ. L'article évalue plusieurs stratégies :

Édition naïve "Champ seul" : Échoue (récupération $\approx$ 0) à moins que le modèle n'utilise une Chaîne de Pensée (CoT). Avec la CoT, le modèle relit le champ, rendant l'édition du champ seule suffisante (récupération $\approx$ 1.0). Sans CoH, elle est ignorée.
Recalcul sélectif (Champ + Top-K) : Recalculer le champ plus les $K$ jetons en aval ayant l'effet causal le plus élevé sur la décision. C'est fiable mais nécessite un réglage spécifique au modèle pour la valeur de $K$ et est moins robuste.
L'Erratum (Ajout uniquement) : La solution la plus robuste et la moins coûteuse. Ajouter une ligne de correction saillante (ex: [MISE À JOUR DE L'ÉTAT] champ $\to$ nouveau ; annule toute valeur antérieure) agit comme une nouvelle note faisant autorité. Cela correspond aux performances d'un recalcul complet (Oracle) sans réécrire le prompt. Cela se compose avec les systèmes de mise en cache de préfixe existants car cela n'invalide pas le préfixe statique.

B. Cache KV Composable

Si les notes sont localisées et transportables par position, des "compétences" précompilées (blocs de politiques longs ou spécifications d'outils) peuvent être réutilisées dans différents contextes sans nouveau prefill.

Mécanisme : Précalculer le cache KV d'une compétence de manière isolée. Lors de l'insertion dans un nouveau contexte, effectuer une re-rotation RoPE des clés (les faire pivoter vers les nouvelles positions absolues) et greffer les valeurs (qui sont indépendantes de la position) dans le contexte cible.
Réparation de la couture (Seam Repair) : Un petit nombre de jetons de bordure au début du bloc inséré peut nécessiter un recalcul pour tenir compte de l'absence d'attention du préfixe, mais cela représente un coût constant.
Complexité : Cela réduit le Temps de Premier Jeton (TTFT) de $O(L^2)$ (prefill complet) à $O(L)$ (re-rotation + greffage).

4. Résultats clés

Performance d'édition

Précision : La méthode "Erratum" atteint une récupération de décision de 1.00 (correspondant au recalcul complet) sur tous les modèles, tandis que les éditions naïves "champ seul" atteignent 0.00 sans CoT.
Efficacité : L'approche Erratum ne nécessite que l'ajout d'une seule ligne de texte, entraînant un calcul négligeable par rapport au recalcul complet.
Comparaison avec l'édition de poids : Contrairement aux méthodes d'édition de poids (ROME, LoRA) qui sont globales, lentes (secondes) et causent une contamination entre les requêtes, l'édition de KV est locale, rapide (~100ms) et spécifique à la requête.

Performance de composition

Fidélité : Les compétences transplantées correspondent au recalcul complet avec une similarité cosinus des logits de 0.90–0.999 sur 12 modèles (allant de 1.7B à 70B de paramètres, incluant les variantes MoE et quantifiées).
Accélération : Les gains de TTFT augmentent avec la longueur de la compétence, atteignant 13.9× pour 32k jetons sur un modèle 8B.
Généralité : La méthode fonctionne pour les règles, les passages RAG et l'appel d'outils agentiques. Elle est également valable pour les entrées multimodales (images), où le KV de l'image peut être greffé avec une re-rotation de M-RoPE.

Benchmarks Systèmes (vLLM)

Alignement du cache de préfixe : Dans un benchmark vLLM en ligne avec une charge de Poisson, l'erratum par ajout maintient l'alignement du cache de préfixe, atteignant un taux de succès du cache de préfixe de 98.5 % (contre 1 % pour les éditions intra-préfixe).
Latence et Débit : Le p90 du TTFT est réduit de 53 à 398×. Les gains de débit augmentent avec la charge, atteignant 14.5× à saturation par rapport à une ligne de base qui effectue un nouveau prefill à chaque changement.

Application à la mémoire utilisateur

L'article applique ces concepts à la mémoire utilisateur (profils larges et mutables).

Placement : Placer la mémoire à la fin du prompt (après la trajectoire) permet une édition et une transplantation en $O(L)$ .
Compromis : Bien qu'un placement tardif entraîne un léger coût de précision dû au manque de "pré-digestion" (intégration lors du prefill), cela est compensé par les gains d'efficacité massifs.
Validation : Sur le benchmark LoCoMo (QA de longue conversation réelle), la transplantation de la mémoire est statistiquement équivalente au recalcul complet en termes de précision de QA.

5. Signification et Revendications

L'article affirme fournir le premier compte causal expliquant pourquoi l'édition de champ en place du KV échoue et propose un cadre unifié pour des caches KV programmables.

Mécanisme : Il identifie que les transformeurs écrivent des conclusions sur les jetons en aval pendant le prefill, faisant du cache un enregistrement structuré du raisonnement intermédiaire plutôt qu'une simple donnée brute.
Programmabilité : Il démontre que les systèmes peuvent lire, écrire et réorganiser ce "carnet de notes" sans réentraîner le modèle.
Impact pratique : L'approche permet un cache éditable et composable compatible avec l'infrastructure de production actuelle (vLLM, SGLang) et les mécanismes d'attention (FlashAttention, GQA, MLA, M-RoPE).
Vision future : Les auteurs avancent que si les modèles actuels exploitent ce mécanisme "gratuitement", les futurs modèles pourraient être entraînés pour exposer explicitement ces notes, transformant le cache KV d'un journal linéaire en une mémoire programmable pour les agents.

Le travail est validé à travers différentes échelles (0.6B à 70B), quantifications (FP8, 4-bit), familles d'architectures (MoE, standard) et modalités (texte, vision), établissant une base robuste pour des agents LLM efficaces et dotés d'état.