🤖 machine learning

InferScale: GPU-Native KV Injection for Personalized LLM Serving

InferScale est un système de mémoire natif GPU qui accélère le service de LLM personnalisés en précalculant et en injectant des états KV réutilisables directement dans le cache de vLLM, découplant ainsi la latence du premier jeton (time-to-first-token) de la taille du contexte récupéré tout en maintenant une grande précision.

Auteurs originaux : Peter Li, Prashant Pandey

Publié 2026-07-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peter Li, Prashant Pandey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner toute l'histoire de votre vie à un robot super intelligent pour qu'il puisse répondre à des questions sur vous. Chaque fois que vous posez une question au robot, vous devez coller l'intégralité de votre biographie dans son cerveau avant qu'il ne puisse réfléchir. Si votre biographie est courte, le robot pense vite. Mais si votre biographie est longue — remplie d'années de souvenirs, de plaisanteries internes et d'aventures passées — le robot doit relire et retraiter chaque mot de cette biographie juste pour répondre à un simple « Quelle est ma couleur préférée ? ». Ce processus de relecture est lent et coûteux, comme un bibliothécaire qui devrait ré-étagérer chaque livre de la bibliothèque avant de vous en donner un seul. C'est l'état actuel de l'IA « personnalisée » : plus vous lui donnez de souvenirs, plus elle devient lente pour vous parler.

Le document que vous allez lire s'attaque à ce problème en utilisant une astuce ingénieuse du monde de l'informatique appelée « mise en cache Clé-Valeur » (Key-Value caching). Imaginez le cerveau du robot comme un immense tableau blanc sur lequel il écrit les parties les plus importantes de ce qu'il a lu jusqu'à présent, afin de ne pas avoir à relire le texte original. Habituellement, si vous changez l'ordre des livres sur l'étagère, le robot doit réécrire tout le tableau blanc. Mais et si le robot pouvait simplement attraper les notes pré-écrites dans un tiroir et les coller sur le tableau blanc instantanément, peu importe où vous vouliez les placer ? C'est le cœur de cette recherche : au lieu de forcer le robot à relire vos souvenirs à chaque fois, nous pré-calculons les « notes » de chaque souvenir et les stockons sur le disque dur interne ultra-rapide du robot. Ensuite, quand vous posez une question, nous injectons simplement ces notes directement dans le cerveau du robot.

Le Problème : Le Piège de la « Relecture »
Aujourd'hui, lorsque vous utilisez un assistant IA doté d'un long historique de conversations, le système doit trouver les souvenirs les plus pertinents et les coller dans votre nouvelle question. C'est ce qu'on appelle l'« injection de prompt » (prompt injection). Imaginez que vous demandez conseil à un ami, mais qu'à chaque fois que vous parlez, vous devez lire à haute voix les 50 dernières pages de votre journal intime avant de pouvoir poser votre question. Plus vous lisez de pages, plus il faut de temps pour obtenir le conseil. Même si vous posez exactement la même question dix fois, l'ami doit lire ces 50 pages dix fois. Cela rend l'IA lente, surtout à mesure que votre mémoire personnelle grandit.

La Solution : InferScale
Les chercheurs, Peter Li et Prashant Pandey, ont construit un nouveau système appelé InferScale. Au lieu de faire relire les souvenirs à l'IA, InferScale effectue le gros du travail une seule fois avant même que vous ne commenciez à parler. Il prend chaque fait mémorisé (comme « J'adore la pizza » ou « Mon chien s'appelle Rex ») et calcule ses « notes cérébrales » (appelées états KV) à l'avance. Ces notes sont stockées directement sur la carte graphique (le GPU), qui est le cerveau ultra-rapide de l'ordinateur.

Lorsque vous posez une question, le système n'envoie pas le texte de vos souvenirs à l'IA. Au lieu de cela, il trouve les bonnes « notes cérébrales » sur le GPU et les injecte directement dans la mémoire de travail de l'IA. C'est comme avoir une bibliothèque où, au lieu de vous donner les livres, le bibliothécaire colle instantanément les paragraphes exacts dont vous avez besoin sur votre bureau. L'IA n'a jamais besoin de relire le texte source ; elle utilise simplement les notes.

Les Tours de Magie
Pour faire fonctionner cela, l'équipe a dû résoudre deux énigmes complexes :

Le Problème de la « Cible Mouvante » (Chunked RoPE) :
Habituellement, ces « notes cérébrales » sont liées à un endroit spécifique dans le texte. Si vous déplacez un souvenir du début d'une histoire vers le milieu, les notes deviennent fausses. Les chercheurs ont inventé une technique appelée Chunked Rope. Imaginez que les notes sont écrites sur un type spécial de papier qui peut être pivoté. Peu importe où vous placez le papier sur le bureau, vous pouvez le faire pivoter pour qu'il corresponde parfaitement à la nouvelle position. Cela permet au système de prendre un souvenir stocké à un endroit et de le déposer n'importe où dans votre conversation sans briser la logique mathématique.
Le Problème du « Contexte » (Context-Window Encoding) :
Si vous prenez simplement une phrase isolée comme « Il est allé au magasin », l'IA pourrait ne pas savoir qui est « Il ». Si vous stockez le souvenir de manière isolée, vous perdez le contexte. Pour corriger cela, le système stocke le souvenir avec une petite fenêtre des phrases qui le précèdent (comme « John est allé au magasin »). Cependant, il n'enregistre les « notes cérébrales » que pour la partie spécifique du souvenir, et non pour toute la fenêtre. De cette façon, l'IA comprend le contexte (« Il » est John) sans avoir à relire tout le paragraphe à chaque fois.

Ce qu'ils ont découvert
Les résultats sont impressionnants. Les chercheurs ont testé cela sur trois modèles d'IA différents (Llama-3.1-8B, Mistral-7B et Qwen2.5-7B) en utilisant un ensemble de données de longues conversations.

Vitesse : Avec l'ancienne méthode (Mem0), à mesure qu'ils augmentaient le nombre de souvenirs récupérés de 5 à 50, le temps nécessaire pour que l'IA commence à parler (Time-to-First-Token) bondissait de 106 % (de 33,2 ms à 68,3 ms). Avec InferScale, cette même augmentation n'a provoqué qu'un ralentissement de 4 % (de 16,6 ms à 17,3 ms).
Débit : Lorsque 100 personnes utilisaient le système simultanément, InferScale gérait 3,7 à 4,5 fois plus de questions par seconde que l'ancien système.
Précision : Comme le système stocke parfois les souvenirs séparément, il y avait un risque que l'IA se confonde. Cependant, en utilisant l'astuce de la « Fenêtre de Contexte », ils ont récupéré presque toute la précision. À la charge de mémoire la plus élevée, InferScale a obtenu 60,3 % de bonnes réponses, ce qui est très proche des 63,3 % de l'ancien système, mais beaucoup plus rapide.

Pourquoi c'est important
Ce document prouve que vous n'avez pas à choisir entre une IA intelligente, riche en mémoire, et une IA rapide. En déplaçant le stockage de la mémoire vers le GPU et en injectant les « notes cérébrales » directement, ils ont découplé la vitesse de l'IA de la taille de votre mémoire. Le système ne nécessite aucun réentraînement des modèles d'IA et aucun changement du moteur sous-jacent, ce qui en fait une mise à jour pratique pour le futur des assistants d'IA personnalisés. Même si les données de la mémoire sont trop volumineuses pour tenir sur le GPU rapide, ils ont montré que le déchargement vers la mémoire régulière de l'ordinateur permet de garder le système nettement plus rapide que les méthodes actuelles.

Résumé Technique : InferScale

Problématique

Les applications de grands modèles de langage (LLM) reposent de plus en plus sur un contexte persistant et personnalisé (par exemple, l'accumulation de mémoires utilisateur ou d'historiques de conversations longs) partagé à travers de multiples requêtes. Les systèmes de mémoire actuels en production (ex. : Mem0, MemGPT, Zep) traitent le coût de pré-remplissage (prefill) quadratique des contextes longs en récupérant un sous-ensemble pertinent de faits mémoriels ( $k$ ) et en les injectant sous forme de texte dans le prompt.

Cependant, cette approche d'« injection de prompt » entraîne un coût de service significatif : chaque fait récupéré doit être re-prérempli à chaque requête. Par conséquent, le temps de premier jeton (TTFT - Time-to-First-Token) croît de manière linéaire ou quadratique avec le budget de récupération ( $k$ ), même lorsque la mémoire sous-jacente est identique d'une requête à l'autre. Les techniques existantes de réutilisation de KV, comme le cache de préfixe, échouent ici car elles supposent que les jetons réutilisés occupent des positions fixes, alors que les systèmes de mémoire assemblent dynamiquement différents sous-ensembles de faits pour chaque requête, violant ainsi cette hypothèse.

Méthodologie

InferScale propose une architecture de récupération et d'injection native au GPU qui remplace le pré-remplissage répété des prompts par une injection directe de KV. Au lieu d'envoyer le texte récupéré au GPU pour un nouveau calcul, InferScale pré-calcule les représentations Clé-Valeur (KV) des faits mémoriels et les injecte directement dans le cache d'attention.

Le système est implémenté comme un plugin pour le moteur de service vLLM via son interface de connecteur KV, ne nécessitant ni ajustement fin (fine-tuning) du modèle, ni modification du moteur. L'architecture se compose de deux phases :

1. Phase Hors-ligne : Encodage de la Fenêtre de Contexte

Pour remédier à la perte de contexte inter-faits lors de l'encodage indépendant des faits, InferScale utilise l'Encodage de la Fenêtre de Contexte.

Processus : Chaque fait mémoriel est encodé avec une fenêtre configurable ( $w$ ) de tours de conversation précédents.
Optimisation : Seuls les tenseurs KV correspondant au fait cible sont conservés ; les jetons de contexte sont rejetés.
Résultat : La représentation KV stockée capture le contexte de désambiguïsation nécessaire (par exemple, la résolution des pronoms) sans nécessiter le pré-remplissage des jetons de contexte lors du service.

2. Phase En-ligne : RoPE par Morceaux (Chunked RoPE) et Injection de KV

Pour permettre la réutilisation des états KV à des positions de prompt arbitraires (puisque les faits récupérés sont assemblés dynamiquement), InferScale introduit le RoPE par morceaux (Chunked Rope).

Stockage Pré-RoPE : Lors de l'encodage hors-ligne, les clés sont interceptées avant l'application des plongements de position rotatifs (Rotary Position Embeddings - RoPE). Ces clés pré-rotées et les valeurs brutes sont stockées sur le GPU.
Rotation Dynamique : Au moment du service, les faits récupérés sont composés en un segment contigu. Le système applique la rotation RoPE appropriée aux clés pré-stockées en fonction de leurs nouvelles positions lors du service.
Garantie Théorique : Le papier prouve (Théorème 6) que cette re-rotation est mathématiquement exacte sous RoPE, garantissant que les scores d'attention sont identiques à ceux produits si les faits avaient été pré-remplis à ces positions.
Injection : Les tenseurs KV composés sont copiés par éparpillement (scatter-copy) directement dans le cache KV paginé de vLLM. Le modèle ne pré-remplit alors que les jetons de requête (query), assistant au contenu injecté comme s'il avait été calculé.

Contributions Clés

Inférence par Récupération et Injection : Les auteurs démontrent que la mémoire récupérée n'a pas besoin d'être re-préremplie. Ils prouvent (Théorème 3) que l'injection directe d'états KV dans le cache d'attention est exactement équivalente à l'injection de prompt pour les transformateurs à décodeur causal, à condition que la mémoire soit injectée aux positions prévues.
RoPE par Morceaux (Chunked RoPE) : Un mécanisme novateur pour la réutilisation de KV indépendante de la position. En stockant les clés avant l'encodage rotatif et en les re-rotant au moment de l'injection, le système permet aux faits encodés une seule fois d'être injectés à des positions arbitraires sans approximation (Théorème 6).
Encodage de la Fenêtre de Contexte : Une technique pour récupérer la précision perdue par l'encodage indépendant. En encodant les faits avec une fenêtre de contexte précédent (durant la phase hors-ligne), le système préserve les interactions entre les faits sans engendrer de coûts de re-calcul lors du service.
Conception de Système Native au GPU : InferScale intègre la récupération sémantique résidente sur GPU (utilisant l'index Jasper) avec un stockage KV réutilisable. Cela maintient à la fois l'index de récupération et le magasin de KV sur le GPU, éliminant le transfert PCIe du texte récupéré et le pré-remplissage répété.

Résultats

Évalué sur le benchmark LoCoMo sur trois modèles en poids ouverts (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) contre le système de pointe Mem0 :

Latence (TTFT) : InferScale découple la latence de service du budget de récupération. Lorsque $k$ passe de 5 à 50, le TTFT d'InferScale reste presque constant (n'augmentant que d'environ 4 % pour Llama-3.1-8B), tandis que le TTFT de Mem0 augmente de 106 %. À $k=50$ , InferScale atteint une accélération de 3,6 à 4,8× du TTFT par rapport à Mem0.
Débit (Throughput) : Sous une charge concurrente (jusqu'à 100 utilisateurs), InferScale présente une mise à l'échelle quasi linéaire, atteignant un débit 3,7 à 4,5× supérieur à celui de Mem0. Mem0 sature rapidement en raison du goulot d'étranglement computationnel du pré-remplissage répété.
Précision : L'encodage indépendant ( $w=0$ ) dégrade initialement la précision. Cependant, avec l'encodage de la fenêtre de contexte ( $w \ge 20$ ), InferScale récupère presque toute la précision perdue, atteignant 60,3 % sur Llama-3.1-8B à $k=50$ contre 63,3 % pour Mem0. L'écart de précision est principalement limité aux tâches de raisonnement multi-étapes nécessitant une attention complexe entre les faits.
Scalabilité : Le système passe à des modèles plus larges (Qwen3-14B) avec des bénéfices de latence similaires. Le magasin de KV peut être déchargé vers la mémoire DRAM de l'hôte pour surmonter les limites de capacité de la mémoire GPU, n'ajoutant qu'environ 3 ms au TTFT tout en maintenant un avantage de latence de bout en bout de 2,3× par rapport à Mem0.

Signification et Revendications

Le papier affirme qu'InferScale change fondamentalement le primitif de service pour les LLM personnalisés. En passant de l'injection au niveau du jeton (token-layer) à l'injection au niveau de l'attention (attention-layer), il élimine le coût quadratique de pré-remplissage associé au contexte récupéré.

Les auteurs soulignent que :

Exactitude : Le mécanisme d'injection de KV (avec le Chunked RoPE) n'est pas une approximation, mais une équivalence exacte à l'injection de prompt pour les positions de requête.
Zéro Surcharge : Le système ne nécessite aucun ajustement fin du modèle, aucune modification du moteur, et aucun changement dans les pipelines de récupération existants.
Découplage : Il réussit à découpler la latence de service conditionnée par la mémoire de la taille du contexte récupéré, permettant un service personnalisé à haut débit et faible latence, même avec de grands budgets de récupération.

Ce travail se distingue des systèmes de mémoire en production (qui paient toujours les coûts de pré-remplissage) et des techniques existantes de réutilisation de KV (qui reposent sur des structures de prompt fixes). Il positionne l'injection au niveau de l'attention comme un primitif par défaut pour conditionner les LLM sur des contextes statiques ou semi-statiques.