🤖 machine learning

InferScale: GPU-Native KV Injection for Personalized LLM Serving

InferScale is een GPU-native geheugensysteem dat gepersonaliseerde LLM-serving versnelt door herbruikbare KV-states vooraf te berekenen en direct in de vLLM-cache te injecteren, waardoor de time-to-first-token latentie wordt ontkoppeld van de grootte van de opgehaalde context terwijl een hoge nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Peter Li, Prashant Pandey

Gepubliceerd 2026-07-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peter Li, Prashant Pandey

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert je hele levensverhaal te leren, zodat hij vragen over jou kan beantwoorden. Elke keer als je de robot een vraag stelt, moet je je hele biografie in zijn brein plakken voordat hij kan nadenken. Als je biografie kort is, denkt de robot snel. Maar als je biografie lang is – vol met jaren aan herinneringen, inside jokes en eerdere avonturen – moet de robot elke letter van die biografie opnieuw lezen en verwerken om simpelweg te kunnen antwoorden op "Wat is mijn lievelingskleur?". Dit herleesproces is traag en duur, zoals een bibliothecaris die elke boeken in de bibliotheek opnieuw in de kast moet zetten voordat hij er slechts één aan jou kan overhandigen. Dit is de huidige staat van "gepersonaliseerde" AI: hoe meer herinneringen je haar geeft, hoe trager ze met je praat.

De paper die je nu gaat lezen, pakt dit probleem aan met een slimme truc uit de wereld van de informatica genaamd "Key-Value caching". Denk aan het brein van de robot als een gigantisch whiteboard waarop hij de belangrijkste delen van wat hij tot nu toe heeft gelezen opschrijft, zodat hij niet de originele tekst opnieuw hoeft te lezen. Normaal gesproken, als je de volgorde van de boeken op de plank verandert, moet de robot het hele whiteboard opnieuw beschrijven. Maar wat als de robot gewoon de vooraf geschreven aantekeningen uit een lade kan pakken en ze direct op het whiteboard kan plakken, ongeacht waar je ze wilt hebben? Dat is de kern van dit onderzoek: in plaats van de robot telkens je herinneringen te laten herlezen, berekenen we de "aantekeningen" voor elke herinnering vooraf en slaan we deze op de super-snelle interne harde schijf van de robot op. Wanneer je vervolgens een vraag stelt, plaatsen we die aantekeningen direct in het brein van de robot.

Het Probleem: De "Herlees"-valstrik
Vandaag de dag, wanneer je een AI-assistent gebruikt met een lange geschiedenis van gesprekken, moet het systeem de meest relevante herinneringen vinden en ze in je nieuwe vraag plakken. Dit wordt "prompt injection" genoemd. Stel je voor dat je een vriend om advies vraagt, maar dat je elke keer als je spreekt, de laatste 50 pagina's van je dagboek hardop moet voorlezen voordat je je eigen vraag kunt stellen. Hoe meer pagina's je leest, hoe langer het duurt voordat je bij het advies bent. Zelfs als je exact dezelfde vraag tien keer stelt, moet de vriend die 50 pagina's tien keer opnieuw lezen. Dit maakt de AI traag, vooral naarmate je persoonlijke geheugen groeit.

De Oplossing: InferScale
Onderzoekers Peter Li en Prashant Pandey hebben een nieuw systeem gebouwd genaamd InferScale. In plaats van de AI de herinneringen te laten herlezen, doet InferScale het zware werk één keer voordat je überhaupt begint met praten. Het neemt elk enkel feit uit de herinnering (zoals "Ik hou van pizza" of "Mijn hond heet Rex") en berekent de "aantekeningen voor het brein" (de zogenaamde KV-states) vooraf. Deze aantekeningen worden direct op de grafische kaart (de GPU) opgeslagen, wat de super-snelle hersenen van de computer zijn.

Wanneer je een vraag stelt, stuurt het systeem niet de tekst van je herinneringen naar de AI. In plaats daarvan zoekt het de juiste "aantekeningen voor het brein" op de GPU en injecteert deze direct in het werkgeheugen van de AI. Het is alsof je een bibliotheek hebt waar de bibliothecaris, in plaats van je de boeken te geven, direct de exacte paragrafen die je nodig hebt op je bureau plakt. De AI hoeft de brontekst nooit opnieuw te lezen; hij gebruikt alleen de aantekeningen.

De Magische Trucs
Om dit werkend te krijgen, moest het team twee lastige puzzels oplossen:

Het "Bewegend Doel"-probleem (Chunked RoPE):
Normaal gesproken zijn deze "aantekeningen voor het brein" gekoppeld aan een specifieke plek in de tekst. Als je een herinnering van het begin van een verhaal naar het midden verplaatst, worden de aantekeningen foutief. De onderzoekers hebben een techniek uitgevonden genaamd Chunked RoPE. Stel je voor dat de aantekeningen op een speciaal soort papier staan dat gedraaid kan worden. Waar je het papier ook op het bureau plaatst, je kunt het draaien zodat het perfect bij de nieuwe positie past. Hierdoor kan het systeem een herinnering die op de ene plek is opgeslagen, ergens anders in je gesprek plaatsen zonder dat de wiskunde erdoor breekt.
Het "Context"-probleem (Context-Window Encoding):
Als je alleen een enkele zin opslaat zoals "Hij ging naar de winkel", weet de AI misschien niet wie "Hij" is. Als je de herinnering geïsoleerd opslaat, verlies je de context. Om dit op te lossen, slaat het systeem de herinnering op met een klein venster van de zinnen die eraan voorafgingen (zoals "John ging naar de winkel"). Echter, het slaat alleen de "aantekeningen voor het brein" op voor het specifieke deel van de herinnering, en niet voor het hele venster. Op deze manier begrijpt de AI de context ("Hij" is John) zonder dat hij het hele tekstblok telkens opnieuw hoeft te lezen.

Wat Ze Hebben Gevonden
De resultaten zijn indrukwekkend. De onderzoekers hebben dit getest op drie verschillende AI-modellen (Llama-3.1-8B, Mistral-7B en Qwen2.5-7B) met een dataset van lange gesprekken.

Snelheid: In de oude methode (Mem0), terwijl ze het aantal opgehaalde herinneringen verhoogden van 5 naar 50, steeg de tijd die de AI nodig had om te beginnen met praten (Time-to-First-Token) met 106% (van 33,2 ms naar 68,3 ms). Met InferScale zorgde diezelfde toename alleen voor een vertraging van 4% (van 16,6 ms naar 17,3 ms).
Doorvoersnelheid (Throughput): Wanneer 100 mensen tegelijkertijd het systeem gebruikten, verwerkte InferScale 3,7 tot 4,5 keer meer vragen per seconde dan het oude systeem.
Nauwkeurigheid: Omdat het systeem herinneringen soms apart opslaat, was er een risico dat de AI in de war zou raken. Echter, door de "Context-Window"-truc te gebruiken, hebben ze bijna de volledige nauwkeurigheid teruggewonnen. Bij de hoogste herinneringsbelasting beantwoordde InferScale 60,3% van de vragen correct, wat heel dicht bij de 63,3% van het oude systeem ligt, maar dan veel sneller.

Waarom Dit Belangrijk Is
Deze paper bewijst dat je niet hoeft te kiezen tussen een slimme, geheugenrijke AI en een snelle AI. Door de opslag van het geheugen naar de GPU te verplaatsen en de "aantekeningen voor het brein" direct te injecteren, hebben ze de snelheid van de AI losgekoppeld van de omvang van het geheugen. Het systeem vereist geen hertraining van de AI-modellen en geen wijzigingen aan de onderliggende engine, wat het een praktische upgrade maakt voor de toekomst van gepersonaliseerde AI-assistenten. Zelfs als de geheugeninformatie te groot is om op de snelle GPU te passen, hebben ze aangetoond dat het verplaatsen van de data naar het reguliere computergeheugen het systeem nog steeds aanzienlijk sneller houdt dan de huidige methoden.

Technische Samenvatting: InferScale

Probleemstelling

Applicaties voor grote taalmodellen (LLM's) leunen steeds vaker op persistente, gepersonaliseerde context (bijv. geaccumuleerde gebruikersherinneringen of lange gesprekshistorieën) die gedeeld wordt over meerdere verzoeken. Huidige productiememoriesystemen (bijv. Mem0, MemGPT, Zep) pakken de kwadratische prefill-kosten van lange contexten aan door een relevante subset van geheugenfeiten ( $k$ ) op te halen en deze als tekst in de prompt te injecteren.

Deze "prompt-injectie"-aanpak brengt echter aanzienlijke serveerkosten met zich mee: elk opgehaald feit moet bij elk verzoek opnieuw worden geprefilled. Bijgevolg groeit de Time-to-First-Token (TTFT) lineair of kwadratisch met het retrieval-budget ( $k$ ), zelfs wanneer de onderliggende herinnering identiek is over verschillende verzoeken. Bestaande technieken voor KV-hergebruik, zoals prefix caching, falen hier omdat ze ervan uitgaan dat hergebruikte tokens vaste posities innemen, terwijl memoriesystemen voor elk verzoek dynamisch verschillende subsets van feiten samenstellen, wat deze aanname schendt.

Methodologie

InferScale stelt een GPU-native retrieve-and-inject architectuur voor die herhaalde prompt prefilling vervangt door directe KV-injectie. In plaats van opgehaalde tekst naar de GPU te sturen voor herhaalde berekening, precomputeert InferScale de Key-Value (KV) representaties van geheugenfeiten en injecteert deze direct in de attention cache.

Het systeem is geïmplementeerd als een plugin voor de vLLM serving engine via de KV-connector interface, waarbij geen model fine-tuning of engine-modificaties nodig zijn. De architectuur bestaat uit twee fasen:

1. Offline Fase: Context-Window Encoding

Om het verlies van cross-fact context bij het onafhankelijk encoderen van feiten aan te pakken, gebruikt InferScale Context-Window Encoding.

Proces: Elk geheugenfeit wordt gecodeerd samen met een configureerbare window ( $w$ ) van voorafgaande gespreksturns.
Optimalisatie: Alleen de KV-tensoren die overeenkomen met het doelfeit worden behouden; de context-tokens worden weggegooid.
Resultaat: De opgeslagen KV-representatie legt de noodzakelijke disambiguerende context vast (bijv. het oplossen van voornaamwoorden) zonder dat de context-tokens tijdens het serveren opnieuw geprefilled hoeven te worden.

2. Online Fase: Chunked RoPE en KV-injectie

Om het hergebruik van KV-states op willekeurige prompt-posities mogelijk te maken (aangezien opgehaalde feiten dynamisch worden samengesteld), introduceert InferScale Chunked RoPE.

Pre-RoPE Opslag: Tijdens de offline encoding worden keys onderschept voordat de Rotary Position Embeddings (RoPE) worden toegepast. Deze pre-geroteerde keys en raw values worden op de GPU opgeslagen.
Dynamische Rotatie: Tijdens het serveren worden de opgehaalde feiten samengesteld tot een aaneengesloten segment. Het systeem past de passende RoPE-rotatie toe op de pre-opgeslagen keys op basis van hun nieuwe positie tijdens het serveren.
Theoretische Garantie: Het paper bewijst (Theorem 6) dat deze her-rotatie wiskundig exact is onder RoPE, waardoor de attention scores identiek zijn aan die geproduceerd zouden worden als de feiten op die posities geprefilled waren.
Injectie: De samengestelde KV-tensoren worden direct via een scatter-copy in de paged KV cache van vLLM geplaatst. Het model prefilled vervolgens alleen de query-tokens en heeft aandacht voor de geïnjecteerde herinnering alsof deze berekend was.

Belangrijkste Bijdragen

Retrieve-and-Inject Inference: De auteurs demonstreren dat opgehaalde geheugen niet opnieuw geprefilled hoeft te worden. Ze bewijzen (Theorem 3) dat het injecteren van precomputeerde KV-states direct in de attention cache exact equivalent is aan prompt-injectie voor causale decoder-transformers, mits het geheugen op de beoogde posities wordt geïnjecteerd.
Chunked RoPE: Een nieuw mechanisme voor positie-onafhankelijke KV-hergebruik. Door keys op te slaan vóór de rotatie-encoding en ze tijdens de injectie te her-roteren, staat het systeem toe dat feiten die één keer zijn gecodeerd, zonder benadering op willekeurige posities kunnen worden geïnjecteerd (Theorem 6).
Context-Window Encoding: Een techniek om de nauwkeurigheid die verloren gaat door onafhankelijke fact-encoding te herstellen. Door feiten te coderen met een window van voorafgaande context ( $w \ge 20$ ) tijdens de offline fase, behoudt het systeem de cross-fact interacties zonder de kosten van herberekening tijdens het serveren.
GPU-Native Systeemontwerp: InferScale integreert GPU-resident semantische retrieval (met de Jasper index) met herbruikbare KV-opslag. Dit houdt zowel de retrieval-index als de KV-store op de GPU, waardoor de PCIe-overdracht van opgehaalde tekst en herhaalde prefilling wordt geëlimineerd.

Resultaten

Geëvalueerd op de LoCoMo benchmark over drie open-weight modellen (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) tegen het state-of-the-art Mem0 systeem:

Latency (TTFT): InferScale ontkoppelt de serving latency van het retrieval-budget. Terwijl $k$ toeneemt van 5 naar 50, blijft de TTFT van InferScale nagenoeg constant (een stijging van slechts ~4% voor Llama-3.1-8B), terwijl de TTFT van Mem0 met 106% toeneemt. Bij $k=50$ bereikt InferScale een 3,6–4,8× versnelling in TTFT vergeleken met Mem0.
Throughput: Onder gelijktijdige belasting (tot 100 gebruikers) vertoont InferScale een bijna lineaire schaling en bereikt een 3,7–4,5× hogere throughput dan Mem0. Mem0 verzadigt vroegtijdig door de computationele bottleneck van herhaalde prefilling.
Nauwkeurigheid: Onafhankelijke encoding ( $w=0$ ) vermindert aanvankelijk de nauwkeurigheid. Echter, met Context-Window Encoding ( $w \ge 20$ ), herstelt InferScale bijna alle verloren nauwkeurigheid en behaalt 60,3% op Llama-3.1-8B vergeleken met de 63,3% van Mem0. Het nauwkeurigheidsverschil is primair beperkt tot multi-hop redeneringstaken die complexe cross-fact attention vereisen.
Schaalbaarheid: Het systeem schaalt naar grotere modellen (Qwen3-14B) met vergelijkbare latency-voordelen. De KV-store kan naar host DRAM worden verplaatst om de GPU-geheugencapaciteit te omzeilen, wat slechts ~3 ms aan TTFT toevoegt terwijl een 2,3× end-to-end latency voordeel ten opzichte van Mem0 behouden blijft.

Betekenis en Claims

Het paper claimt dat InferScale fundamenteel de serving-primitive voor gepersonaliseerde LLM's verandert. Door over te stappen van token-layer injectie naar attention-layer injectie, elimineert het de kwadratische prefill-kosten geassocieerd met de opgehaalde context.

De auteurs benadrukken dat:

Exactheid: Het KV-injectiemechanisme (met Chunked RoPE) is geen benadering, maar een exacte equivalentie aan prompt-injectie voor de query-posities.
Zero Overhead: Het systeem vereist geen model fine-tuning, geen engine-modificaties en geen wijzigingen in bestaande retrieval-pipelines.
Ontkoppeling: Het slaagt erin de geheugen-geconditioneerde serving latency te ontkoppelen van de grootte van de opgehaalde context, wat zorgt voor high-throughput, low-latency gepersonaliseerd serveren, zelfs met grote retrieval-budgetten.

Het werk onderscheidt zich van productiememoriesystemen (die nog steeds prefill-kosten betalen) en bestaande KV-hergebruikstechnieken (die vertrouwen op vaste prompt-layouts). Het positioneert attention-layer injectie als een standaard primitive voor het conditioneren van LLM's op statische of semi-statische contexten.