🤖 machine learning

PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs

PersistentKV introduceert een native block-table decode attention engine en een adaptief, page-bewust planningsbeleid dat het serveren van long-context LLM's op commodity GPU's optimaliseert door dynamisch te selecteren tussen FlashInfer en gespecialiseerde workqueue-strategieën op basis van de batchgrootte en workload-kenmerken, waarmee significante doorvoersnelheidswinsten wordt behaald ten opzichte van bestaande single-kernel benaderingen.

Oorspronkelijke auteurs: Muhammad Ahmed

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Muhammad Ahmed

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek runt waar een enkele bibliothecaris (de AI) tegelijkertijd vragen probeert te beantwoorden voor veel verschillende mensen (de gebruikers). Om dit te doen, moet de bibliothecaris een gigantisch, constant groeiend notitieblok met feiten bijhouden (de "KV cache") voor elk gesprek.

Het probleem is dat deze notitieblokken in moderne bibliotheken enorm zijn. De bibliothecaris besteedt meer tijd aan het omslaan van pagina's en het lopen naar de planken om de juiste aantekeningen te vinden dan aan het daadwerkelijk schrijven van de antwoorden. Dit is het "geheugentrafiek"-probleem dat AI vertraagt.

PersistentKV is een nieuwe manier om de workflow van de bibliothecaris te organiseren om hen sneller te maken, specifiek op standaard, kant-en-klare computers (zoals een gaming laptop), in plaats van op peperduur dure datacenter-machines.

Hier is de uitsplitsing met behulp van eenvoudige analogieën:

1. Het Probleen: De "One-Size-Fits-All" Fout

Momenteel gebruiken de meeste AI-systemen een zeer efficiënte methode genaamd FlashInfer. Zie FlashInfer als een hoogopgeleide bibliothecaris die geweldig is in het afhandelen van een menigte mensen die allemaal korte, eenvoudige vragen hebben. Ze kunnen een hele groep tegelijk heel snel verwerken.

Deze methode heeft echter moeite wanneer:

De menigte klein is, maar de vragen enorm zijn: Als slechts één persoon een zeer lange, complexe vraag stelt (een "long-context" query), wordt de bibliothecaris onderbenut. Ze wachten op de volgende persoon die arriveert, wat tijd verspilt.
De menigte gemengd is: Als je een mix hebt van mensen die korte vragen stellen en mensen die enorme, lange vragen stellen, probeert het systeem iedereen in dezelfde "batch" te dwingen. Dit is als het dwingen van een persoon met een essay van 1 pagina om in de rij te staan met iemand die een roman van 100 pagina's schrijft, of erger nog, het opvullen van het korte essay met lege pagina's zodat het op een roman lijkt. Dit creëert verspilde inspanning.

2. De Oplossing: De "Slimme Splitsingsstrategie" (PersistentKV)

De auteurs hebben een nieuw systeem gebouwd genaamd PersistentKV. In plaats van iedereen in één grote groep te dwingen, werkt dit systeem als een slimme manager die naar de specifieke behoeften van elke persoon kijkt en de taken anders onderverdeelt.

De "Splitsing" Analogie: Stel je een lange roman voor die gelezen moet worden. In plaats van dat één persoon de hele roman in één keer leest, snijdt de manager het boek in 32 kleinere hoofdstukken. Ze wijzen verschillende delen van het boek toe aan verschillende assistenten om ze gelijktijdig te lezen.
- Waarom dit helpt: Als je slechts één persoon hebt die een lange vraag stelt, houdt deze "splitsing" het team van de bibliothecaris bezig door hen tegelijkertijd aan verschillende delen van dat ene lange verhaal te laten werken. Dit vult de "lege stoelen" in het brein van de computer op.
De "Werkwachtrij" Analogie: In het oude systeem, als je 8 mensen met verschillende lengtes verhalen hebt, zou het systeem misschien proberen om 16 verschillende kleine taken te starten (één voor elke lengte), wat chaotisch en traag is.
- De fix van PersistentKV: Het gebruikt een "compacte werkwachtrij". Het kijkt naar de 8 mensen, ziet precies wie wat nodig heeft, en maakt een enkele, efficiënte lijst met taken. Het stuurt alleen werk naar de assistenten die het daadwerkelijk nodig hebben, waarbij de lege pagina's worden overgeslagen.

3. De "Adaptieve Policy": De Slimme Manager

Het belangrijkste deel van dit paper is niet alleen het nieuwe hulpmiddel zelf; het is de besluitvormingsregel. De auteurs realiseerden zich dat de "Splitsingsstrategie" niet altijd beter is.

Scenario A (Kleine Groep, Lang Verhaal): Als je slechts 1 persoon hebt met een lang verhaal, is de nieuwe "Splitsingsmethode" een winnaar. Het versnelt de boel met 1,4x.
Scenario B (Middelgrote Groep, Gemengde Verhalen): Als je 8 mensen hebt met verschillende lengtes verhalen, is de "Compacte Werkwachtrij" een winnaar. Het versnelt de boel met ongeveer 1,2x.
Scenario C (De "Goldilocks" Zone - 4 Personen): Als je 4 mensen hebt, is de nieuwe methode eigenlijk trager omdat de overhead van het splitsen en samenvoegen van het werk te veel tijd kost.
- De Fix: Het systeem is slim genoeg om te zeggen: "Hé, voor 4 mensen gebruiken we liever de oude, betrouwbare FlashInfer-methode." Het schakelt automatisch tussen tools op basis van de situatie.

4. De Resultaten: Wat Er Eigenlijk Gebeurde

De onderzoekers testten dit op een standaard RTX 3060 grafische kaart (een veelvoorkomende consumenten-GPU, geen supercomputer).

Nauwkeurigheid: De antwoorden waren even correct als de standaardmethode (binnen een minuscule foutmarge).
Snelheid:
- Voor enkele, zeer lange gesprekken waren ze 40% sneller.
- Voor groepen van 8 mensen met verschillende gespreklengtes waren ze 6% tot 26% sneller.
- Voor groepen van 4 probeerden ze de nieuwe methode niet; ze hielden zich aan de oude methode om vertraging te voorkomen.

De Kernboodschap

Dit paper beweert niet dat hun nieuwe methode de "beste" is voor elke situatie. In plaats daarvan bewijst het dat hoe je het werk plant net zo belangrijk is als de wiskunde zelf.

Door de AI te behandelen als een flexibele manager die weet wanneer hij een grote taak in stukken moet splitsen en wanneer hij de oude routine moet volgen, kunnen ze standaard computers aanzienlijk sneller laten draaien tijdens lange, complexe AI-gesprekken. Het gaat om het vinden van het juiste gereedschap voor de specifieke grootte van de menigte, in plaats van voor elke spijker dezelfde hamer te gebruiken.

Technische Samenvatting: PersistentKV

Probleemstelling

Het serveren van autoregressieve Large Language Models (LLM's) wordt steeds meer beperkt door de beweging van de Key-Value (KV) cache in plaats van door dichte matrixvermenigvuldiging. Hoewel moderne paged-attention systemen (bijv. vLLM, FlashInfer) er succesvol in zijn geslaagd om KV-cache fragmentatie te verminderen en native-paged decode kernels te optimaliseren, bestaat er geen enkele "beste" kernel voor alle serving-scenario's.

Specifiek bestaat er een spanning tussen:

Low-active lange context decode: Waarbij een enkele geoptimaliseerde kernel de commodity GPU's ondermaat kan gebruiken door onvoldoende parallel werk.
Gemengde sequentielengtes: Waar het plannen van veel exact-lengte lanceringen zorgt voor hoge overhead, terwijl grove gepadde batches inefficiëntie introduceren.

Het onderzoek onderzoekt of een native block-table decode engine, gecombineerd met page-aware scheduling, de serving-latentie op commodity GPU's kan verbeteren in regimes waar productiekwaliteit paged attention kernels al sterk zijn.

Methodologie

De auteurs stellen PersistentKV voor, een systeem bestaande uit een native block-table decode engine en een page-aware scheduling beleid.

1. Native Block-Table Decode Engine

PersistentKV is ontworpen voor Grouped-Query Attention (GQA), waarbij $G = H_q/H_{kv}$ query heads één KV head delen.

Layout: Het voert direct uit over native paged KV-cache layouts (block tables) zonder K,V pages te herpakken naar contigueuze tensors.
Sequentie Splitting: Om voldoende parallellisme te ontsluiten voor low-active workloads, wordt de sequentiedimensie gesplitst in $S$ disjuncte bereiken. Elke split berekent een gedeeltelijke online-softmax staat. Een aparte merge kernel combineert deze staten exact.
Row-Local Bounds: In tegenstelling tot bucketed benaderingen die gebruikmaken van gepadde lengtes, gebruikt PersistentKV werkelijke per-row sequentielengtes ( $N^*_i$ ) om tile counts en split bereiken te bepalen. Lege splits schrijven neutrale staten en verlaten de uitvoering vroegtijdig, waardoor gepadde KV-reads worden vermeden.
Compact Workqueue: Om ragged batches (verzoeken met variërende lengtes) te verwerken zonder excessieve kernel-lanceringen, emitteert de scheduler een 1D grid van taken alleen voor niet-lege row–KV-head–split intervallen. Dit voorkomt de "launch fan-out" van exact-length bucketing terwijl sequentie-parallellisme behouden blijft.

2. Calibrated Adaptive Policy

Het systeem maakt gebruik van een handmatig gekalibreerd beleid om de executieroute te selecteren op basis van batchgrootte ( $B$ ) en maximale contextlengte ( $N_{max}$ ):

$B=1$ (Lange Context): Gebruikt PersistentKV met length buckets en sequentie splitting om genoeg Compute Thread Arrays (CTAs) te ontsluiten.
$B \ge 8$ (Lange Context): Gebruikt PersistentKV met de compacte workqueue om de twee-kernel (split + merge) overhead te amortiseren.
$B=4$ (Grenswaarde): Routeert naar FlashInfer. Bij deze batchgrootte weegt de overhead van het splitsen en mergen in PersistentKV zwaarder dan de voordelen, wat leidt tot een regressie in wall-clock tijd.
Anders: Gebruikt FlashInfer.

3. Evaluatieprotocol

Hardware: NVIDIA RTX 3060 (28 SM's, 12GB VRAM).
Baselines: FlashInfer 0.2.5 (primair), vLLM, TensorRT-LLM.
Traces: Synthetische traces (Bucketed, Bimodal, Uniform, Zipf) ontworpen om contextlengte, actieve batchgrootte en lengte-raggedness te isoleren.
Metrieken: Correctheid (FP16 tolerantie tegenover FlashInfer), CUDA-event timing (gequeueerde GPU-taken) en gesynchroniseerde wall timing (end-to-end latentie inclusief host planning).

Belangrijkste Bijdragen

Native Block-Table GQA Engine: Een decode engine die sequentie-parallel werk ontsluit voor low-active long-context decode zonder KV-caches te herpakken.
Page-Aware Scheduling: Implementatie van row-local sequentielengte scheduling en een compacte workqueue die split boundaries en prefetching afstemt met werkelijke verzoeken, waardoor rechthoekige lege grids worden vermeden.
Adaptieve Methodologie: Een rigoureus evaluatiekader met kalibratie/held-out trace seeds, correctheidscontroles en scheduler-afgeleide workload counters om aan te tonen dat werktoewijzing een beslissende variabele is naast attention math.

Resultaten

Op de held-out seed (20260623) met vaste drempelwaarden afgeleid van een kalibratie-seed (20260622):

Enkele Verzoek ( $B=1$ ): PersistentKV met length buckets bereikt een 1.399× verbetering in gesynchroniseerde wall throughput over FlashInfer op bucketed long-context traces.
Hoge Batch ( $B=8$ ):
- Bimodal: 1.265× verbetering.
- Uniform: 1.082× verbetering.
- Zipf-achtig: 1.063× verbetering.
Grenswaarde Case ( $B=4$ ): De adaptieve policy selecteert correct FlashInfer, waardoor een prestatie-regressie wordt voorkomen waarbij PersistentKV anders zou onderpresteren.
Scheduling Overhead: De compacte workqueue vermindert de launch fan-out van 16.00 lanceringen/stap (exact buckets) naar 2.00 lanceringen/stap op bimodal $B=8$ traces, terwijl de merge-state traffic met ~37% wordt verminderd.

Betekenis en Claims

Het papier maakt een bescheiden, systeemgericht statement: PersistentKV identificeert een concrete systeem-niche voor adaptieve page-aware decode scheduling.

Geen Universele Kernel: De auteurs stellen expliciet dat PersistentKV niet universeel sneller is; FlashInfer blijft superieur voor kleine actieve batches waar de split-merge overhead domineert.
Werktoewijzing is Cruciaal: De resultaten demonstreren dat "werktoewijzing, en niet alleen attention math, een beslissende variabele is voor serving-systemen."
Workshop-niveau Bijdrage: Het papier positioneert zich als een workshop-niveau bijdrage die een reproduceerbare methodologie en ablaties biedt. Het benadrukt dat in low-active, long-context regimes op commodity GPU's, het splitsen van de sequentie en het gebruik van een compacte workqueue aanzienlijk beter kan presteren dan een enkele, hoog geoptimaliseerde kernel.
Toekomstige Richtingen: De auteurs merken op dat een productie-waardig systeem een geleerd kostenmodel voor drempelwaarden, integratie in een volledige serving runtime (inclusief MLP en sampling), en testen op Hopper-generatie hardware met verschillende prestatiekenmerken vereist.