Technische Samenvatting: VeriCache

Probleemstelling

De snelle uitbreiding van de contextlengten van Large Language Models (LLM) (meer dan één miljoen tokens) heeft een ernstige knelpunt gecreëerd in de inferentie-voorziening vanwege de grootte van de Key-Value (KV) cache. Dit knelpunt manifesteert zich op twee manieren:

1. Overhead binnen een verzoek: Decodestappen vereisen het lezen van de volledige KV cache uit het High Bandwidth Memory (HBM) van de GPU, wat een knelpunt in de geheugenbandbreedte creëert dat lineair schaalt met de contextlengte. Grote caches verminderen ook de batchgrootte die in het GPU-geheugen past.
2. Overhead tussen verzoeken: Het hergebruiken van vooraf berekende KV caches voor gedeelde prefixen (bijvoorbeeld systeemprompten) vereist het overdragen van grote datavolumes van opslag of via netwerken, wat vaak de latentie van verzoeken domineert.

Om dit aan te pakken, zijn talloze methoden voor KV-cachecompressie (tokenverwijdering en kwantisatie) voorgesteld. Deze methoden zijn echter inherent verliesend. Hoewel ze token-niveau-metrics (bijvoorbeeld perplexiteit, F1-score) voor korte outputs kunnen behouden, introduceren ze een systematische bias in de volgende-tokenverdeling. Naarmate de generatie vordert, hoopt deze bias zich op, waardoor de output significant afwijkt van de full-KV-basislijn. Dit leidt tot "catastrofale fouten" in toepassingen die strikte functionele correctheid vereisen, zoals codegeneratie (syntaxisfouten) en tool-aanroepen (onjuiste argumenten), waardoor traditionele compressie ongeschikt is voor deze kritieke taken.

Methodologie: VeriCache

VeriCache is een inferentiekader dat is ontworpen om de doorvoervoordelen van KV-cachecompressie te realiseren, terwijl het verliesloze outputs garandeert die identiek zijn aan full-KV-decodering. Het hergebruikt verliesende compressiemethoden als een speculatieve uitvoeringslaag in plaats van een directe voorziingsmechanisme.

Kernalgoritme

VeriCache werkt in een draft-then-verify-lus:

1. Opstellen (Drafting): Het model genereert een reeks kandidaat-tokens ($x$) met behulp van de gecomprimeerde KV cache ($KV_{comp}$). Deze stap is snel en geheugenefficiënt.
2. Verificatie: Het systeem voert een enkele forward pass uit met behulp van de volledige KV cache ($KV_{full}$) om de opgestelde tokens parallel te verifiëren.
3. Acceptatie: Tokens worden geaccepteerd tot aan de eerste mismatch. Als alle opgestelde tokens overeenkomen met de full-KV-predictie, wordt een extra "bonus"-token geaccepteerd. Het proces herhaalt zich vanaf het laatst geaccepteerde token.

Belangrijkste Systeeminnovaties

Om te voorkomen dat de verificatie- overhead de doorstroomwinsten van compressie tenietdoet, introduceert VeriCache twee kritieke ontwerpen op systeemniveau:

1. Gesteunde kruis-resources (P1)
Traditionele speculatieve decodering draait vaak in lock-step (allemaal opstellen, dan allemaal verifiëren), wat leidt tot resource-concurrentie. VeriCache maakt gebruik van het feit dat opstellen en verificatie complementaire resource-knelpunten hebben:

• Opstellen is GPU HBM-bandbreedte-gebonden (lezen van gecomprimeerde KV en gewichten).
• Verificatie is Interconnect-bandbreedte-gebonden (laden van volledige KV van CPU/opslag) en rekenkundig gebonden.
• Mechanisme: De runtime-scheduler steekt verzoeken uit zodat terwijl sommige verzoeken opstellen (met gebruik van HBM), anderen verifiëren (volledige KV laden via PCIe/netwerk). Hierdoor kan het systeem gegevensoverdracht overlappen met berekening, waardoor zowel de interconnect als de GPU HBM worden benut zonder te stagneren.

2. Uitgebreide verificatieperiode via hoge acceptatiepercentages (P2)
In tegenstelling tot traditionele speculatieve decodering, die een kleiner, ander model gebruikt als opsteller (wat leidt tot snelle distributie-afwijking en korte acceptatielengtes), gebruikt VeriCache hetzelfde doelmodel met gecomprimeerde KV.

• Omdat de modelgewichten en dominante aandachtspatronen behouden blijven, behoudt de gecomprimeerde KV-opsteller een hoog acceptatiepercentage, zelfs voor lange opstel-lengtes (bijvoorbeeld 25–40 tokens per ronde versus 2–3 voor opstellers met kleine modellen).
• Dit hoge acceptatiepercentage amortiseert de kosten van de dure full-KV-verificatie, waardoor het systeem minder frequent hoeft te verifiëren terwijl de correctheid behouden blijft.

Architectuurondersteuning

VeriCache ondersteunt twee primaire implementatiescenario's:

• Decoding met lange context: De gecomprimeerde KV bevindt zich in het GPU HBM, terwijl de volledige KV is opgeslagen in het CPU-geheugen. Verificatie houdt in dat de volledige KV van CPU naar GPU wordt geladen via de PCIe-link.
• Externe prefix-caching: De gecomprimeerde KV wordt gestreamd over een langzaam netwerkverbinding naar een externe GPU voor opstellen. De volledige KV wordt geladen via een snelle lokale link naar een lokale GPU voor verificatie. Hierdoor wordt de langzame opslagoverdracht gekoppeld aan de rekenkracht van de externe GPU.

Het kader blootstelt een uniforme compressor-interface, waardoor het kan integreren met diverse bestaande methoden voor tokenverwijdering en kwantisatie (bijvoorbeeld KVzip, KIVI, SnapKV) zonder de plannings- of verificatielogica te wijzigen.

Belangrijkste Bijdragen

1. Verliesloze inferentie met compressie: VeriCache is het eerste kader dat verliesloze LLM-inferentie mogelijk maakt met behulp van inherent verliesende KV-compressietechnieken, waarbij de outputidentiteit met full-KV-decodering wordt gewaarborgd.
2. Systeemontwerp voor verificatie-overhead: Het introduceert gesteunde kruis-resources en uitgebreide verificatieperioden om de latentie van het laden van volledige KV caches te verbergen, waardoor de doorstroomdegradatie die typisch gepaard gaat met speculatieve verificatie wordt opgelost.
3. Unificatie-interface: Het biedt een generieke interface die een breed scala aan compressiemethoden ondersteunt (zowel tokenverwijdering als kwantisatie), in tegenstelling tot eerdere systemen die specifieke compressoren hard-wiren.
4. Ondersteuning voor dubbele scenario's: Het adresseert zowel decoding met lange context (HBM-knelpunt) als externe prefix-caching (netwerk/opslag-knelpunt).

Experimentele Resultaten

Geëvalueerd op modellen waaronder Mistral-24B, Qwen-32B en Llama-70B over diverse werklasten (codegeneratie, tool-aanroepen, wiskundig redeneren):

• Doorvoer: VeriCache bereikt tot 4× hogere doorvoer dan full-KV-inferentie bij decoding met lange context en tot 2× bij externe prefix-caching.
• Correctheid: Het produceert outputs die identiek zijn aan full-KV-inferentie (onder greedy decoding), terwijl verliesende basislijnen aanzienlijke dalingen in functionele nauwkeurigheid lijden (bijvoorbeeld daalt de syntaxisvaliditeit van code tot bijna nul bij 4× compressie in basislijnen).
• Kwaliteit-doorvoer afweging: Waar verliesende basislijnen een afweging afdwingen waarbij hogere compressie leidt tot lagere kwaliteit, behoudt VeriCache de volledige kwaliteit terwijl het opereert op de doorvoerniveaus van gecomprimeerde inferentie.
• Compositie: VeriCache kan worden samengesteld met traditionele speculatieve decodering (bijvoorbeeld EAGLE), waarbij tot 4,35× ideale snelheidswinst wordt bereikt door orthogonale knelpunten aan te vallen (batchgrootte via compressie, tokensnelheid via opstellen met kleine modellen).

Betekenis

Het artikel betoogt dat de huidige dichotomie—kiezen tussen hoge-doorvoer verliesende compressie (met risico op functionele fouten) of lage-doorvoer full-KV-inferentie—onnodig is. VeriCache demonstreert dat compressie exacte berekening niet moet vervangen, maar deze juist moet versnellen. Door gebruik te maken van de hoge acceptatiepercentages van opstellen met hetzelfde model en gecomprimeerde KV, en geavanceerde resource-staggering, maakt VeriCache de implementatie van LLM's met lange context mogelijk in kritieke toepassingen (coderen, agentische workflows) zonder in te leveren op de functionele correctheid die voor deze taken vereist is.