🤖 machine learning

CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation

CompilerKV introduceert een offline-gecompileerd KV-retentiebeleid dat gebruikmaakt van regelmaat tussen prompts om ruisgevoelige online schatting te vervangen door efficiënte $O(1)$ -opzoekingen, waarmee een state-of-the-art prestatie en superieure schaalbaarheid onder extreme geheugenbeperkingen worden bereikt in vergelijking met bestaande compressiemethoden die uitsluitend op prefill zijn gericht.

Oorspronkelijke auteurs: Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een heel lang verhaal te onthouden zodat je er later vragen over kunt beantwoorden. Je brein (het AI-model) heeft een beperkte hoeveelheid "mentale kladblok"-ruimte (de KV Cache) om de belangrijkste onderdelen van dat verhaal vast te houden terwijl het spreekt.

Als het verhaal kort is, kun je alles onthouden. Maar als het verhaal 100.000 woorden lang is, raakt je kladblok vol. Je moet sommige delen weggooien om ruimte te maken. Het probleem is: eenmaal iets weggegooid, krijg je het nooit meer terug. Als je per ongeluk het deel weggooit waar de schurk zijn geheime plan onthult, valt je hele verhaal uit elkaar.

De Oude Manier: Gissen op het Moment

Eerdere methoden probeerden te beslissen wat bewaard moest worden door naar het verhaal op dat moment te kijken, in real-time. Ze zouden zeggen: "Dit woord heeft een hoge attentiescore, dus het moet belangrijk zijn!" of "Deze zin lijkt complex, bewaar het!"

De auteurs van dit paper betogen dat dit vergelijkbaar is met het proberen een hele film te beoordelen door naar één enkel, ruisend frame te kijken. Omdat het verhaal zo lang is en de data rommelig, leidt het kijken naar slechts één prompt (één verhaal) tot slechte schattingen. Je zou een opvallend maar nutteloos woord kunnen bewaren en een rustig maar cruciaal bewijsstuk kunnen weggooien.

De Nieuwe Manier: COMPILERKV (De "Voorwedstrijdstrategie")

De auteurs introduceren COMPILERKV. In plaats van ter plekke te gissen, "compileren" ze een strategie van tevoren, zoals een coach die wedstrijdfilms bestudeert voordat de grote wedstrijd begint.

Zo werkt het, opgesplitst in drie eenvoudige stappen:

1. De "Ruisfilter" (Gestabiliseerde Nuttigheid)

Stel je voor dat je luistert naar een drukke ruimte. Sommige mensen schreeuwen (transiënte pieken), en sommige microfoons zijn gewoon luider dan andere (schaalbias).

De Oplossing: COMPILERKV luistert niet alleen naar wie het hardst schreeuwt. Het gladstrijkt de ruis en normaliseert het volume. Het vraagt zich af: "Zegt deze persoon eigenlijk iets belangrijks, of is hij gewoon luid?" Dit voorkomt dat de AI wordt misleid door tijdelijke ruis.

2. De "Specialistenkaart" (Hoofd-Heterogeniteitstabel)

Binnen de AI zitten veel verschillende "hersencellen" (zogenaamde attentiehoofden). Sommigen zijn experts in het vinden van feiten (zoals een bibliothecaris), terwijl anderen slechts kletsende ruis zijn.

De Oplossing: De auteurs bestudeerden offline duizenden verhalen en realiseerden zich: Bepaalde hersencellen zijn altijd betrouwbaar, en anderen zijn altijd ruis. Ze creëerden een permanente "Kaart van Specialisten".
De Analogie: In plaats van het hele team om een mening te vragen, weet het systeem: "Als de 'Bibliothecaris'-cel zegt dat een woord belangrijk is, bewaren we het, zelfs als de 'Kletskous'-cellen zeggen dat het afval is." Dit geeft de betrouwbare experts een "vetorecht" om cruciale informatie te redden.

3. De "Risicometer" (Risico-Adaptieve Drempel)

Niet alle verhalen zijn hetzelfde. Sommigen zijn simpel (een recept); anderen zijn complex en verwarrend (een misdaadroman).

De Oplossing: Het systeem controleert hoe "riskant" het huidige verhaal is.
- Laag Risico (Simpel verhaal): "We kunnen agressief zijn. Gooi 90% van de tekst weg; het komt wel goed."
- Hoog Risico (Verwarrend verhaal): "Dit is gevaarlijk! Wees conservatief. Bewaar 95% van de tekst voor het geval dat."
De Analogie: Het is als inpakken voor een reis. Als je weet dat het weer perfect is, pak je licht in. Als er een stormwaarschuwing is, pak je extra spullen in. COMPILERKV past automatisch aan hoeveel het bewaart, afhankelijk van hoe "stormachtig" de huidige prompt is.

Waarom Dit Een Grote Zaken Is

Het paper beweert dat door deze "voorwedstrijdstudie" (offline compilatie) in plaats van "gissen op het moment" (online heuristieken) te doen, ze veel betere resultaten behalen:

Het is Portabel: De "Kaart van Specialisten" die ze hebben gemaakt, werkt over verschillende AI-modellen heen. Het is als een universeel reglement dat van toepassing is op verschillende soorten hersenen.
Het Bespaart Geheugen: Ze kunnen de AI draaiende houden met een miniem geheugenbudget (slechts 1,5% van de originele tekst) terwijl ze toch vragen correct beantwoorden.
Het Hanteert Lange Dingen: Bij tests met enorme contexten (tot 128.000 woorden) bleef COMPILERKV sterk terwijl andere methoden instortten. Bijvoorbeeld, bij een "Naaald in een Hooiberg"-test (het vinden van één specifiek feit in een enorme tekst), vond COMPILERKV de naald in 89% van de gevallen, terwijl de volgende beste methode dit slechts in 42% van de gevallen deed.

De Conclusie

COMPILERKV stopt met proberen perfecte beslissingen te nemen in een splitseconde. In plaats daarvan gebruikt het een voorberekende, risicobewuste strategie om te beslissen wat bewaard moet worden. Het is het verschil tussen een gokker die een wilde weddenschap sluit en een schaakgrootmeester die de beste zetten al heeft berekend op basis van jarenlange ervaring. Het resultaat is een AI die enorme hoeveelheden tekst kan onthouden zonder het geheugen op te maken of de belangrijke onderdelen te vergeten.

Technische Samenvatting: COMPILERKV

1. Probleemstelling

Grote Taalmodellen (LLM's) kampen met een geheugenflesnek door de lineaire groei van de Key-Value (KV) cache met de contextlengte. Prefill-only KV-compressie is naar voren gekomen als een implementatievriendelijke oplossing, waarbij een subset van tokens aan het einde van de prefill-fase wordt geselecteerd en voor de duur van de volledige decoding-pas wordt bevroren. Deze aanpak zet runtime-geheugengebruik om in een vaste kost met zero interventie tijdens de decoding.

Echter, het artikel identificeert een fundamentele statistische mismatch in bestaande prefill-only methoden (zoals SnapKV, PyramidKV, HeadKV). Deze methoden proberen correctieve signalen te schatten—specifiek per-head betrouwbaarheid (welke attention heads kritiek zijn voor retrieval) en prompt-level compressiegevoeligheid (hoeveel een specifieke prompt gecomprimeerd kan worden)—online, met behulp van statistieken van een enkele, ruisende prompt. De auteurs betogen dat dit de verkeerde statistische eenheid is:

E1 (Single-prompt ruis): Per-prompt attention scores zijn heavy-tailed en vertonen schaalbias; grote magnitudes garanderen geen semantisch belang, en kleine schattingsfouten veroorzaken onomkeerbare selectiefouten.
E2 (Head heterogeniteit): Attention heads zijn functioneel gespecialiseerd. Sommige zijn "retrieval-critisch", terwijl andere consequent ruisend zijn. Naïeve aggregatie laat ruisende heads scores domineren.
E3 (Prompt-level risicovariantie): Verschillende prompts hebben verschillende compressielimieten. Een vaste retentieregel faalt bij prompts met hoge entropie of hoge perplexiteit, wat leidt tot catastrofale informatieverlies.

Bestaande methoden schatten deze signalen opnieuw online in voor elke prompt, en falen hierbij om te benutten dat deze signalen een hoge cross-prompt regulariteit vertonen in plaats van stabiliteit binnen een prompt.

2. Methodologie: COMPILERKV

De auteurs stellen COMPILERKV voor, een KV-retentiebeleid dat correctietabellen offline compileert vanuit een kalibratiecorpus, in plaats van ze online te schatten. De kerninzicht is dat head-betrouwbaarheidsrangslijsten en de mapping van risicofuncties naar veilige drempels stabiele architecturale priors zijn die eenmaal geleerd en hergebruikt kunnen worden.

Het framework bestaat uit drie gekoppelde componenten die opereren tijdens de prefill-fase:

A. Gestabiliseerde Token Utility (Adressering E1)

Om transiënte attention pieken en inter-head schaalbias te verwijderen zonder te leren, berekent de methode een parameterloze utility-score:

Window-geaggregeerde attention: Verzacht transiënte pieken door attention te aggregeren over een observatiewindow $\Omega$ aan het einde van de prompt.
Head-relatieve normalisatie: Normaliseert tokenscores door de gemiddelde waardenorm van de head, waardoor schaalbias wordt verwijderd.
Formule: $u^{(l,h)}_t = \alpha_t \cdot \rho^{(l,h)}_t$ , waarbij $\alpha_t$ de window-massa is en $\rho$ de genormaliseerde waardenorm.

B. Head Heterogeniteitstabel (Adressering E2)

In plaats van alle heads gelijk te behandelen of online belang opnieuw te schatten, compileert COMPILERKV een bevroren tabel $W_{head}[l, h]$ van continue betrouwbaarheidsweights.

Offline Compilation: Geleerd via Conservative Q-Learning (CQL) op een kalibratiecorpus. De staat is $(l, h, B_l)$ , en de actie is een gediscretiseerde betrouwbaarheidsweight.
Mechanisme: Tijdens inferentie wordt de utility van een token herschaald door de betrouwbaarheid van zijn head. Cruciaal gebruikt de aggregatie weighted max-pooling ( $\hat{u}^{(l)}_t = \max_h (u^{(l,h)}_t \cdot W_{head}[l, h])$ ). Dit geeft "vetorecht" aan retrieval-critische heads: als een enkele kritieke head sterk attendeert op een token, wordt deze behouden, ongeacht consensus van ruisende heads.

C. Risico-Adaptieve Drempelgate (Adressering E3)

Om prompts met variërende compressielimieten te hanteren, mapt een Risk-Adaptive Threshold Gate prompt-level risicofuncties naar een retentiedrempel.

Risicosignalen: Gebruikt Attention Entropy (structureel risico) en Local Perplexity (semantisch risico) berekend over het observatiewindow.
Offline Compilation: Een lookup-tabel (LUT) mapt gediscretiseerde risicobins $(b_{ent}, b_{ppl})$ naar een retentiedrempel $\tau^{(l)}$ . Dit wordt eveneens gecompileerd via CQL.
Conservatieve Bias: Het CQL-doel straft agressieve drempels af op zeldzame, hoog-risico staten (hoge entropie/perplexiteit), wat de tabel bevooroordeelt naar veiligere retentie waar online heuristieken typisch falen.
Elastische Selectie: De definitieve selectie behoudt alle tokens met een utility boven de drempel $\tau^{(l)}$ . Als de kandidaatset de budget $B_l$ overschrijdt, wordt deze afgekapt tot de top- $B_l$ tokens. Als deze eronder ligt, worden alle kandidaten behouden (elastische onder-retentie).

D. Theoretische Onderbouwing

Het artikel biedt een formele analyse die aantoont dat de benaderingsfout wordt gecontroleerd door de weggegooide staartmassa (Propositie 4.1). Het betoogt dat de kalibratiefout van een eindige tabel wordt gecontroleerd op prompt-niveau (over onafhankelijke prompts) in plaats van onafhankelijkheid aan te nemen binnen attention-rijen van een enkele prompt, waardoor de variantie wordt verminderd.

3. Belangrijkste Bijdragen

Herformulering van het Probleem: Identificeert dat de statistische eenheid voor correctie in prefill-only compressie de cross-prompt schaal moet zijn, en niet de enkele prompt.
Offline Compilation: Introduceert een methode om head-betrouwbaarheid en risico-adaptieve drempels offline te compileren, waardoor ze worden omgezet in draagbare architecturale priors.
Gekoppeld Beleid: Stelt een gezamenlijke optimalisatie voor waarbij head-betrouwbaarheidsweights en risicodrempels worden gekalibreerd tegen dezelfde downstream-beloning, in plaats van onafhankelijke modules te zijn.
Portabiliteit: Demonstreert dat gecompileerde tabellen overdragen naar disjuncte corpus en zelfs naar verschillende model-families (bijv. LLaMA naar Mistral) met minimale prestatiedegradeatie.

4. Experimentele Resultaten

De methode werd geëvalueerd op vier 7B–8B backbones (LLaMA-3, Mistral, Qwen2, InternLM) over LongBench, RULER en Needle-in-a-Haystack (NIAH) benchmarks.

LongBench (512-token budget): COMPILERKV bereikt compressed-SOTA op alle vier de backbones, en presteert gemiddeld +1,67 punten beter dan de sterkste baseline (bijv. ChunkKV, HeadKV) (95% CI [+1,08, +2,37]). Op sommige backbones overtreft het lichtelijk de FullKV-prestaties, wat de auteurs toeschrijven aan denoising in plaats van informatiewinst.
Drukregimes:
- RULER (128k context): Onder een vaste 512/32k cache-ratio behoudt COMPILERKV een score van ~~73, wat significant beter is dan SnapKV (~~38) en KVZip (~~66,5), terwijl het onder FullKV blijft (~~79).
- NIAH (32k): Bereikt 0,89 nauwkeurigheid versus 0,42 voor SnapKV.
- Batching: Bij 32k input met een batchgrootte van 16 blijft COMPILERKV haalbaar, terwijl FullKV uit het geheugen loopt (OOM).
Overdraagbaarheid:
- Cross-Corpus: Head-betrouwbaarheidsrangslijsten tonen een hoge Spearman-correlatie ( $\bar{\rho} \approx 0,90$ ) over disjuncte kalibratiecorpora.
- Cross-Model: Directe tabel-overdracht tussen modellen (bijv. LLaMA-3 naar Mistral) leidt tot een verlies van slechts 0,4–0,8 LongBench-punten vergeleken met doel-specifieke compilatie.
Efficiëntie: De online overhead is minimaal: $O(1)$ tabel-opzoeking per laag en een enkele sortering over de kandidaat-pool. Het bereikt tot 2,45× decoding-throughput vergeleken met FullKV bij 32k context.

5. Betekenis en Claims

Het artikel claimt dat COMPILERKV de kloof naar FullKV bij vaste budgetten sluit door de statistische mismatch te corrigeren in hoe retentiebeleid wordt berekend. Door de berekening van correctieve signalen te verschuiven van een online, ruisende, single-prompt schatting naar een offline, gecompileerde, cross-prompt prior, stabiliseert de methode het selectieproces tegen ruis en heterogeniteit.

De auteurs benadrukken dat de noviteit niet merely "head awareness" is (wat eerdere methoden zoals HeadKV bezitten), maar de gezamenlijke offline compilatie van continue head-betrouwbaarheid en prompt-risico drempels. Dit transformeert head-betrouwbaarheid van een tuning-truc naar een herbruikbaar wetenschappelijk object dat eenmaal kan worden gecompileerd en ingezet over modellen en contexten met $O(1)$ online overhead. Het werk suggereert dat voor prefill-only compressie de "juiste" signalen architecturale eigenschappen van het model zijn, en geen transiënte kenmerken van de input-prompt.