Technische Samenvatting: Still: Amortized KV Cache Compaction in een Single Forward Pass

1. Probleemstelling

De KV-cache (Key-Value cache) is de primaire geheugenbottleneck bij het inzetten van large language models (LLM's) over lange horizonten, zoals multi-daagse coding agents of redeneren op repository-schaal. Huidige implementatiestrategieën staan voor een "alles-of-niets"-keuze:

• Verliesloze Caching: De cache groeit lineair met de contextlengte, wat uiteindelijk leidt tot het bereiken van de geheugenlimieten.
• Verlieslatende Alternatieven: Methoden zoals fine-tuning, retrieval-augmented generation (RAG) of documentsamenvattingen laten de interne representatiestructuur en getrouwheid van het model los.

Bestaande methoden voor KV-cache compressie vallen uiteen in twee categorieën, die elk significante beperkingen hebben:

1. Selectiemethoden: Deze scoren tokens en verwijderen een subset (bijv. H2O, SnapKV). Ze zijn lichtgewicht, maar structureel gebonden aan de oorspronkelijke subset van tokens, wat betekent dat ze geen nieuwe informatie kunnen synthetiseren en snel degraderen onder strikte compressiebudgetten.
2. Synthesemethoden: Deze combineren inhoud om nieuwe compacte representaties te creëren (bijv. Attention Matching, Cartridges). Hoewel expressief, vereisen ze doorgaans per-context optimalisatie (fitting) tijdens de inferentie, wat computationeel duur en onpraktisch is voor iteratieve, langdurige trajecten waar compressie herhaaldelijk moet plaatsvinden.

Het artikel identificeert een gat voor een methode die geamortiseerd is (één keer getraind, herhaaldelijk toegepast zonder per-context optimalisatie), synthetisch (in staat om informatie te mengen bovenop eenvoudige selectie) en lichtgewicht genoeg om tijdens inferentie te draaien.

2. Methodologie: Still

De auteurs introduceren Still, een geleerde primitief voor KV-cache compressie ontworpen voor bevroren pre-trained modellen.

Architectuur

Still bestaat uit een kleine, per-layer Perceiver module die getraind is tegen een bevroren basismodel.

• Input: Voor elke transformer-laag ontvangt de compactor de volledige per-laag KV-cache ($K, V$) van de prefix. De keys worden eerst "ont-geroteerd" om Rotary Position Embeddings (RoPE) te verwijderen, waardoor ze in een positievrij frame worden geplaatst.
• Latent Queries: De compactor onderhoudt een bank van $t$ geleerde latente queries ($Z$) per laag. Deze queries doen cross-attention op de volledige KV-cache.
• Verwerking: De latents gaan door pre-norm blokken die bestaan uit:
  1. Cross-Attention: Van latents naar de volledige KV-cache.
  2. Self-Attention: Tussen de latents.
  3. Feed-Forward (FFN): Optionele sublaag.
• Output: De finale latente staat wordt via lineaire heads geprojecteerd om compacte keys ($C_k$) en values ($C_v$) te produceren van grootte $t \times d$, waarbij $t \ll T$ (de oorspronkelijke sequentielengte).
• Positiebehandeling: De resulterende compacte keys worden opnieuw geroteerd op gekozen output-posities voordat ze terug naar de cache worden geschreven. Values blijven ongeroteerd.
• Bias Channel: Een optionele bias head ($\beta$) wordt ondersteund maar uitgeschakeld ($\beta=0$) in alle gerapporteerde resultaten om de implementatie te vereenvoudigen.

Training

• Doelstelling: De compactor wordt getraind met behulp van forward KL-divergentie tussen een "teacher" (het bevroren basismodel met de volledige ongecomprimeerde cache) en een "student" (hetzelfde model met de compacte cache). De loss is gemaskeerd voor enkel de answer-side tokens.
• Data: Training maakt gebruik van een vier-domeinen extractieve multiple-choice QA dataset (Financieel, Project Gutenberg, Juridisch, Code).
• Efficiëntie: De gewichten van het basismodel blijven bevroren; alleen de parameters van de compactor worden getraind. De compactor voegt ongeveer 1% toe aan het aantal parameters van het basismodel (bijv. ~50M parameters voor Qwen3-4B).

Operationele Modi

1. Single-Pass Compaction: Het model voert een volledige prefill uit om de volledige cache te genereren, die vervolgens door Still wordt gecomprimeerd. De generatie gaat verder met de compacte cache.
2. Iteratieve Chunked Compaction: Voor langdurige contexten die over tijd binnenkomen, ondersteunt Still een recurrente planning. Het model verwerkt chunks van tokens, en na elke chunk wordt de geaccumuleerde cache gecomprimeerd tot een vaste grootte. Dit stelt het systeem in staat om contexten te verwerken die de trainingshorizon ver overstijgen, mits de compactor is getraind op voldoende lange iteratieve horizonten.

3. Belangrijkste Bijdragen

• Geamortiseerde Synthese: Still toont aan dat geamortiseerde synthese (het één keer leren van een encoder) superieur is aan geamortiseerde selectie (het één keer leren van een scorer) voor lang-context compressie. Het vermijdt de "subset-gebonden" beperking van selectiemethoden en de "per-context optimalisatie" kosten van synthesemethoden.
• Single Forward Pass: In tegen tegenover per-context synthesemethoden die optimalisatiestappen vereisen voor elke nieuwe context, voert Still de compressie uit in een enkele forward pass door een geleerd module.
• Iteratieve Lang-Horizon Capaciteit: Omdat compressie een forward pass is, kan Still iteratief worden toegepast naarmate er nieuwe context arriveert, wat een lang-horizon regime mogelijk maakt dat niet beschikbaar is voor per-context fitting methoden.
• Generalisatie: De methode is overdraagbaar over model schalen (4B naar 32B), architecturen (dense en MoE), en attention mechanismen (global en sliding-window).

4. Resultaten

Het artikel evalueert Still over compressieratio's van 8× tot 200× en contextlengtes van 8k tot 128k.

• Snelheid-Kwaliteit Front: Op Qwen en Gemma modellen bezet Still de gunstige zijde van de snelheid-kwaliteit front. Het blijft accuraat en snel over de gehele matrix, terwijl selectie-gebaseerde methoden degraderen onder strikte budgetten, en per-context synthese methoden te traag zijn.
• RULER Benchmark: In matched-training settings op de RULER benchmark overtreft Still de sterkste geamortiseerde selectie baseline (KV-Distill) met 8–22 accuratesiepunten in 16 van de 18 cellen.
• Transfer Prestaties: In zero-shot transfer settings (getraind op gemengde domein MCQ, getest op RULR), behoudt Still een aanzienlijke voorsprong op KV-Distill, hoewel de marges kleiner zijn door de train-test mismatch.
• Samenvatting: Still ondersteunt vrije vorm samenvatting. Op HELMET (multi_lexsum) behoudt het 74–95% van de winst van de volledige context over 8k–64k contexten, waarmee het Attention Matching en KV-Distill overtreft. Op LongBench v1 wint het 60% van de pairwise vergelijkingen tegen KV-Distill.
• Iteratieve Compaction: Still maakt iteratieve chunked compaction mogelijk. Hoewel de prestaties degraderen als de trainingshorizon te kort is ten opzichte van de deployment horizon (bijv. een 8k-getrainde compactor die instort bij 128k), maakt training op langere iteratieve horizonten (16k, 32k) het model in staat om context vele malen zijn fysieke capaciteit te absorberen.

5. Betekenis en Claims

Het artikel claimt dat amortisatie de lang-context cache compressie hanteerbaar maakt, en dat synthese de compacte staat nuttig maakt bij extreme compressie.

• Hanteerbaarheid: Door de optimizer (de compactor) één keer te leren, vermijdt het systeem de cumulatieve fitting kosten van per-context methoden, wat iteratieve lang-horizon deployment haalbaar maakt.
• Expressiviteit: Synthese stelt de compacte cache in staat om informatie uit willekeurig veel posities te mengen, waardoor de informatie-densiteit plafond van token selectie wordt doorbroken.
• Praktische Bruikbaarheid: Still is lichtgewicht genoeg om herhaaldelijk aangeroepen te worden tijdens inferentie, wat zowel antwoordselectie als vrije vorm generatie ondersteunt zonder de gewichten van het basismodel te wijzigen.

Beperkingen erkend door de auteurs

• Niet Verliesloos: Volledige context inferentie blijft superieur in de moeilijkste 128k settings.
• Training Horizon Beperking: Iteratieve compressie is geen gratis extrapolatie; de prestaties van de compactor worden begrensd door de trainingshorizon. Het ondersteunen van 1M tokens vereist training op proportioneel langere horizonten, wat duur is.
• Exacte Retrieval: De huidige recursie is zwak op exacte retrieval en "needle-in-a-haystack" taken, zelfs wanneer het semantisch bewijs behoudt voor bredere MCQ taken.
• Geheugen vs. Latentie: In single-pass mode vermindert Still de gebehouden cache grootte, maar elimineert het de initiële full-context prefill latentie niet.
• Deployment Vereisten: Elk basis checkpoint vereist zijn eigen getrainde compactor, wat extra parameter en trainingsdata overhead toevoegt.