Technisch Overzicht: Tamarin (HSQ) – Reversibele Hiërarchische KV-Cache Compressie

1. Het Probleem

In autoregressieve Large Language Model (LLM) inferentie is de Key-Value (KV) cache de dominante verbruiker van GPU-geheugen, vooral in scenario's met lange context. In tegenstelling tot modelgewichten, die een eenmalig gekwantiseerd kunnen worden, groeit de KV-cache lineair met de contextlengte. Bijvoorbeeld, een Qwen3-8B model in fp16 vereist ongeveer 4,5 GiB VRAM voor een 32K token context, wat vaak de capaciteit van standaard GPU's overschrijdt.

Bestaande oplossingen kampen met een dichotomie en een gedeeld blinde vlek:

• KV Kwantisatie: Comprimeert alle entries naar een lage precisie (2–4 bits). Hoewel dit veilig is, is de compressieratio begrensd (meestal ~4× ten opzichte van fp16) en kan de kwaliteit verslechteren bij lagere bit-breedtes.
• Token Evictie/Merging: Methoden zoals StreamingLLM, H2O en SnapKV verwijderen of fuseren permanent tokens die tijdens de prefill-fase als onbelangrijk worden beschouwd. Deze methoden bereiken hoge compressieratio's, maar zijn irreversibel. Als een vroeg geëvictieerd token cruciaal wordt voor een query gegenereerd tijdens een latere decoding-stap, is de informatie verloren.

De kernbeperking van eerder werk is dat token-belang een functie is van de toekomstige query, en methoden op basis van evictie moeten de belangrijkheid op het moment van compressie voorspellen zonder het voordeel van die toekomstige context te hebben.

2. Methodologie: Tamarin (HSQ)

Tamarin (Hierarchical Semantic Quantization, of HSQ) herformuleert KV-cache compressie als een indexeringsprobleem in plaats van een verwijderingsprobleem. Het onderhoudt drie gesynchroniseerde representaties van de context, waardoor elke gecomprimeerde token adresseerbaar en herstelbaar blijft.

De Drie-Tier Architectuur

1. L1 (Focal Tier, GPU): Een kleine, niet-gesamendeerde set tokens opgeslagen als 4-bit gekwantiseerde vectoren. Dit omvat attention sinks, een optioneel recent venster, en tokens die expliciet als belangrijk zijn gemarkeerd door een geleerde reader.
2. L2 (Summary Tier, GPU): De resterende tokens worden gepartitioneerd in groepen (grootte $N \in \{8, 16\}$). Elke groep wordt gecomprimeerd tot twee geleerde representatieve vectoren ($\hat{k}, \hat{v}$) opgeslagen met 3-bit precisie. Cruciaal is dat deze vectoren fungeren als routing keys, niet als inhoudelijke vervangingen.
3. L3 (Archive Tier, CPU RAM): De originele (gekwantiseerde) keys en values voor elke gecomprimeerde token worden opgeslagen in CPU RAM met 4-bit precisie. Dit dient als de bron van waarheid voor de inhoud.

Het Decode Proces

Tijdens decoding werkt het proces als een reversibele index-lookup:

1. Routing: Een per-head router scoort de L2 summary keys tegen de huidige query.
2. Fetching: Op basis van een routing budget ($\beta$) selecteert de router de best scorende groepen. Het systeem haalt de bijbehorende originele tokens uit de L3 CPU-archieven, dekwantiseert ze op de GPU en roteert ze naar hun semantische posities.
3. Attention: Het attention-mechanisme draait over de unie van L1-tokens, L2-summaries en de herstelde L3-originalen. L2-summaries worden gemaskeerd voor groepen waar de originalen zijn opgehaald om dubbeltellingen te voorkomen.

Belangrijke Technische Componenten

• Reader: Een kleine MLP die de belangrijkheid van tokens scoort op basis van vroege decoder hidden states. Het stuurt tokens naar L1, L2 (medium groepen), of L2 (lage groepen).
• Compressor: Een Perceiver-stijl cross-attention pooler die de 3-bit routing keys genereert. Het is getraind om groepen effectief te ranken onder de model's query projecties, niet om inhoud te reconstrueren.
• Kwantisatie (TurboQuant): Gebruikt gerandomiseerde scalaire kwantisatie met een vaste willekeurige orthonormale rotatie om coördinaten te decorreleren. L1 en L3 gebruiken 4-bit precisie; L2 gebruikt 3-bit precisie.
• Implementatie: Geïmplementeerd als een ~9K regels tellende Python-bibliotheek bovenop HuggingFace Transformers, zonder dat er aangepaste CUDA-kernels of wijzigingen aan modelgewichten nodig zijn.

3. Belangrijkste Bijdragen

• Architectuur: Een drielaagse reversibele hiërarchie die routing (L2) scheidt van inhoud (L3), wat hoge compressieratio's mogelijk maakt zonder permanent informatieverlies.
• Validatiemethodologie: Een rigoureus statistisch kader gebruikmakend van gepaarde trials ($n=500$ per cel), exacte McNemar-testen, TOST (Two One-Sided Tests) voor equivalentie in binaire retrieval, en eenzijdigige non-inferiority marges voor perplexiteit.
• Bevindingen over Schaling: De methode laat zien dat de kwaliteitskosten afnemen naarmate de modelgrootte toeneemt, en het kan vrij worden gecombineerd met 4-bit gewichtskwantisatie voor modellen $\ge$ 4B parameters.
• Open Source: Release van het bèta HSQ-pakket onder Apache 2.0, inclusief model adapters en evaluatie-harnesses.

4. Resultaten

Geëvalueerd op de Qwen3-familie (0.6B–14B) met fp16, int8 en int4 gewichten, en contexten tot 32K:

• Compressieratio: Tamarin vermindert de GPU-residentie van de KV-cache met 12–28× (bijv. Qwen3-8B bij 32K daalt van 4,5 GiB naar 172 MiB op de GPU, met 2,29 GiB op de CPU).
• Retrieval Prestaties:
  • Op 4B en 8B modellen is de retrieval statistisch equivalent aan de ongecomprimeerde baseline (TOST equivalentie) over alle dieptes.
  • Bij een 32K context bereikt Qwen3-8B-int4 een 500/500 needle retrieval pariteit met nul discordante paren.
• Perplexity (PPL) Overhead:
  • Voor 4B–14B modellen is de PPL overhead minimaal (0,1–0,4%).
  • Op 4B modellen werd de meertalige perplexiteit gemeten onder de baseline (ratio 0,9972), wat suggereert dat de compressiekosten onder de meetvloer liggen.
  • Kleine modellen (0.6B) brengen hogere kosten met zich mee (4–6% in fp16, 6–10% in int4).
• Token Agreement: De greedy token-level agreement is 96–97% met de baseline voor 4B–14B modellen.
• Snelheid:
  • De prefill overhead amorteert bij langere contexten (1,2–1,3× bij 32K).
  • De decode throughput is momenteel een bottleneck; het draait op 40–73% van de baseline voor contexten tot 8K, en daalt naar 17–18% bij 32K vanwege de kosten van het ophalen en dekwantiseren van de CPU.

5. Claims en Betekenis

Het artikel claimt dat Tamarin succesvol het paradigma van KV-cache beheer heeft verschoven van verwijdering naar indexering. Door de beslissing over welke tokens "belangrijk" zijn uit te stellen tot de query-tijd (via de router), vermijdt het systeem de irreversibiliteit van evictie-methoden.

Specifieke Claims:

• Capaciteit boven Latentie: Tamarin wordt gepresenteerd als een oplossing om grotere contexten en batch-groottes in beperkt GPU-geheugen te passen, niet om de latentie te verlagen.
• Reversibiliteit: Elke gecomprimeerde token is adresseerbaar; het systeem verwerpt informatie niet permanent.
• Model Schaling: De methode wordt effectiever naarmate de modelcapaciteit toeneemt, waarbij 4B en 8B modellen bijna perfecte equivalentie vertonen met de baselines.
• Compositie: Het werkt naadloos samen met 4-bit gewichtskwantisatie voor modellen van ten minste 4B parameters zonder meetbare extra kosten.

Expliciete Beperkingen en Grenzen:

• Kleine Modellen: Modellen onder de 4B parameters (specifiek 0.6B) lijden onder ruis-stapeling, wat leidt tot hogere PPL overhead.
• Fragiele Checkpoints: De Qwen3-14B-int4 checkpoint vertoonde smalle "gaten" in single-needle retrieval op specifieke dieptes, toegeschreven aan kwantisatie-fragiliteit in plaats van de methode zelf.
• Modelfamilies: De methode is statistisch gevalideerd op Qwen3. Een initiële test op Mistral-7B toonde een "familie-effect" met gedegradeerde prestaties, wat waarschijnlijk wordt veroorzaakt door de afwezigheid van per-head key normalisatie.
• Throughput: De huidige implementatie ruilt decode-snelheid in voor geheugencapaciteit, met significante throughput-penalties bij zeer lange contexten (3K).

Het artikel concludeert dat Tamarin een praktisch, reversibel pad biedt voor long-context inferentie op consumenten- en datacenter-GPU's, mits de gebruiker de huidige trade-off van verminderde decode-throughput accepteert voor enorme geheugenbesparingen.