Technisch Overzicht: Ablatie, Statistische Inferentie en Validatie voor KV-Cache Compressie

Probleemstelling

Transformer-inferentie op schaal wordt beperkt door geheugenbandbreedte, waarbij de toegang tot de Key-Value (KV) cache de totale geheugentrafiek domineert tijdens lang-context generatie. Hoewel kwantisatie van keys en values naar 2–4 bits per element een standaardmethode is om de cachegrootte te verkleinen, vormt het evalueren van deze compressieschema's een aanzienlijke uitdaging. Geobserveerde kwaliteitsverschillen worden vaak verward met de distributionele eigenschappen van real-world LLM-verkeer, hardware-effecten en algoritmische aannames, wat het moeilijk maakt om prestatiewinsten of -falingen toe te schrijven aan specifieke ontwerpkeuzes.

Methodologie

De auteurs introduceren een gecontroleerd evaluatiekader bestaande uit zes synthetische statistische regimes, ontworpen om specifieke structurele aannames van de compressie-pipeline (bijv. distributievorm, K/V-subruimte uitlijning, eigenwaarde-decay) te isoleren. Dit kader wordt gekoppeld aan een statistische validatiemethodologie om systematische algoritmische verschillen te onderscheiden van implementatie-geïnduceerde variantie.

Experimentele Opstelling

• Geëvalueerde Schema's: Twee primaire families van compressie worden vergeleken:
  1. TurboQuant (TQ): Een data-onafhankelijke benadering die gebruikmaakt van een gerandomiseerde Walsh-Hadamard Transformatie (WHT) om de token-energie uniform te verspreiden, gevolgd door een data-onafhankelijke Beta Lloyd-Max codeboek. Het gebruikt optioneel een 1-bit Johnson-Lindenstrauss (QJL) residu-sketch op de key (K) of value (V) paden.
  2. SpectralQuant (SQ): Een data-adaptieve benadering die een per-head eigenbasis kalibreert op basis van representatieve tokens, bits toewijst via water-filling aan dimensies met een hoge variantie, en een selectieve QJL-sketch gebruikt op de top effectieve dimensies.
• Metrieken: De studie gebruikt een 2D-foutmetriek ($d^2$) die relatieve gemiddelde kwadratische fout (relMSE) en richtingfout (cosine similarity) combineert. Er wordt ook gebruikgemaakt van isolatie-metrieken (relMSE_K, relMSE_V) en een 6D-foutgeometrie om fouten in de K-cache, V-cache en de uiteindelijke attention-output te decomponeren.
• Validatie: Om algoritmische prestaties te scheiden van implementatieruis, vergelijken de auteurs Python (oracle) en HIP/GPU (productie) implementaties met verschillende willekeurige getallengeneratoren (PCG64 vs. mt19937). De Kolmogorov-Smirnov (KS) test wordt toegepast om systematische verschillen te identificeren ten opzichte van seed-afhankelijke variantie.

Belangrijkste Bijdragen

1. Systematische Ablatie van Compressieschema's

Door middel van een volledige ablatie van acht TQ-varianten en meerdere SQ-configuraties, identificeert de studie drie niet-gedomineerde schema's:

• Scalaire Kwantisatie (Plain-KV): Zonder rotatie, effectief op isotrope data.
• TQ-KV: WHT-rotatie met Beta Lloyd-Max codeboek.
• TQ-QKV: TQ-KV uitgebreid met een 1-bit QJL residu-sketch op het key-pad.
  De studie elimineert V-pad QJL-varianten, waarmee wordt aangetoond dat het toepassen van QJL op values (die over tokens worden opgeteld) een heuristiek is die consequent de prestaties verslechtert vergeleken met K-pad correcties.

2. Statistische Validatie en Jensen's Ongelijkheid

Het papier introduceert een methodologie om codec-verschillen te scheiden van implementatieruis. Een cruciale bevinding is de identificatie van Jensen's ongelijkheid als een mechanisme voor foutversterking.

• De softmax-niet-lineariteit is convex; derhalve wordt de variantie van een zero-mean correctiefout ($\epsilon$) toegevoegd aan attention scores exponentieel versterkt ($E[\exp(s+\epsilon)] \approx \exp(s) \cdot \exp(\sigma^2/2)$).
• De K-pad QJL-correctie introduceert een dergelijke variantie. De studie toont aan dat de variantie van de Python-HIP kloof voor TQ-QKV aanzienlijk groter is dan voor TQ-KV, wat bevestigt dat het K-pad een direct signatuur is van Jensen's ongelijkheid die de score-variantie versterkt. Omgekeerd treden V-pad correcties lineair op in de output en triggeren zij deze versterking niet.

3. Regime-Specifieke Prestaties en Kalibratiesensitiviteit

• Heavy-Tailed Data: Voor data met zware staarten (bijv. Student-t distributies) falen eigenbasis-gebaseerde methoden (SQ) catastrofaal. Steekproef-covarianties worden gedestabiliseerd door uitschieters, wat leidt tot een systematisch verkeerd uitgelijnde gekalibreerde basis. Geen toename in bitbudget kan dit verlies herstellen. TQ-KV domineert in deze regimes omdat de WHT de heavy-tail uitschieters verspreidt, waardoor geprojecteerde marginalen benaderd Gaussisch worden.
• Gestructureerde Data: In low-rank, gestructureerde regimes presteert SQ beter dan TQ wanneer K en V apart op representatieve sets worden gekalibreerd. Echter, de studie vindt dat water-filling bitallocatie verwaarloosbare voordelen biedt ten opzichte van uniforme allocatie over alle geteste regimes, aangezien de eigenwaarde-ratio's binnen de effectieve subruimte zelden de drempel overschrijden die een niet-uniforme allocatie rechtvaardigt.
• Effectieve Semantische Dimensie ($d_{eff}$): Het papier karakteriseert $d_{eff}$ als zelf-kalibrerend naar het beschikbare kalibratiebudget in plaats van het herstellen van de ware data-rang. Een enkele spurieuze eigenwaarde kan leiden tot catastrofaal falen (anti-gecorreleerde output), wat een spectrale gap-criterium noodzakelijk maakt om de geschatte dimensie te snoeien.

Resultaten en Aanbevelingen

Vergelijkende Prestaties

• Budget $b=2$: Geen enkel schema domineert. SQ-varianten winnen op gestructureerde regimes (low-rank), TQ-KV wint op heavy-tailed data, en Plain-KV is competitief op isotrope data.
• Budget $b \ge 4$: TQ-KV vestigt dominantie over de meeste regimes. SQ-varianten behouden slechts een voorsprong op zeer gestructureerde regimes waar de gekalibreerde eigenbasis bits efficiënt kan concentreren, maar ze slagen er niet in te herstellen van eigenbasis-misuitlijning op heavy-tailed data.
• Opslag vs. Kwaliteit: Hoewel SQ lagere opslagkosten kan bereiken bij hogere budgetten door de mogelijkheid om tail-dimensies te negeren, wordt de "tail floor" (vaste bits voor niet-gemodelleerde dimensies) een beperkende factor. Voor lange sequenties erodeert de geaccumuleerde tail-error het semantische voordeel van SQ, waardoor TQ-KV de veiligere keuze is voor generatietaken.

Praktische Aanbevelingen

De auteurs concluderen met specifieke richtlijnen voor implementatie:

1. Gebruik TQ-KV wanneer de datadistributie onbekend, heavy-tailed of onderhevig aan distributieverschuiving is, en voor elk budget boven de 2 bits.
2. Gebruik SQU-KV (SpectralQuant met uniforme allocatie) alleen wanneer de data bekend gestructureerd is (low-rank KV-subruimte), het budget laag is (2–3 bits), de sequentielengte kort is (prefill workloads), en er aparte kalibratiesets voor K en V beschikbaar zijn.
3. Verwerp Water-Filling: Op synthetische data presteert uniforme allocatie equivalent aan water-filling.
4. Vermijd QJL op K voor Heavy Tails: De QJL score-correctie op keys versterkt de variantie via de softmax (Jensen-effect) op heavy-tailed data en moet in die regimes worden vermeden.

Betekenis

De betekenis van het papier ligt in de rigoureuze, gecontroleerde methodologie voor het evalueren van KV-cache compressie. Door structurele aannames te isoleren via synthetische regimes en statistische inferentie toe te passen om algoritmische signalen te scheiden van implementatieruis, bieden de auteurs een helder diagnostisch kader. Dit werk gaat verder dan eenvoudige nauwkeurigheidsrapportage door uit te leggen waarom methoden slagen of falen, waarbij de fundamentele beperkingen van eigenbasis-gebaseerde methoden op heavy-tailed data en het niet-monotone gedrag van effectieve dimensionaliteit onder een eindig kalibratiebudget worden onthuld. De bevindingen bieden een definitieve gids voor het selecteren van compressieschema's op basis van datakenmerken en operationele beperkingen.