Technische Samenvatting: SPECTRA

Probleemstelling

In het tijdperk van agentische Large Language Models (LLM's) wordt inferentie steeds meer gedomineerd door langere contexten, variërend van volledige codebases tot meerzaalgesprekken. Naarmate de contextlengte groeit, wordt de Key-Value (KV) cache—de actieve opslag van attention-keys en -values—de primaire flessenhals, die vaak de omvang van de modelgewichten zelf overstijgt. Deze cache moet in snel geheugen worden opgeslagen en bij elke generatiestap opnieuw worden uitgelezen, wat zowel de maximale contextlengte als de batchgrootte die een GPU kan ondersteunen, beperkt.

Bestaande compressiemethoden vallen over het algemeen in drie categorieën: token-evictie (het weggooien van onbelangrijke tokens), low-rank projectie (het verminderen van dimensionaliteit) en kwantisatie (het verlagen van precisie). Hoewel kwantisatie breed wordt toegepast, stuit het op een "2-bit cliff" waarbij de prestaties scherp verslechteren. Bij 2 bits per waarde (vier niveaus) kan het beperkte dynamische bereik de outlier-rijke distributie van de cache niet accommoderen; grote waarden verbruiken de beschikbare niveaus, waardoor kleinere, kritieke waarden in ruis veranderen. Bovendien past standaard kwantisatie een uniforme bitbreedte toe over alle kanalen, waarbij voorbij wordt gegaan aan het feit dat de ruwe KV-cachekanalen sterk gecorreleerd zijn, wat het moeilijk maakt om te identificeren welke specifieke kanalen de meeste informatie dragen.

Methodologie: SPECTRA

De auteurs stellen SPECTRA voor, een training-vrije, drop-in codec die KV-cachecompressie herformuleert als een rate-distortion probleem. In plaats van vooraf een budget vast te leggen (bijv. een specifieke rang of bitbreedte), verdeelt SPECTRA bits dynamisch over de delen van de cache die er het meest toe doen. De methode rust op drie kernobservaties afgeleid van het proberen van getrainde LLM's:

1. Concentratie in de Juiste Basis: In de ruwe kanaalbasis zijn de KV-cachekanalen sterk gecorreleerd. Echter, wanneer ze geroteerd worden naar een basis berekend uit de eigen statistieken van de cache (specifiek de activatie-Gram-matrix), worden de kanalen ongecorreleerd en concentreert de energie zich scherp: een klein deel van de kanalen draagt het grootste deel van het signaal.
2. Belangrijkheid-Gewogen Allocatie: Het toewijzen van bits op basis van kanaalbelang (energie) presteert aanzienlijk beter dan uniforme precisie, met name in het sub-2-bit regime. Kanalen met nul bits worden effectief gedropt, waardoor kwantisatie en rangvermindering worden verenigd in één enkel controlemechanisme.
3. Activatie-Gewogen Belangrijkheid: De belangrijkheid van een kanaal wordt bepaald door hoe sterk de input-activaties het aanstuurt, en niet enkel door de magnitude van de projectiegewichten. Daarom moet de transformatie gewogen worden door activatiestatistieken ($G = E[h^\top h]$) in plaats van enkel door gewichtsmatrices.

De SPECTRA Pipeline

SPECTRA implementeert deze observaties via een proces van drie stadia:

1. G-Gewogen Transformatie (Latente Caching):
   De methode factoriseert de key- en value-projecties ($W_K, W_V$) met behulp van een Singular Value Decomposition (SVD) die gewogen is door de activatie-Gram-matrix $G$. Door de gewichten te "whiteneren" met $G^{1/2}$, vindt de methode een low-rank factorisatie die de fout minimaliseert binnen de metriek van de werkelijke activaties die door het model worden geproduceerd, in plaats van in de ruwe gewichtsruimte. Dit levert een compacte, op energie geordende latente representatie ($C$) op waarbij de coördinaten orthogonaal zijn en gesorteerd zijn op variantie.

   • Verfijning: Een gesloten vorm, training-vrije correctie wordt toegepast op de output-projectie ($W_O$) om de gestructureerde residu te compenseren die door de low-rank truncatie wordt geïntroduceerd.

2. Rate-Distortion Kwantisatie (Water-Filling):
   Zodra de cache in deze energie-geordende latente ruimte is getransformeerd, past SPECTRA een "reverse water-filling" algoritme toe om bits toe te wijzen. Op basis van de gemeten marginale varianties van de latente coördinaten, wijst het algoritme meer bits toe aan kanalen met een hoge variantie (hoge energie) en minder (tot aan nul) aan kanalen met een lage variantie.

   • Groepering: Om een append-only cachestructuur te behouden die geschikt is voor streaming inferentie, worden aangrenzende coördinaten gegroepeerd om een enkele bitbreedte te delen.

3. Systeemintegratie:
   De transformatiematrices ($W_{down}, W_{up}$) en de $W_O$-correctie worden teruggevoegd naar de modelgewichten, waardoor SPECTRA een drop-in vervanging is die geen finetuning vereist. Tijdens inferentie worden tokens down-geprojecteerd, per token gekwantiseerd en toegevoegd aan de latente cache. De volledige keys en values worden on-the-fly gereconstrueerd voor standaard attention.

Belangrijkste Bijdragen

• Verenigd Zicht op Compressie: Het artikel herkadert KV-cachecompressie als een enkel probleem van het besteden van een vast bitbudget over kanalen, waarbij low-rank projectie (het droppen van kanalen) en kwantisatie (het verminderen van bits) worden verenigd als twee uiteinden van hetzelfde controle-spectrum.
• Activatie-Gewogen Transformatie: Het identificeert dat het minimaliseren van de reconstructiefout in de metriek van de modelactivaties (via een $G$-gewogen transformatie) superieur is aan factorisatie in de gewichtsruimte, wat een latent oplevert dat zowel second-moment-orthogonaal als energie-geordend is.
• SPECTRA Codec: Een praktische, training-vrije implementatie die het bitbudget concentreert op signal-dragende kanalen, waardoor bruikbare compressie voorbij de 2-bit cliff wordt gepusht.

Experimentele Resultaten

De auteurs evalueerden SPECTRA op Llama-3.1-8B, Mistral-7B en Qwen2.5-7B met behulp van de LongBench en RULR (Needle-in-a-Haystack) benchmarks.

• Prestaties vs. Compressie:
  • Bij 4x compressie is SPECTRA bijna verliesloos, waarbij het de prestaties van het dense (fp16) model evenaart of overtreft en baselines zoals KIVI, OTT en PolarQuant overtreft.
  • Bij 8x compressie, waar uniforme kwantisatiemethoden instorten (sterk onder de dense baseline zakken), blijft SPECTRA competitief. Voor Llama-3.1-8B behaalt SPECTRA een gemiddelde LongBench-score van 51.89 bij 8.84x compressie, terwijl baselines zoals TurboQuant en RotateKV respectievelijk naar ~47 en ~46 zakken.
  • SPECTRA blijft bruikbaar tot 12x compressie (bijv. een score van 48.81 bij 11.12x voor Llama), een regime waarin andere methoden volledig falen.
• Geheugencapaciteit:
  • Op een H200 GPU met 24GB geheugen ondersteunt een dense Llama-3.1-8B model een context van ~65k tokens. SPECTRA bij 12x compressie breidt dit uit naar 793k tokens, wat de contextcapaciteit effectief met meer dan 12x vergroot zonder de hardware te veranderen.
• Retrieval:
  • In Needle-in-a-Haystack taken behoudt SPECTRA een bijna perfecte retrieval-accuratesse tot 12x compressie, terwijl 2-bit baselines bij lange contexten scherp degraderen.

Betekenis en Claims

Het artikel claimt dat de primaire hefboom voor KV-cachecompressie niet enkel is hoe fijn men kwantiseert, maar wat men opslaat. Door de cache te roteren naar een coördinatensysteem afgeleid van de eigen statistieken van het model, onthult SPECTRA dat de informatie sterk geconcentreerd is. Dit stelt de methode in staat om bits te besteden waar ze het meest nodig zijn, waardoor de "2-bit cliff" die uniforme kwantisatie teistert, effectief wordt omzeild.

De auteurs benadrukken dat SPECTRA een training-vrije, drop-in oplossing is die geen pretraining, finetuning of architecturale wijzigingen vereist. Hoewel de huidige implementatie zich richt op geheugenbesparing (het on-the-fly reconstrueren van keys/values), merkt het artikel op dat de latente-ruimte structuur theoretisch een pad opent naar rekenkrachtbesparing via directe latent-ruimte attention, wat als toekomstig werk wordt beschouwd. De kernbijdrage is het aantonen dat het pushen van compressie voorbij de 2-bit cliff mogelijk is door de cache te behandelen als een signaal dat gecodeerd moet worden via transformatie-codering principes, in plaats van als een tensor die uniform ingekort moet worden.