🤖 machine learning

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

OSCAR is een inzetbare 2-bits KV-cache-quantisatiemethode die gebruikmaakt van offline spectrale covariantieschatting om attentie-gealigneerde rotaties en afsnijdrempels af te leiden, waardoor bijna verliesvrije nauwkeurigheid op redeneringstaken met lange context mogelijk wordt terwijl het geheugengebruik aanzienlijk wordt verminderd en de doorvoersnelheid bij inferentie in moderne LLM-bedieningskaders wordt verbeterd.

Oorspronkelijke auteurs: Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Geheugenhoarder"

Stel je een groot taalmodel (LLM) voor als een briljante maar vergeetachtige bibliothecaris. Wanneer je een lange vraag stelt, moet het een lopende lijst bijhouden van alles wat je tot nu toe hebt gezegd (de "KV Cache") om de context te begrijpen.

Naarmate het gesprek langer wordt (tot wel 32.000 woorden of meer), wordt deze lijst enorm. Om deze op te slaan, heeft de bibliothecaris een enorme hoeveelheid dure geheugen nodig (zoals een gigantisch, supersnel magazijn). Als het magazijn vol raakt, moet de bibliothecaris stoppen met werken of drastisch vertragen.

Het doel van dit artikel is om dat magazijn 8 keer kleiner te maken zonder dat de bibliothecaris iets belangrijks vergeet. Ze willen de notities comprimeren van "high-definition" (BF16) naar de grootte van een "kleine schets" (2-bit).

De Oude Manier: De "Hadamard Shuffle"

Voorheen probeerden onderzoekers deze notities te verkleinen door simpelweg de woorden door elkaar te husselen. Ze gebruikten een wiskundige truc genaamd een Hadamard-rotatie.

De Analogie: Stel je een rommelige kamer voor met een paar gigantische, onhandige banken (uitbijters) en veel kleine stoeltjes. Je kunt ze niet allemaal in een klein doosje krijgen. De oude methode was om een gigantische mixer te nemen en de kamer te laten draaien. Hierdoor worden de gigantische banken uitgespreid zodat ze eruitzien als een paar iets grotere stoeltjes, wat het makkelijker maakt om ze in te pakken.
De Tekortkoming: Dit husselen is "blind". Het weet niet welke delen van de kamer eigenlijk belangrijk zijn voor het werk van de bibliothecaris. Wanneer je alles comprimeert tot een kleine 2-bit schets, vervagen door dit blinde husselen per ongeluk de meest kritieke details, waardoor de bibliothecaris begint te hallucineren of verkeerde antwoorden geeft. Het is alsof je probeert een delicate vaas en een rots samen in te pakken; als je de doos gewoon schudt, breekt de vaas.

De Nieuwe Oplossing: OSCAR (De "Slimme Architect")

De auteurs stellen OSCAR voor (Offline Spectral Covariance-Aware Rotation). In plaats van de kamer blindelings te schudden, treedt OSCAR op als een slimme architect die precies bestudeert hoe de bibliothecaris werkt voordat er wordt ingepakt.

1. De "Offline Kalibratie" (De Studie-fase)

Voordat de bibliothecaris klanten gaat bedienen, neemt OSCAR een kleine steekproef van gesprekken en vraagt: "Welke delen van het geheugen gebruikt de bibliothecaris eigenlijk om beslissingen te nemen?"

De Analogie: Stel je voor dat de bibliothecaris een boek moet kiezen op basis van een specifieke vraag. OSCAR merkt op dat de bibliothecaris diep bezorgd is om de kleur van de kaft (de "Query"), maar niet veel om de dikte van de pagina's (de "Value").
Het Resultaat: OSCAR maakt een aangepaste kaart (een rotatiematrix) die het geheugenopslag afstemt op deze specifieke behoeften. Het zorgt ervoor dat de delen waar de bibliothecaris het meest om geeft, met hoge precisie worden bewaard, terwijl de minder belangrijke delen agressiever worden gecomprimeerd.

2. De "Slimme Inpakking" (De Rotatie)

OSCAR gebruikt deze kaart om de data te roteren naar een vorm die perfect is voor compressie.

De Analogie: In plaats van de kamer willekeurig te laten draaien, herschikt OSCAR de meubels zodat alle fragiele items op een manier zijn uitgelijnd die perfect in het kleine doosje past. Het scheidt de "belangrijke richtingen" van het "ruis".
De Magie: Hierdoor kunnen ze de data comprimeren tot 2 bits (extreem klein) en toch de nauwkeurigheid van de bibliothecaris bijna identiek houden aan de originele high-definition versie.

3. Het "Hybride Magazijn" (Het Systeem)

OSCAR comprimeert niet alles tegelijk. Het gebruikt een slim hybride systeem:

De "Sink" en "Recent" Tokens: De aller eerste paar woorden (het begin van het verhaal) en de allerlaatste paar woorden (wat je net hebt gezegd) worden in high-definition bewaard. Dit zijn de meest kritieke ankers.
De "History" Tokens: Het middelste deel van het gesprek (de lange geschiedenis) is het deel dat wordt gecomprimeerd tot de kleine 2-bit schets met behulp van de slimme OSCAR-rotatie.

Waarom Dit Belangrijk Is (De Resultaten)

Het artikel testte dit op enkele van de slimste beschikbare AI-modellen (zoals Qwen en GLM) met zeer lange contexten.

Nauwkeurigheid: Toen andere methoden probeerden te comprimeren naar 2 bits, vergeten de modellen in feite hoe ze moesten denken (de nauwkeurigheid daalde tot bijna nul). OSCAR hield de modellen bijna net zo slim als de originele high-definition versie.
Snelheid & Geheugen: Omdat de data 8 keer kleiner is, past er 8 keer meer gesprekken in het magazijn. Dit betekent dat het systeem 7 keer meer gebruikers tegelijk kan afhandelen zonder dat het geheugen opraakt.
Klaar voor de Wereld: De auteurs hebben niet alleen een theorie geschreven; ze hebben een werkend systeem gebouwd dat past in moderne AI-servers (SGLang en vLLM). Het is alsof ze niet alleen een betere doos hebben ontworpen, maar een nieuwe vrachtwagen hebben gebouwd die die doos gebruikt en sneller rijdt.

Samenvatting

OSCAR is een methode die AI-modellen verhindert om te "vergeten" wanneer ze proberen geheugen te besparen. In plaats van data blindelings te knijpen, bestudeert het eerst waar de AI echt om geeft, herschikt het de data om aan die behoeften te voldoen, en comprimeert het vervolgens. Hierdoor kan AI enorme hoeveelheden informatie onthouden (zoals een heel boek) met een fractie van het geheugen, zonder zijn intelligentie te verliezen.

Technische Samenvatting: OSCAR - Offline Spectrale Covariantie-bewuste Rotatie voor 2-bits KV-cache Quantisatie

1. Probleemstelling

Inferentie met lange context in Large Language Models (LLM's) wordt steeds meer beperkt door het geheugenvolume van de Key-Value (KV) cache. Naarmate de contextlengte, de batchgrootte en de modeldiepte toenemen, verbruikt de cache aanzienlijk GPU-geheugen, wat de doorvoer en schaalbaarheid beperkt. Hoewel het comprimeren van de KV-cache naar ultra-lage precisie (bijvoorbeeld INT2) een geheugenreductie van 8× biedt, staat het voor een kritieke nauwkeurigheidsuitdaging: KV-activaties bevatten ernstige kanaalspecifieke uitschieters.

Bij lage-bits quantisatie domineren deze uitschieters de quantisatieschaal, waardoor de meerderheid van de "normale" waarden wordt gedwongen in een paar effectieve quantisatieniveaus, wat de kwaliteit van de aandacht (attention) ernstig verslechtert. Bestaande op rotatie gebaseerde methoden (bijvoorbeeld Hadamard-transformaties) proberen deze uitschieters te gladstrijken door energie over de kanalen te herverdelen. Deze methoden zijn echter data-onbewust; ze gladstrijken de ruwe cache-verdeling, maar sluiten niet aan bij de specifieke richtingen die downstream-aandachtsmechanismen daadwerkelijk verbruiken. Bij INT2, waar slechts vier quantisatieniveaus bestaan, zorgt deze misalignering ervoor dat naïeve rotatiemethoden instorten, wat resulteert in een nauwkeurigheid die dicht bij nul ligt op redeneertaken.

2. Methodologie: OSCAR

De auteurs stellen OSCAR (Offline Spectrale Covariantie-bewuste Rotatie) voor, een methode die aandacht-bewuste covariantiestructuren offline schat om vaste rotaties en afsnijdrempels af te leiden. In tegenstelling tot eerdere werken die de ruwe Euclidische reconstructiefout minimaliseren ( $\|K - \hat{K}\|_F$ ), minimaliseert OSCAR de vervorming in downstream-aandachtsscores en -output.

2.1 Theoretische Motivatie

Het artikel stelt dat het optimale rotatiedoel moet worden afgeleid uit de statistieken van de aandachtsberekening zelf:

Voor Keys ( $K$ ): De vervorming in aandachtslogits wordt bepaald door de query-covariantie $Q^\top Q$ , niet alleen door de key-covariantie $K^\top K$ .
Voor Values ( $V$ ): De vervorming in de aandachtsoutput wordt gewogen door de aandachtscores $S$ , wat leidt tot een doelcovariantie van $V^\top S^\top S V$ .

2.2 Algoritmeontwerp

OSCAR werkt in twee fasen:

A. Offline Kalibratiefase:

Covariantieschatting: Met behulp van een kleine kalibratiedataset berekent de methode empirische doelcovarianties:
- $C_Q = \frac{1}{N} \sum q_n^\top q_n$ (Query-bewuste key-doel).
- $C_S = \frac{1}{N} V^\top S^\top S V$ (Score-bewuste value-doel).
Rotatieafleiding: De methode voert een eigenwaarde-decompositie uit op deze matrices om de optimale eigenbases ( $U_Q$ en $U_S$ ) te vinden.
Constructie van Samengestelde Rotatie: De uiteindelijke rotatiematrices ( $R_K, R_V$ $R_{K}, R_{V}$ ) worden samengesteld als een product van drie componenten:
- $U_Q/U_S$ : De aandacht-bewuste eigenbasis die kanalen aligneert met importantierichtingen.
- $H_{Had}$ : Een Hadamard-transformatie die de importantiemetriek over kanalen equaliseert en uitschieter-energie verspreidt.
- $P_{br}$ : Een bit-reversal-permutatie die kanalen met hoge en lage variantie verweeft om gebalanceerde dynamische bereiken binnen quantisatiegroepen te garanderen.
- Formule: $R_K = U_Q H_{Had} P_{br}$ en $R_V = U_S H_{Had} P_{br}$ .
Afsnijdrempels: Per-laag afsnijdrempels worden geschat vanuit de geroteerde kalibratie-activaties om uitschieters te beheersen.

B. Online Dienstoffase:

Mixed-Precision Layout: Het systeem onderhoudt een gepagineerde KV-cache waarbij "sink"-tokens (initieel) en "recente" tokens in volledige BF16-precisie worden bewaard. De historische middencontext wordt opgeslagen in INT2 na toepassing van de vaste OSCAR-rotatie en afsnijding.
Kernel-integratie: De auteurs hebben een aangepaste, samengevoegde Triton-kernel ontwikkeld voor het SGLang-dienstoffraamwerk. Deze kernel verwerkt het uitpakken, dequantiseren, inverse rotatie en de aandachtsberekening voor de INT2-historie, waarbij compatibiliteit met gepagineerde aandacht en prefix-caching wordt gewaarborgd zonder extra geheugentrafiek.

3. Belangrijkste Bijdragen

Identificatie van het Ontbrekende Doel: Het artikel identificeert dat generieke rotaties uitschieters verspreiden maar falen bij INT2 omdat ze niet aansluiten bij downstream-aandacht. Het rotatiedoel moet worden geïnduceerd door aandachtsstatistieken ( $Q^\top Q$ en $V^\top S^\top S V$ ), niet door ruwe cache-reconstructie.
OSCAR-raamwerk: Een volledig inzetbaar INT2 KV-cache-quantisatiesysteem dat offline kalibratie gebruikt om aandacht-bewuste rotaties af te leiden. Theoretische analyse toont aan dat deze doelen optimaal zijn onder een aanneming van een vast fout-surrrogaat.
Productie-klaar Systeem: Een aangepaste INT2-aandacht-kernel geïntegreerd in SGLang die gepagineerde KV-cache-layouts en prefix-caching ondersteunt. Het zorgt voor naadloze integratie met moderne dienstoffraamwerken (SGLang, vLLM) terwijl hoge doorvoer wordt behouden.

4. Experimentele Resultaten

De auteurs evalueerden OSCAR op redeneermodellen (Qwen3-4B, Qwen3-8B, Qwen3-32B) en een frontier-model (GLM-4.7, 358 miljard parameters) over vijf benchmarks (AIME25, GPQA, HumanEval, LiveCodeBench, MATH500) en lange-context retrieval (RULER-NIAH tot 128k).

Behoud van Nauwkeurigheid:
- Op Qwen3-4B-Thinking en Qwen3-8B verkleint OSCAR het nauwkeurigheidsverschil met BF16 tot respectievelijk 3,78 en 1,42 punten. In tegenstelling hiermee stort naïeve rotatie INT2 in tot bijna nul nauwkeurigheid.
- Op Qwen3-32B en GLM-4.7 blijft OSCAR effectief gelijk aan BF16 (binnen 0,02–0,27 punten), terwijl andere INT2-baselines aanzienlijke degradatie ondergaan.
- Bij lange-context retrieval (RULER-NIAH) behoudt OSCAR robuuste prestaties tot 128k tokens, terwijl naïeve INT2 en uitsluitend Hadamard-methoden instorten bij veel kortere lengtes (bijvoorbeeld 16k).
Systeemprestaties:
- Geheugen: Verkleint het geheugenvolume van de KV-cache met ongeveer 8× ten opzichte van BF16.
- Doorvoer: Verbeterd de doorvoer met tot 7× bij grote batchgroottes onder hetzelfde geheugenbudget.
- Latentie: Versnelt het decoderen met batchgrootte 1 met tot 3× ten opzichte van BF16 door verminderde geheugenbandbreedte-overhead.
- Schaalbaarheid: Demonstreert het vermogen om tot 28 gelijktijdige verzoeken met 100k-token-inputs te verwerken op één H100, een regime waar BF16- en INT4-baselines op geheugen tekort komen.

5. Betekenis en Claims

Het artikel beweert dat OSCAR succesvol de kloof overbrugt tussen de theoretische belofte van ultra-lage-bit (INT2) KV-caching en praktische inzetbaarheid. Door het rotatiedoel te verschuiven van ruwe data-reconstructie naar aandacht-bewuste covariantie, herstelt OSCAR de nauwkeurigheid die verloren ging door naïeve quantisatie, terwijl het de enorme geheugen- en doorvoervoordelen van 2-bits opslag behoudt.

De auteurs benadrukken dat hun aanpak niet slechts een algoritmische verbetering is, maar een op systeemniveau gebaseerde oplossing. Door een aangepaste kernel te leveren die integreert met gepagineerde aandacht en prefix-caching, tonen ze aan dat INT2-quantisatie kan worden gebruikt in productie-dienstoffraamwerken (zoals SGLang) zonder de efficiëntiefuncties (zoals prefix-hergebruik) op te offeren waarop moderne LLM-diensten vertrouwen. Het werk suggereert dat voor lange-context redeneren de sleutel tot succesvolle quantisatie ligt in het aligneren van de compressiestrategie met de specifieke statistische eisen van het aandachtsmechanisme.