🤖 machine learning

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression

Het artikel introduceert Hurwitz Quaternion Multiplicative Quantization (HQMQ), een kalibratievrije methode die KV-caches comprimeert door 4-elementenblokken weer te geven als quaternions gekwantiseerd via een product van een vaste Hurwitz-groep en willekeurige secundaire codeboeken, waarmee een nauwkeurigheid dicht bij fp16 wordt bereikt met tot 5,05× compressie over diverse moderne LLM's, terwijl de behoefte aan kalibratie wordt geëlimineerd.

Oorspronkelijke auteurs: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Geheugenhoarder"

Stel je een Groot Taalmodel (LLM) voor als een briljante maar vergeetachtige bibliothecaris. Wanneer je een lange vraag stelt, moet het elke woord dat je tot nu toe hebt gezegd onthouden om correct te kunnen antwoorden. In computertermen wordt dit geheugen de KV Cache genoemd.

Voor zeer lange gesprekken wordt deze geheugencache enorm. Als de bibliothecaris probeert elk detail in hoge definitie te onthouden (zoals een 4K-film), vult dit het RAM-geheugen van de computer direct op. Dit dwingt de computer om langzamere opslag te gebruiken of laat het crashen, waardoor het gesprek stopt.

Om dit op te lossen, proberen ingenieurs het geheugen te "comprimeren", net als het omzetten van een 4K-film naar een kleiner MP4-bestand. Echter, eerdere compressiemethoden waren als het gebruik van een stommes mes: als je de bestandsgrootte te veel verkleint (onder de 4 bits), wordt de film onbekijkbaar (de AI begint onzin te praten). Als het AI-model "uitbijters" heeft (vreemde, extreme getallen in zijn data), breekt standaard compressie volledig, waardoor de AI wild hallucineert.

De Oplossing: HQMQ (Het "Slimme Kompas" Systeem)

De auteurs stellen een nieuwe methode voor genaamd HQMQ. In plaats van alleen de getallen te verkleinen, behandelen ze groepen data als quaternionen (een type 4D wiskundig kompas).

Hier is hoe het werkt, opgesplitst in drie simpele stappen:

1. De "24-Punts Ster" (Het Primaire Codeboek)

Stel je voor dat de richting waar een stuk data naartoe wijst, net als een kompasnaald is. In plaats van te proberen de exacte hoek op te slaan (wat te veel ruimte kost), gebruiken de auteurs een speciale, vooraf gemaakte "ster" met 24 punten (de Hurwitz-groep genoemd).

De Analogie: Denk hierbij aan een standaardset van 24 vaste richtingen (Noord, Noordoost, enzovoort, maar dan in 4D). Waar de data ook wijst, je "klikt" het gewoon vast op de dichtstbijzijnde van deze 24 "perfecte" richtingen.
De Magie: Omdat deze 24 punten wiskundig perfect en gelijkmatig verdeeld zijn, hoef je de AI niet te trainen om ze te leren. Het zijn gewoon "hard-coded" regels, net als de letters op een toetsenbord.

2. De "Willekeurige Draai" (Het Secundaire Codeboek)

De 24 punten zijn niet genoeg om elke mogelijke nuance te dekken. Dus voegen de auteurs een tweede laag toe: een kleine, willekeurige "draai" voor elk specifiek deel van de AI.

De Analogie: Stel je een wereldbol voor met de 24 punten erop geschilderd. Nu stel je je voor dat je de wereldbol willekeurig kunt draaien voor elke zin die de AI verwerkt.
Het Resultaat: Als je de vaste 24 punten combineert met een willekeurige draai, krijg je duizenden unieke richtingen ( $24 \times \text{willekeurige draaien}$ ).
Waarom het cool is: Het artikel beweert dat je deze willekeurige draai niet hoeft te trainen. Vanwege de wiskunde erachter werkt elke willekeurige draai bijna even goed als een getrainde. Het is alsof je zegt: "Je hoeft niet te oefenen met darten; gooi ze gewoon willekeurig, en de wiskunde garandeert dat je het bord raakt." Dit bespaart tijd en data.

3. Het "Uitbijter Veiligheidsnet" (Med3×)

Sommige AI-modellen (zoals Qwen) hebben "uitbijters" – datapunten die 100x of 200x groter zijn dan normaal. Standaard compressie probeert deze enorme getallen samen te drukken om ze te laten passen, wat de data vernietigt.

De Analogie: Stel je voor dat je een koffer inpakt. De meeste kleding is normaal van formaat, maar je hebt één gigantische, onhandig gevormde teddybeer. Als je probeert de beer in een klein doosje te dwingen, scheurt het doosje.
De Oplossing: HQMQ heeft een regel: "Als een getal te groot is (meer dan 3 keer het gemiddelde), knijp het dan niet samen. Bewaar het gewoon in zijn originele, hoogwaardige vorm (fp16) en markeer het met een klein vlaggetje."
Het Resultaat: Slechts ongeveer 1–3% van de data krijgt deze speciale behandeling, dus de geheugenbesparing blijft enorm, maar de "gigantische teddyberen" breken het systeem niet.

Wat Hebben Ze Bewezen?

De auteurs hebben dit getest op vijf verschillende moderne AI-modellen (Mistral, Llama, Qwen, enzovoort). Hier zijn hun belangrijkste bevindingen:

Het Werkt Zonder Training: In tegenstelling tot andere methoden die een "kalibratiefase" nodig hebben (waarbij de AI data bestudeert om te leren hoe te comprimeren), werkt HQMQ direct met willekeurige instellingen.
Het Bespaart Enorme Ruimte: Het is hen gelukt om de geheugencache met 5 keer te verkleinen. Bijvoorbeeld, een 128k-context cache voor een model met 70 miljard parameters (wat normaal 43 GB inneemt) werd verkleind tot 8,5 GB. Dit betekent dat je een enorme AI kunt draaien op één consumenten-graphicskaart in plaats van op een supercomputer.
Het Gaat Om Met "Slechte" Data: Bij modellen met extreme uitbijters (zoals Qwen) faalde standaard compressie volledig (de foutenrate van de AI explodeerde). HQMQ + het "Veiligheidsnet" loste dit op, waardoor de prestaties van de AI terugkeerden naar bijna-perfecte niveaus.
Snelheid: Ze bouwden een speciale "gefuseerde" engine die de gecomprimeerde data leest en direct decodeert terwijl de AI denkt. Dit betekent dat de AI niet vertraagt; het gebruikt gewoon minder geheugen.

De Conclusie

HQMQ is als een universeel, kant-en-klaar compressiepakket voor AI-geheugen. Het gebruikt een slimme wiskundige truc (het vermenigvuldigen van een vaste 24-punts ster met een willekeurige draai) om richtingen efficiënt op te slaan zonder eerst iets te hoeven leren. Het heeft ook een veiligheidschakelaar voor vreemde datapieken.

Het resultaat? Je kunt veel langere, slimmere gesprekken voeren op veel kleinere computers zonder dat de AI zijn verstand verliest.

Technische Samenvatting: Hurwitz-Quaternion Multiplicatieve Quantisatie voor KV-Cache-compressie

Probleemstelling

De memorykosten van de Key-Value (KV)-cache tijdens inferentie met lange context in Large Language Models (LLM's) domineren vaak de computatiekosten. Het opslaan van K- en V-vectoren in FP16 kan tientallen gigabytes in beslag nemen voor sequentielengtes die 32k overschrijden. Hoewel scalair quantiseren (bijv. int8, int4) deze kosten verlaagt, verslechtert de prestatie aanzienlijk onder de 4 bits, en int2 maakt het model doorgaans onbruikbaar. Bovendien vertonen moderne architecturen (specifiek die met Grouped Query Attention, zoals Qwen2.5 en Qwen3) "uitbijter-rijke" attentiepatronen waarbij een klein percentage van de K-chunks extreme magnitudes heeft. Standaard scalair quantiseren faalt catastrofisch in deze scenario's, wat leidt tot perplexiteit (PPL)-pieken van meer dan 10.000 punten. Bestaande vectorquantisatiebenaderingen vereisen vaak kalibratiegegevens of slagen er niet in om deze uitbijters effectief te behandelen.

Methodologie: Hurwitz-Quaternion Multiplicatieve Quantisatie (HQMQ)

De auteurs stellen HQMQ voor, een kalibratievrije methode die elke 4-elementen chunk van K- of V-vectoren behandelt als een quaternion $x \in \mathbb{H}$ . De methode decomposeert de vector in een straal $r = \|x\|$ en een eenheidsrichting $u = x/r$ op de 3-sfeer $S^3$ .

1. Multiplicatieve Samenstelling van Codeboeken

In plaats van één groot codeboek te leren of additieve samenstelling te gebruiken, construeert HQMQ een gezamenlijk codeboek via het multiplicatieve product van twee componenten:

Primair Codeboek ( $P$ ): Een vaste set van 24 eenheids-Hurwitz-quaternionen, corresponderend met de hoekpunten van de 24-cel op $S^3$ (de binaire tetraëdrische groep $2T$ ). Deze hoekpunten zijn paarsgewijs gescheiden door $60^\circ$ en vormen een gesloten multiplicatieve groep.
Secundair Codeboek ( $S$ ): Een set van $S$ willekeurige eenheids-quaternionen, geïnitieerd per (laag, hoofd, rol) zonder kalibratie.

Het effectieve codeboek is de set $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ . Dit levert $24S$ effectieve codewoorden op terwijl er slechts $S$ parameters worden opgeslagen. De richting $u$ wordt gekwantiseerd naar het codewoord $c \in C$ dat het inproduct $\langle u, c \rangle$ maximaliseert.

2. Theoretische Rechtvaardiging voor Willekeurige Initialisatie

Het artikel betoogt dat kalibratie overbodig is omdat linkervermenigvuldiging met een eenheids-quaternion een isometrie is op $S^3$ . Het willekeurig selecteren van $S$ roteert de vaste $2T$ -groep effectief, waardoor $S$ disjuncte isometrische kopieën ontstaan die $S^3$ quasi-uniform betegelen. Proposition 3.1 stelt vast dat deze willekeurige multiplicatieve packing een optimale dekkingssnelheid van $O((24S)^{-1/3})$ op $S^3$ bereikt, wat overeenkomt met de theoretische grens voor optimale sfeerpacking tot op constanten.

3. Mediane-Multiplier Uitbijterextractie (Med3×)

Om de "uitbijter-rijke" architecturen aan te pakken waarbij chunk-normen variëren met factoren van 80–280×, introduceren de auteurs een per-batch uitbijterextractiestap:

Bereken de mediaan chunk-norm $r_{med}$ over de huidige batch.
Identificeer chunks waar $r > C \cdot r_{med}$ (met een vaste constante $C=3$ ).
Sla deze uitbijters op in volledige FP16 (met een 1-bit vlag) en quantiseer de resterende "bulk"-chunks met HQMQ.
Deze stap vereist geen kalibratiegegevens en is stabiel over verschillende architecturen.

Belangrijkste Bijdragen

Nieuwe Codeboeksamenstellingsregel: Een multiplicatief quantisatieschema gebaseerd op de finite Hurwitz-groep $2T$ , dat verschilt van additieve VQ (CommVQ) of vlakke geleerde VQ (VPTQ).
Kalibratievrije Implementatie: De methode vertrouwt op de geometrische eigenschappen van Haar-willekeurige rotaties van de 24-cel, waardoor per-model kalibratieruns overbodig worden. Empirische resultaten tonen een variatie in perplexiteit voor eindtaken van <0,14% over willekeurige zaden.
Robuste Uitbijterbehandeling: Het Med3×-extractiemechanisme maakt het gebruik van low-bit quantisatie mogelijk op uitbijter-rijke modellen (zoals Qwen2.5/3) waar naïef int4 volledig faalt.
Empirische Validatie: Evaluatie over vijf diverse modellen (Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B en gpt-oss-20b) die Pareto-dominantie over naïeve integer-baselines aantoont.

Experimentele Resultaten

Perplexiteit en Kwaliteit

Mistral-7B & Llama-3-8B: HQMQ bereikt bijna verliesloze compressie bij $\sim5$ bits, waarbij de FP16-perplexiteit binnen 0,02–0,03 punten wordt gematcht. Bij 3,79 bits matcht het de FP16-downstream zero-shot-accuraatheid (PIQA, HellaSwag, ARC-Easy).
Qwen2.5-7B & Qwen3-8B (Uitbijter-rijk): Naïef int4 crasht naar PPL's van 17.000–18.000. HQMQ + Med3× herstelt FP16-kwaliteit (PPL $\approx$ 9,0–9,7) bij $\sim5$ bits, wat een kwaliteitsverbetering van $\sim1.900\times$ ten opzichte van naïef int4 bij minder bits vertegenwoordigt.
gpt-oss-20b (Sparse MoE): HQMQ Pareto-dominante de naïeve baseline met 3–3,5× bij gelijke bits.

Vergelijking met Baselines

vs. Naïef Int: HQMQ presteert 3–1.900× beter in PPL dan naïef int4 over alle modellen bij gelijke bitrates.
vs. KIVI (Gekalibreerde Baseline): Bij 3,79 bits matcht HQMQ de gekalibreerde KIVI-4 (die $\sim4,5$ bits gebruikt) binnen $\sim1$ punt op CoQA en 2,3 punten op GSM8K, met 16% minder bits en nul kalibratie.
vs. Sferische/Vector Quantisatie: HQMQ presteert beter dan sferische baselines (bijv. TurboQuant-stijl) en additieve VQ-baselines met willekeurige codeboeken.

Memory en Latentie

Compressie: HQMQ levert tot 5,05× KV-cache-compressie op. Voor een Llama-3-70B-model met een 128k-context krimpt de cache van 43 GB (FP16) naar 8,5 GB, wat inferentie mogelijk maakt op een enkele 24 GB consument GPU.
Latentie: Een gefuseerde Triton-kernel decodeert K/V direct binnen de attentielus. Op een productie-decodewerklast behoudt de gefuseerde kernel een constante latentie van $\sim0,033$ ms ongeacht de contextlengte, wat een 7,4× tot 82,9× snelheidswinst biedt ten opzichte van een naïeve "fake-quant"-pipeline die de volledige cache per stap dequantiseert.

Betekenis en Claims

Het artikel beweert dat HQMQ een "schone algebraïsche recept" biedt voor KV-cache-quantisatie dat de kloof tussen theoretische vectorquantisatie en praktische implementatie overbrugt. De primaire betekenis ligt in:

Mogelijk maken van Low-Bit Quantisatie op Uitbijter-rijke Modellen: Het is de eerste methode die sub-5-bit quantisatie levensvatbaar maakt voor architecturen zoals Qwen2.5/3, waar standaardmethoden falen.
Elimineren van Kalibratie-Overhead: Door gebruik te maken van de geometrische eigenschappen van de Hurwitz-groep, wordt de noodzaak voor data-afhankelijke kalibratie verwijderd, waardoor het geschikt is voor propriëtaire of snel ingevoerde modellen.
Praktische Efficiëntie: De combinatie van hoge compressieratio's (tot 5×) en een gefuseerde kernel die memory-bandbreedte-flessenhalsen vermijdt, maakt inferentie met lange context praktisch op consumenthardware.

De auteurs merken beperkingen op, specifiek dat HQMQ niet concurreert met getrainde codeboeken (zoals CommVQ) in het sub-3-bit-regime en dat de prestaties op extreem lange contexten (boven de 128k) of specifieke architecturen zoals Multi-head Latent Attention (MLA) verder onderzoek vereisen. Binnen het 3–5 bit-regime vestigt het echter een nieuwe state-of-the-art voor kalibratievrije, uitbijter-robuste KV-compressie.