🤖 machine learning

HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models

HyperQuant is een verenigde post-training kwantisatiepijplijn die de Randomized Hadamard Transform, optimale roosterkwantisatie, Rice-codering en biascorrectie combineert om rate-distortion-optimale compressie te bereiken voor zowel gewichten als KV-caches in grote taal- en diffusiemodellen, waarbij het bestaande methoden overtroeft bij diverse bit-rates terwijl het een bijna verliesvrije kwaliteit behoudt.

Oorspronkelijke auteurs: Yuval Domb, Hadar Sackstein, Tomer Solberg

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuval Domb, Hadar Sackstein, Tomer Solberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek aan boeken hebt (een Large Language Model of een video-generator). Deze boeken bevatten miljarden woorden en afbeeldingen, die zoveel ruimte innemen dat ze net passen op de harde schijf van je computer. Wanneer je de computer vraagt om een zin te lezen of een video te genereren, moet hij deze zware boeken constant heen en weer slepen, wat traag en uitputtend is voor de machine.

HyperQuant is een nieuw, slim systeem dat ontworpen is om deze boeken tot een fractie van hun omvang te verkleinen zonder het verhaal te verliezen, waardoor ze sneller te lezen en gemakkelijker op te slaan zijn.

Hier is hoe het werkt, uitgelegd in eenvoudige stappen met alledaagse analogieën:

1. De "Schud"-truc (Randomized Hadamard Transform)

Stel je een rommelige stapel papier voor waarbij sommige pagina's enorm groot en zwaar zijn, terwijl andere slechts kleine snippers zijn. Als je probeert deze in een doos te pakken, steken de grote pagina's eruit en verspillen ze ruimte.
HyperQuant begint door de pagina's te husselen (shufflen). Het mengt de data zodat er in plaats van een paar gigantische uitschieters en veel kleine stukjes, een gelijkmatige verdeling ontstaat (zoals een perfecte klokvormige curve). Dit maakt de data veel gemakkelijker efficiënt te verpakken, net zoals het schudden van een kaartspel het makkelijker maakt om de kaarten gelijkmatig te verdelen.

2. De "Perfecte Verpakking" (Lattice Quantization)

Zodra de data is gehusseld, moet HyperQuant de continue getallen omzetten naar discrete "stippen" die opgeslagen kunnen worden.

De oude manier: Stel je voor dat je bollen in een doos probeert te pakken met een simpel rooster (zoals een schaakbord). Er is veel verspilde lege ruimte tussen de bollen.
De manier van HyperQuant: Het gebruikt mathematische "roosters" (zoals de E8 of D4 vormen). Denk aan dit als de meest efficiënte manier om sinaasappels in een krat te stapelen. Ze passen zo nauw tegen elkaar aan dat er bijna geen verspilde ruimte is. Hierdoor kan het systeem dezelfde hoeveelheid informatie opslaan met veel minder bits.

3. De "Ritssluiting" (Entropy Coding & Rice Codes)

Zelfs met een perfecte verpakking heb je nog steeds een lange lijst met getallen om op te schrijven.

De oude manier: Je schrijft elk getal met evenveel ruimte op, zelfs als sommige getallen heel vaak voorkomen en andere zelden.
De manier van HyperQuant: Het gebruikt een variabele lengte code (Rice coding). Denk hierbij aan een geheime taal waarbij veelvoorkomende woorden zeer korte codes krijgen (zoals "u" voor "jou") en zeldzame woorden langere codes. Omdat het systeem weet welke getallen het vaakst voorkomen, comprimeert het de data nog verder, zonder de betekenis te verliezen.

4. De "Ruisonderdrukking" (Bias Correction for KV Cache)

Wanneer een model zich eerdere woorden herinnert (de "KV cache"), moet het zeer precies zijn. Als je getallen te grof afrondt, kan het model in de war raken en onzin gaan hallucineren.
HyperQuant gebruikt een truc genaamd "subtractive dither". Stel je voor dat je een vloeistof probeert te meten, maar je beker is een beetje wiebelig. In plaats van alleen maar te gokken, voeg je een klein, willekeurig beetje water toe, meet het, en trekt dat exacte willekeurige bedrag later weer af. Dit heft de fout perfect op, waardoor het eindresultaat ongebiast en nauwkeurig blijft, zelfs wanneer de data zwaar gecomprimeerd is.

5. De "Magische Doos" (Hardware Integration)

Ten slotte is Hyperquant ontworpen om direct samen te werken met moderne computerchips (zoals NVIDIA's H100 en Blackwell GPU's). Het comprimeert de data niet alleen; het formatteert het zodat de chip het direct kan lezen zonder het eerst te hoeven uitpakken.

Het resultaat: Het bleek dat het gebruik van 8-bit integers (standaard gehele getallen) eigenlijk beter werkt dan 8-bit floating points (decimale getallen) voor dit specifieke type gecomprimeerde data. Het is alsof je beseft dat voor deze specifieke puzzel, hele getallen beter in de gleuf passen dan decimalen.

De Grote Winsten

Het artikel beweert dat HyperQuant het volgende bereikt:

Massale Compressie: Het verkleint het "geheugen" (weights) van het model met ongeveer 4 keer en het "werkgeheugen" (KV cache) met ongeveer 3,8 keer.
Geen Kwaliteitsverlies: Ondanks dat het de data zo sterk heeft verkleind, begrijpt en genereert het model tekst of video bijna net zo goed als de originele, ongecomprimeerde versie.
Succes met Video: Het heeft succesvol een video-generatiemodel met 19 miljard parameters (LTX-2) gecomprimeerd zonder zichtbare glitches in de video.
De Concurrentie Verslaan: Het presteert beter dan eerdere topmethoden (zoals HIGGS, TurboQuant en OCTOPUS) in bijna alle tests, vooral wanneer men probeert de data extreem ver te verkleinen (zoals naar 1,7 bits per getal).

Kortom, HyperQuant is een nieuw "verpakkingsalgoritme" dat AI-modellen husselt, stapelt en dichtritst, zodat ze in je broekzak passen zonder het verhaal te breken.

Technische Samenvatting: HyperQuant

Probleemstelling

Large Language Models (LLM's) en diffusie-transformers kampen met een kritieke flessenhals tijdens autoregressieve inferentie: geheugenbandbreedte. Naarmate de contextlengte groeit, domineren de Key-Value (KV) cache en modelgewichten het geheugengebruik, waardoor het systeem gedwongen wordt enorme datasets te streamen voor dunne matrix-vectorproducten. Dit houdt de rekenintensiteit ver onder de hardware-rekenkracht-tot-bandbreedteverhoudingen. Hoewel Post-Training Quantization (PTQ) een oplossing biedt door inferentie te kaderen als een rate-distortion compressieprobleem, lijden bestaande state-of-the-art methoden aan inefficiënties:

Gewichtskwantisatie: Methoden zoals HIGGS maken gebruik van Randomized Hadamard Transforms (RHT) en eindige Lloyd-codeboeken, maar verzenden indices met een vaste bit-rate. Informatietheorie dicteert dat entropie-gecodeerde kwantiseerders minder bits zouden moeten vereisen voor dezelfde distortie, maar HIGGS laat "rate op tafel liggen" door de vaste-rate indices.
KV Cache Kwantisatie: Benaderingen zoals TurboQuant en OCTOPUS vertrouwen op scalaire of laagdimensionale marginale kwantisatie met vaste-rate overheads. Ze missen vaak strikte per-vector onbevooroordeeldheid (unbiasedness), wat leidt tot systematische verschuivingen in attention scores, en ze slagen er niet in de voordelen van multidimensionale vectorkwantisatie volledig te benutten.

Methodologie: De HyperQuant Pipeline

HyperQuant stelt een uniforme, data-vrije, post-training pipeline voor die een rate-distortion-optimale triplet — per-tile RHT, roosterkwantisatie (lattice quantization) en entropiecodering — toepast op zowel gewichten als KV-caches. De pipeline bestaat uit vier kerncomponenten:

1. Per-Tile Randomized Hadamard Transform (RHT)

Voordat de kwantisatie plaatsvindt, worden de inputs (gewichten of KV-vectoren) verdeeld in tiles (bijv. grootte 128) en getransformeerd via $RHT_n(x) = H_n D x$ , waarbij $H_n$ de Walsh-Hadamard matrix is en $D$ een willekeurige teken-diagonaal.

Effect: Dit "mengt" de data, waardoor de per-coördinaat distributie benaderd wordt door een Gaussische distributie ( $N(0, \sigma^2)$ ).
Voordeel: Het herverdeelt de kwantisatiefout van uitschieter-coördinaten naar een isotrope spreiding, waardoor de data geschikt wordt voor optimale roosterkwantisatie. De transformatie is orthogonaal, waardoor de $\ell_2$ -fouteigenschappen behouden blijven.

2. Roosterkwantisatie (Lattice Quantization)

In plaats van eindige codeboeken kwantiseert HyperQuant de geroteerde tiles naar laagdimensionale optimale roosters: E8 (8-D), D4 (4-D), A2 (2-D), of scalaire Z.

Granulaire Winst: Deze roosters bieden lagere genormaliseerde tweede momenten ( $G(\Lambda)$ ) dan scalaire kwantisatie, wat de distortie vermindert voor een vaste rate. E8 is het hoogdimensionale rooster dat een constant-tijd ( $O(1)$ ) closed-form decoder toelaat.
Integer Realisatie: De roosters worden gemapt naar integer embeddings (bijv. $E^8_{int} \subset \mathbb{Z}^8$ ) om binnen 8-bit opslagbeperkingen te passen, met schalingfactoren ( $\alpha$ ) die zijn gekalibreerd om overflow te voorkomen.

3. Bit-Stripping en Rice Codering

Om bijna-entropie-optimale rates te bereiken, gebruikt HyperQuant een tweestaps-coderingsproces:

Bit-Stripping: Rooster-lidmaatschapsbeperkingen (bijv. pariteitscontroles voor E8) fixeren deterministisch bepaalde bits van de integer code-vector. Deze bits worden lossless verwijderd voordat de codering plaatsvindt, wat de entropie van de resterende symbolen verlaagt.
Rice Codering: De resterende symbolen worden gecodeerd met behulp van Rice-codes (een variabele-lengte code die optimaal is voor geometrische distributies). In tegenstelling tot fixed-rate schema's, maakt dit de codeboeken effectief onbegrensd, waardoor de Gaussische staarten afgehandeld kunnen worden zonder de buitenste cellen uit te rekken. De gerealiseerde rate ligt binnen $\sim0.01$ bits per scalar (bps) van elke doel-rate.

4. Bias Correctie voor de KV Cache

Om te voorkomen dat deterministische bias in de KV cache de attention semantiek corrumpeert, integreert HyperQuant:

Random Rotatie: Een per-layer rotatie (ofwel een volledige Haar-uniforme QJL matrix, ofwel een goedkope $\pm 1$ teken-diagonaal) om anisotropie te verminderen.
Subtractieve Dither: Een verse uniforme ruisvector $U \sim \text{Uniform}(V(\Lambda))$ wordt toegevoegd vóór de kwantisatie en afgetrokken na de kwantisatie. De auteurs bewijzen (Appendix A) dat dit resulteert in strikte per-vector inner-product onbevooroordeeldheid, een eigenschap die superieur is aan de distributie-gemiddelde onbevooroordeeldheid van standaard QJL sketches.

Belangrijkste Bijdragen

Uniforme Rate-Distortion Optimale Pipeline: HyperQuant is de eerste data-vrije pipeline die RHT, optimale roosters en entropiecodering combineert voor zowel gewichten als KV-caches, waarbij rates worden bereikt die binnen $\sim0.01$ bps van de theoretische targets liggen.
Superieure Gewichtskwantisatie: Door eindige codeboeken te vervangen door onbegrensde roosters en variabele-lengte codering, presteert HyperQuant beter dan HIGGS op elk werkpunt (3–5 bps). De paper ontleedt deze winst in:
- Entropy Slack: Het terugwinnen van bits die verspild worden door fixed-rate indices (dominant bij lage rates).
- Onbegrensde Codeboek Voordeel: Het structurele voordeel van oneindige codeboeken boven eindige (dominant bij hoge rates).
Twee-Regime KV Kwantisatie: De auteurs karakteriseren KV-kwantisatie in een "hoge kwaliteit" regime ( $\ge 2.5$ bps) waar bias-correctie varianten convergeren, en een "hoge compressie" regime ( $1.7\text{--}2.5$ bps) waar QJL-rotatie significante winsten oplevert ( $\sim0.5$ PPL verbetering).
Hardware Integratie: De pipeline is ontworpen voor moderne Tensor Cores (Hopper/Blackwell), met integratie met fp8, int8, nvfp4 en mxfp4 paden. Opvallend genoeg vinden de auteurs dat int8 beter presteert dan fp8 op post-RHT roosterdata vanwege de licht-staartige, bijna-Gaussische distributie van de getransformeerde gewichten.
Generalisatie: De methode wordt succesvol overgedragen naar non-LLM architecturen, aangetoond op de 19B-parameter LTX-2 video DiT zonder waarneembare artefacten.

Experimentele Resultaten

Geëvalueerd op Llama-3.1-8B-Instruct (WikiText-2) en LTX-2-19B:

Gewichtskwantisatie: Bij 4 bps bereikt HyperQuant (E8 rooster) een perplexiteit (PPL) van 7.434, vergeleken met 7.618 voor HIGGS-p2. Bij 3 bps wordt het gat aanzienlijk groter (HyperQuant: 8.744 vs. HIGGS: 9.527).
KV Cache Kwantisatie:
- Bij 3 bps bereikt HyperQuant een PPL van 7.41 (vs. bf16 baseline 7.16), een 81% geheugenreductie.
- Bij 2 bps bereikt HyperQuant een PPL van 7.93 (+0.77% over baseline), wat aanzienlijk beter is dan OCTOPUS (+34.7% PPL) en TurboQuant.
- Bij 1.7 bps bereikt HyperQuant een compressieratio van 7.1× met een PPL-toename van 26.9%, terwijl OCTOPUS rond de 3.0× compressie stopt.
End-to-End Prestaties: Op een H100 comprimeert HyperQuant lineaire gewichten 3.9× en de KV cache 3.79×. Hoewel de variabele-lengte decodering latentie introduceert (geen wall-clock snelheidswinst op huidige hardware), is de reductie in resident geheugen aanzienlijk (14.96 GiB $\to$ 5.29 GiB voor het volledige model).
Video Model: Op LTX-2-19B levert 4 bps kwantisatie een PSNR van 22.74 dB en LPIPS van 0.20 op, zonder zichtbare artefacten, wat beter presteert dan fp8-gebaseerde kwantisatie.

Betekenis en Claims

De paper claimt dat HyperQuant een nieuwe state-of-the-art vestigt voor data-vrije post-training kwantisatie door strikt informatie-theoretische principes (entropiecodering en roosterleer) toe te passen op transformer-inferentie.

Theoretische Doorbraak: Het demonstreert dat het gat tussen de huidige SOTA (HIGGS) en optimale prestaties grotendeels te wijten is aan de inefficiëntie van fixed-rate indices en eindige codeboeken. Door over te stappen op variabele-lengte codering over onbegrensde roosters, herstelt HyperQuant deze "slack".
Praktische Implementatie: De methode vereist geen kalibratiedataset en geen fine-tuning, waardoor het direct inzetbaar is. Het biedt een "menu" van werkpunten, waardoor gebruikers kunnen afwegen tussen geheugen en kwaliteit (bijv. 3 bps voor de KV cache biedt enorme geheugenbesparingen met minimale PPL-degradatie).
Hardware Bewustzijn: Het werk daagt de aanname uit dat fp8 altijd superieur is voor uitschieters; door de data via RHT te "Gaussianiseren", tonen de auteurs aan dat int8 vaak een betere match is voor de resulterende distributie, wat betere kwaliteit biedt bij dezelfde bit-breedte.

De auteurs concluderen dat hoewel HyperQuant momenteel throughput inruilt voor geheugenefficiëntie op huidige hardware, de pipeline het noodzakelijke fundament legt voor toekomstige kernel-optimalisaties (bijv. gefuseerde decode+MMA) die wall-clock snelheidswinsten kunnen ontsluiten.