🤖 machine learning

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant is een kalibratievrije vectorquantisatiemethode voor LLM KV-caches die een unieke "Normalize-Shift-Normalize"-transformatie combineert met een Hadamard-transformatie om tokenverdelingen uit te lijnen met een standaardnormale verdeling, wat robuuste compressie met een lage bitbreedte en tot 3x doorvoersnelheid mogelijk maakt zonder afhankelijk te zijn van kalibratiedatasets.

Oorspronkelijke auteurs: Donghyun Son, Euntae Choi, Sungjoo Yoo

Gepubliceerd 2026-07-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Donghyun Son, Euntae Choi, Sungjoo Yoo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek aan herinneringen in je rugzak probeert te dragen terwijl je een zeer lang pad bewandelt. Dit is wat er gebeurt wanneer een Large Language Model (LLM)—een superintelligent computerbrein dat verhalen schrijft, wiskunde oplost en met je chat—probeert een lang gesprek te verwerken. Elke keer dat het een woord leest, moet het zich alles herinneren wat eraan voorafging om de context te begrijpen. Dit "geheugen" wordt de KV Cache genoemd. Het probleem is dat, naarmate het gesprek langer wordt, deze rugzak steeds zwaarder wordt, totdat deze zo vol is dat de computer de ruimte opraakt en vertraagt tot een kruipend tempo.

Om dit op te lossen, hebben wetenschappers geprobeerd de rugzak te verkleinen door de herinneringen te comprimeren, vergelijkbaar met het inpakken van kleding in een vacuümzak. Een populaire methode is Vector Quantization (VQ). Denk hierbij aan het groeperen van vergelijkbare items en het vervangen ervan door een enkele label uit een "woordenboek" of codeboek. In plaats van de exacte tint blauw van elke individuele sok te onthouden, onthoud je gewoon "Blauw Groep 4". Er zit echter een addertje onder het gras: de meeste bestaande methoden moeten eerst een specifieke set kleding bestuderen (een kalibratiedataset) om dat woordenboek op te bouwen. Als je dan probeert een compleet andere set kleding in te pakken (een nieuw type gesprek), past het woordenboek niet en faalt de compressie. Deze paper pakt exact dat probleem aan: hoe verklein je het geheugen zonder eerst de kleding te hoeven bestuderen.

Het Probleem: Een Woordenboek Dat Alleen Voor Eén Garderobe Werkt

De auteurs van deze paper, van de Seoul National University, merkten een frustrerende fout op in de huidige state-of-the-art methode voor het comprimeren van LLM-geheugen, genaamd Coupled Quantization (CQ). Stel je CQ voor als een kleermaker die een maatpak maakt op basis van afmetingen genomen van één specifiek persoon. Als die persoon een kamer binnenloopt vol mensen met verschillende lichaamsbouw, past het pak de eerste persoon perfect, maar ziet het er belachelijk uit op iedereen anders.

In de wereld van AI is deze "persoon" de data waarop het model is gekalibreerd (zoals een specifieke tekstdataset genaamd WikiText-2). Wanneer het model probeert een ander type tekst te verwerken (zoals de C4-dataset, een enorme collectie webpagina's), past het "pak" niet. De auteurs ontdekten dat deze mismatch ervoor zorgt dat het model stomme fouten maakt, vooral met leestekens. Bijvoorbeeld, het model kan in de war raken over komma's omdat het "woordenboek" dat het leerde van de trainingsdata niet de juiste labels had voor de manier waarop komma's in de nieuwe tekst verschijnen. Dit is een groot probleem, want het betekent dat het model onbetrouwbaar wordt wanneer het buiten zijn comfortzone treedt.

De Oplossing: NSNQuant – De Universele Inpakkubus

Om dit op te lossen, introduceerde het team NSNQuant, een slimme nieuwe manier om het geheugen te comprimeren die geen specifieke data vooraf hoeft te bestuderen. In plaats van te proberen een op maat gemaakt woordenboek te leren voor elke nieuwe garderobe, dwingt NSNQuant alle kleding om in een standaard, vooraf gemaakte inpakkubus te passen.

Zo doen ze het, met behulp van een driestaps "magische truc" die ze Normalize-Shift-Normalize (NSN) noemen:

Normalize (De eerste stap): Stel je voor dat je een stapel sokken hebt waarbij sommige piepklein zijn en andere gigantisch. De eerste stap is om elke sok uit te rekken of te krimpen zodat ze allemaal dezelfde grootte hebben. Dit voorkomt dat de gigantische sokken alle ruimte opeisen en de verpakking verstoren.
Shift (De middelste stap): Stel je nu voor dat de sokken allemaal dezelfde grootheid hebben, maar dat ze allemaal naar links leunen. De "Shift"-stap duwt ze allemaal terug naar het midden, zodat ze perfect in balans zijn.
Normalize (De laatste stap): Om het zeker te weten, controleren ze de grootte nog één keer om te garanderen dat alles nog steeds uniform is.

Na deze driedelige dans voegen de auteurs een laatste draai toe: een Hadamard Transform. Je kunt dit zien als het ronddraaien van de hele stapel sokken op een specifieke, wiskundige manier. De magie is dat de data, na deze draai, plotseling lijkt op een perfecte, gladde klokvormige curve (een standaard normale verdeling).

Omdat de data er nu uitziet als deze voorspelbare klokvormige curve, ongeacht wat de oorspronkelijke tekst was, kunnen de auteurs een enkel, vooraf gemaakt "woordenboek" (codeboek) gebruiken dat specifelijk voor die klokvormige curve is ontworpen. Ze hoeven de data niet eerst te bekijken; ze weten gewoon dat de data in het woordenboek zal passen omdat ze de data hebben gedwongen er zo uit te zien.

Wat Ze Vonden: Een Universele Sleutel

Het team testte dit idee op verschillende beroemde AI-modellen, waaronder de LLaMA- en Mistral-families. Ze vergeleken NSNQuant met de oude methoden (zoals CQ en KIVI) met verschillende soorten tekst, van eenvoudige verhalen tot complexe code en wiskundige problemen.

De resultaten waren indrukwekkend:

Betere Generalisatie: Terwijl de oude methoden (CQ) struikelden wanneer ze wisselden van de ene dataset naar de andere, bleef NSNQuant sterk presteren. Het was alsof je een universele sleutel had die elke deur opende, terwijl de oude sleutels alleen werkten op de deuren waarvoor ze gemaakt waren.
Succes bij Lage Bit-waarden: Het team testte het comprimeren van het geheugen tot slechts 1-bit en 2-bit. In de 1-bit setting (waar het geheugen tot het absolute minimum wordt verkleind), verpletterde NSNQuant de concurrentie. Bijvoorbeeld, bij een wiskundige redeneringstaak genaamd GSM8K, scoorde de oude 1-bit methode rond de 24, terwijl NSNQuant-1b 53,45 scoorde. Dat is meer dan een verdubbeling van de prestaties!
Snelheid en Ruimte: Omdat het geheugen veel kleiner is, kan de computer meer gesprekken tegelijk verwerken. De auteurs lieten zien dat hun methode 3 keer zoveel datadoorvoer kon verwerken dan de standaard, ongecomprimeerde versie, terwijl het aanzienlijk minder geheugen gebruikte.

De Kleine Lettertjes

De auteurs merken voorzichtig op dat hoewel deze methode een enorme verbetering is, het geen perfecte magie is. Ze ontdekten dat in de allereerste lagen van het AI-model de "sokken" soms nog steeds een paar uitschieters hebben die niet perfect in de klokvormige curve passen. Echter, zelfs met deze kleine imperfecties bleef de algehele prestatie zeer hoog.

Ze benadrukken ook dat deze methode "kalibratievrij" is. In tegen tegenstelling tot de oude methoden die urenlang specifieke data vereisten om een woordenboek te bouwen, kan het woordenboek van NSNQuant in minder dan 5 minuten op een enkele grafische kaart worden gebouwd en vervolgens voor elk model worden hergebruikt. Dit maakt het extreem praktisch voor gebruik in de echte wereld.

Kortom, NSNQuant is als een universeel inpaksysteem dat elke rommelige stapel herinneringen in een nette, voorspelbare vorm dwingt, waardoor AI-modellen hun langetermijngeheugen in een veel kleinere rugzak kunnen dragen zonder hun vermogen om helder na te denken te verliezen. Het suggereert dat door de data te standaardiseren voordat we het comprimeren, we AI sneller, goedkoper en betrouwbaarder kunnen maken, zelfs wanneer het te maken heeft met volledig nieuwe en onbekende onderwerpen.

Technische Samenvatting: NSNQuant

Probleemstelling

De inferentie van Large Language Models (LLM's) is steeds vaker geheugenbeperkt (memory-bound), vooral bij het verwerken van lange sequenties en grote batchgroottes. De primaire bottleneck is de Key-Value (KV) cache, die lineair groeit met de sequentielengte. Hoewel Vector Quantization (VQ) een veelbelovende compressietechniek is geworden, vertrouwen bestaande methoden zoals Coupled Quantization (CQ) op kalibratiedatasets om centroids (codeboeken) te leren. De auteurs observeren dat deze op kalibratie gebaseerde benaderingen lijden onder ernstige prestatievermindering in out-of-distribution (OOD) scenario's. Specifiek, wanneer de invoerdistributie verschilt van de kalibratieset (bijv. het gebruik van WikiText-2 voor kalibratie maar testen op C4), falen de geleerde centroids er niet in om kritieke tokens, zoals leestekens, accuraat te vertegenwoordigen, wat leidt tot significante fouten in attention-gewichten en gedegradeerde modelprestaties (bijv. hogere perplexiteit).

Methodologie: NSNQuant

Om de afhankelijkheid van kalibratiedata en de resulterende distributieverschuiving aan te pakken, stellen de auteurs NSNQuant voor, een kalibratievrije VQ-techniek. De kerninnovatie is een transformatiepipeline die de KV-cache-distributie uitlijnt met een standaard normale distributie, waardoor het gebruik van een enkel, herbruikbaar codeboek zonder externe data mogelijk wordt.

1. Normalize-Shift-Normalize (NSN)

De methode past een driestaps-transformatie toe op de KV-tensoren ( $v \in \mathbb{R}^{l \times d}$ ):

Normalize (Token-wise): Elk token wordt genormaliseerd zodat het een norm heeft van $\sqrt{d}$ . Dit voorkomt dat uitschieter-tokens (outlier tokens) de volgende stappen domineren en zorgt ervoor dat tokens met kleine magnitudes geen grote relatieve fouten veroorzaken.
Shift (Channel-wise): Het kanaal-wijze gemiddelde wordt berekend en afgetrokken om de distributie rond nul te centreren.
Normalize (Token-wise): Een tweede normalisatie wordt toegepast om de token-norm te herstellen naar $\sqrt{d}$ .

Dit proces produceert bijproducten ( $s_1$ , $o$ , $s_2$ ) die worden gebruikt om de oorspronkelijke tensor te reconstrueren. Theoretisch, wanneer gecombineerd met een Hadamard-transformatie, zorgt dit proces ervoor dat de kanaaldistributie wordt uitgelijnd met de standaard normale distributie, zoals ondersteund door de Centrale Limietstelling en variantie-bounds afgeleid in Lemma 1.

2. Hadamard Transform

Het NSN-proces wordt gekoppeld aan een Hadamard-transformatie (specifiek de Randomized Hadamard Transform of RHT). Hoewel de naïeve Hadamard-transformatie wordt gebruikt in de uiteindelijke implementatie voor efficiëntie, biedt de RHT theoretische garanties dat de resulterende kanaalvarianties dicht bij 1 liggen.

3. Vector Quantization en Codebook

Zodra de data getransformeerd is, wordt deze gekwantiseerd met een enkel globaal codeboek dat is afgestemd op de standaard normale distributie.

Codebook Constructie: In plaats van centroids te leren van een kalibratieset, wordt het codeboek geïnitialiseerd via K-Means op synthetische standaard normale data ( $\text{torch.randn}$ ) en verfijnd om de cosinusafstand tussen de originele en gekwantiseerde vectoren te minimaliseren. Dit proces is snel (minuten) en vereist geen backpropagation door de modelgewichten.
Scale Adjustment: Er wordt een adaptief schaalstrategie toegepast waarbij de gekwantiseerde vector wordt geschaald om componenten parallel aan de originele vector te behouden, wat orthogonale fouten minimaliseert.
Double Quantization (DQ): Om de overhead verder te verminderen, worden de parameters die worden gebruikt voor het NSN-proces (gemiddelde $o$ en schaal $s_1$ ) en de codeboek-entries zelf gekwantiseerd (4-bit), wat een verwaarloosbare geheugenoverhead toevoegt (gemiddeld circa 0,23 bits).

4. Implementatiedetails

Residuals: Volgens KIVI wordt de KV-cache gesplitst in een gekwantiseerd deel en een full-precision residu. Wanneer het residu vol is, wordt het geflushed, gekwantiseerd en toegevoegd.
Attention Computation: Voor keys wordt NSN toegepast vóór de Rotary Position Embedding (RoPE). De auteurs stellen vast dat deze volgorde betere kwaliteit oplevert. De berekening van de attention-score wordt aangepast om de NSN-bijproducten ( $s_1, s_2, o$ ) direct binnen aangepaste CUDA-kernels te incorporeren.
Efficiëntie: Aangepaste CUDA-kernels zijn geïmplementeerd voor Hadamard-transformaties, vector-kwantisatie en dekwantisatie, waarbij gebruik wordt gemaakt van shared memory om DRAM-toegang te minimaliseren.

Belangrijkste Bijdragen

Empirische Observatie: De auteurs demonstreren dat de sterke afhankelijkheid van KV-distributies van invoerdatasets de bestaande VQ-methoden (zoals CQ) doet falen in OOD-scenario's, wat met name invloed heeft op leesteken-tokens in modellen zoals LLaMA3.
Kalibratievrije VQ: NSNQuant introduceert een methode die de noodzaak van kalibratiedatasets elimineert door de KV-distributie uit te lijnen met een bekende prior (standaard normaal) via het NSN-proces en de Hadamard-transformatie.
Prestaties en Generalisatie: Uit uitgebreide experimenten blijkt dat NSNQuant consequent andere baselines (KIVI, KVQuant, CQ) verslaat in zowel 1-bit als 2-bit instellingen over diverse datasets (WikiText-2, C4, LongBench, GSM8K, MMLU). Het vertoont superieure generalisatie waar kalibratie-gebaseerde methoden degraderen.
Efficiëntie: De implementatie bereikt een tot 3× hogere throughput ten opzichte van full-precision baselines en ondersteunt grotere batchgroottes (tot 4×) dankzij het verminderde geheugengebruik.

Resultaten

Perplexity (PPL): Op de C4-dataset presteert NSNQuant aanzienlijk beter dan CQ. Bijvoorbeeld, voor LLaMA3-8B levert CQ-4c9b een PPL van 13,97, terwijl NSNQuant-2b een PPL van 9,08 behaalt. In 1-bit instellingen presteert NSNQuant-1b (PPL 16,69) vele malen beter dan CQ-8c10b (PPL 43,78).
LongBench: NSNQuant-1b presteert met een grote marge beter dan andere 1-bit baselines. In 2-bit instellingen komt het overeen met of overtreft het andere methoden licht, hoewel de auteurs opmerken dat er sprake is van metriek-ruis bij bepaalde taken.
Redeneren en Generatie: Op GSM8K (wiskundig redeneren) en MMLU (multi-task begrip) blinkt NSNQuant uit, met name in few-shot Chain-of-Thought (CoT) settings waar strikte redeneerpaden vereist zijn.
Latency: Hoewel de prefill-fase een hogere latency met zich meebrengt door de NSN- en Hadamard-overhead, is de decoding-fase sneller dan full-precision baselines vanwege de verlichting van de geheugenbeperkte attention-berekeningen.

Betekenis en Claims

De paper claimt dat NSNQuant een verschuiving vertegenwoordigt van data-afhankelijke kalibratie naar distributie-uitgelijnde kwantisatie. Door gebruik te maken van de eigenschap dat de Hadamard-transformatie gecombineerd met NSN een standaard normale distributie produceert, maakt de methode het gebruik van een universeel, model-agnostisch codeboek mogelijk. Dit maakt de aanpak robuust tegen distributieverschuivingen en elimineert het de computationele kosten en de datavereisten van kalibratie. De auteurs positioneren NSNQuant als een praktische oplossing voor het mogelijk maken van long-context LLM-inferentie op hardware met beperkt geheugen, waarbij een balans wordt geboden tussen hoge compressie (1-bit/2-bit), sterke generalisatie en efficiënte runtime-prestaties.

De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat de standaardisatie niet perfect is in de vroege lagen door kanaal-uitschieters met hoge varianties, en dat de methode niet expliciet inter-kanaal correlaties modelleert, in tegenstelling tot CQ. Ze beargumenteren echter dat de afweging gunstig is voor robuustheid en generalisatie ten opzichte van de potentiële winsten door overfitting op specifieke kalibratiedistributies.