💬 NLP

PolarQuant: Optimal Gaussian Weight Quantization via Hadamard Rotation for LLM Compression

PolarQuant is een post-training kwantisatiemethode voor grote taalmodellen die via Walsh-Hadamard-rotatie en Gaussische centroiden bijna verliesloze compressie bereikt zonder kalibratiegegevens, terwijl het ook de prestaties van downstream INT4-kwantisatie verbetert.

Oorspronkelijke auteurs: Caio Vicentino

Gepubliceerd 2026-04-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Caio Vicentino

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente robot (een "Large Language Model" of LLM) wilt meenemen in je rugzak. Het probleem is dat deze robot nu nog zo groot is als een heel huis (ongeveer 18 GB aan geheugen). Je kunt hem niet in een gewone laptop of telefoon stoppen.

Om hem mee te nemen, moeten we hem "opvouwen" of comprimeren, net als een grote deken die je in een klein zakje stopt. Dit noemen we quantisatie.

De meeste mensen doen dit op de simpele manier: ze nemen de grootste getallen in de robot en knijpen ze samen. Maar dit werkt niet perfect. Het is alsof je een berg sneeuw probeert te persen in een emmer: de meeste sneeuw (de gewone woorden) zit erin, maar de grote sneeuwballen (de zeldzame, moeilijke woorden) worden platgedrukt en gaan kapot. De robot wordt dan een beetje dom.

PolarQuant is een nieuwe, slimme manier om deze robot op te vouwen, bedacht door Caio Vicentino. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "uitgelekte" sneeuwballen

Normaal gesproken zijn de getallen in een AI-model niet gelijkmatig verdeeld. Er zijn veel kleine getallen (de meeste woorden) en een paar gigantische getallen (de "uitbijters" of outliers).

De oude methode (Absmax): Ziet alleen naar de grootste sneeuwbal en zegt: "Oké, we maken de emmer net groot genoeg voor die ene grote bal." Het gevolg? De ruimte voor de kleine ballen is verspild, en de kleine ballen worden onnauwkeurig opgeslagen.

2. De oplossing: De "Hadamard-Draaimolen"

PolarQuant doet iets heel slims voordat het de robot opvouwt. Het gebruikt een wiskundig trucje genaamd Hadamard-rotatie.

De analogie: Stel je voor dat je een bak met water hebt waarin een paar enorme golven en veel kleine rimpelingen zitten. Als je die bak nu in een klein flesje wilt proppen, gaan de grote golven kapot.
Wat PolarQuant doet: Het roert de bak met een speciaal roerapparaat (de Hadamard-matrix). Door te roeren, worden de enorme golven en de kleine rimpelingen gemengd. Plotseling heb je geen enorme golven meer, maar een gelijkmatige, zachte beweging van water die overal even hoog is.
Het resultaat: De "uitbijters" zijn verdwenen. De data is nu perfect verdeeld, net als een ideale wolk van nevel.

3. De opslag: Perfecte pakjes

Nu dat de data is "geroerd" en gelijkmatig is geworden, kan PolarQuant het opslaan.

Omdat de data nu zo mooi gelijkmatig is (als een Gaussische verdeling, ofwel een klokkromme), kunnen ze het opslaan met perfecte precisie.
Het is alsof je nu niet meer een onregelmatige berg sneeuw moet persen, maar een perfect gevormde ijsklontje dat precies in je zak past zonder dat er iets afbreekt.

Waarom is dit zo geweldig? (De magische resultaten)

Bijna geen verlies: De onderzoekers ontdekten iets verrassends: het roeren (de Hadamard-rotatie) is 98% van het succes. Zelfs als je de rest van de techniek simpel houdt, werkt het al bijna perfect. De robot is na het opvouwen bijna net zo slim als voorheen.
Geen extra training nodig: Je hoeft de robot niet opnieuw te leren. Je draait hem gewoon om, roert hem, en stopt hem in de zak. Dit kost geen tijd of extra data.
Dubbelop is beter: Je kunt PolarQuant gebruiken als een "voorbehandeling". Je vouwt de robot eerst in met PolarQuant (naar 5 bits), en vouwt hem daarna nog een keer in met een andere methode (naar 4 bits) voor de allerbeste compressie. Het resultaat? De robot past in je telefoon (6 GB geheugen) en is nog steeds superslim.

Samenvatting in één zin

PolarQuant is als het nemen van een rommelige, ongelijkmatige berg spullen, ze eerst perfect te roeren en te egaliseren, en ze daarna pas in een klein koffer te stoppen: zo past er veel meer in, en gaat er niets kapot.

Conclusie voor de gewone gebruiker:
Dankzij deze techniek kunnen we nu enorme, slimme AI-modellen draaien op gewone laptops en zelfs op Apple Silicon (zoals je Mac), zonder dat ze traag worden of veel geheugen nodig hebben. Het is een van de eerste stappen naar AI die echt overal en voor iedereen beschikbaar is.

1. Het Probleem

De implementatie van grote taalmodellen (LLMs) op consumenten- en randapparatuur vereist agressieve compressie van de modelgewichten. Een model met 9 miljard parameters in FP16-format vereist ongeveer 18 GB VRAM, wat de capaciteit van de meeste consumentengpu's overstijgt. Quantisatie naar 4 bits verlaagt dit tot 5–6 GB, maar standaard methoden zoals absmax-quantisatie (lineaire mapping gebaseerd op het maximum absolute gewicht) zijn suboptimaal.

Deze standaardmethode gaat uit van een uniforme verdeling, terwijl LLM-gewichten empirisch een bijna Gaussische (normale) verdeling vertonen. Hierdoor worden waardevolle codeboek-entries verspild aan zeldzame "outliers" (extreme waarden), terwijl de fouten in het dichtbevolkte centrale gebied van de verdeling geconcentreerd blijven, wat leidt tot kwaliteitsverlies (hogere perplexiteit).

2. Methodologie: PolarQuant

PolarQuant is een post-training quantisatiemethode die de distributiestructuur van neurale netwerkgewichten benut om bijna verliesvrije compressie te bereiken. Het proces verloopt in drie hoofdstappen:

Bloksgewijze Normalisatie: De gewichtstensor wordt opgedeeld in blokken (bijv. grootte $d=128$ ). Elk blok wordt genormaliseerd naar de eenheidshypersfeer door de $\ell_2$ -norm te extraheren en de vector te delen door deze norm.
Walsh-Hadamard Rotatie: Een genormaliseerde Walsh-Hadamard-matrix ( $H_d$ $H_{d}$ ) wordt toegepast op de genormaliseerde blokken.
- Theoretische onderbouwing: Volgens de centrale limiettheorema voor projecties van een sfeer, convergeren de coördinaten van een uniform verdeeld punt op een hoge-dimensionale sfeer naar een Gaussische verdeling. De rotatie "homogeniseert" de coördinaten: zelfs als het originele blok outliers bevat, spreidt de rotatie de energie uit over alle coördinaten, waardoor ze ongeveer $N(0, 1/d)$ worden.
Schaling en Quantisatie: De gerooteerde coördinaten worden geschaald naar een eenheidsvariantie ( $N(0, 1)$ $N (0, 1)$ ) en vervolgens gekwantiseerd naar de dichtstbijzijnde Lloyd-Max centroid.
- De Lloyd-Max-algoritme berekent de optimale quantisatiecentroïden voor een gegeven bronverdeling (hier de standaardnormaalverdeling) om de gemiddelde kwadratische fout (MSE) te minimaliseren.

Dequantisatie: Het proces is exact omkeerbaar: opzoeken van centroïden, schalen, toepassen van de inverse Hadamard-rotatie (wat gelijk is aan de rotatie zelf omdat $H_d$ zelfinvers is), en herstellen van de oorspronkelijke bloknorm.

3. Belangrijkste Bijdragen

Nabij-verliesvrije Compressie: PolarQuant Q5 (5 bits) bereikt een perplexiteit van 6,39 op Qwen3.5-9B, slechts +0,02 boven de FP16-basis (6,37), zonder enige kalibratiegegevens.
De Cruciale Rol van Rotatie: Een ablatiestudie onthult dat de Hadamard-rotatie alleen verantwoordelijk is voor 98% van de kwaliteitsverbetering. De keuze voor optimale Lloyd-Max-centroïden levert bij 5 bits slechts een marginale extra winst op. Dit vereenvoudigt de methode aanzienlijk: de rotatie transformeert de verdeling zodanig dat zelfs een eenvoudige uniforme quantisatie bijna optimaal presteert.
Preprocessing voor INT4: PolarQuant fungeert als een effectieve voorverwerkingsstap voor downstream INT4-quantisatie. Als PolarQuant Q5 wordt gedequantiseerd en vervolgens opnieuw wordt gekwantiseerd met torchao INT4, resulteert dit in een lagere perplexiteit (6,56) dan directe absmax INT4 (6,68), met dezelfde snelheid en geheugengebruik.
Eenvoud en Efficiëntie: De kern van het algoritme is slechts één matrixvermenigvuldiging per blok. Er is geen gradiëntberekening, geen iteratieve optimalisatie en geen kalibratie nodig voor de kernmethode. De Hadamard-matrix vereist geen extra opslag (zelfinvers).

4. Resultaten

De evaluatie werd uitgevoerd op het Qwen3.5-9B model:

Kwaliteit:
- FP16 baseline: Perplexiteit 6,37.
- Standaard absmax INT4: Perplexiteit 6,68 (+0,31).
- PolarQuant Q5 + torchao INT4: Perplexiteit 6,56 (+0,19). Dit is de beste prestatie onder alle INT4-methoden.
- PolarQuant Q5 (gedequantiseerd naar FP16): Perplexiteit 6,39 (+0,02).
Snelheid en Geheugen:
- Op een NVIDIA RTX PRO 6000: 43,1 tokens/sec met 6,5 GB VRAM.
- Op Apple Silicon (Mac mini M4): 19,7 tokens/sec met 4,8 GB geheugen.
Ablatie: De Hadamard-rotatie verlaagt de perplexiteit van 6,90 (absmax Q5) naar 6,40. De toevoeging van Lloyd-Max-centroïden verlaagt deze verder naar 6,39.

5. Betekenis en Toekomst

PolarQuant lost het fundamentele probleem op van de mismatch tussen de verdeling van LLM-gewichten en de aannames van standaard quantisatiealgoritmen. Door de gewichten via Hadamard-rotatie te transformeren naar een Gaussische verdeling, wordt de quantisatiefout geminimaliseerd zonder de complexiteit van kalibratie of zware optimalisatie.

Praktische Toepassing: Het maakt het mogelijk om 9B-parametermodellen efficiënt uit te voeren op consumentenhardware (zoals MacBooks en desktop GPU's) met minimale kwaliteitsverlies.
Composabiliteit: De methode is compatibel met bestaande frameworks (PyTorch, torchao, MLX, GGUF) en kan worden gecombineerd met andere technieken zoals AWQ (Activation-Aware Weight Quantization), hoewel de ablatie toont dat uniforme Q5 met rotatie al superieur is aan gemengde bit-allocation met AWQ.
Innovatie: Het paper introduceert het concept van "distributional regularization" als preprocessing voor cascaded quantisatie, waarbij een hogere bit-breedte in de tussenstap (Q5) essentieel is om informatie te behouden voor de downstream quantisator.

De code en modellen zijn openbaar beschikbaar gesteld, wat de adoptie en verdere onderzoek naar deze techniek faciliteert.