🤖 machine learning

Statistically-Lossless Quantization of Large Language Models

Dit artikel introduceert Statistically-Lossless Quantization (SLQ), een laag-specifieke asymmetrische kwantisatiemethode die zowel taak-verliesloze nauwkeurigheid onder de 4 bits per parameter als distributie-verliesloze getrouwheid bij 5–6 bits bereikt, terwijl het 1,7–3,7x versnellingen in inferentie levert ten opzichte van FP16.

Oorspronkelijke auteurs: Michael Helcig, Eldar Kurtic, Dan Alistarh

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Michael Helcig, Eldar Kurtic, Dan Alistarh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie voor als een enorme, bruisende bibliotheek waar de boeken niet van papier zijn gemaakt, maar van pure wiskunde. Deze "boeken" zijn Large Language Models (LLM's), de superintelligente computers die verhalen kunnen schrijven, vergelijkingen kunnen oplossen en kunnen chatten als mensen. Maar er is een addertje onder het gras: deze bibliotheken zijn enorm. Om een boek te lezen, heb je een gigantische, dure en stroomverslindende supercomputer nodig. De meeste mensen hebben zo'n computer niet in hun woonkamer staan. Daarom proberen wetenschappers deze boeken kleiner te maken—ze kleiner en lichter te maken zodat ze op gewone telefoons of laptops passen. Dit proces wordt "quantization" genoemd. Denk aan het nemen van een foto met een hoge definitie en deze comprimeren tot een kleiner bestand. Meestal, wanneer je een bestand te veel verkleint, wordt de afbeelding wazig of gepixelde (dit is "lossy" compressie). Als je wilt dat de afbeelding perfect blijft, blijft het bestand enorm (dit is "lossless" compressie). De grote vraag die wetenschappers zich hebben gesteld is: Kunnen we deze AI-hersenen zo ver krimpen dat ze op een telefoon passen, maar nog steeds slim genoeg zijn om een test te halen, zonder dat ze gaan haperen of hallucineren?

Dit artikel, getiteld "Statistically-Lossless Quantization of Large Language Models," duikt direct in die lastige middenweg. De auteurs, Michael Helcig, Eldar Kurtic en Dan Alistarh, stellen dat we niet hoeven te kiezen tussen een wazig, klein model en een perfect, groot model. In plaats daarvan stellen ze een nieuwe manier voor om deze modellen te verkleinen die "statistisch lossless" is. Hier is de magische truc: ze realiseerden zich dat wanneer mensen (of zelfs de AI zelf) vragen beantwoorden, er altijd een klein beetje willekeur is. Als je dezelfde AI twee keer dezelfde vraag stelt, kan hij iets andere antwoorden geven, net zoals jij een vraag van een vriend anders zou kunnen beantwoorden afhankelijk van je stemming. De auteurs ontdekten dat als het gekrompen model binnen die natuurlijke "stemmingswisseling" blijft, het goed genoeg is. Ze creëerden een methode genaamd SLQ (Statistically-Lossless Quantization) die werkt als een meesterkleermaker. In plaats van elk deel van de AI-hersenen naar dezelfde kleine omvang te snijden, meet het precies hoe gevoelig elk deel is. Sommige delen krijgen een heel klein beetje ruimte (zo laag als 3,3 bits per parameter), terwijl andere iets meer krijgen.

Het artikel doet een paar zeer specifieke ontdekkingen die veranderen hoe we denken over het verkleinen van AI. Ten eerste bewezen ze dat een specifieke manier om de "krimp" te meten cruciaal is. Ze introduceerden een metriek genaamd EAR (Expected Acceptance Rate), wat een soort "token overeenstemmingsscore" is. Als de originele AI en de gekrompen AI het eens zijn over 99 van de 100 woorden die ze zouden kiezen, dan is dat een overwinning. Ze ontdekten dat om deze perfecte overeenstemming te krijgen, je voorzichtig moet zijn met hoe je de getallen verkleint. Ze toonden wiskundig aan dat het gebruik van een "symmetrische" manier van verkleinen (die positieve en negatieve getallen hetzelfde behandelt) eigenlijk meer ruis en fouten creëert dan een "asymmetrische" manier (die de schaal aanpast om perfect bij de data te passen). Het is alsoal een scheve koffer in een vierkante doos proberen te passen; als je hem met kracht in het midden probeert te duwen, zal hij niet goed sluiten. Je moet de koffer verschuiven om bij de vorm van de doos te passen.

De resultaten zijn zeer indrukwekkend. Met hun SLQ-methode slaagden ze erin modellen zoals Llama-3.3-70B en Qwen3 te verkleinen tot een gemiddelde van 3,3 tot 4,7 bits per parameter, terwijl ze hun "task-lossless" nauwkeurigheid behielden (wat betekent dat ze nog steeds dezelfde tests halen als de grote versie). Als ze nog strenger wilden zijn en ervoor wilden zorgen dat de interne "stemming" (de waarschijnlijkheidsverdeling) van de AI bijna identiek is aan het origineel, hadden ze ongeveer 5 tot 6 bits nodig. Maar het beste deel? Omdat de modellen zo veel kleiner zijn, draaien ze veel sneller. De auteurs testten dit op echte hardware en ontdekten dat hun gekrompen modellen 1,7 tot 3,7 keer sneller waren dan de originele, volledige versies, en ze pasten zelfs op minder grafische kaarten. Ze toonden ook aan dat oudere methoden, zoals GPTQ of AWQ, vaak de plank misslaan op dit "statistisch lossless" doel, ofwel te wazig zijn of niet genoeg comprimeren. Kortom, dit artikel suggereert dat door slimmer te zijn over waar en hoe we de AI verkleinen, we deze gigantische hersenen klein, snel en nog steeds ongelooflijk nauwkeurig kunnen maken, zonder dat we de kwaliteit van hun antwoorden hoeven op te offeren.

Technische Samenvatting: Statistisch-Verliesloze Kwantisatie van Large Language Models

Probleemstelling

Huidige kwantisatie-aanpakken voor Large Language Models (LLM's) kampen met een binaire afruil: verlieslatende methoden (bijv. GPTQ, AWQ) bereiken hoge compressie en inferentie-acceleratie maar verslechteren de nauwkeurigheid van het model, terwijl verliesloze methoden (bijv. ZipNN, entropie-gecodeerde representaties) de getrouwheid behouden maar vaak niet in staat zijn tot inferentie-acceleratie of het bereiken van hoge compressieratio's.

Dit artikel identificeert een gat tussen deze extremen: het regime van Statistisch-Verliesloze Kwantisatie (SLQ). De auteurs stellen dat aangezien de meeste open-weight LLM's worden ingezet met stochastische sampling-parameters (bijv. temperatuur > 0), hun outputs van nature variatie vertonen van run naar run. Een gekwantiseerd model dat binnen deze natuurlijke sampling-variantie blijft, is voor praktische doeleinden verliesloos. De uitdaging is om compressie te definiëren en te bereiken die de output-kenmerken van het model onder standaard sampling behoudt, zonder dat een bit-exacte reconstructie vereist is.

Methodologie

Het voorgestelde SLQ-framework maakt gebruik van laag-specifieke niet-uniforme scalaire kwantisatie met asymmetrische kwantisatie-roosters. De methodologie is gebouwd op drie kernzuilen:

1. Theoretische Fundering: Asymmetrische vs. Symmetrische Kwantisatie

Het artikel bewijst dat asymmetrische kwantisatie een vereiste is voor distributie-verliesloze getrouwheid, terwijl symmetrische kwantisatie onvoldoende is voor dit strikte doel.

Centreringsinefficiëntie ( $\gamma$ ): Gedefinieerd als $\gamma = 2M/R$ , waarbij $M$ de maximale absolute magnitude is en $R$ het dynamische bereik. Voor symmetrische distributies is $\gamma=1$ ; voor asymmetrische distributies (typisch voor LLM's) is $\gamma > 1$ .
Gamma-Kwadraat Variantie-wet: De auteurs bewijzen dat symmetrische kwantisatie de output-ruisvariantie vergroot met een factor $\gamma^2$ $γ^{2}$ ten opzichte van asymmetrische kwantisatie.
- $\sigma^2_{sym} = \gamma^2 \sigma^2_{asym}$
Impact: Deze variantievergroting leidt tot hogere kansen op "beslissingsflips" (het veranderen van de argmax-token), met name in gebieden met lage entropie waar het model het meest zelfverzekerd is. Bijgevolg vereist symmetrische kwantisatie aanzienlijk meer bits (tot wel 1,5 bit per parameter meer) om dezelfde distributionele getrouwheid te bereiken als asymmetrische kwantisatie.

2. Getrouwheidsmetrieken

Om het bijna-verliesloze regime te navigeren, introduceert het artikel twee verschillende definities van verliesloosheid en bijbehorende metrieken:

Taak-Verliesloos (TL): Behoudt de zero-shot benchmark-nauwkeurigheid binnen de natuurlijke sampling-variantie.
- Metriek: Herstelpercentage (percentage behouden BF16-nauwkeurigheid).
- Zoekstrategie: Single-point kalibratie. Door gebruik te maken van de geobserveerde lineaire relatie tussen KL-divergentie en taakherstel in het bijna-verliesloze regime, leiden de auteurs een KL-drempel af uit een enkele benchmark-meting om bitbreedte-vereisten te voorspellen zonder uitputtende zoektocht.
Distributie-Verliesloos (DL): Vereist dat de volgende-token distributie van het gekwantiseerde model praktisch ononderscheidbaar is van het origineel.
- Metriek: Verwachte Acceptatie Ratio (EAR). Geïnspireerd door speculative decoding, meet EAR de maximale token-overeenkomstwaarschijnlijkheid tussen de originele en gekwantiseerde distributies onder optimale koppeling.
- Definitie: $EAR = \frac{1}{N} \sum_{i} \sum_{k=1}^{K} \min(p_i(k), q_i(k))$ , beperkt tot de top- $K$ tokens. Een EAR van 0,99 betekent 99% overeenkomst onder optimale koppeling.
- Zoekstrategie: Directe optimalisatie op EAR-beperkingen met behulp van kalibratiedata.

3. De SLQ Pipeline

Gevoeligheidsschatting: Gebruikt Multi-Bitwidth Shapley Estimatie om de marginale impact te evalueren van het toewijzen van specifieke bitbreedtes (uit een verzameling $\{2, \dots, 8\}$ ) aan verschillende laaggroepen. Dit breidt eerdere binaire keuze-methoden uit naar een volledig integer bitbreedtebereik.
Bitbreedte Allocatie: Formuleert de allocatie als een Multiple-Choice Knapsack Probleem dat wordt opgelost via Integer Lineaire Programmering (ILP). De solver minimaliseert de voorspelde degradatie onder een bitbreedtebudget of getrouwheidsbeperking.
Implementatie: De methode gebruikt asymmetrische integer groep kwantisatie (groepsgrootte 128) en is compatibel met standaard inferentie-kernels (bijv. Humming kernels in vLLM).

Belangrijkste Resultaten

De auteurs evalueerden SLQ op vier modellen (Qwen3-8B, Qwen3-32B, Qwen3.5-27B, en Llama-3.3-70B-Instruct) met behulp van weight-only kwantisatie.

Nauwkeurigheid en Compressie

Taak-Verliesloos (TL): Bereikt bij agressieve bitbreedtes variërend van 3,3 tot 4,7 bits per parameter (bpp).
- Voorbeeld: Llama-3.3-70B bereikte 99,1% herstel bij 3,59 bpp, wat beter presteert dan uniforme 4-bit kwantisatie.
- Voorbeeld: Qwen3.5-27B bereikte 99,1% herstel bij 3,30 bpp.
Distributie-Verliesloos (DL): Bereikt bij 5,0 tot 6,6 bpp met EAR $\ge 0,99$ $\geq 0, 99$ .
- Voorbeeld: Qwen3-32B bereikte 100,1% herstel bij 4,98 bpp.
- Voorbeeld: Llama-3.3-70B bereikte 99,9% herstel bij 6,55 bpp.
Vergelijking: SLQ presteert aanzienlijk beter dan state-of-the-art methoden zoals QTIP en YAQA in het distributie-verliesloze regime. Zo bereikte QTIP bij 4 bits op Llama-3.1-8B een EAR van 0,0519, terwijl SLQ een veel lagere KL-divergentie (0,004) behaalde bij 5,59 bpp.

Inferentie Snelheidswinst

Met behulp van geoptimaliseerde Humming kernels op NVIDIA L40s GPU's boden SLQ-configuraties een 1,7× tot 3,7× throughput over BF16-baselines.

Hardware Efficiëntie: De verminderde modelgrootte maakte het mogelijk om grotere modellen op minder GPU's te draaien (bijv. Llama-3.3-70B paste op 2 GPU's in plaats van 4).
Vergelijking: SLQ presteerde consequent beter dan FP8-baselines qua throughput per GPU.

Ablatie en Analyse

Asymmetrie: Het verwijderen van asymmetrische kwantisatie (het afdwingen van symmetrie) verhoogde de benodigde bitbreedte voor DL-doelen met ~1,5 bpp.
Bitbreedte Bereik: Het beperken van de zoektocht tot binaire keuzes (bijv. {4, 8}) resulteerde in hogere gemiddelde bitbreedtes vergeleken met zoeken in het volledige bereik {2–8}.
Token-niveau Analyse: In DL-configuraties matchten 98,1% van de tokens de baseline exact; divergenties waren beperkt tot kleine stilistische variaties (synoniemen, interpunctie) zonder feitelijke fouten.
Denk-Tokens: DL-configuraties introduceerden geen extra "denk"-token overhead vergeleken met BF16, terwijl verlieslatende configuraties (TL en Uniform-4) het aantal denk-tokens met 2,2–2,9% verhoogden.

Betekenis en Claims

Het artikel claimt een nieuw paradigma voor LLM-compressie te hebben gevestigd door statistisch-verliesloze kwantisatie te formaliseren. De belangrijkste bijdragen zijn:

Formalisering van het Gat: Het onderscheid tussen taak-niveau en distributie-niveau verliesloosheid, waarbij wordt betoogd dat die laatste noodzakelijk is voor echte getrouwheid in stochastische decoding scenario's.
De $\gamma^2$ Wet: Het leveren van het eerste formele bewijs dat de link legt tussen asymmetrisch kwantisatie-ontwerp en token-niveau beslissingsflips, waarmee wordt aangetoond dat symmetrische kwantisatie fundamenteel inefficiënt is voor distributie-verliesloze doelen.
De EAR Metriek: Het introduceren van een direct interpreteerbare getrouwheidsmetriek (Expected Acceptance Rate) die KL-divergentie aanvult.
Praktische Efficiëntie: Het demonstreren dat statistisch-verliesloze compressie haalbaar is bij sub-4-bit (voor taak-verliesloos) en ~5–6 bit (voor distributie-verliesloos) breedtes, terwijl het significante inferentie-snelheden oplevert, waarmee effectief de kloof tussen verlieslatende compressie en verliesloze opslag wordt overbrugd.

De auteurs positioneren SLQ niet als een vervanging voor alle kwantisatiemethoden, maar als een principiële aanpak voor het "bijna-verliesloze" regime waar kleine distributionele verschuivingen cruciaal zijn, wat een Pareto-dominante oplossing biedt ten opzichte van uniforme kwantiseerders.