Technische Samenvatting: UniSVQ: 2-bit Unified Scalar-Vector Quantization

1. Probleemstelling

Large Language Models (LLMs) vereisen aanzienlijke computationele middelen, wat barrières creëert voor echte implementatie. Post-training quantisatie (PTQ) is een primaire oplossing voor compressie. Hoewel 4-bit of hogere quantisatie relatief stabiel is geworden, blijft 2-bit quantisatie een kritieke uitdaging voor het maximaliseren van inferentie-acceleratie en geheugenreductie.

Huidige 2-bit benaderingen kampen met een fundamentele afruil tussen Scalar Quantization (SQ) en Vector Quantization (VQ):

• Scalar Quantization (SQ): Converteert individuele gewichten naar discrete waarden. Het is computationeel efficiënt en compatibel met geoptimaliseerde tensor cores, maar lijdt onder ernstige prestatievermindering bij 2 bits (vaak meer dan 30% verlies) door gevoeligheid voor uitschieters (outliers) en beperkte flexibiliteit bij het fitten van gewichtsdistributies.
• Vector Quantization (VQ): Kwantiseert groepen aaneengesloten gewichten met behulp van een codeboek. Het bereikt superieure 2-bit prestaties door gewichtsdistributies beter te modelleren, maar brengt aanzienlijke opslagoverhead met zich mee (voor het codeboek) en computationele latentie (door codeboek-lookups en cache misses), wat vaak de winst in inferentiesnelheid tenietdoet.

Het kernprobleem dat wordt aangepakt, is hoe de flexibiliteit en prestaties van VQ bij 2 bits kunnen worden bereikt, terwijl de lage opslag- en computationele overhead van SQ behouden blijft.

2. Methodologie: UniSVQ

De auteurs stellen UniSVQ voor, een verenigd 2-bit quantisatieframework dat SQ en VQ overbrugt door codewords te parametriseren als een affiene transformatie van integer lattices.

Kerninzicht

De methode is gebaseerd op de observatie dat de ongestructureerde aard van VQ-codeboeken de primaire oorzaak is van hun overhead. UniSVQ vervangt het ongestructureerde codeboek door een lineair-beperkt quantisatiegrid. Dit grid is zodanig gedefinieerd dat alle mogelijke gekwantiseerde waarden worden verkregen via een affiene transformatie van een groep vectoren met integer-coördinaten.

• Wiskundige Formulering: De quantisatiefunctie $\Phi$ voor een gewichtsvector $[w_1, ..., w_d]^T$ is gedefinieerd als:
  $$\Phi([w_1, ..., w_d]^T) = A[\bar{w}_1, ..., \bar{w}_d]^T + B$$
  waarbij $\bar{w}_i \in \mathbb{Z}$ integer indices zijn, $A$ een affiene matrix is, en $B$ een bias vector is.
• Structuur: Deze structuur behoudt de regelmaat van SQ (waardoor het hergebruik van geoptimaliseerde matrixvermenigvuldigingskernels mogelijk is) terwijl de flexibiliteit van VQ behouden blijft (door het grid aan te laten passen aan de datadistributie via $A$ en $B$).

Implementatie Pipeline

UniSVQ werkt in drie stadia:

1. Preprocessing (Randomized Hadamard Transform - RHT):

   • Gewichten worden getransformeerd met behulp van RHT ($R(W) = US_U W S_V V$) om uitschieters te elimineren.
   • Deze stap zorgt ervoor dat de gewichtsdistributie een standaard multidimensionale Gaussische verdeling benadert, wat een vereiste is voor de effectiviteit van het lineair-beperkte grid.
   • De transformatie is omkeerbaar en computationeel efficiënt ($O(n \log n)$).

2. Gewicht Quantisatie (LDLQ):

   • De methode gebruikt de LDLQ (Lattice-based Decomposition for Lattice Quantization) benadering.
   • Het voert kolom-voor-kolom quantisatie uit, waarbij resterende ongekwantiseerde gewichten sequentieel worden aangepast om fouten te compenseren met behulp van de Hessiaanse matrixontbinding ($H = LDL^T$).
   • Het quantisatiegrid wordt geïnitialiseerd met een willekeurige orthogonale matrix $G$ en schalingfactoren afgeleid van de bitbreedte, wat een centraal symmetrisch grid garandeert dat overeenkomt met de Gaussische distributie van de gepreprocesste gewichten.

3. Data-Driven Fine-Tuning:

   • Om de reconstructiefout te minimaliseren, worden de affiene parameters ($A$ en $B$) layer-wise gefinetuned.
   • Het dequantisatieproces wordt geherformuleerd als een matrixvermenigvuldiging, waardoor backpropagation kan worden gebruikt om $A$ en $B$ direct te optimaliseren tegen de output van het originele FP16-model met behulp van een Mean Squared Error (MSE) loss.
   • Deze strategie past het quantisatiegrid aan de specifieke heterogeniteit van gewichts- en activatiedistributies aan.

Efficiëntie

• Opslag: Voor een 4-dimensionale vector ($d=4$) in 2-bit quantisatie vereist UniSVQ slechts 20 extra floating-point parameters ($4\times4$ matrix + 4 bias) per gewichtsmatrix. Dit vermindert de hulp-opslag van ~2048 bytes (standaard VQ) naar ~40 bytes (een reductie van ~64x).
• Inferentie: De affiene transformatie kan vooraf worden toegepast op activaties, wat het hergebruik van hoog geoptimaliseerde scalaire quantisatie Matmul-kernels mogelijk maakt zonder complexe decoding-logica.

3. Belangrijkste Bijdragen

1. Verenigd Framework: Introductie van UniSVQ, dat de structurele eenvoud van scalaire quantisatie combineert met de distributionele flexibiliteit van vector quantisatie via affiene lattice-parametrisering, waarbij VQ-achtige flexibiliteit wordt bereikt met minimale hulpparameters.
2. Prestatie-superioriteit: Demonstratie dat UniSVQ consequent beter presteert dan State-of-the-Art (SoTA) scalaire baselines en prestaties evenaart of zelfs beter is dan geavanceerde vector quantisatie-methoden.
3. Efficiëntiewinst: Bewijs dat UniSVQ de inferentie-throughput verbetert door codeboek-gerelateerd geheugentrafiek te verminderen, wat leidt tot hogere praktische inferentiesnelheden vergeleken met zowel FP16 als andere gekwantiseerde baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Qwen-3 (4B tot 32B) en Llama-3 (8B) modelfamilies met behulp van 2-bit quantisatie.

• Nauwkeurigheid vs. Scalaire Baselines: UniSVQ presteert significant beter dan scalaire methoden (GPTQ, QuIP, SpinQuant, OSTQuant).
  • Op Qwen-3-32B behoudt UniSVQ 98% van de full-precision (FP16) prestaties, terwijl scalaire baselines vaak onder de 60-70% zakken.
  • Opvallend genoeg presteert de 2-bit UniSVQ (32B) beter dan het FP16 Qwen-3-4B model in gemiddelde QA-nauwkeurigheid, wat suggereert dat grotere 2-bit modellen effectiever kunnen zijn dan kleinere full-precision modellen wanneer het geheugen beperkt is.
• Nauwkeurigheid vs. Vector Baselines: UniSVQ bereikt een nauwkeurigheid die vergelijkbaar is met of beter is dan VQ-methoden (AQLM, QuIP#).
  • Op Qwen-3-8B overtreft UniSVQ QuIP# (dat een wiskundig optimale E8P lattice gebruikt).
  • Het presteert beter dan AQLM (clustering-gebaseerd) over alle benchmarks.
• Inferentie Throughput:
  • Op Llama-3-8B (A100 GPU) bereikt UniSVQ 1.68x snellere inferentie dan FP16.
  • Het vermindert het piek GPU-geheugengebruik met meer dan 75% vergeleken met FP16.
  • Het presteert beter dan AQLM en QuIP# in zowel throughput als geheugenvoetafdruk vanwege de eenvoudigere structuur en het ontbreken van grote codeboek-lookups.
• Ablatie Studies:
  • Fine-tuning: Het uitschakelen van de data-driven fine-tuning van affiene parameters veroorzaakt een merkbare daling in nauwkeurigheid (bijv. van 67,95% naar 66,99% op Qwen-3-8B).
  • Initialisatie: Het gebruik van een willekeurige orthogonale matrix voor initialisatie is superieur aan het gebruik van de wiskundig optimale D4 lattice generator, waarschijnlijk omdat de willekeurige matrix de isotrope aard behoudt die vereist is voor de lineaire restricties.
  • RHT: Het verwijderen van de Randomized Hadamard Transform zorgt ervoor dat de prestaties instorten naar bijna willekeurige niveaus, wat de noodzaak ervan bevestigt voor het onderdrukken van uitschieters.
  • Dimensionaliteit: Het verhogen van de vectordimensie van $d=4$ naar $d=8$ levert slechts marginale winst in nauwkeurigheid op, die de verhoogde computationele kosten niet rechtvaardigt. Daarom is $d=4$ de optimale balans.

5. Betekenis en Claims

Het artikel claimt dat UniSVQ een belangrijke stap voorwaarts is in extreem lage-bit quantisatie (2-bit). Door de structurele eenvoud van scalaire quantisatie te verenigen met de distributionele flexibiliteit van vector quantisatie, lost UniSVQ de traditionele afruil tussen nauwkeurigheid en efficiëntie op.

De auteurs benadrukken dat:

• Het lineair-beperkte quantisatiegrid het kernmechanisme is dat deze methoden verbindt, waardoor dequantisatie kan worden behandeld als een eenvoudige affiene transformatie.
• De methode schaalbaar en generaliseerbaar is, goed presteert over verschillende modelarchitecturen (Qwen, Llama) en bitbreedtes (uitbreidbaar naar 3-bit met minimale structurele wijzigingen).
• De aanpak de inzet van grotere modellen (bijv. 32B) mogelijk maakt in omgevingen met beperkte middelen, met prestaties die wedijveren met kleinere full-precision modellen, een prestatie die niet haalbaar is met huidige scalaire quantisatiemethoden.

Het artikel sluit af met een bescheiden opmerking over beperkingen: het huidige werk richt zich op weight-only quantisatie en adresseert nog niet de activatie- of KV-cache quantisatie, die ook cruciaal zijn voor end-to-end efficiëntie. Daarnaast blijft de interactie tussen de affiene transformatie en hoog geoptimaliseerde GEMM-kernels een gebied voor toekomstig onderzoek.