MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization

Technische Samenvatting: MosaicQuant

Probleemstelling

Hoewel 4-bit kwantisatie een aanzienlijk potentieel biedt voor het verminderen van de geheugenvoetafdruk en het versnellen van de inferentie van Large Language Models (LLM's), kampt het met een fundamentele beperking: de beperkte bitbreedte kan niet zowel de dichte veelvoorkomende waarden (inliers) als de zeldzame, grote magnitude-waarden (outliers) getrouw representeren. Deze discrepantie leidt tot substantiële nauwkeurigheidsafname.

Bestaande oplossingen maken doorgaans gebruik van mixed-precision kwantisatie, waarbij outliers in hoge precisie (bijv. FP16 of INT8) worden behouden terwijl de rest naar 4-bit wordt gekwantiseerd. Echter, deze aanpak doorbreekt de uniformiteit van de low-bit executie. De noodzaak voor high-precision fallback-operaties introduceert extra dataverplaatsing, formaatconversie en precisieconversie-overhead, wat uiteindelijk de praktische hardwareversnelling die beloofd wordt door low-bit inferentie ondermermt.

Methodologie

De auteurs stellen MosaicQuant voor, een verenigd 4-bit kwantisatieparadigma gebaseerd op het principe van inlier–outlier disaggregatie. In plaats van outliers te bewaren in hoge precisie, decomponeert MosaicQuant de gewichtsmatrix volledig in 4-bit componenten: een dichte basis en een ijle (sparse) residu.

1. Inlier–Outlier Disaggregatie

De methode begint met het migreren van activatie-outliers naar de gewichtsmatrix met behulp van equivalente transformaties (bijv. SmoothQuant of QuaRot). De gemigreerde gewichtsmatrix $\hat{W}$ wordt vervolgens gedecomponeerd als:
$$\hat{W} \approx Q(\hat{W}) + R$$
Waarbij:

• Dichte 4-bit Basis ($Q(\hat{W})$): Legt de veelvoorkomende inliers getrouw vast.
• IJle 4-bit Residu ($R$): Compenseert voor de kwantisatiefouten geïntroduceerd door de outliers.

Cruciaal is dat beide componenten in 4-bit opereren, waardoor de uniformiteit van de low-bit executie-pipeline behouden blijft.

2. Block-Wise Residu Allocatie

Het artikel identificeert dat kwantisatiefouten niet uniform verdeeld zijn over kanalen, maar een fijnmazige block-level concentratie vertonen. Daarom alloceert MosaicQuant het ijle residubudget op blokniveau in plaats van op kanaalniveau.

Om de meest kritieke blokken te selecteren zonder dure volledige output-evaluaties, introduceren de auteurs een Hessian-geleide $\Delta$-score. Deze metriek benadert de marginale reductie in output-distortie voor elk blok door de residufout te wegen met de activatiesensitiviteit (diagonale Hessian-schatting) van de inputkanalen. Het algoritme selecteert de top-$K$ blokken met de hoogste $\Delta$-scores om de ijle 4-bit residucompensatie te ontvangen. Experimenten tonen aan dat een ijle budget van slechts 10% van de blokken voldoende is om meer dan 50% van de output-distortie te herstellen.

3. ZipperEngine: Verenigde Executie

Een verenigde representatie alleen is onvoldoende als het ijle residu via een aparte kernel wordt uitgevoerd, wat het herladen van activaties en het samenvoegen van partiële outputs zou betekenen, wat aanzienlijke latentie toevoegt. Om dit aan te pakken, introduceren de auteurs ZipperEngine, een gespecialiseerde executie-engine die:

• Kernels Fuseert: Integreert de ijle residuberekening direct in de dichte 4-bit GEMM-kernel.
• Overlapped Pipeline: Maakt gebruik van een getiled, overlappende pipeline waarbij kwantisatie, dichte berekening, ijle compensatie en reduction-add operaties gelijktijdig worden gepland over Tensor Cores, CUDA Cores en HBM.
• Resultaat: Dit elimineert de overhead van aparte kernel-dispatch en redundante geheugentrafiek, waardoor de hardware-efficiëntie van een volledig verenigde 4-bit inferentie-pipeline wordt gerealiseerd.

Belangrijkste Bijdragen

1. MosaicQuant Paradigma: Een 4-bit kwantisatie-aanpak die block-wise inlier–outlier disaggregatie uitvoert, waardoor nauwkeurigheidsverlies wordt beperkt terwijl een volledig low-bit executiepatroon behouden blijft.
2. Hessian-Geleide Selectie: Een efficiënte, activatie-bewuste blokselectiestrategie met een $\Delta$-Hessian score om kritieke residu-blokken te identificeren, ter vervanging van dure exacte output-distortie evaluatie.
3. ZipperEngine: Een dichte–ijle 4-bit executie-engine die de ijle residuberekening via een overlappende pipeline in de dichte GEMM-kernel fuseert, wat praktische versnellingen mogelijk maakt, zelfs met extra residublokken.

Experimentele Resultaten

De auteurs evalueerden MosaicQuant op LLaMA3 (3B, 8B) en Qwen3 (4B, 8B, 14B, 32B) modellen.

• Nauwkeurigheid: MosaicQuant behoudt een bijna FP16-nauwkeurigheid. Onder W4A4 kwantisatie presteert het significant beter dan andere low-bit baselines (RTN, SmoothQuant, QuaRot, SpinQuant, ResQ, Atom). Bijvoorbeeld, op Qwen3-32B bereikt MosaicQuant een perplexiteit van 8.4, vergeleken met 9.2 voor ResQ en 9.3 voor Atom. Het behoudt ook robuuste prestaties waar andere methoden (zoals RTN en SmoothQuant) vaak instorten op Qwen3-modellen.
• Doorvoersnelheid (Throughput): Op een NVIDIA RTX 4090 bereikt MosaicQuant een versnelling tot 1.24× ten opzichte van de W16A16 baseline. Het levert consistent de hoogste doorvoersnelheid over batchgroottes 4–32 vergeleken met TensorRT-LLM en andere kwantisatie-baselines.
• Overhead: De ijle 4-bit takken veroorzaken minimale overhead, waarbij het geheugengebruik slechts met 8.5–9.5% toeneemt en de latentie-overhead onder de 6.2% blijft dankzij de gefuseerde pipeline.

Betekenis

Het artikel beweert dat MosaicQuant de trade-off tussen nauwkeurigheid en hardware-efficiëntie in 4-bit LLM-kwantisatie oplost. Door de noodzaak voor high-precision fallback-operaties te elimineren en zowel de representatie als de executie te verenigen in één coherente low-bit pipeline, maakt MosaicQuant efficiënte LLM-serving mogelijk zonder de regelmaat van uniforme 4-bit executie op te offeren. Deze aanpak toont aan dat ijle, lage-precisie compensatie effectief de door outliers veroorzaakte fouten kan herstellen, terwijl de voordelen van doorvoersnelheid van dichte low-bit inferentie behouden blijven.