💬 NLP

Channel-Wise Mixed-Precision Quantization for Large Language Models

Dit artikel introduceert Channel-Wise Mixed-Precision Quantization (CMPQ), een nieuwe methode die willekeurige precisieniveaus dynamisch toewijst aan gewichtskanalen op basis van activatiedistributies en niet-uniforme kwantisatie met uitschieterextractie gebruikt om het geheugengebruik aanzienlijk te verminderen terwijl de hoge prestaties voor Large Language Models op edge-apparaten behouden blijven.

Oorspronkelijke auteurs: Zihan Chen, Bike Xie, Jundong Li, Cong Shen

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zihan Chen, Bike Xie, Jundong Li, Cong Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek aan kennis hebt (een Large Language Model, of LLM). Deze bibliotheek is zo groot dat hij niet op een normale boekenkast past; hij heeft een magazijn ter grootte van een voetbalveld nodig om de boeken te huisvesten. Je wilt deze bibliotheek verkleinen zodat hij op een kleine, draagbare boekenkast past (zoals een telefoon of een laptop), maar je kunt niet de belangrijke verhalen weggooien, want dan verliest de bibliotheek zijn betekenis.

Dit artikel introduceert een nieuwe manier om deze digitale bibliotheken te verkleinen, genaamd CMPQ (Channel-Wise Mixed-Precision Quantization). Zo werkt het, eenvoudig uitgelegd:

Het Probleen: Het "One-Size-Fits-All" Pak

De meeste huidige methoden proberen de bibliotheek te verkleinen door elk boek in een doos van exact dezelfde grootte te stoppen.

De Oude Manier: Als je besluit om "3-bit" dozen te gebruiken (een specifieke kleine grootte), wordt elk boek gedwongen in een 3-bit doos.
Het Probleem: Sommige boeken zijn dik en complex (die hebben een grote doos nodig), terwijl andere boeken dun en simpel zijn (die passen in een piepkleine doos). Als je een dik boek in een kleine doos dwingt, worden de pagina's gekreukeld (de AI maakt fouten). Als je een dun boek in een enorme doos plaatst, verspil je ruimte.
De Beperking: Bestaande methoden zijn rigide. Ze kunnen alleen hele getallen als grootte gebruiken (zoals 2-bit, 3-bit of 4-bit). Als je apparaat net iets meer ruimte heeft dan een 2-bit doos toelaat, maar niet genoeg voor een volledige 3-bit doos, kunnen huidige methoden die extra ruimte niet effectief gebruiken.

De Oplossing: CMPQ's "Slimme Verpakking"

CMPQ is als een superintelligente verpakkingsservice die naar elk boek afzonderlijk kijkt en de perfecte doosmaat bepaalt, gebaseerd op hoe belangrijk dat boek is.

1. Het "Channel" Concept (De Boekenkasten)
Beschouw de hersenen van de AI als iets dat duizenden verschillende "channels" of boekenkasten heeft. Het artikel ontdekte dat niet alle planken even belangrijk zijn. Sommige planken bevatten de meest cruciale verhalen (hoge activatie), terwijl andere planken opvulmateriaal bevatten.

CMPQ's Beweging: In plaats van de hele bibliotheek hetzelfde te behandelen, kijkt het naar elke plank. Als een plank zeer belangrijke verhalen bevat, geeft het die boeken een grotere, hogere kwaliteit doos (meer precisie, zoals 4-bit). Als een plank minder belangrijke verhalen bevat, geeft het die een kleinere, strakkere doos (minder precisie, zoals 2-bit).

2. De "Fractional" Magie (De Maatwerk Pasvorm)
Dit is de grootste truc van het artikel. Omdat CMPQ grote dozen en kleine dozen met elkaar mengt, kan het een gemiddelde grootte creëren die geen heel getal is.

De Analogie: Stel je voor dat je een budget hebt dat precies 2,5 dozen past.
- Oude methoden zeggen: "We kunnen alleen 2-dozen of 3-dozen gebruiken. We kunnen geen 2,5 doen."
- CMPQ zegt: "Geen probleem! We laten 50% van de boeken in 2-dozen passen en 50% in 3-dozen. Het gemiddelde is 2,5, en we gebruiken elke centimeter van je ruimte perfect."
Het Resultaat: Je kunt de bibliotheek in een iets grotere ruimte persen dan voorheen, en de AI wordt aanzienlijk slimmer omdat de belangrijke boeken niet werden geplet.

3. Het Beschermen van de "Outliers" (De Zeldzame Parels)
Soms heeft een boek een paar pagina's die ongelooflijk vreemd of uniek zijn (dit worden "outliers" genoemd). Als je probeert deze pagina's te verkleinen, breekt het hele verhaal.

CMPQ's Strategie: Het heeft een speciaal "Outlier Protection" systeem. Het identificeert deze zeldzame, vreemde pagina's voordat de rest van de bibliotheek wordt verkleind. Het houdt deze specifieke pagina's in hun originele, volledige formaat (zoals het bewaren in een glazen vitrine) terwijl de rest van de bibliotheek wordt verkleind. Dit zorgt ervoor dat de vreemde, cruciale details niet verloren gaan.

Wat het Artikel Vond

De auteurs testten dit op negen verschillende grote AI-modellen (zoals OPT en LLaMA). Dit is wat ze vonden:

Betere Prestaties: CMPQ maakte de AI slimmer dan eerdere methoden, zelfs bij zeer kleine doosmaten (zoals 3-bit).
Fractional Winst: Wanneer ze de AI toestonden om "tussenliggende" maten te gebruiken (zoals 2,2 bits of 3,4 bits), steeg de prestatie van de AI aanzienlijk vergeleken met methoden die vastzaten aan hele getallen.
Efficiëntie: Het vereiste geen hertraining van de AI vanaf nul (wat duur en traag is). Het herrangschikte simpelweg de bestaande boeken.
Snelheid: Het draait net zo snel als de oudere methoden, dus je verliest geen snelheid om winst in nauwkeurigheid te behalen.

In een Notendop

CMPQ is een slimmere manier om AI-modellen te comprimeren. In plaats van elk deel van de AI in dezelfde kleine container te dwingen, behandelt het verschillende delen van de AI verschillend. Het geeft de belangrijke delen meer ruimte en de minder belangrijke delen minder ruimte. Hierdoor kan de AI in kleinere apparaten passen zonder zijn "denkkracht" te verliezen, en kan het zelfs de minuscule stukjes extra ruimte gebruiken die andere methoden negeren.

Technische Samenvatting: Aanpassen aan elke bitbreedte: Kanaalsgewijze Mixed-Precision Kwantisatie voor LLM's

1. Probleemstelling

Large Language Models (LLMs) worden geconfronteerd met aanzienlijke implementatieuitdagingen op edge-apparaten vanwege hun enorme parametergrootte, wat substantiële geheugeneisen oplevert. Hoewel weight-only Post-Training Quantization (PTQ) een oplossing biedt door de precisie te verlagen (bijv. van FP16 naar 3-bit), kampen bestaande benaderingen met twee primaire beperkingen:

Integer-Bit Rigiditeit: De meeste state-of-the-art PTQ-methoden (bijv. GPTQ, AWQ) richten zich op uniforme integer-bit kwantisatie over alle lagen. Dit beperkt hun aanpasbaarheid aan apparaten die fractie gemiddelde bitbreedtes zouden kunnen ondersteunen (bijv. 2,2 of 3,8 bits), wat leidt tot onderbenutting van de beschikbare opslag.
Ineffectieve Mixed-Precision Strategieën: Bestaande mixed-precision methoden, zoals LLM-MQ, vertrouwen vaak op laag-gewijze sensitiviteitschatting met behulp van eerste-orde informatie (gradiënten). Echter, in geconvergeerde LLM's zijn gradiënten nagenoeg nul, waardoor het moeilijk is om laag-sensitiviteiten effectief te differentiëren. Bovendien kan laag-gewijze allocatie informatieverlies concentreren in specifieke lagen, wat de algehele prestaties verslechtert. Daarnaast kunnen methoden die passief uitschieters (outliers) behouden in FP16 vaak de inferentie-latentie verhogen zonder evenredige prestatiewinsten te bieden.

2. Methodologie: Kanaalsgewijze Mixed-Precision Kwantisatie (CMPQ)

De auteurs stellen CMPQ voor, een PTQ-framework dat ontworpen is om LLM's aan te passen aan elke gemiddelde bitbreedte-restrictie, inclusief niet-gehele waarden, zonder de prestaties op te offeren. De methode werkt via drie kerncomponenten:

A. Kanaalsgewijze Niet-Uniforme Kwantisatie

In tegen tegenstelling tot uniforme kwantisatie, die gewichtbereiken in gelijkmatig gespatieerde bins verdeelt, gebruikt CMPQ niet-uniforme kwantisatie (via K-means clustering) om de niet-uniforme gewichtsverdelingen die typerend zijn voor LLM's beter te verwerken.

Precisie-allocatie: In plaats van een vaste bitbreedte aan een hele laag toe te wijzen, wijst CMPQ precisie toe op het kanaalniveau.
Activatie-gebaseerde Heuristiek: De methode berekent de L2-norm van activaties voor elk kanaal tijdens een forward pass op een kalibratieset.
- Als de doelgemiddelde bitbreedte $b > 3$ , krijgen kanalen met grote activatie-normen (saliente kanalen) een hogere precisie (bijv. 4-bit) om kritieke informatie te behouden.
- Als $b < 3$ , krijgen minder kritieke kanalen een lagere precisie (bijv. 2-bit) om de opslag te minimaliseren.
- Voor $b = 3$ wordt een klein deel (~1%) van de saliente kanalen beschermd met 4-bit precisie, terwijl de rest 3-bit gebruikt.
Algoritme: De allocatie wordt bepaald door Algoritme 1, dat kwantielen van de activatie-normvector gebruikt om bitbreedtes $c_i \in \{2, 3, 4\}$ toe te wijzen aan elk kanaal $i$ .

B. Duale Outlier Protectie

Om de degradatie veroorzaakt door extreme waarden (outliers) te mitigeren, integreert CMPQ twee verschillende technieken voor outlier-extractie die specifieke gewichten in FP16 behouden:

Activatie-gebaseerde Outliers ( $O_{act}$ ): Kanalen die overeenkomen met de top 0,45% van de activatie L2-normen worden geïdentificeerd en behouden in FP16. Dit adresseert de observatie dat outliers vaak een kanaalsgewijs patroon vertonen.
Kwantisatie-bewuste Outliers ( $O_q$ ): Na het verwijderen van $O_{act}$ , ondergaan de resterende gewichten kanaalsgewijze niet-uniforme kwantisatie. De top 0,05% van de gewichten met de grootste absolute kwantisatiefouten ( $|W' - W'_q|$ ) wordt geïdentificeerd en behouden in FP16. Dit zorgt ervoor dat de clustering-centra die voor kwantisatie worden gebruikt, de meerderheid van de gewichtsverdeling vertegenwoordigen in plaats van te worden vertekend door extreme waarden.

Totale Overhead: De gecombineerde outlier-ratio wordt gehandhaafd op 0,5%, consistent met baseline methoden, wat eerlijke opslagvergelijkingen garandeert.

C. Efficiëntie en Implementatie

Geen Backpropagation: CMPQ vereist slechts één enkele forward pass voor kalibratie, waardoor de geheugenintensieve backward passes worden vermeden die nodig zijn voor methoden zoals SqueezeLLM.
Inferentie: Het framework handelt mixed-precision matrixvermenigvuldiging af door gewichten te decomponeren in sub-matrices op basis van kanaalallocatie. Outliers worden verwerkt via standaard CSR sparse kernels, terwijl de bulk van de gewichten via low-bit kernels wordt verwerkt.

3. Belangrijkste Bijdragen

Adaptief Framework: Introductie van CMPQ, een post-training kwantisatie-framework dat willekeurige gemiddelde bitbreedtes ondersteunt (inclusclusief fractie waarden) via kanaalsgewijze precisie-allocatie.
Nieuw Mechanisme: Integratie van niet-uniforme kwantisatie met een duale outlier-afhandelingsstrategie (activatie-gebaseerd en kwantisatie-bewust) die fijne controle biedt met lage overhead.
Prestatiewinsten: Demonstratie dat CMPQ eerdere methoden overtreft in zowel integer-bit als fractional-bit settings, waarbij significante prestatieverbeteringen worden bereikt met bescheiden toenames in geheugengebruik.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op negen LLM's (OPT, LLaMA2, LLaMA3) over diverse bitbreedtes (2, 3, 4 bits) en datasets (WikiText-2, C4, PIQA, HellaSwag, MMLU).

Integer-Bit Prestaties: CMPQ behaalt state-of-the-art of concurrerende perplexiteitsscores vergeleken met baselines zoals GPTQ, AWQ, QuIP en LLM-MQ. Bijvoorbeeld, op OPT-2.7B bij 3-bit, bereikt CMPQ een WikiText-2 perplexiteit van 13,38, waarmee het LLM-MQ (18,09) en GPTQ (17,09) overtreft.
Fractional-Bit Prestaties: CMPQ demonstreert superieure aanpasbaarheid aan fractional-bit breedtes (bijv. 2,2, 3,4 bits). Op LLaMA2-7B levert de overgang van 2-bit naar 2,2-bit gemiddelde precisie een verbetering van 30% in perplexiteit op (van 15,97 naar 11,11), een winst die onbereikbaar is met integer-only methoden.
Robuustheid: CMPQ vertoont een grotere robuustheid tegen variaties in de kalibratieset vergeleken met Hessian-gebaseerde methoden zoals QuIP, die kunnen divergeren wanneer de evaluatiedataset verschilt van de kalibratieset.
Efficiëntie:
- Geheugen: De overhead voor het opslaan van bit-allocatie metadata en clustercentra is minimaal (<0,03 bits per gewicht).
- Latentie: Inferentie-latentie en piekgeheugengebruik zijn vergelijkbaar met integer-only kwantisatiemethoden zoals SqueezeLLM, met slechts een bescheiden toename (ongeveer 11-12%) voor grotere modellen (13B) vanwege het hulp-high-precision pad.
- Kalibratie: CMPC is zeer data-efficiënt en bereikt de gewenste prestaties met slechts 1-2 kalibratiesamples, terwijl andere methoden vaak 50+ vereisen.

5. Betekenis en Claims

Het artikel beweert dat CMPQ een significante stap voorwaarts vertegenwoordigt in LLM-kwantisatie door de kloof te overbruggen tussen theoretische opslagefficiëntie en praktische implementatiebeperkingen.

Aanpasbaarheid: Het maakt de "gestructureerde toepassing van fractional-bit precisie" mogelijk, waardoor ontwikkelaars het beschikbare device-geheugenbudget volledig kunnen benutten in plaats van beperkt te zijn tot integer-bit schema's.
Trade-off Optimalisatie: De methode bereikt een superieure geheugen-nauwkeurigheid trade-off door proactief precisie toe te wijzen aan low-bit kanalen, terwijl de FP16 footprint vast blijft, waardoor de latentie-straf van passieve outlier-retentie wordt vermeden.
Practicaliteit: Door backpropagation te elimineren en minimale kalibratiedata te vereisen, biedt CMPC een schaalbare, efficiënte oplossing die geschikt is voor real-world deployment scenario's waar computationele en geheugenbronnen beperkt zijn.

De auteurs erkennen beperkingen, waaronder de focus op weight-only kwantisatie, de afhankelijkheid van een discrete set precisieniveaus ({2, 3, 4}), en de aanname dat de kalibratieset representatief is voor de beoogde gebruikverdeling. Ze stellen echter dat CMPC een zeer aanpasbare en effectieve benadering biedt voor LLM-kwantisatie over diverse device-capaciteiten heen.