🤖 machine learning

BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models

Het artikel stelt Bit-Plane Decomposition Quantization (BPDQ) voor, een nieuwe methode die variabele quantisatierasters en optimalisatie van de tweede orde gebruikt om de nauwkeurigheid van grote taalmodellen bij ultra-lage bit-breedtes (2-3 bits) aanzienlijk te verbeteren, waardoor de efficiënte implementatie van een 72B-model op een enkele consument GPU mogelijk wordt.

Oorspronkelijke auteurs: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek van kennis (een Large Language Model) in je broekzak wilt dragen. Het probleem is dat de bibliotheek zo zwaar en omvangrijk is dat hij niet in je rugzak past, en je telefoon de boeken niet snel genoeg kan lezen.

Om dit op te lossen, gebruiken wetenschappers quantisatie. Denk hierbij aan het vertalen van de complexe, hoogwaardige boeken van de bibliotheek naar een vereenvoudigde, laagresolutieversie die minder ruimte inneemt. Meestal proberen ze de boeken in te krimpen tot 4-bit (alsof je een 4K-film omzet naar een standaard DVD). Dit werkt goed. Maar wanneer ze proberen ze nog verder in te krimpen tot 2-bit (alsof je die film omzet naar een klein, korrelig GIF-bestand), valt het verhaal uit elkaar. De betekenis gaat verloren en de bibliotheek wordt onbruikbaar.

Het probleem: De "koekjesvormer"-valstrik

Het artikel legt uit dat bestaande methoden om deze modellen in te krimpen tot 2-bit een vast rooster gebruiken.

Stel je voor dat je een hoop onregelmatig gevormde stenen (de gegevens van het model) in een doos probeert te pakken.

Oude methode (Vast rooster): Je hebt een stijve koekjesvormer. Wat de vorm van de steen ook is, je dwingt hem om in een van de vier vooraf uitgesneden sleuven te passen: 0, 1, 2 of 3. Als een steen "2,5" nodig heeft om perfect te passen, dwingt de oude methode hem om "2" of "3" te zijn, waardoor er een gat of een spleet ontstaat. Omdat de vorm van de "koekjesvormer" voor elke groep stenen hetzelfde is, verliest het model te veel details wanneer de bits zo klein worden.

De oplossing: BPDQ (De "Maatwerkmal"-aanpak)

De auteurs stellen een nieuwe methode voor genaamd Bit-Plane Decomposition Quantization (BPDQ).

In plaats van één stijve koekjesvormer voor iedereen te gebruiken, bouwt BPDQ een maatwerkmal voor elke enkele groep stenen.

Hoe het werkt: Het breekt de gegevens op in "bit-planes" (zoals lagen van een taart) en gebruikt flexibele coëfficiënten (instelbare knoppen) om de mal te vormen.
Het resultaat: In plaats van gedwongen te worden in de stijve sleuven van 0, 1, 2 of 3, passen de gegevens nu in een flexibel stel waarden zoals 0, 1,2, 3,5 of 4,1, afhankelijk van wat die specifieke groep stenen nodig heeft.

Het artikel noemt dit een "variabel rooster". Het doorbreekt de regel dat alle groepen eruit moeten zien als een opgeblazen kopie van hetzelfde sjabloon. Dit geeft het model veel meer vrijheid om de perfecte pasvorm te vinden, waardoor de "spleten" (fouten) in de gegevens worden geminimaliseerd.

De "tweede-orde"-magie

Om ervoor te zorgen dat deze maatwerkmalen perfect zijn, gebruikt de methode iets dat Hessian-geïnduceerde geometrie wordt genoemd.

De analogie: Stel je voor dat je een stapel borden probeert te balanceren. Een simpele methode kijkt gewoon naar de borden en raadt waar ze moeten worden geplaatst. BPDQ gebruikt echter een "slimme balans" die het gewicht en het wiebelen van de hele stapel begrijpt. Het repareert niet alleen één bord; het past de hele stapel aan om ervoor te zorgen dat het repareren van één deel niet zorgt dat een ander deel omvalt. Deze "tweede-orde" informatie stelt het model in staat om zijn eigen fouten te corrigeren terwijl het de gegevens verkleint.

De resultaten: De reus op een kleine telefoon passen

De auteurs hebben dit getest op een enorm model genaamd Qwen2.5-72B (waarvoor normaal gesproken een supercomputer nodig is om het te laten draaien).

De prestatie: Met BPDQ slaagden ze erin dit reuzemodel in te krimpen tot 2-bit en het te laten draaien op een enkele consumentengrafische kaart (een RTX 3090, die je misschien vindt in een high-end gaming-pc).
De prestatie: Zelfs bij deze extreme compressie behield het model 83,85% van zijn oorspronkelijke intelligentie op wiskundeproblemen (GSM8K).
Vergelijking: Andere methoden bij 2-bit faalden jammerlijk, waarbij ze op diezelfde wiskundeproblemen zakte naar bijna 0% nauwkeurigheid. Het was alsof je probeerde een boek te lezen in een taal die je niet kent, terwijl BPDQ de taal leesbaar hield.

Waarom dit belangrijk is

Het artikel beweert dat de belangrijkste reden waarom eerdere methoden faalden bij 2-bit niet was dat de wiskunde verkeerd was, maar dat de "koekjesvormer" (het vaste rooster) te stijf was. Door over te schakelen naar een variabel rooster dat zich aanpast aan de gegevens, ontsluit BPDQ de mogelijkheid om enorme, slimme AI-modellen te laten draaien op veel kleinere, goedkopere hardware zonder de "hersencapaciteit" te verliezen die nodig is voor complexe taken zoals wiskunde of redeneren.

Kortom: BPDQ stopt met het dwingen van vierkante pennen in ronde gaten door de gaten flexibel te maken, waardoor enorme AI-modellen in kleine ruimtes passen.

Technische Samenvatting: Bit-Plaatjes Decompositie Quantisatie op een Variabele Grid voor Grootte Taalmodellen

Probleemstelling

Inferentie van grootte taalmodellen (LLM's) wordt vaak beperkt door het geheugenvoetafdruk en de bandbreedte, met name in omgevingen met beperkte middelen. Hoewel Post-Training Quantisatie (PTQ) effectief hoge fideliteit behoudt bij 4-bits precisie, verslechtert de prestatie aanzienlijk bij het duwen naar 2–3 bits. Bestaande op optimalisatie gebaseerde PTQ-methoden, zoals GPTQ, vertrouwen op het minimaliseren van output-discrepantie (bijv. $\|WX - \hat{W}X\|_F$ ) onder een door de Hessian geïnduceerde geometrie. Deze methoden dwingen echter een vorm-invariante quantisatie-grid af (bijv. vaste uniforme intervallen zoals UINT2 of vaste niet-uniforme sjablonen) voor elke gewichtsgroep.

De auteurs identificeren dat deze vorm-invariantie de fundamentele bottleneck is in regimes met lage bits. Een vaste grid beperkt de haalbare set van quantisatieniveaus tot een geschaalde versie van een enkel sjabloon (bijv. $s \cdot \{0, 1, 2, 3\}$ ). Deze rigiditeit verhindert dat de optimizer de projectie van het dichtstbijzijnde punt vindt in de door de Hessian geïnduceerde geometrie wanneer de gewichtsverdeling niet overeenkomt met de relatieve afstand van het vaste sjabloon, wat leidt tot ernstig representatief verlies en modelinstorting bij 2-bits precisie.

Methodologie: Bit-Plaatjes Decompositie Quantisatie (BPDQ)

Om de rigiditeit van vaste grids aan te pakken, stelt het artikel Bit-Plaatjes Decompositie Quantisatie (BPDQ) voor. BPDQ construeert een variabele quantisatie-grid voor elke groep, wat theoretisch de haalbare oplossingsset voor foutminimalisatie uitbreidt.

1. Formulering van de Variabele Grid

In plaats van een vast sjabloon, stelt BPDQ gekwantiseerde gewichten $\hat{W}$ voor met behulp van bit-plaatjes en scalair coëfficiënten:
$\hat{W} = \text{REP}(C_0) + \sum_{i=1}^{k} \text{REP}(C_i) \odot B_i$
Waarbij:

$B_i \in \{0, 1\}^{d_{out} \times d_{in}}$ de $k$ meest significante bit-plaatjes zijn, afgeleid van de oorspronkelijke gewichten.
$C_i$ groepspecifieke scalair coëfficiënten zijn (inclusief een bias $C_0$ ).
$\text{REP}(\cdot)$ coëfficiënten uitbreidt over de invoerdimensie.
$\odot$ elementsgewijze vermenigvuldiging aanduidt.

Deze formulering staat toe dat de relatieve afstand van quantisatieniveaus varieert tussen groepen op basis van de geleerde coëfficiënten $C_i$ , waardoor de vorm-invariantie-beperking wordt doorbroken.

2. Optimalisatiekader

BPDQ werkt binnen de door de Hessian geïnduceerde geometrie om uitlijning met het output-reconstructiedoel te waarborgen. Het proces omvat:

Initialisatie: Bit-plaatjes worden geselecteerd via bit-plaatjes decompositie (BPD) van de gewichten (waarbij de $k$ meest significante vlakken worden behouden). Scalair coëfficiënten worden gefit met behulp van een gesloten-formule gewogen kleinste-kwadratenoplossing onder de lokale Hessian-metriek.
Iteratieve Verfijning: Het algoritme wisselt af tussen:
1. Bit-Plaatjes Update: Voor vaste coëfficiënten worden bit-plaatjes kolom per kolom bijgewerkt via exacte enumeratie om de lokale reconstructiefout te minimaliseren.
2. Coëfficiënten Herfitting: Met bijgewerkte bit-plaatjes worden scalair coëfficiënten opnieuw geoptimaliseerd via gesloten-formule kleinste-kwadraten.
Delta Correctie: Om consistentie te behouden met de fout-propagatiestoestand (cruciaal voor sequentiële PTQ), wordt na het herfiten van coëfficiënten een delta-correctie toegepast. Dit past de geaccumuleerde propagatiefouten aan om rekening te houden met de verandering in het gekwantiseerde gewichtsblok, zodat alle iteraties voldoen aan hetzelfde optimalisatiedoel.

Belangrijkste Bijdragen

Inzicht: Het artikel identificeert vorm-invariantie in vaste quantisatie-grids als de primaire beperking die optimalisatie-gebaseerde PTQ in regimes met lage bits beperkt. Het toont aan dat het falen bij 2 bits niet te wijten is aan het optimalisatiedoel zelf, maar aan de rigiditeit van de haalbare set.
Methodologie: BPDQ breidt optimalisatie-gebaseerde PTQ uit naar variabele grids. Door gewichten te decomponeren in bit-plaatjes en onafhankelijke scalair coëfficiënten per groep te fiten, breidt het de haalbare set uit van een 1D-maand (geschaald sjabloon) naar een hogere-dimensionale geometrie. Theoretische analyse bewijst dat BPDQ de haalbare set van standaard uniforme grids strikt bevat en voor bepaalde gewichtsvectoren een strikt lagere quantisatiefout kan bereiken.
Prestaties: Uitgebreide experimenten tonen aan dat BPDQ hoge fideliteit bereikt in regimes van 2 en 3 bits, waar state-of-the-art methoden (GPTQ, AWQ) catastrofaal verslechteren.

Experimentele Resultaten

De auteurs hebben BPDQ geëvalueerd op de Qwen-3/2.5-familie (0,6B–72B) en Ministral-3 (3B, 8B) over taalmodellering, redenering en benchmarks voor lange context.

2-bits Regime: Op Qwen2.5-72B lijden 2-bits GPTQ en AWQ aan ernstige prestatiedalingen (bijv. GSM8K-accuraatheid daalt onder 41% of 0%). Daarentegen behoudt BPDQ hoge fideliteit en bereikt 83,85% accuraatheid op GSM8K (tegenover 90,83% bij 16 bits) met behulp van een enkele RTX 3090 (22,69 GB VRAM).
Redeneringstaken: BPDQ presteert aanzienlijk beter dan GPTQ en AWQ op redeneringsbenchmarks (GSM8K, MATH500) bij 2 en 3 bits. Bijvoorbeeld, op Qwen2.5-72B (W2-G64) bereikt BPDQ 87,72% op GSM8K, terwijl GPTQ slechts 63,46% bereikt.
Systeem-efficiëntie: Hoewel BPDQ ongeveer 3× de quantisatietijd van GPTQ vereist vanwege iteratieve verfijning, is het aanzienlijk sneller dan Vector Quantisatie (VQ)-methoden zoals VPTQ (die ~40× overhead veroorzaken). Voor inferentie gebruikt BPDQ een bit-plaatjes Look-Up Table (LUT)-kernel, wat lage-latentie decoding mogelijk maakt die vergelijkbaar is met of beter is dan GPTQ in regimes van 2/3 bits.
Behoud van Uitschieters: Activatieanalyse bevestigt dat BPDQ inherent kritieke uitschieters behoudt (kenmerken met hoge activatiemagnitude) die vaak worden onderdrukt door vaste-grid methoden, wat correleert met de waargenomen prestatiewinst.

Betekenis en Claims

Het artikel beweert dat BPDQ een veelbelovende richting biedt voor extreme modelcompressie door de rigiditeit van quantisatie-grids te versoepelen terwijl een hardware-vriendelijk formaat wordt behouden. Door theoretisch de haalbare oplossingsset uit te breiden, stelt BPDQ de implementatie van enorme modellen (bijv. 72B parameters) op consumentenhardware mogelijk met minimaal verlies aan fideliteit. De auteurs positioneren BPDQ als een rigoureuze oplossing die het quantisatieproces uitlijnt met het door de Hessian geïnduceerde optimalisatiedoel, waardoor de beperkingen van eerdere vorm-invariante benaderingen worden overwonnen zonder de verbodsdure kosten van vectorquantisatie of de trainings-overhead van Quantisatie-bewuste Training (QAT) te incasseren.

Het werk suggereert dat toekomstige hardware-implementaties (FPGA/ASIC) kunnen profiteren van het binaire karakter van bit-plaatjes, en dat de uniforme basis van BPDQ op natuurlijke wijze ondersteuning biedt voor mixed-precision serving zonder diverse hardware-gegevenssoorten te vereisen.