💬 NLP

Multi-Bitwidth Quantization for LLMs Using Additive Codebooks

Het artikel introduceert Drop-by-Drop, een nieuw post-training kwantiseringsframework dat gebruikmaakt van additieve codeboeken en Matryoshka-stijl supervisie om een enkel LLM-checkpoint te laten ondersteunen voor adaptieve, multi-bitbreedte inferentie met minimale opslagoverhead, terwijl de competitieve nauwkeurigheid over diverse modelarchitecturen behouden blijft.

Oorspronkelijke auteurs: Liza Babaoglu, Shuangyi Chen, Ashish Khisti

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Liza Babaoglu, Shuangyi Chen, Ashish Khisti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Problek: Eén maat past niet iedereen

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek aan kennis hebt (een Large Language Model of LLM). Deze bibliotheek is zo groot dat er een gigantische loods voor nodig is om het op te slaan.

De Cloud: Als je deze bibliotheek op een enorme supercomputer in de cloud draait, heb je voldoende ruimte. Je kunt elk boek open laten liggen en de fijnste details lezen.
De Telefoon: Als je probeerd dezezelfde bibliotheek op een smartphone of een klein edge-apparaat te draaien, is de loods te groot. Het geheugen (RAM) en de batterij van de telefoon kunnen de volledige omvang niet aan.

De Huidige Oplossing (De "Statische" Aanpak):
Nu, als je deze bibliotheek op verschillende apparaten wilt gebruiken, moet je aparte kopieën van de bibliotheek maken:

Een "Deluxe Editie" voor de supercomputer (hoge kwaliteit, enorme omvang).
Een "Zakformaat Editie" voor de telefoon (gecomprimeerd, lagere kwaliteit).
Een "Reis Editie" voor een tablet (middelgrote omvang).

Dit is inefficiënt. Je moet drie verschillende versies van dezelfde bibliotheek trainen, opslaan en onderhouden. Als je wilt overschakelen van de telefoon naar de tablet, moet je het hele bestand vervangen.

De Nieuwe Oplossing: "Drop-by-Drop"

De auteurs stellen een nieuwe methode voor genaamd Drop-by-Drop. In plaats van drie verschillende bibliotheken te maken, creëren ze één enkele bibliotheek die magisch kan krimpen of groeien afhankelijk van het apparaat waarop hij draait, zonder dat hij opnieuw getraind of vervangen hoeft te worden.

Zie de bibliotheek niet als een stapel boeken, maar als een Russische Matroesjka-pop (nestpop).

De Buitenste Schil: De kleinste, meest basale versie. Hij past in je zak maar kent alleen de belangrijkste feiten.
De Middelste Laag: Als je de schil opent, vind je een iets grotere pop met meer details.
De Binnenste Kern: De volledige pop met elk klein detail.

Met Drop-by-Drop hoef je niet drie verschillende poppen mee te dragen. Je draagt er één.

Op een telefoon gebruik je alleen de buitenste schil.
Op een tablet open je de schil om de middelste laag te gebruiken.
Op een supercomputer open je hem helemaal open om de volledige kern te gebruiken.

Hoe het werkt: Het "Additive Codebook" Recept

Om deze nestpop werkend te krijgen, gebruiken de auteurs een techniek genaamd Additive Quantization (additieve kwantisatie).

Stel je voor dat je een complexe schildering aan iemand probeert te beschrijven via een telefoongesprek.

Standaard Methode: Je stuurt eerst een foto met lage resolutie (wazig) voor de telefoon, en een foto met hoge resolutie voor de computer. Dit zijn twee verschillende bestanden.
Drop-by-Drop Methode: Je stuurt eerst een basis schets.
- Als de luisteraar een klein scherm heeft, stopt hij daar. Hij heeft een ruwe indruk van de schildering.
- Als ze een groter scherm hebben, stuur je Laag 2: nog een paar lijnen om de vormen te definiëren.
- Als ze een enorm scherm hebben, stuur je Laag 3: de definitieve kleuren en details.

De magie is dat Laag 2 en Laag 3 nutteloos zijn zonder Laag 1, maar Laag 1 is perfect op zichzelf. De lagen zijn "additief" — ze stapelen zich op elkaar om een duidelijker beeld te bouwen.

Het Geheim: "Matryoshka" Training

Normaal gesproken, wanneer je een AI traint om gegevens te comprimeren, leert deze om het best mogelijke eindbeeld te maken. Het geeft niet om het feit of de eerste paar lagen er slecht uitzien. Als je voortijdig stopt, is het beeld een puinhoop.

De auteurs introduceerden een speciale trainingsregel genaamd Matryoshka Supervision.

De Analogie: Stel je een leraar voor die het essay van een student beoordeelt.
- Oude Manier: De leraar beoordeelt alleen het uiteindelijke essay van 10 pagina's. Als de student bij pagina 1 stopt, zegt de leraar: "Dat is troep, ik kan dit niet beoordelen."
- Drop-by-Drop Manier: De leraar beoordeelt de student op elke fase. "Oké, pagina 1 is een goede samenvatting. Pagina 3 voegt goede details toe. Pagina 10 is perfect."
Het Resultaat: Omdat de AI werd getraind om ervoor te zorgen dat elke gedeeltelijke versie (1 laag, 2 lagen, 3 lagen) accuraat was, kun je de extra lagen veilig "droppen" wanneer je op een klein apparaat bent, en de resterende lagen werken nog steeds perfect.

Waarom dit ertoe doet (volgens het paper)

Eén Model, Veel Apparaten: Je hoeft slechts één bestand op te slaan en te downloaden. Het apparaat bepaalt hoeveel van het bestand het "uitpakt" op basis van het geheugen.
Geen Her-training: Je hoeft niet voor elke telefoon of tablet een nieuw model te trainen. Het enkele model past zich automatisch aan.
Soepele Overgang: Terwijl je beweegt van een apparaat met een laag vermogen naar een apparaat met een hoog vermogen, verbetert de kwaliteit geleidelijk, in plaats van dat je tussen verschillende, incompatibele modellen springt.
Bewezen Theorie: Het paper gebruikt wiskunde (Informatietheorie) om te bewijzen dat deze "nestende" aanpak theoretisch mogelijk is voor de soorten data die LLM's gebruiken, wat garandeert dat je niet aan efficiëntie verliest door deze lagen toe te voegen.

Samenvatting

Drop-by-Drop verandert een rigide, "one-size-fits-all" AI-model in een flexibel, "slim" model dat kan krimpen om in je broekzak te passen of kan uitbreiden om een supercomputer te vullen, en dat allemaal vanuit één enkel bestand. Dit doet het door de AI te trainen om goed te zijn op elk niveau van detail, en niet alleen op het uiteindelijke, meest gedetailleerde niveau.

Technische Samenvatting: Drop-by-Drop voor Multi-Bitbreedte Kwantisatie van LLM's

Probleemstelling

Large Language Models (LLM's) kampen met aanzienlijke uitdagingen bij de implementatie vanwege de enorme hoeveelheid geheugen en computationele middelen die vereist zijn door hun miljarden parameters. Hoewel kwantisatie deze modellen comprimeert naar eindige precisievoorstellingen, produceren conventionele methoden doorgaans modellen met een vast compressieniveau (bijv. een statisch 4-bit of 8-bit model). Deze starheid is suboptimaal voor heterogene hardwareomgevingen, variërend van cloudservers tot hulpbronnenbeperkte edge-apparaten. Het onderhouden van meerdere apart gekwantiseerde modelvarianten voor verschillende bitbreedtes brengt een evenredig hoge opslag- en onderhoudsoverhead met zich mee. Bovendien vertrouwen bestaande adaptieve methoden vaak op hertraining of falen ze om een vloeiende afweging te bieden tussen precisie en efficiëntie zonder catastrofale prestatievermindering wanneer componenten worden verwijderd.

Methodologie: Drop-by-Drop (DbyD)

De auteurs stellen Drop-by-Drop voor, een nieuw post-training quantization (PTQ) framework dat een enkel getraind model in staat stelt om op meerdere precisieniveaus te opereren zonder hertraining. De methode is geworteld in de informatietheorie en bouwt voort op Additive Quantization (AQLM).

Theoretische Fundering

De aanpak wordt gemotiveerd door het concept van successieve bronverfijning (successive source refinement). Het artikel stelt een theoretisch theorema vast dat bewijst dat Gaussische bronnen (die LLM-gewichten empirisch benaderen) opeenvolgend verfijnbaar zijn onder een Weighted Mean Squared Error (WMSE) distortiemaat. Deze distortiemaat is afgeleid van de LLM-verliesfuncties, waarbij de fout wordt gewogen door de input-datamatrix $X$ . Het theorema demonstreert dat een bron zodanig gecodeerd kan worden dat het opeenvolgend toevoegen van bits progressief nauwkeurigere reconstructies oplevert, zonder een rate-penalty vergeleken met direct coderen op het beoogde distortieniveau.

Algoritmische Implementatie

Drop-by-Drop past het AQLM-framework aan, dat gewichten representeert als sommen van vectoren uit meerdere geleerde codeboeken.

Additieve Codeboeken: In plaats van één enkele kwantisatiefase, worden gewichten gereconstrueerd als een som van vectoren geselecteerd uit $M$ verschillende codeboeken.
Matryoshka-stijl Supervisie: Om te garanderen dat subsets van deze codeboeken nauwkeurige gedeeltelijke reconstructies opleveren, introduceren de auteurs een gespecialiseerde verliesfunctie tijdens de training. Deze verliesfunctie aggregeert de WMSE-distorties van gedeeltelijke reconstructies met behulp van de eerste $k$ $k$ codeboeken (voor $k = 1, \dots, M$ $k = 1, \dots, M$ ).
- $L_{DbyD} = \sum_{k=1}^{K} \lambda_k D^{(k)}$ , waarbij $D^{(k)}$ de distortie is met behulp van de eerste $k$ codeboeken.
- Deze "Matryoshka"-supervisie moedigt de eerste paar codeboeken expliciet aan om grove, fundamentele kenmerken te vangen, terwijl de daaropvolgende codeboeken zorgen voor fijnere verfijningen.
Flexibiliteit tijdens Inferentie: Tijdens inferentie kan het model zijn precisie dynamisch aanpassen door codeboeken te verwijderen ("droppen"). Een apparaat met strikte beperkingen kan alleen de eerste paar codeboeken gebruiken (bijv. $k=3$ ), terwijl een resource-rijk apparaat alle $M$ codeboeken kan gebruiken. Dit stelt een enkel checkpoint in staat om meerdere bitbreedtes te bedienen.

Belangrijkste Bijdragen

Theoretisch Bewijs: Het artikel bewijst dat Gaussische bronnen opeenvolgend verfijnbaar zijn onder de WMSE-distortiemaat die relevant is voor LLM's, wat een theoretische basis biedt voor progressieve kwantisatie zonder rate-verlies.
Drop-by-Drop Framework: Een praktisch PTQ-framework dat Matryoshka-supervisie integreert in additieve codeboektraining, waardoor een enkel model meerdere precisieniveaus ondersteunt via het verwijderen van codeboeken.
Empirische Validatie: Uitgebreide experimenten over diverse architecturen (Qwen, LLaMA, Gemma, Mistral) tonen aan dat Drop-by-Drop concurrerende perplexiteit en taakaccuratesse handhaaft over het volledige bereik van ondersteunde bitbreedtes, waarbij het een gracieuze degradatie vertoont vergeleken met standaard AQLM wanneer codeboeken worden verwijderd.

Experimentele Resultaten

De auteurs evalueerden Drop-by-Drop op modellen variërend van 0,5B tot 32B parameters met behulp van WikiText-2, C4 en vijf zero-shot redeneerbenchmarks (ARC, HellaSwag, Winogrande, PIQA).

Perplexity: Drop-by-Drop varianten presteerden consistent beter dan de baseline "AQLM (Drop)" methode, die een standaard AQLM-model traint en simpelweg codeboeken verwijdert tijdens inferentie. Bijvoorbeeld, op Mistral-7B bij 3-bit precisie leed standaard AQLM (Drop) aan een enorme toename in perplexiteit (112,75), terwijl Drop-by-Drop (Weighted) een perplexiteit van 6,19 behield, wat nauw aansluit bij de prestaties van individueel getrainde modellen.
Accuratesse: In zero-shot taken behaalde Drop-by-Drop (Weighted) accuratesse scores die vergelijkbaar zijn met individueel getrainde modellen (AQLM Ind.) over alle bitbreedtes.
Efficiëntie: De methode elimineert de noodzaak om aparte modellen te trainen en op te slaan voor verschillende bitbreedtes. Figuur 8 illustreert dat waar conventionele methoden een cumulatieve trainingstijd en schijfruimte vereisen voor drie aparte modellen (3-bit, 4-bit, 5-bit), Drop-by-Drop slechts één enkele trainingsron en opslaginstantie vereist terwijl een vergelijkbare prestatie wordt behouden.

Betekenis en Claims

Het artikel claimt dat Drop-by-Drop de kloof overbrugt tussen de informatie-theoretische theorie van successieve verfijning en praktische LLM-kwantisatie. De primaire betekenis ligt in het mogelijk maken van adaptieve precisiecontrole tijdens inferentie zonder hertraining of recalibratie. Door een enkel model in staat te stellen zijn effectieve resourcegebruik aan te passen aan de capaciteiten van het implementatieapparaat, adresseert de methode de praktische uitdagingen van het implementeren van LLM's op heterogene hardware. De auteurs positioneren dit als een nieuwe verbinding tussen multi-bitbreedte PTQ en successieve verfijning, wat een oplossing biedt voor hardware-bewuste dynamische loading tijdens runtime en mixed-precision kwantisatie in real-world scenario's.