💬 NLP

MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Elastic LLMs

Dit paper introduceert MoBiQuant, een nieuw quantisatiekader dat token-gevoeligheid en een mix van bit-residuen gebruikt om elastische LLM-inferentie mogelijk te maken met naadloze precisiewisseling en verbeterde generalisatie zonder herhaalde kalibratie.

Oorspronkelijke auteurs: Dongwei Wang, Jinhee Kim, Seokho Han, Denis Gudovskiy, Yohei Nakata, Tomoyuki Okuno, KhayTze Peong, Kang Eun Jeon, Jong Hwan Ko, Yiran Chen, Huanrui Yang

Gepubliceerd 2026-02-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dongwei Wang, Jinhee Kim, Seokho Han, Denis Gudovskiy, Yohei Nakata, Tomoyuki Okuno, KhayTze Peong, Kang Eun Jeon, Jong Hwan Ko, Yiran Chen, Huanrui Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente robot hebt (een "Large Language Model" of LLM) die je helpt met schrijven, coderen en redeneren. Deze robot is echter enorm groot en zwaar. Hij neemt veel ruimte in op je computer of telefoon en verbruikt veel batterij.

Om dit op te lossen, proberen wetenschappers de robot te "verkleinen" door zijn kennis minder precies op te slaan. Dit noemen ze kwantisatie. In plaats van elke kennis in een zware, dure doos (hoog precisie) te bewaren, doen ze het in een kleinere, lichtere doos (laag precisie).

Maar hier zit een probleem: tot nu toe was het alsof je de robot alleen maar in één soort doos kon doen.

Als je hem in een 4-bit doos (een beetje klein) stopt, werkt hij perfect.
Maar als je hem later in een 3-bit doos (nog kleiner) wilt doen, moet je hem helemaal opnieuw inpakken en trainen.
En als je hem weer terug in een 4-bit doos wilt, moet je opnieuw beginnen.

Dit is onhandig, vooral als je op een mobiele telefoon zit en je batterij bijna leeg is (dan wil je de kleinste doos), maar op kantoor met een snelle server (dan wil je de grootste doos).

De Oplossing: MoBiQuant

De auteurs van dit papier hebben een slimme nieuwe manier bedacht, genaamd MoBiQuant. Ze gebruiken een creatieve aanpak die we kunnen vergelijken met een puzzel met legoblokjes.

1. Het Legoblokje-principe (MoBiSlice)

In plaats van de robot in één grote doos te doen, splitsen ze zijn kennis op in laagjes (zoals een taart of een lasagne).

De basislaag: Dit is het allerbelangrijkste deel van de kennis. Dit is altijd aanwezig en werkt al goed, zelfs als je heel weinig ruimte hebt (bijvoorbeeld 2 bit).
De extra laagjes: Bovenop die basis liggen extra laagjes met nog meer details.
- Heb je 3 bit ruimte? Dan pak je de basis + één extra laagje.
- Heb je 4 bit ruimte? Dan pak je de basis + twee extra laagjes.
- Heb je 6 bit ruimte? Dan pak je de basis + drie extra laagjes.

Het mooie is: je hoeft de robot niet opnieuw te bouwen. Je pakt gewoon meer of minder laagjes uit dezelfde "doos". Dit heet "Mixture-of-Bits" (Mengsel van bits).

2. De Slimme Portier (MoBiRoute)

Hier wordt het nog slimmer. Niet alle vragen die de robot krijgt, zijn even moeilijk.

Sommige vragen zijn heel simpel (bijvoorbeeld: "Wat is 1+1?"). Daarvoor hoef je geen extra laagjes te gebruiken. De basislaag is genoeg.
Andere vragen zijn heel complex (bijvoorbeeld: "Schrijf een gedicht over quantumfysica in de stijl van Shakespeare"). Daarvoor heb je alle extra laagjes nodig.

MoBiQuant heeft een slimme portier (een router) die bij elke zin (of "token") kijkt: "Is dit een simpele vraag of een moeilijke?"

Bij een simpele vraag: "Oké, gebruik alleen de basislaag." (Snel, weinig energie).
Bij een moeilijke vraag: "Oké, gebruik de basis + alle extra laagjes." (Precies, meer energie).

Dit betekent dat de robot elastisch is. Hij past zich automatisch aan aan de situatie. Als je batterij laag is, doet hij meer simpele dingen met minder energie. Als je veel kracht nodig hebt, schakelt hij direct de extra kracht in.

Waarom werkt dit beter dan de oude methoden?

In de oude methoden (zoals in Figuur 2 van het papier beschreven) was er een probleem met "uitlopers" (outliers).

Stel je voor dat je een foto maakt. Bij een lage resolutie (3-bit) zijn sommige details wazig, maar bij een hoge resolutie (4-bit) zijn ze scherp.
De oude methoden probeerden één instelling te vinden die voor alle foto's werkte. Maar wat scherp is bij 4-bit, kan juist wazig zijn bij 3-bit. De oude methoden "vergeten" dan welke details belangrijk zijn.

MoBiQuant lost dit op door te zeggen: "We hoeven niet voor iedereen hetzelfde te doen. Laten we per vraag kijken wat er nodig is." Hierdoor blijft de robot stabiel, ongeacht of je hem nu in een kleine of grote doos stopt.

De Resultaten in het Kort

Snelheid: Omdat ze slimme software hebben geschreven die precies weet welke laagjes er nodig zijn, is de robot tot 2,7 keer sneller op moderne grafische kaarten (GPUs) dan de oude methoden.
Kwaliteit: De robot maakt net zo weinig fouten als de zware, dure versies, zelfs als hij in een kleinere doos zit.
Flexibiliteit: Je kunt tijdens het gebruik (zonder de robot opnieuw te trainen) wisselen tussen verschillende snelheden en precisies.

Kortom: MoBiQuant maakt het mogelijk om een superkrachtige AI te hebben die zich aanpast aan je apparaat, net zoals een slimme chauffeur die in de stad voorzichtig rijdt (weinig brandstof) maar op de snelweg vol gas geeft (veel kracht), zonder dat je de auto hoeft te vervangen.

1. Het Probleem: Beperkingen van Bestaande Quantisatie

Grote Taalmodellen (LLMs) vereisen enorme rekenkracht en geheugen, wat de implementatie op cloud- en randapparaten (edge devices) bemoeilijkt. Quantisatie (het verlagen van de precisie van gewichten van floating-point naar integer) is een standaardoplossing, maar huidige methoden hebben twee belangrijke tekortkomingen:

Statische precisie: Bestaande Post-Training Quantization (PTQ) methoden zijn geoptimaliseerd voor één vaste bit-breedte (bijv. 4-bit). Ze kunnen niet flexibel schakelen tussen verschillende precisies tijdens de uitvoering (inference) zonder opnieuw te kalibreren of het model te herladen.
Het fenomeen van "Outlier Migration": De auteurs identificeren een kritiek probleem: de gevoeligheid van tokens voor quantisatiefouten is niet statisch, maar afhankelijk van de precisie. Een token dat een "outlier" (extreme waarde) is bij 4-bit, kan goed worden verwerkt bij 3-bit, terwijl een ander token dat bij 4-bit veilig was, juist een foutbron wordt bij 3-bit.
- Gevolg: Kalibratieparameters die zijn vastgesteld voor één specifieke precisie, generaliseren slecht naar andere precisies. Dit leidt tot prestatieverlies wanneer men dynamisch schakelt tussen bit-breedtes.

2. Methodologie: Het MoBiQuant Framework

MoBiQuant lost dit op door een token-adaptieve aanpak te introduceren, waarbij de precisie niet per model of per laag wordt bepaald, maar dynamisch per token. Het framework bestaat uit twee kerncomponenten:

A. MoBiSlice: "Many-in-One" Recursieve Residuale Quantisatie

Om verschillende precisies efficiënt te ondersteunen zonder meerdere modellen te laden, deconstrueert MoBiSlice de gewichten.

Principe: In plaats van één monolithisch gewicht, worden de FP16-gewichten recursief opgesplitst in een reeks bit-slices (bijv. 4 slices van 2-bit).
Werking:
1. De eerste slice ( $W_1$ ) bevat de belangrijkste bits (MSB).
2. Vervolgende slices ( $W_2, W_3, ...$ ) quantiseren de residuen (het verschil tussen het originele gewicht en de reeds gekwantiseerde delen).
Voordeel: Een hogere precisie (bijv. 6-bit) wordt bereikt door simpelweg meer slices op te tellen ( $W_1 + W_2 + W_3$ ). Dit elimineert geheugenredundantie en maakt het mogelijk om binnen één checkpoint te schakelen tussen precisies (bijv. 2, 4, 6-bit).

B. MoBiRoute: Token-Aware Routering

Een lichtgewicht, leerbaar routeringsnetwerk (een kleine MLP) bepaalt voor elk token hoeveel slices er nodig zijn.

Dynamische Selectie: De router voorspelt de "quantisatie-moeilijkheid" van een token.
- Tokens met lage gevoeligheid krijgen minder slices (lagere precisie, bv. 2-bit).
- Tokens met hoge gevoeligheid (outliers) krijgen meer slices (hogere precisie, bv. 6-bit).
Training: De router wordt getraind met een regelterm die de gemiddelde bit-breedte binnen een bepaald budget houdt. Tijdens de training wordt een temperatuur-annealing gebruikt om de router te leren om binair te beslissen (wel/niet slice activeren).
Elasticiteit: Tijdens de inferentie kan de drempelwaarde van de router worden aangepast om de gemiddelde precisie te verlagen of verhogen, afhankelijk van de beschikbare rekenkracht, zonder het model opnieuw te hoeven trainen.

3. Belangrijkste Bijdragen

Inzicht in Outlier Migration: Het paper demonstreert empirisch dat token-gevoeligheid verandert bij wisselende precisie, wat de basis legt voor de noodzaak van token-adaptieve methoden in plaats van globale.
MoBiSlice Architectuur: Een nieuwe "many-in-one" quantisatiestrategie die recursieve residuen gebruikt om naadloos te schakelen tussen precisies binnen één modelcheckpoint.
Token-Adaptieve Elasticiteit: MoBiQuant is de eerste methode die de precisie per token aanpast tijdens de generatie, waardoor het model kan schalen van 2-bit tot 6-bit (en daarbuiten) zonder herkalibratie.
Efficiënte Kernel Implementatie: De auteurs hebben een aangepaste GPU-kernel ontwikkeld (met bit-major packing en parallelle streams) die de hardware-efficiëntie maximaliseert, zelfs bij onregelmatige toegangsmogelijkheden door dynamische routering.

4. Resultaten

De resultaten worden getest op diverse LLaMA-modellen (van 1B tot 13B parameters) en tonen het volgende aan:

Superieure Generalisatie: In tegenstelling tot statische PTQ-methoden (zoals OmniQuant of GPTQ), behoudt MoBiQuant zijn prestaties wanneer de inferentie-precisie afwijkt van de kalibratie-precisie. Het presteert bijvoorbeeld even goed als een specifiek voor 4-bit gekalibreerd model, zelfs wanneer het dynamisch schakelt.
Prestaties: MoBiQuant bereikt perplexity-scores (PPL) die vergelijkbaar zijn met of beter zijn dan state-of-the-art statische PTQ-methoden op LLaMA2 en LLaMA3, zelfs wanneer het model wordt beperkt tot een gemiddelde van 3-4 bit.
Snelheid: Dankzij de geoptimaliseerde kernels (die alleen de benodigde bit-planes ophalen en parallelle streams gebruiken) wordt een snelheidswinst van tot 2.7x behaald ten opzichte van een FP16-baseline op NVIDIA A100 GPU's.
Robuustheid: De methode is robuust ten opzichte van verschillende kalibratie-datasets (WikiText2, C4, PTB) en behoudt prestaties op downstream-taken zoals redeneren en commonsense-vragen.

5. Betekenis en Impact

MoBiQuant is een doorbraak voor de elasticiteit van LLM-infrastructuur.

Adaptiviteit: Het stelt systemen in staat om in real-time te schakelen tussen snelheid en nauwkeurigheid op basis van beschikbare resources (bijv. batterijniveau op een mobiele telefoon of piekbelasting op een server), zonder de noodzaak om verschillende modelversies te hosten.
Efficiëntie: Door de "outlier migration" aan te pakken en precisie alleen toe te wijzen waar het nodig is, wordt de efficiëntie van quantisatie aanzienlijk verbeterd zonder de kwaliteit van het model te verliezen.
Toekomstperspectief: Het paper opent de weg voor "any-precision" inferentie op granulariteit van tokens, wat essentieel is voor de praktische implementatie van grote modellen in diverse, dynamische omgevingen.

Samenvattend introduceert MoBiQuant een nieuw paradigma waarin quantisatie niet langer een statisch, globaal besluit is, maar een dynamisch, token-specifiek proces dat de flexibiliteit en efficiëntie van LLMs aanzienlijk verbetert.