🤖 machine learning

MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference

MXSens is een trainingsvrije, sensitiviteitsbewuste mixed-precision kwantisatiemethode die variabele mantissa-bitbreedtes (4/6/8) toewijst aan LLM-gewichten op basis van kolom- en laagspecifieke sensitiviteit, waardoor nauwkeurigheidsdegradatie door uitschieters effectief wordt gemitigeerd terwijl gebruik wordt gemaakt van hardware-efficiënte microscaleringsformaten om bestaande state-of-the-art baselines te overtreffen.

Oorspronkelijke auteurs: Simla Burcu Harma, Danila Mishin, Zhengyuan Su, Ayan Chakraborty, Elizaveta Kostenok, Dongho Ha, Babak Falsafi, Martin Jaggi, Yunho Oh, Amir Yazdanbakhsh

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Simla Burcu Harma, Danila Mishin, Zhengyuan Su, Ayan Chakraborty, Elizaveta Kostenok, Dongho Ha, Babak Falsafi, Martin Jaggi, Yunho Oh, Amir Yazdanbakhsh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ingewikkelde bibliotheek aan kennis probeert te passen in een piepkleine, draagbare rugzak. Dit is de dagelijkse uitdaging voor de superintelligente computerbreinen die bekend staan als Large Language Models (LLM's). Deze modellen zijn briljant in het schrijven van verhalen, het oplossen van raadsels en het chatten met ons, maar ze zijn ongelooflijk zwaar; ze vereisen enorme hoeveelheden geheugen en energie om te draaien. Om ze licht genoeg te maken om mee te dragen, gebruiken wetenschappers een truc genaamd "quantization" (kwantisatie). Denk hierbij aan het comprimeren van een high-definition film naar een kleiner bestandsformaat. In plaats van elke enkele, perfecte tint kleur op te slaan, rond je ze af naar de dichtstbijzijnde beschikbare kleur op een beperkt palet. Dit maakt het bestand piepklein en snel afspeelbaar, maar als je te veel afrondt, wordt het beeld wazig en gaan de details verloren.

Het probleem is dat deze computerbreinen een paar "luide" stemmen hebben die veel harder schreeuwen dan de rest. In de wereld van getallen worden dit "outliers" (uitschieters) genoemd. Het zijn zeldzame, extreme waarden die het hele systeem in de war schoppen, waardoor de compressie rommelig wordt en het model stomme fouten maakt. Een tijdje probeerden onderzoekers dit op te lossen door de data rond te schuiven (zoals het draaien van een puzzel) of door een mix van grote en kleine bestandsgroottes te gebruiken. Maar deze methoden waren vaak log, omdat de computer constant moest stoppen om getallen terug en weer over te vertalen, wat alles vertraagde. Nu heeft een nieuw team van onderzoekers een slimmere manier voorgesteld om de rugzak te pakken, een manier die naar de specifieke behoeften van elk stukje informatie luistert zonder de reis te vertragen.

Het artikel introduceert een nieuwe methode genaamd MXSens, die fungeert als een zeer attente bibliothecaris. In plaats van elk boek in de bibliotheek op dezelfde manier te behandelen, kijkt MXSens eerst even snel rond om te zien welke boeken het meest kwetsbaar of belangrijk zijn. Het ontdekte dat niet alle "luide" stemmen gelijk zijn. Sommige zijn zeldzame, schreeuwende extremen die veel ruimte nodig hebben om duidelijk begrepen te worden, terwijl anderen slechts iets luider zijn dan de massa en het met iets minder ruimte kunnen doen.

MXSens gebruikt een slim drie-traps systeem om dit aan te pakken. Het wijst de meest gevoelige, extreme delen van het model een royale 8-bit ruimte toe (zoals een grote, stevige doos), de matig gevoelige delen een medium 6-bit ruimte (een medium doos) en de kalme, stille delen een krappe 4-bit ruimte (een klein, efficiënt zakje). Dit gebeurt zonder de training van het model te herhalen of de hersenstructuur te veranderen; het herrangschikt simpelweg hoe de data wordt opgeslagen op basis van hoe gevoelig elk deel is voor het "platdrukken". De onderzoekers ontdekten dat deze aanpak prachtig werkt met een nieuw hardware-vriendelijk formaat genaamd MXINT, dat al wordt ondersteund door moderne computerchips.

De resultaten zijn zeer indrukwekkend. Bij tests op enorme modellen zoals LLaMA-2-70B en LLaMA-3-8B, slaagde MXSens erin om de "stem" van het model helder en accuraat te houden terwijl het heel weinig ruimte in beslag nam. Specifiek, onder een strikte W4A4KV4 instelling (wat betekent dat gewichten, activaties en key-value caches allemaal gekwantiseerd zijn), behaalde de methode een perplexiteitsscore van 3,77 voor LLaMA-2-70B en 7,63 voor LLaMA-3-8B op de WikiText-2 dataset. Perplexity is een maatstaf voor hoe verward het model is; hoe lager, hoe beter. Deze scores waren aanzienlijk beter dan andere topmethoden, wat bewijst dat door aandacht te besteden aan de specifieke gevoeligheid van verschillende onderdelen van het model, je het beste van twee werelden krijgt: een piepklein, snel model dat nog steeds helder denkt.

De auteurs suggereren dat deze methode een grote stap voorwaarts is omdat het de zware overhead vermijdt van het constant vertalen van getallen, wat andere soortgelijke technieken heeft vertraagd. Door gebruik te maken van de natuurlijke blokstructuur van de nieuwe hardwareformaten, kan MXSens deze verschillende precisieniveaus (4, 6 en 8 bits) naadloos mengen. De studie laat zien dat deze gevoeligheidsgestuurde aanpak een veel betere balans biedt tussen het besparen van ruimte en het intelligent houden van het model, wat krachtige AI potentieel toegankelijk kan maken op apparaten die geen enorme geheugenbanken hebben.

Technische Samenvatting: MXSENS – Sensitiviteitsbewuste Mixed-Precision Kwantisatie voor Efficiënte LLM-inferentie

1. Probleemstelling

Large Language Models (LLMs) vertrouwen op kwantisatie om het geheugengebruik te verminderen en inferentie te versnellen, met name bij 4-bits precisie. Aggressieve kwantisatie lijdt echter onder aanzienlijke nauwkeurigheidsafname door systematische uitschieters (outliers)—een kleine subset van activatiewaarden met disproportioneel hoge magnituden. Deze uitschieters vervormen de distributie binnen kwantisatieblokken, wat de selectie van schalingsfactoren bemoeilijkt.

Huidige oplossingen vallen over het algemeen uiteen in twee categorieën, die beide beperkingen hebben:

Rotatiegebaseerde methoden (bijv. QuaRot, RRS, SpinQuant): Deze herformuleren tensordistributies om uitschieters te mitigeren. Ze zijn echter vaak incompatibel met microscaling-formaten (zoals MXINT/MXFP) omdat rotaties groepsgewijze asymmetrie introduceren die de kwantisatiekwaliteit verslechtert. Bovendien laten ze componenten zoals Softmax-outputs vaak ongekwantiseerd.
Mixed-precision methoden (bijv. Atom, QoQ, QUIK): Deze wijzen een hogere precisie toe aan gevoelige kanalen, maar vertrouwen doorgaans op softwarematig beheerde FP32-schaling. Dit vereist frequente dekwantisatie-operaties tijdens inferentie, wat substantiële overhead veroorzaakt (tot 90% ten opzichte van pure INT4-baselines).

Microscaling-formaten (bijv. MXINT) bieden een hardware-efficiënt alternatief door gedeelde macht-van-twee schalingsfactoren per blok (bijv. 32 waarden) in te bedden, waardoor de softwarematige schalingsoverhead wordt geëlimineerd. Echter, ze zijn momenteel incompatibel met rotatiegebaseerde uitschieter-afhandeling, en bestaande mixed-precision benaderingen negeren vaak de genuanceerde, niet-uniforme distributie van kwantisatiesensitiviteit over verschillende lagen en kolommen.

2. Methodologie: MXSens

De auteurs stellen MXSens voor, een training-vrije, sensitiviteitsgestuurde mixed-precision kwantisatiemethode die specifiek is ontworpen voor het microscaling (MXINT) formaat. Het kerninzicht is dat kwantisatiesensitiviteit niet uniform is; het varieert aanzienlijk tussen lagen en kolommen, en uitschieters bestaan op een spectrum van "extreem" (zeldzaam, hoge magnitude) tot "mild" (frequent, matige afwijking).

2.1 Sensitiviteitsanalyse

MXSens maakt gebruik van een tweeledige sensitiviteitsanalyse om de bitbreedte-allocatie te sturen:

Kolomgewijze Sensitiviteit: De auteurs definiëren sensitiviteit op basis van de diagonaal van de empirische Hessian-matrix ( $H = X^T X$ ). Kolommen met hoog-magnitude uitschieters vertonen hogere Hessian-diagonaalwaarden, wat aangeeft dat kwantisatieruis in deze kolommen disproportionele outputfouten veroorzaakt.
Laaggewijze Sensitiviteit: De auteurs meten de L2-fout bij de uiteindelijke output van het model wanneer een enkele laag geïsoleerd wordt gekwantiseerd. Ze observeren dat fouten in eerdere lagen de neiging hebben om te cumuleren naarmate ze door het netwerk propageren, waardoor vroege lagen over het algemeen gevoeliger zijn, hoewel dit varieert per architectuur (bijv. middelste lagen in Qwen1.5-7B).

2.2 Triplet Kwantisatiestrategie

In plaats van een binaire keuze tussen lage en hoge precisie, introduceert MXSens een triplet kwantisatieschema met drie verschillende mantissa bitbreedtes: 4, 6 en 8 bits.

8-bit Precisie: Toegewezen aan de 32 meest gevoelige kolommen in elke laag. Dit sluit aan bij de blokgrootte van MXINT (32 waarden), waardoor gegarandeerd wordt dat alle extreme uitschieters binnen een enkel hoog-precisie blok per laag worden gevangen.
6-bit Precisie: Toegewezen aan kolommen met "milde" uitschieters. Deze intermediaire precisie adresseert het spectrum van sensitiviteit tussen extreme uitschieters en de bulk van de data, wat een betere efficiëntie biedt dan een eenvoudige 4/8 split.
4-bit Precisie: Toegewezen aan de resterende, minder gevoelige kolommen.

2.3 Sensitiviteitsgestuurd Allocatiealgoritme

De methode wijst bitbreedtes toe onder een doelgemiddelde bitbreedtebudget ( $B$ ) met behulp van een globale controleparameter $R$ .

Sorteren: Voor elke lineaire laag worden kolommen gesorteerd op hun sensitiviteitsscores.
Vaste Hoog-Precisie Blok: De top 32 kolommen krijgen altijd 8-bit mantissa's.
Dynamische 6-bit Allocatie: Het aantal 6-bit kolommen wordt proportioneel berekend aan de sensitiviteitsscore van de laag, geschaald door $R$ om aan de globale gemiddelde bitbreedtebeperking te voldoen.
Standaard: Alle overige kolommen krijgen 4-bit mantissa's.

Deze aanpak maakt gebruik van de blokgewijze structuur van MXINT, waardoor een mixed-mantissa implementatie mogelijk is zonder de modelarchitectuur te wijzigen of hertraining te vereisen.

3. Belangrijkste Bijdragen

Sensitiviteitsgestuurde Triplet Kwantisatie: Een nieuwe methode die 4, 6 en 8-bit precisies toewijst op basis van kolom- en laaggewijze sensitiviteit, waarmee state-of-the-art nauwkeurigheid wordt bereikt zonder architecturale wijzigingen of fine-tuning.
MXINT Integratie: De adoptie van het MXINT numerieke formaat, waarbij gebruik wordt gemaakt van de blokgewijze structief en gedeelde exponent om een efficiënte mixed-precision implementatie mogelijk te maken die compatibel is met moderne hardware (bijv. NVIDIA Blackwell, Qualcomm Cloud AI 100).
Prestatie-superieuriteit: Het aantonen dat MXSens bestaande rotatiegebaseerde en mixed-precision baselines over een breed scala aan modellen en taken overtreft.

4. Experimentele Resultaten

De auteurs evalueerden MXSens op diverse modellen (LLaMA-2/3, Mistral, Qwen1.5, Gemma-2) over taalmodellering (WikiText-2) en commonsense reasoning taken (ARC, BoolQ, MMLU, etc.).

LLaMA-2-70B & LLaMA-3-8B: Onder de W4A4KV4 instelling behaalde MXSens perplexiteiten van respectievelijk 3.77 en 7.63 op WikiText-2. Dit is een substantiële verbetering ten opzichte van bestaande baselines (bijv. QuaRot, Atom, QUIK).
Nauwkeurigheid vs. Compressie: Op LLaMA-2-13B bij ~4.27 bits, matchte MXSens de perplexiteit van Atom (5.32 vs. 5.31) maar behaalde het aanzienlijk hogere 0-shot nauwkeurigheid op Commonsense QA taken (70.3% vs. 63.5%).
Ablatie studies: Experimenten waarbij de gemiddelde bitbreedte werd gevarieerd (van ~3.28 tot 5.75 bits) lieten zien dat sensitiviteitsgestuurde allocatie modellen in staat stelt om de FP16 kwaliteit te benaderen (binnen 0.6 nauwkeurigheidspunten) tegen ongeveer een derde van de bitkosten.
Hardware Overhead: De auteurs schatten dat bij een 4.03-bit budget slechts ~1% van de rekenoperaties een hogere precisie vereist, wat resulteert in een geschatte latency overhead van ~3%, wat als marginaal wordt beschouwd vergeleken met de winst in nauwkeurigheid.

5. Betekenis en Claims

Het artikel claimt een nieuw evenwicht te hebben gevestigd tussen nauwkeurigheid en efficiëntie van middelen voor LLM-kwantisatie. Door af te stappen van rotatiegebaseerde methoden (die conflicteren met microscaling hardware) en software-zware schaling, biedt MXSens een hardware-vriendelijk pad naar hoog-nauwkeurige 4-bit inferentie.

De auteurs benadrukken dat hun werk de noodzaak aantoont van fijnmazige, sensitiviteitsbewuste precisie-allocatie. Zij argumenteren dat het simpelweg toepassen van uniforme 4-bit kwantisatie of grove mixed-precision strategieën suboptimaal is. In plaats daarvan stelt het benutten van de specifieke blokgewijze beperkingen van MXINT om 8-bit precisie toe te wijzen aan extreme uitschieters, 6-bit aan milde uitschieters, en 4-bit aan de rest, het mogelijk om bijna verliesvrije compressie te bereiken zonder de computationele straffen van dekwantisatie of de architecturale beperkingen van rotatiematrices.

Het werk wordt gepresenteerd als een stap naar praktische, hoog-nauwkeurige implementatie van MXINT4 op opkomende AI-accelerators, waarbij bewezen wordt dat training-vrije methoden effectief de uitschieterproblematiek kunnen mitigeren die inherent is aan low-bit LLM-inferentie.