🤖 machine learning

SoftWater: Class-Aware Rate Allocation for Softmax Quantization

SoftWater is een klassebewuste rate-allocatiemethode voor softmax-kwantisatie die een op KL-divergentie gebaseerd rate-distortieprobleem oplost om fijnere roosters toe te wijzen aan frequente klassen met een lage variantie en grovere roosters aan zeldzame klassen, waardoor de opslagoverhead in kleine LLM's aanzienlijk wordt verminderen terwijl de degradatie van de perplexiteit tot een minimum wordt beperkt.

Oorspronkelijke auteurs: Joao V. Cavalcanti, Ashia C. Wilson

Gepubliceerd 2026-08-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joao V. Cavalcanti, Ashia C. Wilson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische bibliotheek met boeken probeert te verkleinen zodat deze in een kleine rugzak past. In de wereld van Kunstmatige Intelligentie zijn deze "boeken" enorme taalmodellen—computerbreinen die getraind zijn om te schrijven, te chatten en problemen op te lossen. Om ze snel genoeg te maken om op je telefoon of een kleine laptop te draaien, gebruiken wetenschappers een truc genaamd kwantisatie. Denk aan het vertalen van een high-definition film naar een gepixelde, lage-resolutie versie. Je verliest wat detail, maar de bestandsgrootte krimpt drastisch, waardoor het draagbaar wordt.

Normaal gesproken, wanneer wetenschappers deze AI-modellen verkleinen, behandelen ze elk deel van het brein op dezelfde manier. Ze persen het "lichaam" (het deel dat context begrijpt) en de "kop" (het deel dat beslist welk woord als volgende moet komen) samen in dezelfde kleine doos. Maar hier is de crux: in moderne AI is de "kop" verrassend zwaar. Het bevat een enorm deel van het totale geheugen van het model—soms bijna een derde! Als je het hele model verkleint tot een piepkleine maat, maar de kop in zijn oorspronkelijke, zware formaat laat staan, bespaar je eigenlijk niet veel ruimte. Het is als het inpakken van een koffer waarbij je je kleding wel comprimeert, maar de zware laarzen in hun oorspronkelijke, volumineuze dozen laat staan. Het papier waar we naar kijken, pakt dit specifieke probleem aan: hoe de "woord-kiesende kop" van de AI te verkleinen zonder dat hij gaat haperen of robotachtig klinkt.

De auteurs van dit paper, Joao V. Cavalcanti en Ashia C. Wilson van MIT, realiseerden zich dat de oude manier om de kop te verkleinen leek op het gebruiken van een moker om een noot te kraken. Ze behandelden het probleem als een rate-distortion kwestie. Stel je voor dat je een beperkt budget hebt aan "bits" (de digitale valuta van opslag) om de keuzes van de AI te beschrijven. De oude methoden besteedden deze bits gelijkmatig, alsover als elke woord in het woordenboek evenveel aandacht gaf. Maar de auteurs merkten op dat AI woorden niet gelijkmatig gebruikt. Het gebruikt veelvoorkomende woorden zoals "de" of "en" constant, en zeldzame woorden zoals "xylofoon" of "essentieel" slechts af en toe.

Het paper introduceert een nieuwe methode genaamd SoftWater. In plaats van elk woord dezelfde opslagruimte te geven, werkt SoftWater als een slim sproeisysteem. Het giet een fijne, hoog-resolutie nevel van bits op de veelvoorkomende, laag-variërende woorden (de woorden die de AI de hele tijd gebruikt en op dezelfde manier gebruikt). Voor de zeldzame, onvoorspelbare woorden gebruikt het een grovere, bredere spray. Deze "class-aware" benadering betekent dat de AI de veelvoorkomende woorden perfect kan onthouden, terwijl het een beetje wazigheid accepteert voor de zeldzame woorden, terwijl het precies dezelfde hoeveelheid ruimte gebruikt.

De onderzoekers testten dit op vijf verschillende AI-modellen, variërend van kleine modellen met 1 miljard parameters tot enorme modellen met 32 miljard parameters. Ze ontdekten dat SoftWater aanzienlijk beter is dan de vorige beste methode, genaamd WaterSIC. In 59 van de 60 tests produceerde SoftWater een model dat natuurlijker klonk en minder fouten maakte (gemeten met iets dat "KL-divergentie" wordt genoemd, wat gewoon een chique manier is om te zeggen: "hoe verschillend de keuzes van de AI zijn van het origineel").

Hier is het magische getal: wanneer ze de "kop" van een 1-miljard-parameter model verkleinden naar slechts 2 bits per gewicht, verkleinde SoftWater de totale omvang van het model met 45% tot 60%, terwijl het de AI slechts een klein beetje minder perfect maakte (een toename in verwarring van 2,9% tot 3,7%, ook wel bekend als perplexiteit). In tegenstelling hiertoe maakte de oude methode de AI veel meer verward voor dezelfde hoeveelheid ruimte. Nog indrukweerder: wanneer ze een 4-bit kop gebruikten, was het model vrijwel niet te onderscheiden van de originele, hoogwaardige versie.

Het paper ontdekte ook dat deze methode flexibel is. Als je weet dat de AI voor een specifieke taak zal worden gebruikt, zoals het schrijven van juridische documenten of coderen, kun je het sproeisysteem "kalibreren" naar dat specifieke onderwerp. Dit zorgt ervoor dat de AI scherp blijft op de woorden die het het meest nodig heeft voor die specifieke domein. De auteurs lieten zien dat door de kalibratiedata af te stemmen op de praktijksituatie, de AI zelfs beter presteert.

Kortom, SoftWater verkleint de AI niet alleen; het verkleint de AI intelligent. Het realiseert zich dat niet alle woorden gelijk zijn en verdeelt de opslagruimte dienovereenkomstig. Door dit te doen, maakt het het mogelijk om krachtige, hoogwaardige AI-modellen te draaien op apparaten die dat voorheen niet aankonden, zonder dat daarvoor het model volledig opnieuw getraind hoeft te worden. Het is een praktische, wiskundig onderbouwde manier om AI lichter, sneller en klaar voor de echte wereld te maken.

Technische Samenvatting: SoftWater – Class-Aware Rate Allocation voor Softmax Quantisatie

1. Probleemstelling

Post-training quantisatie (PTQ) pipelines voor Large Language Models (LLMs) laten doorgaans de laatste softmax output-laag (de "head") in hoge precisie (bijv. FP16) staan. Terwijl standaard lineaire lagen worden gekwantiseerd om de Weighted Mean Squared Error (WMSE) te minimaliseren, produceert de output-laag een waarschijnlijkheidsverdeling, waardoor de Kullback-Leibler (KL) divergentie de meer geschikte distortie-metriek is.

Deze nalatigheid wordt steeds kostbaarder bij moderne kleine LLM's met grote vocabulaire. Zoals getoond in Tabel 1 van het artikel, kan de output-head 15–30% van de totale parameters van een model uitmaken. Bijgevolg slaat een "2-bit" model met een FP16-head effectief aanzienlijk meer bits per gewicht op dan de nominale rate suggereert. Eerdere pogingen om dit aan te pakken, vervangen ofwel de head-architectuur volledig, of passen standaard WMSE-gebaseerde quantisatie toe, wat geen rekening houdt met de specifieke geometrie van de softmax-functie en de niet-uniforme distributie van tokens (Zipfiaanse distributie).

Het kernproblein is om softmax-laag quantisatie te formuleren als een rate-distortion probleem onder de KL-divergentie metriek, waarbij bepaald wordt hoe een vast bit-budget over de gewichtsmatrix wordt verdeeld om de divergentie tussen de originele en de gekwantiseerde distributies te minimaliseren.

2. Methodologie: SoftWater

De auteurs stellen SoftWater voor, een methode die een class-aware rate allocation strategie afleidt op basis van een tweede-orde analyse van de KL-divergentie.

Doelafleiding:
De distortie wordt gedefinieerd als de verwachte KL-divergentie tussen de originele distributie $p$ en de gekwantiseerde distributie $q$ . Met behulp van een tweede-orde Taylor-expansie van de KL-divergentie rond de logit-perturbatie $\delta$ , leiden de auteurs een foutmetriek af:
$D \approx \frac{1}{2} \text{vec}(\Delta)^\top \mathbb{E}[(\nabla^2 f(0) \otimes XX^\top)] \text{vec}(\Delta)$
waarbij $\nabla^2 f(0) = \text{diag}(p) - pp^\top$ de Hessiaan van de softmax-functie is, en $XX^\top$ de input feature covariantie representeert. Dit resulteert in een $Kn \times Kn$ foutgewicht-matrix die klassen ( $K$ ) en features ( $n$ ) koppelt.

Hanteerbare Approximatie:
Directe factorisatie van de $Kn \times Kn$ matrix is computationeel onhaalbaar. De auteurs introduceren twee belangrijke benaderingen:

Dither Argument: Door uit te gaan van subtractieve dither, worden de fouten ongecorreleerd over rijen, waardoor de off-diagonal termen van de Hessiaan genegeerd kunnen worden.
Separabiliteitsaanname: De auteurs nemen aan dat de softmax-kromming $\lambda$ en de input-covariantie $XX^\top$ ongecorreleerd zijn. Dit maakt het mogelijk dat de verwachting factoriseert: $\mathbb{E}[\lambda \otimes XX^\top] \approx \mathbb{E}[\lambda] \otimes \mathbb{E}[XX^\top]$ .

Deze factorisatie reduceert het probleem tot $K$ onafhankelijke $n \times n$ Cholesky-factorisaties (of één geschaalde $n \times n$ factorisatie), wat het probleem hanteerbaar maakt. De resulterende grid-spacing voor klasse $k$ en feature kolom $i$ is:
$\alpha_{(k-1)n+i} \propto \frac{1}{\bar{\lambda}_k^{1/2} |\ell_{ii}|}$
waarbij $\bar{\lambda}_k = \mathbb{E}[p_k(1-p_k)]$ de verwachte kromming is (gerelateerd aan klasse-frequentie en variantie) en $\ell_{ii}$ de diagonale elementen zijn van de Cholesky-factor van de input-covariantie.

Belangrijkste Algoritmische Kenmerken:

Class-Aware Allocation: De methode verdeelt fijnere grids (meer bits) naar frequente klassen met een lage variantie en grovere grids naar zeldzame klassen met een hoge variantie. Dit maakt gebruik van de Zipfiaanse aard van token-distributies.
Smoothing Prior: Om instabiliteit te voorkomen voor klassen die afwezig zijn in de kalibratiedata (waar $\bar{\lambda}_k \to 0$ ), past de methode een smoothing prior toe door de kalibratiedistributie te mengen met een uniforme distributie. Dit beperkt de maximale grid-spacing, waardoor de Taylor-expansie geldig blijft.
Implementatie: Het algoritme gebruikt Successive Interference Cancellation (SIC) voor encoding, vergelijkbaar met de WaterSIC-algoritme voor lineaire lagen, maar dan met klasse-specifieke rescaling. Het vereist slechts één forward pass over de kalibratiedata om de noodzakelijke statistieken ( $\Sigma_X$ en $\bar{\lambda}$ ) te berekenen.

3. Belangrijkste Bijdragen

Probleemformulering: Het artikel kadert softmax-quantisatie als een rate-distortion probleem onder KL-divergentie, waarbij de geïnduceerde foutmetriek wordt afgeleid die klasse-statistieken met feature-covariantie koppelt.
Het SoftWater Algoritme: Een praktisch algoritme dat een separabiliteitsbenadering gebruikt om de complexiteit te reduceren van $O(K^3n^3)$ naar $O(n^3)$ (plus lineaire passes). Het introduceert een klasse-zijde schalingfactor die de lattice grid aanpast op basis van klasse-frequentie en cross-context variabiliteit.
Empirische Validatie: De methode wordt gevalideerd over vijf modellen (1B tot 32B parameters) uit de Llama- en Qwen-families.

4. Experimentele Resultaten

De auteurs evalueren SoftWater tegenover de vrijgegeven WaterSIC quantizer (die optimaliseert voor WMSE) en full-precision baselines.

Head-Only Quantization: Wanneer alleen de head wordt gekwantiseerd (terwijl de body in FP16 blijft), presteert SoftWater beter dan WaterSIC op 59 van de 60 testpunten (over verschillende bit-rates en modellen). Bij 2 bits vermindert SoftWater de KL-divergentie met een factor 6,5× tot 8,3× vergeleken met WaterSIC op WikiText2.
Volledig Gekwantiseerde Modellen: Op Llama-3.2-1B-Instruct met een gekwantiseerde body (gebruikmakend van GuidedQuant), verwijdert een 2-bit SoftWater head 45–60% van de totale opgeslagen bytes, terwijl de perplexiteit slechts met 2,9–3,7% toeneemt. In contrast hiermee vertoont de WaterSIC baseline een perplexiteitstoename van 9,7–17,6% voor vergelijkbare compressie.
Domeinadaptatie: Het artikel merkt op dat omdat de klasse-zijde statistiek ( $\bar{\lambda}$ ) wordt afgeleid van de kalibratiedata, het matchen van het kalibratiedomein met het deployment-domein de laagste KL-divergentie oplevert voor dat specifieke domein.
Separabiliteit: Experimenten bevestigen dat de separabiliteitsaanname goed standhoudt, waarbij de proxy de werkelijke distortie met maximaal 10% onderschat.

5. Betekenis en Claims

Het artikel claimt dat SoftWater de head-quantisatie praktisch maakt voor modellen waarbij de head een aanzienlijk deel van de modelgrootte vormt. Door de head te behandelen als een rate-distortion probleem onder KL in plaats van WMSE, bereikt de methode bijna verliesloze prestaties bij 4 bits en significante compressie bij 2 bits met minimale degradatie van de perplexiteit.

De auteurs benadrukken dat hun winst uitsluitend toe te schrijven is aan de rate allocation strategie, aangezien zij geen gebruik maken van de aanvullende verfijningen (bijv. activation drift correction, residual stream correction) die aanwezig zijn in de WaterSIC-pipeline, welke orthogonaal zijn aan rate allocation. De methode wordt gepresenteerd als een drop-in vervanging voor de head-quantisatie stap in bestaande PTQ-pipelines, wat een substantiële reductie in modelgrootte biedt zonder dat architecturale wijzigingen of fine-tuning vereist zijn.