🤖 machine learning

High-Rate Quantized Matrix Multiplication II

Dit artikel onderzoekt gekwantiseerde matrixvermenigvuldiging met hoge snelheid voor post-training kwantisatie van LLM's met alleen gewichten door aan te tonen hoe covariantie-bewust waterfilling een verbetering biedt ten opzichte van gelijke-snelheidsallocatie, de basisvrije en bijna-optimale prestaties van het WaterSIC-schema te analyseren, en aan te tonen dat GPTQ met willekeurige rotatie vergelijkbare bijna-optimale resultaten bereikt.

Oorspronkelijke auteurs: Or Ordentlich, Yury Polyanskiy

Gepubliceerd 2026-05-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Or Ordentlich, Yury Polyanskiy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het Brein van AI Comprimeren

Stel je een enorm Kunstmatige Intelligentie (AI)-model voor, als een gigantische bibliotheek van kennis, dat probeert een probleem op te lossen. Om dit te doen, voert het een wiskundige bewerking uit genaamd Matrixvermenigvuldiging (MatMul) miljarden keren. Denk hierbij aan het "denkproces" van de AI.

Echter, deze "gewichten" (de getallen binnen de AI) nemen een enorme hoeveelheid geheugen in beslag. Om de AI sneller te laten draaien en op kleinere apparaten te laten werken, comprimeren ingenieurs deze getallen, een proces dat Quantisatie heet. Het is vergelijkbaar met het verkleinen van een foto met hoge resolutie naar een kleiner bestandsgrootte zodat het sneller laadt.

Dit paper is het tweede deel van een studie over hoe je deze verkleining het meest efficiënt kunt uitvoeren. Terwijl het eerste deel keek naar verkleining zonder enige voorkennis, richt dit paper zich op een scenario waarin we wel voorkennis hebben: we kennen de statistische "vorm" van de data die de AI verwerkt.

Het Kernprobleem: De "Alleen-Gewichten" Puzel

In veel moderne AI-systemen (zoals LLM's) wordt de data die door het systeem stroomt (activaties) bewaard in volledige precisie, maar worden de "gewichten" (de statische kennis) gecomprimeerd.

Het Doel: We willen de gewichten ( $W$ ) zo veel mogelijk comprimeren zonder dat de antwoorden van de AI ( $Y$ ) te fout worden.
De Hapering: De "foutigheid" (distorsie) hangt af van hoe de gewichten interageren met de inkomende data. Als de inkomende data een specifiek patroon heeft (zoals een lange, smalle ovaalvorm), is het comprimeren van de gewichten op een standaard, vierkante roosterwijze inefficiënt. Het is alsof je probeert een lange, smalle koffer in een vierkante doos te proppen; je verspilt veel ruimte.

De Oude Manier: "Eén Maat voor Allen" (GPTQ)

Momenteel behandelen populaire methoden zoals GPTQ elk deel van de gewichtsmatrix hetzelfde. Ze gebruiken een standaardrooster (zoals ruitjespapier) om getallen af te ronden.

De Analogie: Stel je voor dat je een koffer volpakt met voorwerpen van verschillende maten. De oude methode gebruikt een rooster van identieke dozen voor alles. Je legt een klein kiezelsteentje in een grote doos en een gigantische rots in een grote doos. Je verspilt ruimte bij het kiezelsteentje en past de rots misschien niet perfect.
De Tekortkoming: Deze methode kijkt niet naar de specifieke vorm van de data. Ze gaat ervan uit dat de data perfect rond is (isotroop). Als de data eigenlijk een ovaal is, is deze methode suboptimaal.

De Nieuwe Theorie: "Wateropvulling" (De Ideale Oplossing)

De auteurs kijken naar de wiskunde van de Gewogen Gemiddelde Kwadratische Fout (WMSE). Ze gebruiken een concept genaamd Wateropvulling (Waterfilling).

De Analogie: Stel je voor dat je een landschap hebt met heuvels en valleien (die de belangrijkheid van verschillende delen van de data vertegenwoordigen). Je wilt een vaste hoeveelheid "water" (je beperkte bits/bandbreedte) over dit landschap gieten.
- De Wateropvullings-strategie zegt: Giet het water eerst in de diepste valleien. Dit zijn de delen van de data die het belangrijkst zijn of het meest gevoelig. Je geeft hen meer "resolutie" (meer bits).
- De ondiepe heuvels krijgen minder water (minder bits).
- Dit zorgt ervoor dat je het beste mogelijke beeld krijgt voor de hoeveelheid water die je hebt.

Wiskundig gezien is dit het "Informatietheoretische Limiet"—het absolute beste dat je mogelijk kunt doen.

De Praktische Oplossing: WaterSIC

Het probleem met Wateropvulling is dat het moeilijk in real-time te berekenen is. De auteurs stellen een praktisch algoritme voor genaamd WaterSIC.

Hoe het werkt: Het maakt gebruik van een techniek genaamd Successieve Interferentie Cancellering (SIC). Stel je voor dat je probeert een gesprek te horen in een luidruisige kamer. Je luistert eerst naar het hardste stemgeluid, begrijpt het, en "schakelt het dan uit" zodat je de zachtere stemmen beter kunt horen.
De Innovatie: WaterSIC past dit idee toe op de gewichten. Het kijkt naar de vorm van de data (met behulp van een wiskundig hulpmiddel genaamd Cholesky-decompositie) en past de "roostergrootte" aan voor elk deel van het gewicht.
- Voor delen van de data die "stijf" of belangrijk zijn, gebruikt het een fijner rooster (meer bits).
- Voor delen die "los" of minder belangrijk zijn, gebruikt het een grover rooster (minder bits).

Belangrijkste Bevindingen

Bijna Perfecte Efficiëntie: De auteurs bewijzen dat WaterSIC ongelooflijk dicht in de buurt komt van de theoretische "Wateropvullings"-limiet. Het ligt slechts ongeveer 0,25 bits verwijderd van de absolute best mogelijke prestatie. Dit is een tiny gat, wat betekent dat de methode bijna perfect is.
Rotatie-Immuniteit: Een van de coolste bevindingen is dat WaterSIC "basisvrij" is.
- De Analogie: Stel je voor dat je een kaart hebt. Als je de kaart draait, verplaatst de Noordpool zich. Sommige compressiemethoden breken of worden slechter als je de data roteert (zoals het draaien van de kaart). WaterSIC werkt echter even goed, ongeacht hoe de data is gedraaid. Het past zich aan de vorm van de data aan, niet aan de richting waarin het wijst.
GPTQ is Verrassend Goed (met een draai): Het paper vond ook dat de standaard GPTQ-methode (die de chique wateropvullingsaanpassingen niet gebruikt) verrassend goed presteert als je de data eerst willekeurig roteert.
- Het blijkt dat de manier waarop AI-data momenteel is georganiseerd, eigenlijk "gelukkig" is (het staat dicht bij de optimale vorm). Maar als je er mee knoeit (het roteert), wordt GPTQ slechter, terwijl WaterSIC sterk blijft.

Samenvatting

Dit paper introduceert WaterSIC, een slimmere manier om AI-gewichten te comprimeren.

Oude Manier: Gebruik een standaardrooster voor alles (GPTQ).
Nieuwe Manier: Kijk naar de vorm van de data en pas de roostergrootte aan voor elk deel (WaterSIC).
Resultaat: De nieuwe methode is bijna perfect, theoretisch onverslaanbaar en robuust, zelfs als de data wordt gewisseld of gedraaid. Het overbrugt de kloof tussen complexe wiskundetheorie en praktische, snelle AI-compressie.

De auteurs concluderen dat hoewel huidige methoden goed zijn, er nog ruimte is voor verbetering, vooral voor zeer lage-bit compressie (waar je zeer weinig bits hebt om mee te werken) en voor het sneller maken van het "vormgeven" van data op computerchips.

Technische Samenvatting: Gekwantiseerde Matrixvermenigvuldiging met Hoge Snelheid II

Probleemstelling
Dit artikel onderzoekt de theoretische en praktische grenzen van gewicht-alleen kwantisatie voor Large Language Models (LLM's). De specifieke setting veronderstelt dat het activatiematrix $X$ beschikbaar is in volledige precisie tijdens inferentie, terwijl het gewichtsmatrix $W$ moet worden gekwantiseerd naar een representatie met lage resolutie $\hat{W}$ om de bandbreedte voor geheugen en opslagvereisten te verminderen. Het doel is om de verwachte gewogen gemiddelde kwadratische fout (WMSE) vervorming te minimaliseren:
$D = \frac{1}{n} \mathbb{E} \| X^\top (W - \hat{W}) \|_F^2 = \frac{1}{n} \text{tr}((W - \hat{W})^\top \Sigma_X (W - \hat{W}))$
waarbij $\Sigma_X = \mathbb{E}[XX^\top]$ de covariantiematrix van de activaties is, die wordt verondersteld bekend te zijn (via kalibratie), maar de decoder (inferentie-engine) geen toegang heeft tot $\Sigma_X$ of zijn basis, alleen tot de gekwantiseerde bits.

Methodologie en Theoretisch Kader
De auteurs benaderen het probleem via twee perspectieven: informatie-theoretische grenzen en praktisch algoritmisch ontwerp.

Informatie-theoretische grenzen (Regime met hoge snelheid):
- Isotrope versus Anisotrope codering: Het artikel contrasteert "isotrope" kwantisatie (met gebruik van een standaard codeboek dat onverschillig is voor $\Sigma_X$ ) met "anisotrope" kwantisatie (die zich aanpast aan $\Sigma_X$ ).
- Waterfilling-oplossing: Gebaseerd op klassieke broncoderingstheorie, leiden de auteurs af dat de optimale vervorming $D^*$ in het regime met hoge snelheid wordt bereikt door een omgekeerde waterfilling-strategie. Dit wijst kwantisatiesnelheden ongelijkmatig toe over coördinaten op basis van de eigenwaarden van $\Sigma_X$ , wat resulteert in een vervorming evenredig met het geometrisch gemiddelde van de eigenwaarden: $D^* \propto |\Sigma_X|^{1/n} 2^{-2R}$ .
- De Kloof: Standaard isotrope codering levert vervorming op die evenredig is met het rekenkundig gemiddelde van de eigenwaarden. De kloof tussen de optimale en isotrope oplossingen wordt bepaald door de ongelijkheid van het rekenkundig en geometrisch gemiddelde (AM-GM).
- Onverschillige Decoder: Cruciaal toont het artikel aan dat zelfs als de decoder onverschillig is voor $\Sigma_X$ (de SVD-basis niet kan toepassen), een adaptieve encoder die een isotroop codeboek gebruikt, asymptotisch de waterfilling-vervormingslimiet kan bereiken in het regime met hoge snelheid, mits het afronden naar het codeboek optimaal is.
Praktische Algoritmen (Successieve Interferentie-annulering):
- Het artikel analyseert het GPTQ-algoritme (en het equivalente LDLQ), dat een vaste snelheid per invoer gebruikt en een successieve interferentie-annulering (SIC)-benadering (Babai's algoritme) baseert op de Cholesky-decompositie $\Sigma_X = U^\top U$ .
- Theoretische limiet van GPTQ: De auteurs tonen aan dat standaard GPTQ (met gelijke tussenruimte) vervorming bereikt die evenredig is met het rekenkundig gemiddelde van de gekwadrateerde diagonaalelementen van $U$ ( $U_{i,i}^2$ ). Deze prestatie is gevoelig voor de basis van $\Sigma_X$ ; specifiek presteert het het slechtst in de PCA-basis (waar $U$ diagonaal is) en beter in willekeurige bases.
- WaterSIC-algoritme: Gemotiveerd door de waterfilling-theorie, stellen de auteurs WaterSIC voor. Dit algoritme past de kwantisatiestapgrootte (tussenruimte) voor elke coördinaat aan op basis van de diagonaalelementen van de Cholesky-factor $U$ . Specifiek wijst het meer bits toe aan coördinaten met grotere $U_{i,i}$ -waarden.
- Prestatie: WaterSIC bereikt vervorming die evenredig is met het geometrisch gemiddelde van $U_{i,i}^2$ . Aangezien het product van $U_{i,i}$ gelijk is aan $\sqrt{|\Sigma_X|}$ , bereikt WaterSIC een vervorming binnen een multiplicatieve factor van $\frac{2\pi e}{12}$ (ongeveer 1,423, of 0,25 bits/invoer) van de informatie-theoretische ondergrens.

Belangrijkste Resultaten

Bijna-optimaliteit van WaterSIC: Het WaterSIC-algoritme blijkt "basisvrij" te zijn (zijn prestatie hangt alleen af van de determinant van $\Sigma_X$ , waardoor het immuun is voor willekeurige rotaties van de invoerruimte) en ligt binnen 0,25 bits/invoer van de theoretische optimum in het regime met hoge snelheid.
GPTQ-prestatie: Hoewel standaard GPTQ suboptimaal is in specifieke bases, vinden de auteurs dat voor Llama-3-8B-lagen GPTQ met een willekeurige rotatie van de gewichten verrassend goed presteert, vaak binnen 0,1 bits van WaterSIC. Dit suggereert dat de standaardbasis die in LLM's wordt gebruikt (waarschijnlijk beïnvloed door de dynamiek van de Adam-optimizer) niet het worst-case scenario is voor GPTQ, en dat willekeurige rotatie de basisgevoeligheid kan verminderen.
Empirische Validatie: Experimenten op Llama-3-8B-lagen met Wikitext-2-kalibratiegegevens bevestigen dat WaterSIC met entropiecodering de theoretische waterfilling-limiet nauwkeurig volgt, terwijl standaard GPTQ variabele prestaties vertoont afhankelijk van de laag en de basis.

Betekenis en Claims
Het artikel claimt de kloof te overbruggen tussen abstracte informatie-theorie en praktische LLM-kwantisatie:

Theoretische rechtvaardiging: Het biedt een rigoureuze informatie-theoretische rechtvaardiging voor waarom per-coördinaat sneltoewijzing (waterfilling) superieur is aan uniforme toewijzing bij gewicht-alleen kwantisatie.
Algoritmische verbetering: Het introduceert WaterSIC als een praktisch, laag-complexiteit algoritme dat deze theoretische winsten realiseert, en biedt een bewezen weg naar bijna-optimale vervorming.
Inzicht in bestaande methoden: Het verduidelijkt het gedrag van GPTQ, legt de gevoeligheid uit voor de basis van $\Sigma_X$ en toont aan dat willekeurige rotaties het bijna optimaal kunnen maken, waardoor de wijdverbreide toepassing ervan wordt gevalideerd terwijl het potentieel voor verdere winsten via WaterSIC wordt benadrukt.
Beperkingen en toekomstig werk: De auteurs merken bescheiden op dat hun benaderingen voor hoge snelheden hoge resolutie veronderstellen. Zij identificeren dat bij lage snelheden (bijv. < 2 bits) andere factoren zoals dimensiereductie en specifieke gewichtsstructuren kritiek worden. Bovendien benadrukken zij dat hoewel entropiecodering (EC) theoretisch optimaal is, de rekenkosten op GPU's mogelijk onbetaalbaar hoog zijn, en dat efficiënte vormingsmethoden voor GPU's een open uitdaging blijven. Zij merken ook op dat de 0,25-bit-kloof van WaterSIC voortkomt uit de sub-optimaliteit van het gehele getalrooster $\mathbb{Z}^n$ , wat kan worden verminderd door het gebruik van roosters met hogere dimensies, hoewel dit entropiecodering ingewikkelder maakt.