🤖 machine learning

Contraction-Gauge Preconditioning for Quantized Matrix Multiplication

Dit artikel introduceert contraction-gauge preconditioning, een methode die factorrepresentaties en deelpatronen optimaliseert vóór kwantisatie om de productfout bij matrixvermenigvuldiging met lage precisie te minimaliseren, ondersteund door een exact stochastisch foutmodel en gevalideerd door significante foutreducties over diverse precisies en benchmarks.

Oorspronkelijke auteurs: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, perfecte taart probeert te bakken, maar je hebt alleen een piepklein, brokkelig meetbekertje. In de wereld van kunstmatige intelligentie is de "taart" een enorme berekening genaamd matrixvermenigvuldiging, waarbij twee enorme rasters van getallen op elkaar worden gestampt om een nieuw resultaat te creëren. De "meetbeker" is het geheugen van de computer, dat de getallen vaak dwingt om afgerond te worden om in kleinere, simpelere doosjes te passen (een proces dat kwantisatie wordt genoemd). Als je te agressief afrondt, stort de taart in; de AI raakt in de war, maakt fouten of stopt volledig met werken.

Lange tijd hebben wetenschappers geprobeerd dit op te lossen door simpelweg voorzichtiger te zijn met hoe ze afronden, of door getallen bij elkaar te groeperen. Maar er is een verraderlijk probleem: de getallen zijn niet allemaal hetzelfde. Sommige zijn enorm en luid (outliers), terwijl andere klein en stil zijn. Als je ze allemaal hetzelfde behandelt, overstemmen de luide getallen de stille getallen, of stapelen de afrondingsfouten zich op een manier op die de uiteindelijke smaak verpest. De grote vraag was: hoe rangschikken we deze getallen voordat we ze in de kleine doosjes persen, zodat het resultaat later, wanneer ze op elkaar worden gestampt, nog steeds heerlijk accuraat is?

Dit artikel, geschreven door een team van onderzoekers van het Oak Ridge National Laboratory, fungeert als een nieuw receptenboek van een meesterkok voor het rangschikken van die ingrediënten. Ze ontdekten een precieze wiskundige regel—een "product-fout identiteit"—die hen precies vertelt hoeveel fout zal optreden wanneer ze twee afgeronde rasters met elkaar mengen. Denk aan een kristallen bol die precies voorspelt hoeveel de taart zal brokkelen op basis van hoe de ingrediënten zijn gehakt.

Met behulp van deze kristallen bol ontwikkelden ze een methode genaamd "Contraction-Gauge Preconditioning". Stel je een stapel ongelijkmatig gevormde bakstenen voor (de getallen in je eerste raster) en een stapel ongelijkmatige zakken mortel (de getallen in je tweede raster). Als je probeert een muur te bouwen met de objecten zoals ze nu zijn, zal de muur wankel zijn. De onderzoekers vonden een manier om de bakstenen en de mortelzakken te strekken en te krimpen voordat je begint met bouwen, zodat ze perfect in elkaar passen, zelfs als je later een iets ruwere mortel moet gebruiken. Ze noemen dit strekken en krimpen een "fold" (vouwing).

Het artikel bewijst dat het vinden van de perfecte manier om deze getallen te vouwen, lijkt op het oplossen van een specifiek type wiskundige puzzel genaamd een "geometrisch programma". Ze toonden aan dat je deze puzzel kunt oplossen om de absoluut beste manier te vinden om de getallen te rangschikken voor een specifieke taak, in plaats van gewoon te gokken. Ze ontdekten ook dat je soms extra kopieën van je ingrediënten nodig hebt (de "opposite factor") om verschillende vouwtrucs in verschillende delen van de muur te gebruiken. Ze bedachten een manier om deze extra kopieën te tellen, zodat ingenieurs precies weten hoeveel extra geheugen ze nodig zullen hebben.

Het team testte hun nieuwe recept op twee manieren. Eerst bouwden ze in een gecontroleerde computeromgeving nep-scenario's om te zien of hun wiskundige voorspellingen overeenkwamen met de werkelijkheid. Ze ontdekten dat hun "kristallen bol" ongelooflijk nauwkeurig was en de fouten voorspelde met een correlatie van meer dan 90%. Ten tweede namen ze een echt, getraind AI-model dat handgeschreven cijfers herkent (zoals de cijfers die je op een tablet schrijft) en probeerden ze de hersenen ervan te verkleinen om minder geheugen te gebruiken. Wanneer ze hun nieuwe "GP fold"-methode gebruikten, maakte de AI aanzienlijk minder fouten dan bij de oude, standaard manieren van afronden. Specifiek, bij 8-bit precisie, daalde de fout met 18%, en bij 4-bit precisie (wat zeer klein is), daalde de fout met meer dan 20%.

Het artikel sluit ook enkele veelvoorkomende afkortingen uit. Ze toonden aan dat het simpelweg sorteren van getallen op grootte (zoals het op een rij zetten van bakstenen van groot naar klein) niet altijd de beste strategie is; soms moet je naar de vorm van de getallen kijken om ze correct te groeperen. Ze ontdekten ook dat hoewel het ronddraaien (roteren) van de getallen kan helpen, dit niet altijd werkt als de getallen al plat en gelijkmatig zijn. Hun methode is een slim, aanpasbaar systeem dat de specifieke ingrediënten van jouw probleem controleert en de beste herschikkingstrategie kiest, of dat nu een eenvoudige rek, een complexe draai of een combinatie van beide is.

Kortom, dit artikel zegt niet alleen "afronden is moeilijk." Het geeft een precieze, wiskundig bewezen gereedschapskist voor ingenieurs om hun data te rangschikken, zodat zelfs wanneer ze gedwongen worden om lage-precisie, lage-geheugen instrumenten te gebruiken, het eindresultaat scherp, accuraat en betrouwbaar blijft. Het verandelt de rommelige kunst van het gokken hoe je AI-modellen verkleint in een precieze wetenschap van meten en optimaliseren.

Technische Samenvatting: Contraction-Gauge Preconditioning voor Gekwantiseerde Matrixvermenigvuldiging

Probleemstelling

Het artikel behandelt de uitdaging van lage-precisie matrixvermenigvuldiging ($C = AB$) waarbij beide factoren $A \in \mathbb{R}^{m \times K}$ en $B \in \mathbb{R}^{K \times n}$ gekwantiseerd zijn. Een primaire moeilijkheid in dit domein is dat kwantiseringsverlies niet uniform voortplant; een fout in een specifieke waarde $A_{ik}$ beïnvloedt de uitvoerrij $C_{i,:}$ in verhouding tot de energie van de overeenkomstige rij in $B$ ( $B_{k,:}$ ), en vice versa. Bestaande methoden, zoals kanaalgroepering of orthogonale transformaties, missen vaak een verenigd, productniveau-doel dat rekening houdt met deze asymmetrische foutvoortplanting en de kosten voor het opslaan van meerdere getransformeerde kopieën van operanden. De auteurs streven ernaar om exacte foutidentiteiten af te leiden onder stochastische aannames en een "contraction-gauge"-raamwerk te formuleren om de representatie van factoren te optimaliseren vóór kwantisering, waarbij expliciet het evenwicht tussen foutreductie en de opslag-/verkeerskosten van getransformeerde kopieën wordt beheerd.

Methodologie

1. Theoretische Fundering: Product-Foutidentiteit
De auteurs leiden een exacte einddimensionale identiteit af voor de verwachte gekwadrateerde productfout onder wederzijds onafhankelijke, gemiddeld nul-waarden met bekende variantievelden. Voor gekwantiseerde factoren $\hat{A} = A + E_A$ en $\hat{B} = B + E_B$ is de verwachte gekwadrateerde Frobeniusnorm van de fout:
$\mathbb{E}\|\hat{A}\hat{B} - AB\|_F^2 = \sum_{i,k} v^A_{ik} \|B_{k,:}\|_2^2 + \sum_{k,j} v^B_{kj} \|A_{:,k}\|_2^2 + \sum_{k} \left(\sum_i v^A_{ik}\right)\left(\sum_j v^B_{kj}\right)$
Deze identiteit is exact voor niet-overbelaste subtractieve dithering en onafhankelijke stochastische afronding met residu-afhankelijke varianties. Het dient als de primaire doelfunctie, waarbij fouten worden gewogen door de energie van de tegenoverliggende factor.

2. Contraction-Gauge Preconditioning
De methode maakt gebruik van de algebraïsche equivalentie $AB = (AT)(T^{-1}B)$ voor elke inverteerbare $T \in GL(K)$ . De auteurs definiëren een "contraction gauge" als de keuze van $T$ die wordt toegepast op de gedeelde contractiedimensie $K$ vóór kwantisering.

Gauge-domeinen: Een domein is een vaste uitvoerblok (bijv. een rijblok) die een enkele gauge toegewezen krijgt.
Hergebruik-descriptor ( $n_{opp}$ ): De kosten van preconditioning worden gemeten door het aantal verschillende getransformeerde, gekwantiseerde kopieën van de tegenoverliggende factor dat vereist is. Als een enkele gauge wordt gedeeld over alle domeinen, is $n_{opp}=1$ ; als er per blok verschillende gauges worden gebruikt, neemt $n_{opp}$ toe.

3. Structurele Families en Optimalisatieregels
Het artikel stelt specifieke optimalisatiestrategieën voor voor verschillende families van gauges:

Diagonale Vouwen (Scaling): Voor een gedeeld domein wordt het vinden van de optimale diagonale schaling $D$ , zodanig dat $(AD, D^{-1}B)$ de fout minimaliseert, geformuleerd als een Geometric Program (GP). Dit maakt de selectie van globaal optimale gedeelde vouwen mogelijk. Een lineair programma (LP) wordt afgeleid om te testen of de identiteitsvouwing al optimaal is.
Partitionering: Om nauwkeurigheid en kopie-aantal in balans te brengen, pleit het artikel tegen scalaire-norm sortering (wat een lineaire factor aan prestatieverlies kan toeschrijven door willekeurige gelijke waarden) en stelt het clustering in log-amplitude coördinaten voor om rijen met vergelijkbare profielen te groeperen.
Rotaties: Voor orthogonale gauges gebruikt het artikel blok-lokale coherentie om potentiële winsten te begrenzen. Het toont aan dat willekeurige rotaties (bijv. Hadamard) de coördinatenmaxima binnen een logaritmische factor kunnen verminderen.
Partiële Rotaties (Householder): Wanneer de gewogen energie laag-rang is, stellen de auteurs een klein aantal Householder-reflectoren ( $t$ ) voor om de top-eigenspace van een gewogen Gram-matrix uit te lijnen met een vlakke target, wat $O(tK)$ kost.
Hiërarchieën: Voor blokdiagonaal orthogonale gauges wordt een slice-energie anti-correlatie criterium afgeleid. Als de energieprofielen van $A$ en $B$ over slices anti-gecorreleerd zijn, vermindert een hiërarchische verfijning de fout; anders wordt een vlakke rotatie verkozen. Een telescopische identiteit maakt bottom-up diepte selectie mogelijk.

4. Kwantizerontwerp

Bitallocatie: Onder een vaste bitbreedte som-constraint ( $b_A + b_B = b_{sum}$ ), is de optimale verdeling asymmetrisch: $b_A - b_B = \frac{1}{2} \log_2(P_A/P_B)$ , waarbij $P_A$ en $P_B$ product-gewogen foutcoëfficiënten zijn.
Clipping en Diagnostiek: Het artikel introduceert een getrunceerde karakteristieke-functie diagnostiek ( $\Xi$ ) om roosteruitlijning (lattice alignment) te detecteren in deterministische Round-to-Nearest (RTN) afronding, wat de onafhankelijkheidsaannames van het ruismodel kan schenden.

Belangrijkste Bijdragen

Exacte Foutverantwoording: Afleiding van een exacte verwachte gekwadrateerde productfout-identiteit voor gekwantiseerde matrixvermenigvuldiging onder dithering en stochastische afronding, waarbij de leidende fouttermen expliciet worden gescheiden van de bilineaire kruistermen.
Contraction-Gauge Raamwerk: Een verenigde formulering voor preconditioning die de keuze van de transformatie $T$ , het deelpatroon ervan (gauge domeinen), en de resulterende hergebruikskosten van de representatie (reuse cost) koppelt.
Globaal Optimale Vouwselectie: Bewijs dat het begrensde gedeelde-vouwen probleem een Geometric Program is, oplosbaar tot globale optimaliteit, en de afleiding van een exacte LP-test voor de optimaliteit van de identiteitsvouwing.
Beslissingsstatistieken: Ontwikkeling van berekenbare statistieken om transformatie selectie te sturen zonder exacte optima voor alle families te berekenen:
- Tail index voor schaling.
- Profile spread voor partitionering.
- Block coherence en weighted-Gram spectrum voor rotaties.
- Slice-energy covariance voor hiërarchische diepte.
Hergebruik-bewust Ontwerp: Introductie van $n_{opp}$ als een metriek om de opslag- en verkeerskosten van verschillende gauge-deelpatronen te kwantificeren, wat een analyse van de afweging tussen foutreductie en implementatiekosten mogelijk maakt.

Resultaten

Gecontroleerde Synthetische Experimenten:

Scaling: Log-amplitude clustering voor partitionering bereikte een bijna-optimale spreiding (1.015x pure referentie) vergeleken met scalaire-norm sortering (2.116x).
Folds: De door GP geoptimaliseerde gedeelde-domein vouw verminderde de gemodelleerde fout met een factor ~161 vergeleken met de identiteitsvouwing en met 4.86 vergeleken met afzonderlijk geoptimaliseerde eenzijdige grenzen.
Bit Allocatie: Asymmetrische bit-splitsingen (bijv. 9/7 in plaats van 8/8) behaalden 1.7x lagere fout dan symmetrische splitsingen, wat overeenkomt met de theoretische voorspellingen.
Rotaties: Gerandomiseerde Hadamard-rotaties boden tot 60x foutreductie op heavy-tailed data met geïnjecteerde uitschieters, terwijl Householder-reflectoren met $t=3$ de prestaties van volledige rotatie evenaarden op rank-3 data.
Hiërarchieën: Het anti-correlatie criterium voorspelde succesvol het kruispunt waar hiërarchische verfijning een vlakke rotatie overtreft.

Getrainde Classificatie Validatie:
Gebruikmakend van een drie-blok beeldclassificator (ViT-achtig) op handgeschreven cijferbeelden:

Correlatie: De dither-model voorspellingen vertoonden een hoge mediane Spearman correlatie met deterministische RTN fouten (0.937 bij 8 bits, 0.918 bij 4 bits).
Prestatie: Het gebruik van de GP-vouwing in plaats van de identiteitsvouwing verminderde de helden-productfout met 18.0% bij 8 bits en 20.5% bij 4 bits (geometrisch gemiddelde).
Vergelijking: De GP-vouwing presteerde beter dan een SmoothQuant-stijl grid search (geselecteerd via kalibratie) op 10 van de 12 producten en behaalde een lagere fout dan een test-geselecteerde oracle in geometrisch gemiddelde.
End-to-End: Het gezamenlijk kwantiseren van alle 12 producten met de GP-vouwing verminderde de logit MSE met 15.4% (8-bit) en 26.4% (4-bit) ten opzichte van het identiteits-vouwingsmodel.

Betekenis en Claims

Het artikel claimt een rigoureuze, stochastische fundering te bieden voor gekwantiseerde matrixvermenigvuldiging die verder gaat dan heuristische schaling of ad-hoc groepering. Door een exacte foutidentiteit vast te stellen en deze te koppelen aan een "contraction-gauge"-raamwerk, bieden de auteurs:

Gecertificeerde Selectie: Globaal optimale selectie binnen de begrensde diagonale familie via Geometric Programming.
Verenigd Doel: Een gemeenschappelijk doel (product-gewogen fout) om diverse transformatiefamilies (vouwen, rotaties, hiërarchieën) en hun deelpatronen te evalueren.
Praktische Afwegingen: Een mechanisme om expliciet de afweging te maken tussen foutreductie en de kosten voor het opslaan van meerdere getransformeerde kopieën ( $n_{opp}$ ), wat cruciaal is voor implementatie.

De auteurs benadrukken dat hoewel de exacte identiteiten gelden voor dithering en stochastische afronding, de afgeleide statistieken en selectieregels effectief overgaan naar deterministische Round-to-Nearest kwantisering, zoals gevalideerd door de experimenten met getrainde classifiers. Het werk claimt niet het volledige $GL(K)$ optimalisatieprobleem op te lossen, maar biedt een gestructureerde, uitvoerbare procedure voor het selecteren van hoogpresterende kandidaten binnen beperkte, praktische families.