🤖 machine learning

KronQ: LLM Quantization via Kronecker-Factored Hessian

KronQ is een post-training kwantiseringsframework dat de compressie van grote taalmodellen verbetert door gradiëntcovariantie te integreren in de kwantiseringsdoelstelling via een Kronecker-gefacteerde Hessiaanse benadering, wat bidirectionele incoherentieverwerking en verbeterde sensitiviteitsmetrieken mogelijk maakt die een superieure perplexiteit bereiken vergeleken met bestaande methoden zoals GPTQ, met name in extreme scenario's met een laag aantal bits.

Oorspronkelijke auteurs: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Gepubliceerd 2026-07-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, ongelooflijk slim robotbrein hebt (een Large Language Model) dat verhalen kan schrijven, wiskundige problemen kan oplossen en kan chatten als een mens. Het probleem? Dit brein is zo massief dat het een magazijn vol computers nodig heeft om op een plank te passen. Om het op een gewone laptop of telefoon te laten draaien, proberen wetenschappers het te "verkleinen" door de geheugencompressie te optimaliseren, een proces dat kwantisatie wordt genoemd. Denk aan het inpakken van een koffer: je wilt al je kleding (de kennis van het model) in een kleine tas proberen te passen zonder iets belangrijks te verliezen.

Een tijdlang was de beste manier om deze koffer te pakken een methode genaamd GPTQ. Het werkte door te kijken naar hoe de "input" van de robot (de woorden die hij leest) varieerde en de gewichten daarop aan te passen. Maar de auteurs van dit nieuwe artikel, KronQ, merkten een fout op in deze strategie. Ze realiseerden zich dat GPTQ alleen naar de input-kant van de vergelijking keek, uitgaande van de aanname dat elke mogelijke output (de woorden die de robot als volgende zou kunnen zeggen) even belangrijk was.

De Grote Fout: De "Output"-kant negeren
Het artikel betoogt dat deze aanname lijkt op het inpakken van een koffer door alleen naar het gewicht van de kleding te kijken, terwijl je negeert hoe breekbaar ze zijn. In werkelijkheid zijn sommige delen van het robotbrein supergevoelig. Als je ze te veel samendrukt, valt het hele systeem uit elkaar.

De auteurs maten dit en ontdekten iets wilds: in een massaal model zoals LLaMA-3-70B variëren de "output"-kanalen (de paden die de robot gebruikt om antwoorden te genereren) enorm in belangrijkheid. Sommige zijn als breekbaar glas; andere zijn als stevige bakstenen. De oude methoden behandelden ze allemaal hetzelfde, wat ervoor zorgde dat de robot volledig de weg kwijtraakte wanneer hij te veel werd gecomprimeerd. Sterker nog, toen ze probeerden LLaMA-3-70B terug te brengen naar slechts 2 bits (een piepkleine hoeveelheid geheugen), faalden de oude methoden volledig en produceerden ze onzin met een "perplexity" (een score van hoe verward het model is) van meer dan 2000. Dat is alsof een robot volledig vergeet hoe hij Engels moet spreken.

De Nieuwe Oplossing: KronQ
Komt KronQ in beeld. De auteurs stellen een nieuwe manier voor om de koffer te pakken die naar zowel de input als de output kijkt. Ze gebruiken een wiskundige truc genaamd de Kronecker-factored Hessian approximation.

Hier is de analogie: Stel je voor dat het brein van de robot een enorme trommel is.

Oude Methode (GPTQ): Je tikt tegen de trommel aan de voorkant (input) en past de spanning aan op basis van hoe de voorkant vibreert. Je gaat ervan uit dat de achterkant van de trommel een exacte spiegeling is.
KronQ: Je tikt tegen de trommel aan de voorkant én de achterkant. Je realiseert je dat de achterkant anders vibreert! Sommige delen van de achterkant zijn los en wiebelig, terwijl andere strak staan. KronQ meet deze "achterwaartse vibratie" (de gradiënt-covariantie) en gebruikt dit om de koffer veel zorgvuldiger in te pakken.

Twee Superkrachten van KronQ
Het artikel laat zien dat KronQ twee slimme dingen doet:

Bidirectionale Incoherentie (De "Shuffle"):
Voordat het inpakken begint, schudt KronQ de gewichten in twee richtingen door elkaar (input en output) om ervoor te zorgen dat geen enkel punt overbelast wordt met zware of kwetsbare items. Het is alsof je een rommelige stapel boeken pakt en ze gelijkmatig verspreidt, zodat de koffer niet op één plek uitpuilt. Het artikel laat zien dat dit de "variabiliteit" van de gewichten vermindert, waardoor ze veel gemakkelijker te comprimeren zijn zonder kapot te gaan.
Slimme Bit-allocatie (De "VIP-pas"):
Niet alle delen van de robot hebben evenveel ruimte nodig. KronQ berekent een "gevoeligheidsscore" voor elke sub-laag van het brein. Het geeft de "VIP"-lagen (de meest gevoelige lagen) meer bits (meer geheugenruimte) en de minder belangrijke lagen minder bits. Cruciaal is dat, omdat het naar de output-kant kijkt, het het verschil kan zien tussen lagen die er vanaf de input-kant identiek uitzien, maar zich heel anders gedragen.

De Resultaten: De Redding
De auteurs testten dit op verschillende modellen, van 7 miljard tot 70 miljard parameters. De resultaten waren spectaculair, vooral toen ze de modellen tot de extreme grens van 2 bits probeerden te verkleinen.

Het Falen: Op het enorme LLaMA-3-70B model faalden de oude methoden (GPTQ en GPTAQ) of produceerden ze onzinresultaten (perplexity > 2000).
Het Succes: KronQ slaagde erin om ditzelfde 70-miljard-parameter model te comprimeren naar 2 bits en hield het perfect werkend, met een perplexity van 7,93 op de WikiText-2 dataset. Dat is een enorm verschil tussen een "kapotte robot" en een "slimme robot".

Zelfs bij 4-bit en 3-bit instellingen versloeg KronQ consequent de concurrentie, met lagere verwarringsscores en betere nauwkeurigheid op redeneerproeven zoals PiQA en Arc-Challenge. Bijvoorbeeld, op LLaMA-2-7B bij 2 bits behaalde KronQ een perplexity van 8,15, terwijl GPTQ moeite had met 31,11.

De Kosten
Is er een addertje onder het gras? Het artikel geeft toe dat om deze "output-vibratiedata" te verkrijgen, KronQ één extra backward pass door het model moet doen voordat het inpakken begint. Dit kost iets meer tijd en geheugen tijdens de opstartfase (ongeveer 8–11 seconden meer per laag vergeleken met GPTAQ). Echter, zodien het model eenmaal is ingepakt, is de werkelijke snelheid en het geheugengebruik tijdens het gebruik net zo efficiënt als de oudere methoden. De extra arbeid is een eenmalige opstartkosten die zichzelf terugbetaalt door de mogelijkheid te bieden het model veel verder te verkleinen zonder dat het kapot gaat.

Wat Ze Hebben Uitgesloten
Het artikel voert expliciet argumenten aan tegen het idee dat je de wiskunde van de output-kant kunt negeren. Ze tonen aan dat de aanname dat alle output-richtingen gelijk zijn (het instellen van de gradiënt-covariantie op een identiteitsmatrix) een "suboptimale benadering" is die leidt tot falen in ultra-lage-bit scenario's. Ze laten ook zien dat methoden die alleen naar input-statistieken kijken (zoals standaard GPTQ), niet in staat zijn om onderscheid te maken tussen verschillende sub-lagen die dezelfde input delen, wat leidt tot slechte beslissingen over waar geheugen moet worden toegewezen.

Hoe Zeker Zijn Ze?
De auteurs zijn zeer zelfverzekerd over deze resultaten omdat ze gebaseerd zijn op harde metingen, niet alleen op simulaties. Ze hebben deze tests uitgevoerd op echte hardware (A100 GPU's) met echte modellen (LLaMA-2, LLaMA-3, Gemma, DeepSeek) en hebben werkelijke perplexity- en nauwkeurigheidsscores gemeten. Ze hebben niet alleen gesuggereerd dat het zou kunnen werken; ze hebben aangetoond dat de oude methoden bij 2 bits letterlijk niet in staat waren om een werkend model te produceren, terwijl KronQ dat wel kon.

Kortom, KronQ is als een meesterverpakker die besefte dat om een gigantisch brein in een kleine doos te passen, je moet begrijpen hoe het brein informatie uitgeeft, en niet alleen hoe het informatie ontvangt. Door dit te doen, ontsluit het de mogelijkheid om enorme AI-modellen te draaien op apparaten die voorheen dachten dat het onmogelijk was.

Technische Samenvatting: KronQ: LLM Kwantisatie via Kronecker-gefactoreerde Hessiaan

Probleemstelling

Post-training kwantisatie (PTQ) is een cruciale techniek voor het implementeren van Large Language Models (LLM's) op hardware met beperkte middelen zonder hertraining. Hoewel bestaande second-order PTQ-methoden, zoals GPTQ en zijn opvolgers (bijv. GPTAQ), de standaard zijn geworden voor one-shot kwantisatie, rusten zij op een fundamentele beperking: zij construeren kwantisatie-objectieven uitsluitend op basis van input-activatiestatistieken ( $H_X$ ).

Onder de Kronecker-gefactoreerde benadering (K-FAC) factoriseert de volledige gewichtshessiaan ( $H$ ) in het Kronecker-product van de input-activatiecovariantie ( $H_X$ ) en de output-gradiëntcovariantie ( $H_G$ ). Compensatiegebaseerde methoden gaan impliciet uit van $H_G = I$ (de identiteitsmatrix), waarbij alle output-richtingen als even belangrijk worden beschouwd. De auteurs stellen dat dit een suboptimale benadering is, aangezien Figuur 1(a) aantoont dat output-kanalen heterogene gradiënt-magnitudes vertonen. Dit gebrek aan inzicht leidt tot prestatieverlies, met name in ultra-lage-bit regimes (bijv. 2-bit), waar methoden zoals GPTQ en GPTAQ vaak divergeren of degeneratieve kwantisaties produceren op modellen zoals LLaMA-3-70B.

Methodologie

Het paper stelt KronQ voor, een PTQ-framework dat de gradiëntcovariantie ( $H_G$ ) expliciet incorporeert in de kwantisatie-pipeline onder de K-FAC-benadering ( $H \approx H_X \otimes H_G$ ). De methodologie opereert op twee complementaire niveaus:

1. Bidirectionele Incoherentie-verwerking (BiIP)

Standaard incoherentie-verwerking (bijv. in QuIP#) past willekeurige orthogonale transformaties toe om uitschieters in de input-dimensie ( $H_X$ ) te onderdrukken om kwantisatiefouten te verminderen. KronQ breidt dit uit naar de output-dimensie met behulp van $H_G$ .

Mechanisme: De methode past diagonale herschaling en orthogonale transformaties toe op zowel de input- ( $V$ ) als de output-dimensies ( $U$ ). De herscalingsfactoren zijn afgeleid van de diagonale elementen van $H_X$ en $H_G$ relatief aan de gewichtsnormen.
Invariantie: Cruciaal is dat terwijl $H_G$ wordt gebruikt om de preprocessing-transformaties te bepalen, deze algebraïsch wegvalt tijdens de kolomgewijze Optimal Brain Surgeon (OBS) gewicht-compensatie-updates (Propositie 1). Dit stelt KronQ in staat om de computationele efficiëntie van de basis GPTAQ-solver te behouden, terwijl het profiteert van de verbeterde gewichtsverdeling.
Resultaat: BiIP vermindert de coëfficiënt van variatie (CV) van de gewichtsmagnitudes in zowel de input- als de output-dimensie, wat leidt tot nauwere grenzen voor de kwantisatiefout.

2. Inter-Layer Mixed-Precision Allocatie

KronQ introduceert een nieuwe sensitiviteitsmetriek voor het alloceren van bitbreedtes over sublagen.

Metriek: De sensitiviteitsscore wordt gedefgenereerd als het product van de sporen van de twee Hessiaan-factoren: $s_\ell = \text{tr}(H_G^{(\ell)}) \cdot \text{tr}(H_X^{(\ell)})$ .
Voordeel: Bestaande methoden die alleen $\text{tr}(H_X)$ gebruiken, kunnen geen onderscheid maken tussen sublagen die identieke input-statistieken delen (bijv. Query, Key en Value projecties in attention-blokken). De KronQ-score doorbreekt deze degeneratie omdat $H_G$ varieert over deze sublagen door verschillende downstream gradiënten. Dit maakt een meer optimale bitbreedte-allocatie mogelijk, waarbij hogere precisie wordt toegewezen aan sublagen met een hogere gezamenlijke sensitiviteit.

Belangrijkste Bijdragen

Kronecker-gefactoreerde Kwantisatiefout: De auteurs breiden de laag-gewijze kwantisatie-objectief uit om $H_G$ te incorporeren onder de K-FAC-benadering. Ze demonstreren dat $H_G$ kan worden gebruikt voor bidirectionele incoherentie-verwerking zonder de computationele kosten van de kwantisatie-update-loop te verhogen, aangezien het algebraïsch wegvalt.
Joint Hessian Trace Sensitiviteit: Een nieuwe metriek voor mixed-precision allocatie is afgeleid van de gezamenlijke sporen van $H_X$ en $H_G$ . Deze metriek lost de degeneratie op die wordt gevonden bij alleen-activatie-metrieken, waardoor onderscheidende sensitiviteitsrangschikkingen voor Q, K en V projecties mogelijk zijn.
Empirische Validatie: Uit uitgebreide experimenten blijkt dat KronQ state-of-the-art resultaten behaalt over LLaMA-2 en LLaMA-3 modellen (7B tot 70B) bij W2/W3/W4 bit-breedtes. De meest significante winst wordt waargenomen bij 2-bit, waar concurrerende methoden vaak falen.

Experimentele Resultaten

Het paper evalueert KronQ op LLaMA-2 (7B, 13B, 70B) en LLaMA-3 (8B, 70B), evenals nieuwere modellen zoals Gemma-3 en DeepSeek-R1.

Uniforme Precisie: Bij 2-bit gewichts-alleen kwantisatie op LLaMA-3-70B divergeren GPTQ en GPTAQ (met een perplexiteit >2000 op WikiText-2), terwijl KronQ een perplexiteit van 7.93 bereikt. Vergelijkbare robuustheid wordt waargenomen in 3-bit en 4-bit instellingen.
Groep Kwantisatie: In 2-bit groep kwantisatie (g=128) presteert KronQ aanzienlijk beter dan GPTQ (bijv. 7.61 PPL vs. 274.0 PPL op LLaMA-2-7B).
Gewichts-en-Activatie Kwantisatie: Gebruikmakend van het QuaRot-framework voor activaties, verlaagt KronQ consistent de perplexiteit vergeleken met baselines (bijv. het reduceren van PPL van 36.74 naar 9.38 op LLaMA-2-7B bij W2A4).
Mixed-Precision: De KronQ sensitiviteitsscore levert strikt betere perplexiteit–bitbreedte trade-offs op vergeleken met alleen-activatie scores. Bijvoorbeeld, op LLaMA-2-7B levert het eerst upgraden van de "down proj" sublaag (volgens KronQ) een lagere perplexiteit op dan het eerst upgraden van de "gate proj" (volgens alleen-activatie metrieken) bij dezelfde gemiddelde bitbreedte.
Generalisatie: De methode generaliseert naar nieuwere modelfamilies (Gemma-3, DeepSeek-R1, Phi-4) en moeilijkere benchmarks (LiveCodeBench, AIME-2024), waarbij het vaak de prestaties van baselines verdubbelt op generatieve redeneertaken.

Betekenis en Claims

Het paper claimt dat KronQ een kritiek blinde vlek in de huidige PTQ-literatuur aanpakt: de verwaarlozing van de output-zijde gradiënt-statistieken. Door gebruik te maken van de Kronecker-gefactoreerde structuur, biedt KronQ een principiële manier om de heterogeniteit aan de output-zijde te behandelen zonder de zware computationele kosten die gepaard gaan met volledige Hessiaan-schatting of iteratieve solvers zoals gebruikt in gerelateerd werk zoals YAQA.

De auteurs benadrukken dat de methode bijzonder essentieel is voor ultra-lage-bit kwantisatie (2-bit), waarbij de aanname van gelijke output-belangrijkheid ( $H_G = I$ ) leidt tot catastrofaal falen in grote modellen. Het vermogen om stabiele 2-bit kwantisatie te bereiken op 70B parameter modellen vertegenwoordigt een belangrijke stap naar het implementeren van LLM's op edge-hardware.

Beperkingen: De auteurs erkennen dat KronQ een enkele backward pass over de kalibratieset vereist om $H_G$ te schatten, wat een matige offline latentie-overhead en tijdelijk piekgeheugengebruik tijdens de BiIP preprocessing-stap introduceert. Echter, zodra $H_G$ is vooraf berekend, wordt $H_G$ vrijgegeven en blijft de kwantisatie-loop net zo efficiënt als GPTAQ. De overhead tijdens inferentie is beperkt tot de orthogonale transformaties, die identiek zijn aan die in QuIP#.