🤖 AI

When Quantization Is Free: An int4 KV Cache That Outruns fp16 on Apple Silicon

Dit artikel toont aan dat op Apple Silicon een gespecialiseerde gefuseerde Metal-kernel voor int4-KV-cachekwantisatie niet alleen de modelkwaliteit behoudt, maar ook in latentie presteert boven fp16 door gebruik te maken van de unified memory-bandbreedte en geavanceerde rotatietechnieken om degradatie per token te elimineren.

Oorspronkelijke auteurs: Mohamed Amine Bergach

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Amine Bergach

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De Regel "Snelheid versus Kwaliteit" Breken

Normaal gesproken moet je, als je een computerprogramma sneller wilt laten draaien, wat kwaliteit opofferen. Het is als autorijden: als je super snel wilt gaan, moet je misschien een shortcut nemen die niet zo glad is, of je moet de airconditioning verwijderen om gewicht te besparen.

In de wereld van AI (specifiek Large Language Models) is er een "verkeersopstopping in het geheugen". Naarmate de AI een lang verhaal of gesprek leest, moet het alles wat het net heeft gelezen onthouden. Dit geheugen (het KV Cache) wordt enorm.

De Oude Manier: Bewaar het geheugen in een hoogwaardig, zwaar formaat (zoals een full HD-videobestand). Het is nauwkeurig, maar neemt veel ruimte in beslag en beweegt langzaam over de "snelweg" van de computer (het geheugenbandbreedte).
De Standaard Oplossing: Comprimeer het geheugen (zoals het omzetten van de video naar een kleiner MP4-bestand). Dit bespaart ruimte, maar meestal moet de computer harder werken om het uit te pakken, waardoor het hele proces trager wordt.

Dit artikel beweert dat op Apple Silicon (M1/M2/M3-chips) deze regel wordt gebroken. Ze hebben een manier gevonden om het geheugen zo effectief te comprimeren dat de AI daadwerkelijk sneller draait dan de niet-gecomprimeerde versie, zonder kwaliteitsverlies.

De Analogie: De Bibliotheek en de Bibliothecaris

Stel je voor dat de AI een Bibliothecaris is die probeert vragen te beantwoorden op basis van een enorme bibliotheek met boeken (de context).

Het Probleem (De Zware Boeken):
De bibliothecaris moet de meest recente pagina's van de boeken op het bureau openhouden om er naar te verwijzen. Als de boeken zware, hardcover-encyclopedieën zijn (het standaard fp16-formaat), besteedt de bibliothecaris het grootste deel van zijn tijd aan het heen en weer dragen van de boeken van de planken naar het bureau. Het bureau is klein, dus ze kunnen maar een paar boeken tegelijk open houden.
De Standaard Oplossing (De Fotokopie):
Normaal gesproken maak je om ruimte te besparen fotokopieën van de pagina's op dun papier (compressie). Maar de bibliothecaris moet dan stoppen, de fotokopieën uitvouwen, ze lezen en ze weer opvouwen elke keer als ze iets moeten opzoeken. Deze "opvouw- en uitvouw-tijd" kost zoveel tijd dat de bibliothecaris eigenlijk trager is dan wanneer ze gewoon de zware boeken zouden dragen.
De Apple Silicon Oplossing (De Magische Map):
De auteurs hebben een speciale Magische Map gebouwd (de Fused Metal Kernel).
- De Truc: Ze verkleinen niet alleen het papier; ze herschikken de woorden op de pagina met een speciale wiskundige shuffle (genaamd SRFT, of Sign-Randomized FFT) zodat de tekst eruit ziet als willekeurige ruis. Dit maakt de tekst makkelijk te comprimeren tot kleine, 4-bit "nibbles" (zoals het omzetten van een alinea in een enkele regel code).
- De Snelheid: Omdat het geheugen van de Apple-computer "geünificeerd" is (de bibliothecaris en de planken zitten direct naast elkaar), is het verplaatsen van deze kleine, gecomprimeerde pagina's ongelooflijk snel. De tijd die het kost om de tekst te "shuffelen en comprimeren" is zo kort dat het eigenlijk sneller is dan het verplaatsen van de zware, niet-gecomprimeerde boeken.
- Het Resultaat: De bibliothecaris kan nu 3 keer zoveel boeken open op het bureau houden, en ze lezen ze nog steeds sneller dan voorheen.

Belangrijkste Bevindingen in Gewone Taal

Het Is Geen Ruil: Op Apple-chips krijg je het beste van beide werelden: 3x meer geheugencapaciteit EN snellere snelheid. Het artikel noemt dit "Quantization is Free".
De "Magische Shuffle" (SRFT): Ze gebruiken een wiskundige truc genaamd een "Sign-Randomized Fourier Transform". Denk hierbij aan het shuffelen van een kaartspel zo perfect dat de waardevolle kaarten (uitbijters) gelijkmatig worden verspreid. Dit voorkomt dat de "fotokopie" wazig wordt. Ze ontdekten dat dit net zo goed werkt als andere shuffle-methoden (Hadamard), maar beter geschikt is voor Apple's hardware.
Het Oplossen van de "Catastrofe": Op één specifiek model (Qwen) veroorzaakte het simpelweg comprimeren van de tekst dat de AI vreselijke fouten maakte (zoals een bibliothecaris die onzin leest). De auteurs losten dit op door een kleine "volume-knop" (per-channel scaling) toe te voegen voor elk specifiek woord voordat het werd gecomprimeerd. Dit redde de kwaliteit zonder de snelheid te vertragen.
Leren versus Willekeurig: Ze testten of ze de AI de perfecte shuffle konden "leren". Verrassend genoeg werkte een willekeurige shuffle beter voor het eindresultaat dan een "geleerde" shuffle, zelfs al zag de geleerde er op een wiskundetest nauwkeuriger uit. Het blijkt dat de willekeurige shuffle fungeert als een nuttige "regularizer" die de AI stabiel houdt.

De Conclusie

Het artikel toont aan dat je op Apple-computers de geheugenvoetafdruk van de AI met 3 keer kunt verkleinen (enorm veel ruimte besparen) en dat, vanwege de manier waarop het geheugen van de computer werkt, de AI daadwerkelijk 3% tot 8% sneller draait dan voorheen.

Het is als een manier vinden om een koffer zo strak te pakken dat deze lichter wordt, terwijl je toch sneller je kleren eruit kunt halen dan wanneer de koffer halfleeg en omvangrijk was.

Voor wie is dit?
Dit is specifiek voor het draaien van AI-modellen op Apple Silicon-apparaten (laptops, telefoons, tablets). De auteurs merken op dat op andere computers (zoals standaard NVIDIA GPU's) deze snelheidswinst misschien niet optreedt, omdat hun geheugenarchitectuur anders is.

Wat maakt dit mogelijk?
Het stelt deze apparaten in staat om veel langere gesprekken te hanteren of veel langere documenten te lezen zonder dat het geheugen vol raakt of het traag wordt, terwijl de antwoorden van de AI net zo slim blijven als voorheen.

Technische Samenvatting: Wanneer Quantisatie Gratis Is

Probleemstelling

Inferentie met transformers voor lange contexten wordt doorgaans beperkt door het geheugengebruik en de bandbreedte-eisen van de Key-Value (KV) cache. Naarmate de contextlengtes toenemen (bijv. 128K tokens), kunnen de geaccumuleerde KV-tensors in fp16 de grootte van de modelgewichten zelf overtreffen, wat een knelpunt creëert waar geheugenbandbreedte, in plaats van rekenkracht, de decode-snelheid beperkt.

De standaard industriële praktijk lost dit op via strategieën "eerst roteren, dan quantiseren" (bijv. QuaRot, SpinQuant), die willekeurige orthogonale rotaties toepassen om activaties te Gaussianiseren voordat ze worden gekwantiseerd naar lage bits (int4/int8). Deze aanpak wordt echter traditioneel gepresenteerd als een kwaliteit–latentie-trade-off: de rekenkundige overhead van rotatie en de-rotatie, gecombineerd met quantisatiefouten, resulteert doorgaans in een toename van de decode-latentie van 5–20%, zelfs als geheugen wordt bespaard.

De auteurs stellen dat deze trade-off omgekeerd is op Apple Silicon (unified memory-architectuur). Zij hypothetiseren dat de bandbreedtebesparingen van een 3× gecomprimeerde cache de rekenkosten van de quantisatie-kernel kunnen overstijgen, mits de kernel sterk geoptimaliseerd en gefuseerd is.

Methodologie

1. Sign-gebaseerde Random Fourier Transform (SRFT)

Het artikel hanteert SRFT (Sign-Randomized FFT) als rotatiemechanisme, gedefinieerd als $SRFT(x) = \text{pack}(F \cdot \text{diag}(s) \cdot x)$ , waarbij $F$ de unitaire DFT is en $s$ een vaste willekeurige tekenvector.

Redenering: Hoewel Hadamard-transformaties (SRHT) gebruikelijk zijn, biedt SRFT flexibiliteit voor dimensies die geen machten van twee zijn en sluit het aan bij 16×16 matrixvermenigvuldigingsoperaties (AMX, Tensor Cores).
Vinding: De auteurs tonen aan dat SRFT en SRHT statistisch niet van elkaar te onderscheiden zijn wat betreft de kwaliteit van de perplexiteit (PPL) over vijf modellen (SmolLM2, Qwen2.5, Gemma-3) en diverse bit-budgets.

2. Gefuseerde Metal Kernel

Om dispatch-overhead te elimineren, implementeren de auteurs een enkele gefuseerde Metal-berekeningskernel die de volledige pijplijn uitvoert:

Laden & Teken-vermenigvuldigen: Pas de willekeurige teken-diagonaal in-register toe.
FFT: Voer log2(d/2) radix-2 Stockham-schakelstappen uit.
Pakken: Ontpak Hermitische symmetrie naar een reële representatie.
Schalen & Quantiseren: Voer per-kanaal $\lambda$ herschaling uit (geleerd of gekalibreerd), per-groep absolute-max-reductie, en rond af naar signed int4/int8.
Nibbel-pakken: Pak twee int4-waarden in één byte met behulp van SIMD-shuffles.

Deze kernel wordt blootgelegd via torch.mps.compile en geïntegreerd als een HuggingFace Cache-subclass (SRFTInt4Cache).

3. Geavanceerde Schaalstrategieën

Per-Kanaal + Per-Groep: Voor modellen met kleine kop-dimensies (bijv. Qwen2.5-1.5B, $d=128$ ) faalt per-token schaling catastrofaal door uitbijter-coördinaten. De auteurs combineren per-kanaal schaling (één schaal per coördinaat) met per-groep schaling (groepen van 16) om de kwaliteit te herstellen.
Geleerde Rotaties: Het artikel onderzoekt post-training kalibratie waarbij een leerbare rotatie $R$ en schaal $\lambda$ worden toegevoegd. Een belangrijke bevinding is dat het leren van $R+\lambda$ zonder de SRFT-basis de kalibratie-MSE aanzienlijk meer minimaliseert (84,9% vs 50,3%), maar slechtere downstream PPL oplevert, wat suggereert dat de vaste willekeurige SRFT fungeert als een regularisator.
Householder Rotaties: Bij $d=256$ bereiken Householder-rotaties met $k=d/2$ reflectoren effectief verliesloze quantisatie ( $\Delta PPL \approx 0.000$ ) met de helft van de parameters van volledige Cayley-rotaties.

4. CPU-pad (AMX)

Een complementair CPU-pad maakt gebruik van Apple's AMX-matrixcoprocessor via cblas sgemm. Door DFT's van lengte 8 te batchen als 16×16 reële matrixvermenigvuldigingen, bereiken de auteurs tot 91% van de single-core AMX piek, wat een lage-latentie alternatief biedt voor kleine batch-regimes waar GPU-dispatch-overhead dominant is.

Belangrijkste Resultaten

Prestaties (Latentie)

Op Apple M1 (16GB unified memory) presteert de gefuseerde int4 KV-cache beter dan fp16 in end-to-end decode-latentie:

Gemma-3 1B: Draait 3–8% sneller (negatieve latentie-overhead) over 256–4096 token-prefixen.
Qwen2.5-1.5B: Draait 0,7–2,6% sneller bij korte contexten (≤1K tokens).
Mechanisme: De kernel-overhead (~25 ns/vec) is lager dan de geheugenbandbreedtebesparingen die worden bereikt door 3× minder data per decode-stap over te dragen.

Kwaliteit (Perplexiteit)

SRFT vs. SRHT: Geen statistisch significant verschil in $\Delta PPL$ voor alle geteste modellen.
Qwen2.5-1.5B: De gefuseerde kernel met per-kanaal + per-groep schaling verlaagt de 4-bit $\Delta PPL$ van een catastrofale +7975 (per-token baseline) naar +638,6 (een reductie van 12,5×), wat overeenkomt met de Python-referentie-implementatie.
Gemma-3 1B: De 4-bit $\Delta PPL$ verbeterde van +18,7 (per-token) naar +3,6 met de gefuseerde geschaalde kernel.
Verliesloos Regime: Bij $d=256$ bereiken geleerde Householder-rotaties $\Delta PPL = 0.000$ .

Geheugenefficiëntie

Compressie: Bereikt 3,0× tot 3,56× persistente geheugencompressie op full-attention lagen.
Real-world Impact: Voor een 128K context op Llama-3-70B verlaagt de int4-cache het geheugen van ~41 GB (fp16) naar ~10,9 GB.

Betekenis en Claims

Het artikel claimt dat quantisatie "gratis" is (throughput-positief) op hardware met unified memory, waardoor de standaard industriële aanname wordt omvergeworpen dat low-bit quantisatie altijd een latentieboete met zich meebrengt.

Omkering van de Trade-off: De primaire bijdrage is het aantonen dat op Apple Silicon de bandbreedtebesparingen van een 3× gecomprimeerde cache de rekenkosten van de quantisatie-kernel overstijgen. Dit maakt de int4 KV-cache strikt superieur aan fp16 voor latentiegevoelige, lange-context inferentie op laptops en edge-apparaten.
Hardware-bewust Ontwerp: Het werk benadrukt dat de keuze van rotatie (FFT vs. Hadamard) minder gaat over wiskundige superioriteit en meer over hardware-uitlijning (bijv. de radix-8 structuur van FFT die overeenkomt met AMX 16×16 tegels).
Scheiding van Kalibratie en PPL: Het artikel isoleert een nieuw fenomeen waarbij het minimaliseren van kalibratie-MSE niet garandeert dat de downstream PPL beter wordt, wat suggereert dat de vaste willekeurige rotatie een noodzakelijke regularisatie-prior biedt.
Implementatiehaalbaarheid: Door de volledige pijplijn te fuseren in een enkele Metal-kernel en deze te integreren met HuggingFace, bewijzen de auteurs dat agressieve 4-bit quantisatie kan worden ingezet zonder in te leveren op modelkwaliteit of snelheid, mits de hardware-architectuur (unified memory) en kernel-optimalisatie (fusie) op elkaar zijn afgestemd.

De auteurs concluderen dat terwijl de standaard quantisatie-trade-off geldt voor GPU's met gescheiden HBM en hoge dispatch-overheads, deze omgekeerd is voor het unified memory-regime waar laptop- en edge-inferentie opereren.