🤖 AI

When Quantization Is Free: An int4 KV Cache That Outruns fp16 on Apple Silicon

Dieser Artikel zeigt, dass auf Apple Silicon ein spezialisierter fusionierter Metal-Kernel für die Int4-Quantisierung des KV-Caches nicht nur die Modellqualität erhält, sondern auch eine geringere Latenz als fp16 erreicht, indem er die einheitliche Speicherbandbreite und fortschrittliche Rotationstechniken nutzt, um eine Verschlechterung pro Token zu eliminieren.

Ursprüngliche Autoren: Mohamed Amine Bergach

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohamed Amine Bergach

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die Regel „Geschwindigkeit gegen Qualität" durchbrechen

Normalerweise müssen Sie bei einem Computerprogramm Qualität opfern, wenn Sie es schneller machen wollen. Das ist wie Autofahren: Wenn Sie superschnell fahren wollen, müssen Sie vielleicht eine weniger glatte Abkürzung nehmen oder die Klimaanlage entfernen, um Gewicht zu sparen.

In der Welt der KI (speziell Large Language Models) gibt es einen „Verkehrsstau im Speicher". Während die KI eine lange Geschichte oder ein Gespräch liest, muss sie sich an alles erinnern, was sie gerade gelesen hat. Dieser Speicher (der KV-Cache) wird riesig.

Der alte Weg: Den Speicher in einem hochwertigen, schweren Format halten (wie eine Full-HD-Videodatei). Das ist genau, nimmt aber viel Platz ein und bewegt sich langsam über die „Autobahn" des Computers (Speicherbandbreite).
Die Standardlösung: Den Speicher komprimieren (wie das Video in eine kleinere MP4 umwandeln). Das spart Platz, aber normalerweise muss der Computer härter arbeiten, um es zu entpacken, was den gesamten Prozess verlangsamt.

Dieses Papier behauptet, dass auf Apple Silicon (M1/M2/M3-Chips) diese Regel gebrochen wird. Sie haben einen Weg gefunden, den Speicher so effektiv zu komprimieren, dass die KI tatsächlich schneller läuft als die unkomprimierte Version, ohne an Qualität zu verlieren.

Die Analogie: Die Bibliothek und die Bibliothekarin

Stellen Sie sich die KI als Bibliothekarin vor, die versucht, Fragen basierend auf einer riesigen Bibliothek von Büchern (dem Kontext) zu beantworten.

Das Problem (Die schweren Bücher):
Die Bibliothekarin muss die neuesten Seiten der Bücher auf dem Schreibtisch offen halten, um sie nachzuschlagen. Wenn die Bücher schwere, gebundene Enzyklopädien sind (das Standard-fp16-Format), verbringt die Bibliothekarin die meiste Zeit damit, sie einfach hin und her von den Regalen zum Schreibtisch zu tragen. Der Schreibtisch ist klein, sodass sie nur wenige Bücher gleichzeitig offen halten kann.
Die Standardlösung (Die Fotokopie):
Normalerweise kopieren Sie zum Platzsparen die Seiten auf dünnes Papier (Komprimierung). Aber die Bibliothekarin muss jedes Mal, wenn sie etwas nachschlagen muss, anhalten, die Fotokopien entfalten, lesen und dann wieder zusammenfalten. Dieses „Falten/Entfalten" nimmt so viel Zeit in Anspruch, dass die Bibliothekarin tatsächlich langsamer ist, als wenn sie einfach die schweren Bücher getragen hätte.
Die Apple-Silicon-Lösung (Der magische Ordner):
Die Autoren haben einen speziellen magischen Ordner gebaut (den Fused Metal Kernel).
- Der Trick: Sie schrumpfen das Papier nicht nur; sie ordnen die Wörter auf der Seite mit einem speziellen mathematischen Mischen neu an (genannt SRFT oder Sign-Randomized FFT), sodass der Text wie zufälliges Rauschen aussieht. Das macht den Text leicht in winzige 4-Bit-„Nibbles" zu komprimieren (wie einen Absatz in eine einzige Codezeile zu verwandeln).
- Die Geschwindigkeit: Da der Speicher des Apple-Computers „vereinheitlicht" ist (die Bibliothekarin und die Regale stehen direkt nebeneinander), ist das Bewegen dieser winzigen, komprimierten Seiten unglaublich schnell. Die Zeit, die zum „Mischen und Komprimieren" des Textes benötigt wird, ist so kurz, dass es tatsächlich schneller ist als das Bewegen der schweren, unkomprimierten Bücher.
- Das Ergebnis: Die Bibliothekarin kann jetzt dreimal so viele Bücher auf dem Schreibtisch offen halten, und sie liest sie trotzdem schneller als zuvor.

Wichtige Erkenntnisse in einfacher Sprache

Es ist kein Kompromiss: Auf Apple-Chips erhalten Sie das Beste aus beiden Welten: 3-fache Speicherkapazität UND schnellere Geschwindigkeit. Das Papier nennt dies „Quantisierung ist kostenlos".
Der „magische Shuffle" (SRFT): Sie verwenden einen mathematischen Trick namens „Sign-Randomized Fourier Transform". Stellen Sie sich vor, Sie mischen ein Kartenspiel so perfekt, dass die Karten mit hohem Wert (Ausreißer) gleichmäßig verteilt sind. Dies verhindert, dass die „Fotokopie" unscharf wird. Sie haben herausgefunden, dass dies genauso gut funktioniert wie andere Mischmethoden (Hadamard), aber besser für die Hardware von Apple geeignet ist.
Die „Katastrophe" beheben: Bei einem bestimmten Modell (Qwen) führte das einfache Komprimieren des Textes dazu, dass die KI schreckliche Fehler machte (wie eine Bibliothekarin, die Kauderwelsch liest). Die Autoren behoben dies, indem sie vor dem Komprimieren einen kleinen „Lautstärkeregler" (pro-Kanal-Skalierung) für jedes spezifische Wort hinzufügten. Dies rettete die Qualität, ohne die Geschwindigkeit zu beeinträchtigen.
Lernen vs. Zufall: Sie testeten, ob sie der KI den perfekten Shuffle „beibringen" könnten. Überraschenderweise funktionierte ein zufälliger Shuffle für das Endergebnis besser als ein „gelernter", obwohl der gelernte in einem Mathtest genauer aussah. Es stellt sich heraus, dass der zufällige Shuffle wie ein hilfreicher „Regularizer" wirkt, der die KI stabil hält.

Das Fazit

Das Papier zeigt, dass Sie auf Apple-Computers den Speicherbedarf der KI um das 3-fache verkleinern können (was enormen Platz spart) und dass die KI aufgrund der Funktionsweise des Computerspeichers tatsächlich 3 % bis 8 % schneller läuft als zuvor.

Es ist wie eine Methode zu finden, einen Koffer so fest zu packen, dass er leichter wird, und Sie können trotzdem Ihre Kleidung schneller herausnehmen, als wenn der Koffer halb leer und sperrig wäre.

Für wen ist das?
Dies gilt speziell für das Ausführen von KI-Modellen auf Apple-Silicon-Geräten (Laptops, Telefone, Tablets). Die Autoren weisen darauf hin, dass dieser Geschwindigkeitsschub auf anderen Computern (wie Standard-NVIDIA-GPUs) möglicherweise nicht auftritt, da deren Speicherarchitektur anders ist.

Was ermöglicht es?
Es ermöglicht diesen Geräten, viel längere Gespräche zu führen oder viel längere Dokumente zu lesen, ohne den Speicher zu erschöpfen oder langsamer zu werden, wobei die Antworten der KI genauso intelligent bleiben wie zuvor.

Technische Zusammenfassung: Wenn Quantisierung kostenlos ist

Problemstellung

Die Inferenz von Long-Context-Transformern ist typischerweise durch den Speicherbedarf und die Bandbreitenanforderungen des Key-Value (KV) Caches begrenzt. Mit zunehmender Kontextlänge (z. B. 128K Tokens) können die akkumulierten KV-Tensoren in fp16 die Größe der Modellgewichte selbst überschreiten, wodurch ein Engpass entsteht, bei dem nicht die Rechenleistung, sondern die Speicherbandbreite die Dekodiergeschwindigkeit limitiert.

Die branchenübliche Praxis adressiert dies durch Strategien des Typs „drehen-und-quantisieren" (z. B. QuaRot, SpinQuant), die zufällige orthogonale Rotationen anwenden, um Aktivierungen vor der Quantisierung auf niedrige Bitzahlen (int4/int8) zu gaußisieren. Dieser Ansatz wird jedoch traditionell als Kompromiss zwischen Qualität und Latenz dargestellt: Der Rechenoverhead durch Rotation und De-Rotation, kombiniert mit Quantisierungsfehlern, führt typischerweise zu einer 5–20%igen Erhöhung der Dekodierlatenz, selbst wenn Speicherplatz gespart wird.

Die Autoren gehen davon aus, dass sich dieser Kompromiss auf Apple Silicon (unifizierter Speicherarchitektur) umkehrt. Sie hypothesieren, dass die durch einen 3× komprimierten Cache erzielten Bandbreiteneinsparungen die Rechenkosten des Quantisierungskernels überwiegen können, sofern der Kernel hochgradig optimiert und fusioniert ist.

Methodik

1. Sign-randomisierte Fourier-Transformation (SRFT)

Die Arbeit übernimmt SRFT (Sign-Randomized FFT) als Rotationsmechanismus, definiert als $SRFT(x) = \text{pack}(F \cdot \text{diag}(s) \cdot x)$ , wobei $F$ die unitäre DFT und $s$ ein festes zufälliges Vorzeichenvektor ist.

Begründung: Während Hadamard-Transformationen (SRHT) üblich sind, bietet SRFT Flexibilität für Dimensionen, die keine Zweierpotenzen sind, und passt zu 16×16-Matrixmultiplikationsoperationen (AMX, Tensor Cores).
Ergebnis: Die Autoren zeigen, dass SRFT und SRHT in Bezug auf die Perplexität (PPL) über fünf Modelle (SmolLM2, Qwen2.5, Gemma-3) und verschiedene Bit-Budgets hinweg statistisch nicht unterscheidbar sind.

2. Fusionierter Metal-Kernel

Um Dispatch-Overhead zu eliminieren, implementieren die Autoren einen einzelnen fusionierten Metal-Rechenkernel, der die gesamte Pipeline ausführt:

Laden und Vorzeichen-Multiplikation: Anwendung des zufälligen Vorzeichen-Diagonalvektors im Register.
FFT: Ausführung von log2(d/2) Radix-2-Stockham-Butterfly-Passes.
Packung: Entpacken der hermiteschen Symmetrie in eine reelle Darstellung.
Skalierung und Quantisierung: Durchführung einer pro-Kanal $\lambda$ -Neuskalierung (gelernt oder kalibriert), einer pro-Gruppe Reduktion des absoluten Maximums und Rundung auf signed int4/int8.
Nibble-Packung: Packen von zwei int4-Werten in ein einzelnes Byte mittels SIMD-Shuffles.

Dieser Kernel wird über torch.mps.compile exponiert und als HuggingFace Cache-Unterklasse (SRFTInt4Cache) integriert.

3. Erweiterte Skalierungsstrategien

Pro-Kanal + Pro-Gruppe: Bei Modellen mit kleinen Kopf-Dimensionen (z. B. Qwen2.5-1.5B, $d=128$ ) schlägt die pro-Token-Skalierung aufgrund von Ausreißer-Koordinaten katastrophal fehl. Die Autoren kombinieren pro-Kanal-Skalierung (ein Skalierungsfaktor pro Koordinate) mit pro-Gruppen-Skalierung (Gruppen von 16), um die Qualität wiederherzustellen.
Gelernte Rotationen: Die Arbeit untersucht eine Nachtrainings-Kalibrierung, bei der eine lernbare Rotation $R$ und ein Skalierungsfaktor $\lambda$ hinzugefügt werden. Ein zentrales Ergebnis ist, dass das Lernen von $R+\lambda$ ohne die SRFT-Basis den Kalibrierungs-MSE signifikant stärker minimiert (84,9 % vs. 50,3 %), aber zu schlechterer downstream PPL führt, was darauf hindeutet, dass die feste zufällige SRFT als Regularisierer wirkt.
Householder-Rotationen: Bei $d=256$ erreichen Householder-Rotationen mit $k=d/2$ Reflektoren eine effektiv verlustfreie Quantisierung ( $\Delta PPL \approx 0,000$ ) mit der Hälfte der Parameter vollständiger Cayley-Rotationen.

4. CPU-Pfad (AMX)

Ein komplementärer CPU-Pfad nutzt Apple's AMX-Matrix-Coprozessor über cblas sgemm. Durch das Batching von DFTs der Länge 8 als 16×16-reelle Matrixmultiplikationen erreichen die Autoren bis zu 91 % der Single-Core-AMX-Spitzenleistung und bieten eine latenzarme Alternative für Small-Batch-Szenarien, in denen der GPU-Dispatch-Overhead dominiert.

Wichtige Ergebnisse

Leistung (Latenz)

Auf Apple M1 (16 GB unifizierter Speicher) übertrifft der fusionierte int4-KV-Cache fp16 in der End-to-End-Dekodierlatenz:

Gemma-3 1B: Läuft 3–8 % schneller (negativer Latenz-Overhead) über Präfixe von 256–4096 Tokens.
Qwen2.5-1.5B: Läuft bei kurzen Kontexten (≤1K Tokens) 0,7–2,6 % schneller.
Mechanismus: Der Kernel-Overhead (~25 ns/vec) ist niedriger als die durch die Übertragung von 3× weniger Daten pro Dekodierschritt erzielten Speicherbandbreiteneinsparungen.

Qualität (Perplexität)

SRFT vs. SRHT: Kein statistisch signifikanter Unterschied im $\Delta PPL$ über alle getesteten Modelle hinweg.
Qwen2.5-1.5B: Der fusionierte Kernel mit pro-Kanal + pro-Gruppen-Skalierung reduziert das 4-Bit $\Delta PPL$ von einem katastrophalen +7975 (pro-Token-Basislinie) auf +638,6 (eine 12,5-fache Reduktion) und entspricht der Python-Referenzimplementierung.
Gemma-3 1B: Das 4-Bit $\Delta PPL$ verbesserte sich von +18,7 (pro-Token) auf +3,6 mit dem fusionierten skalierten Kernel.
Verlustfreier Bereich: Bei $d=256$ erreichen gelernte Householder-Rotationen $\Delta PPL = 0,000$ .

Speichereffizienz

Kompression: Erreicht eine persistente Speicherkompression von 3,0× bis 3,56× auf Full-Attention-Schichten.
Auswirkung in der Praxis: Für einen 128K-Kontext auf Llama-3-70B reduziert der int4-Cache den Speicherbedarf von ~41 GB (fp16) auf ~10,9 GB.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Quantisierung auf Hardware mit unifiziertem Speicher „kostenlos" (throughput-positiv) ist und damit die branchenübliche Annahme umkehrt, dass Low-Bit-Quantisierung immer einen Latenznachteil mit sich bringt.

Umkehrung des Kompromisses: Der Hauptbeitrag besteht darin zu zeigen, dass auf Apple Silicon die Bandbreiteneinsparungen durch einen 3× komprimierten Cache die Rechenkosten des Quantisierungskernels übersteigen. Dies macht den int4-KV-Cache für latenzsensitive, Long-Context-Inferenz auf Laptops und Edge-Geräten strikt überlegen gegenüber fp16.
Hardwarebewusstes Design: Die Arbeit unterstreicht, dass die Wahl der Rotation (FFT vs. Hadamard) weniger mit mathematischer Überlegenheit zu tun hat, sondern mehr mit der Hardware-Alignment (z. B. passt die Radix-8-Struktur der FFT zu AMX 16×16-Tiles).
Trennung von Kalibrierung und PPL: Die Arbeit isoliert ein neues Phänomen, bei dem die Minimierung des Kalibrierungs-MSE keine bessere downstream PPL garantiert, was darauf hindeutet, dass die feste zufällige Rotation eine notwendige Regularisierungspriorität darstellt.
Einsatzfähigkeit: Durch das Fusionieren der gesamten Pipeline in einen einzigen Metal-Kernel und die Integration mit HuggingFace beweisen die Autoren, dass aggressive 4-Bit-Quantisierung ohne Einbußen bei Modellqualität oder Geschwindigkeit eingesetzt werden kann, sofern die Hardwarearchitektur (unifizierter Speicher) und die Kernel-Optimierung (Fusion) abgestimmt sind.

Die Autoren schließen daraus, dass der Standard-Quantisierungskompromiss zwar für GPUs mit separatem HBM und hohem Dispatch-Overhead gilt, sich jedoch für das Regime mit unifiziertem Speicher umkehrt, in dem Laptop- und Edge-Inferenz operieren.