🤖 machine learning

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression

Das Papier stellt Hurwitz-Quaternionen-multiplicative Quantisierung (HQMQ) vor, eine kalibrierungsfreie Methode, die KV-Caches komprimiert, indem 4-Elemente-Blöcke als Quaternionen dargestellt werden, die über ein Produkt aus einer festen Hurwitz-Gruppe und zufälligen sekundären Codebüchern quantisiert werden, wodurch bei diversen modernen LLMs eine Genauigkeit nahe fp16 mit bis zu 5,05-facher Kompression erreicht und gleichzeitig die Notwendigkeit einer Kalibrierung eliminiert wird.

Ursprüngliche Autoren: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Speicher-Hoarding"

Stellen Sie sich ein Large Language Model (LLM) wie eine brillante, aber vergessliche Bibliothekarin vor. Wenn Sie ihr eine lange Frage stellen, muss sie sich jedes bisher gesagte Wort merken, um korrekt zu antworten. In computertechnischen Begriffen wird dieser Speicher als KV-Cache bezeichnet.

Bei sehr langen Gesprächen wird dieser Speichercache riesig. Wenn die Bibliothekarin versucht, jedes Detail in hoher Auflösung (wie einen 4K-Film) zu speichern, füllt dies den Arbeitsspeicher (RAM) des Computers sofort auf. Dies zwingt den Computer, langsamere Speichermedien zu nutzen oder führt zum Absturz, wodurch das Gespräch abbricht.

Um dies zu beheben, versuchen Ingenieure, den Speicher zu „komprimieren", ähnlich wie man einen 4K-Film in eine kleinere MP4-Datei umwandelt. Frühere Komprimierungsmethoden waren jedoch wie ein stumpfes Messer: Wenn man die Dateigröße zu stark reduzierte (unter 4 Bit), wurde der Film unbrauchbar (die AI begann Unsinn zu produzieren). Wenn das KI-Modell „Ausreißer" hatte (seltsame, extreme Zahlen in seinen Daten), brach die Standardkomprimierung völlig zusammen, was dazu führte, dass die AI wild halluzinierte.

Die Lösung: HQMQ (Das „intelligente Kompass"-System)

Die Autoren schlagen eine neue Methode namens HQMQ vor. Anstatt nur die Zahlen zu verkleinern, behandeln sie Gruppen von Daten als Quaternionen (eine Art 4D-mathematischer Kompass).

So funktioniert es, aufgeteilt in drei einfache Schritte:

1. Der „24-Punkte-Stern" (Das primäre Codebuch)

Stellen Sie sich vor, die Richtung, in die ein Datenpunkt zeigt, ist wie eine Kompassnadel. Anstatt den exakten Winkel zu speichern (was zu viel Platz benötigt), verwenden die Autoren einen speziellen, vorgefertigten „Stern" mit 24 Punkten (die Hurwitz-Gruppe).

Die Analogie: Denken Sie daran wie an einen Standardsatz von 24 festen Richtungen (Nord, Nordost usw., aber in 4D). Egal, wohin die Daten zeigen, Sie schnappen sie einfach an die nächste dieser 24 „perfekten" Richtungen.
Die Magie: Da diese 24 Punkte mathematisch perfekt und gleichmäßig verteilt sind, muss die KI nicht lernen, sie zu erkennen. Sie sind einfach „hart codierte" Regeln, wie die Buchstaben auf einer Tastatur.

2. Die „zufällige Drehung" (Das sekundäre Codebuch)

Die 24 Punkte reichen nicht aus, um jede mögliche Nuance abzudecken. Daher fügen die Autoren eine zweite Schicht hinzu: eine kleine, zufällige „Drehung" für jeden spezifischen Teil der KI.

Die Analogie: Stellen Sie sich einen Globus vor, auf dem die 24 Punkte gemalt sind. Jetzt stellen Sie sich vor, Sie können den Globus für jeden einzelnen Satz, den die KI verarbeitet, zufällig drehen.
Das Ergebnis: Wenn Sie die festen 24 Punkte mit einer zufälligen Drehung kombinieren, erhalten Sie Tausende von einzigartigen Richtungen ( $24 \times \text{zufällige Drehungen}$ ).
Warum das cool ist: Das Papier behauptet, Sie müssen diese zufällige Drehung nicht trainieren. Aufgrund der dahinterstehenden Mathematik funktioniert jede zufällige Drehung fast genauso gut wie eine trainierte. Es ist, als würde man sagen: „Sie müssen nicht üben, Pfeile zu werfen; werfen Sie sie einfach zufällig, und die Mathematik garantiert, dass Sie das Brett treffen." Dies spart Zeit und Daten.

3. Das „Ausreißer-Sicherheitsnetz" (Med3×)

Einige KI-Modelle (wie Qwen) haben „Ausreißer" – Datenpunkte, die 100- oder 200-mal größer sind als normal. Die Standardkomprimierung versucht, diese riesigen Zahlen zusammenzudrücken, um sie unterzubringen, was die Daten zerstört.

Die Analogie: Stellen Sie sich vor, Sie packen einen Koffer. Die meisten Kleidungsstücke sind normal groß, aber Sie haben einen riesigen, unhandlich geformten Teddybären. Wenn Sie versuchen, den Bären in eine kleine Box zu zwängen, reißt die Box.
Die Lösung: HQMQ hat eine Regel: „Wenn eine Zahl zu groß ist (mehr als das 3-fache des Durchschnitts), drücken Sie sie nicht zusammen. Bewahren Sie sie einfach in ihrer ursprünglichen, hochwertigen Form (fp16) auf und markieren Sie sie mit einer winzigen Flagge."
Das Ergebnis: Nur etwa 1–3 % der Daten erhalten diese spezielle Behandlung, sodass die Speichereinsparungen immer noch enorm sind, aber die „riesigen Teddybären" das System nicht zerstören.

Was haben sie bewiesen?

Die Autoren testeten dies an fünf verschiedenen modernen KI-Modellen (Mistral, Llama, Qwen usw.). Hier sind ihre wichtigsten Erkenntnisse:

Es funktioniert ohne Training: Im Gegensatz zu anderen Methoden, die eine „Kalibrierungsphase" benötigen (in der die KI Daten studiert, um zu lernen, wie sie komprimiert werden soll), funktioniert HQMQ sofort mit zufälligen Einstellungen.
Es spart massiven Speicherplatz: Es gelang ihnen, den Speichercache um das 5-fache zu verkleinern. Zum Beispiel wurde ein 128k-Kontext-Cache für ein 70-Milliarden-Parameter-Modell (das normalerweise 43 GB benötigt) auf 8,5 GB verkleinert. Das bedeutet, Sie könnten eine massive KI auf einer einzelnen Consumer-Grafikkarte statt auf einem Supercomputer ausführen.
Es bewältigt „schlechte" Daten: Bei Modellen mit extremen Ausreißern (wie Qwen) versagte die Standardkomprimierung vollständig (die Fehlerrate der KI explodierte). HQMQ plus das „Sicherheitsnetz" behob dies und brachte die Leistung der KI wieder auf nahezu perfekte Niveaus.
Geschwindigkeit: Sie bauten eine spezielle „fusionierte" Engine, die die komprimierten Daten liest und entschlüsselt, während die KI denkt. Das bedeutet, die KI wird nicht langsamer; sie verbraucht einfach weniger Speicher.

Das Fazit

HQMQ ist wie ein universelles, vorgefertigtes Komprimierungs-Kit für KI-Speicher. Es verwendet einen cleveren mathematischen Trick (Multiplikation eines festen 24-Punkte-Sterns mit einer zufälligen Drehung), um Richtungen effizient zu speichern, ohne dass zuvor etwas gelernt werden muss. Es verfügt auch über einen Sicherheits-Schalter für seltsame Daten-Spitzen.

Das Ergebnis? Sie können viel längere, intelligentere Gespräche auf viel kleineren Computern führen, ohne dass die KI den Verstand verliert.

Technische Zusammenfassung: Hurwitz-Quaternionen-multiplicative Quantisierung für KV-Cache-Komprimierung

Problemstellung

Die Speicherkosten des Key-Value (KV) Caches während der Inferenz mit langen Kontexten in Large Language Models (LLMs) dominieren häufig die Rechenkosten. Die Speicherung von K- und V-Vektoren in FP16 kann bei Sequenzlängen über 32k mehrere zehn Gigabyte verbrauchen. Während skalare Quantisierung (z. B. int8, int4) diese Kosten senkt, verschlechtert sich die Leistung unter 4 Bit erheblich, und int2 führt typischerweise zum Zusammenbruch des Modells. Darüber hinaus weisen moderne Architekturen (insbesondere solche mit Grouped Query Attention, wie Qwen2.5 und Qwen3) „ausreißerlastige" Aufmerksamkeitsmuster auf, bei denen ein kleiner Bruchteil der K-Chunks extreme Beträge aufweist. Standardmäßige skalare Quantisierung versagt in diesen Szenarien katastrophal und führt zu Perplexitäts-Spitzen (PPL) von über 10.000 Punkten. Bestehende Vektorquantisierungsansätze benötigen oft Kalibrierungsdaten oder bewältigen diese Ausreißer nicht effektiv.

Methodik: Hurwitz-Quaternionen-multiplicative Quantisierung (HQMQ)

Die Autoren schlagen HQMQ vor, eine kalibrierungsfreie Methode, die jeden 4-Element-Chunk von K- oder V-Vektoren als Quaternion $x \in \mathbb{H}$ behandelt. Die Methode zerlegt den Vektor in einen Radius $r = \|x\|$ und eine Einheitsrichtung $u = x/r$ auf der 3-Sphäre $S^3$ .

1. Multiplicative Codebuch-Zusammensetzung

Anstatt ein einziges großes Codebuch zu lernen oder eine additive Zusammensetzung zu verwenden, konstruiert HQMQ ein gemeinsames Codebuch durch das multiplikative Produkt zweier Komponenten:

Primäres Codebuch ( $P$ ): Eine feste Menge von 24 Einheits-Hurwitz-Quaternionen, die den Eckpunkten des 24-Zells auf $S^3$ entsprechen (der binären tetraedrischen Gruppe $2T$ ). Diese Eckpunkte sind paarweise um $60^\circ$ getrennt und bilden eine geschlossene multiplikative Gruppe.
Sekundäres Codebuch ( $S$ ): Eine Menge von $S$ zufälligen Einheits-Quaternionen, initialisiert pro (Schicht, Kopf, Rolle) ohne Kalibrierung.

Das effektive Codebuch ist die Menge $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ . Dies ergibt $24S$ effektive Codewörter, während nur $S$ Parameter gespeichert werden. Die Richtung $u$ wird auf das Codewort $c \in C$ quantisiert, das das innere Produkt $\langle u, c \rangle$ maximiert.

2. Theoretische Begründung für zufällige Initialisierung

Die Arbeit argumentiert, dass Kalibrierung unnötig ist, da die Linksmultiplikation mit einer Einheits-Quaternion eine Isometrie auf $S^3$ darstellt. Das zufällige Auswählen von $S$ rotiert effektiv die feste $2T$ -Gruppe, wodurch $S$ disjunkte isometrische Kopien entstehen, die $S^3$ quasi-uniform überdecken. Proposition 3.1 zeigt, dass diese zufällige multiplikative Packung eine optimale Überdeckungsrate von $O((24S)^{-1/3})$ auf $S^3$ erreicht, die bis auf Konstanten der theoretischen Schranke für optimale Kugelpackungen entspricht.

3. Median-Multiplikator-Ausreißer-Extraktion (Med3×)

Um die „ausreißerlastigen" Architekturen zu adressieren, bei denen sich die Chunk-Normen um Faktoren von 80–280× unterscheiden, führen die Autoren einen pro-Batch-Ausreißer-Extraktionsschritt ein:

Berechnung der medianen Chunk-Norm $r_{med}$ über den aktuellen Batch.
Identifizierung von Chunks, bei denen $r > C \cdot r_{med}$ gilt (mit einer festen Konstante $C=3$ ).
Speicherung dieser Ausreißer im vollständigen FP16 (mit einem 1-Bit-Flag) und Quantisierung der verbleibenden „Bulk"-Chunks mittels HQMQ.
Dieser Schritt erfordert keine Kalibrierungsdaten und ist über verschiedene Architekturen hinweg stabil.

Hauptbeiträge

Neue Regel zur Codebuch-Zusammensetzung: Ein multiplikatives Quantisierungsschema basierend auf der endlichen Hurwitz-Gruppe $2T$ , das sich von additiver VQ (CommVQ) oder flacher gelernter VQ (VPTQ) unterscheidet.
Kalibrierungsfreie Bereitstellung: Die Methode stützt sich auf die geometrischen Eigenschaften von Haar-zufälligen Rotationen des 24-Zells und eliminiert die Notwendigkeit von kalibrierungsabhängigen Durchläufen pro Modell. Empirische Ergebnisse zeigen eine Variation der Perplexität bei Endaufgaben von $<0,14\%$ über verschiedene Zufallssamen hinweg.
Robuste Ausreißerbehandlung: Der Med3×-Extraktionsmechanismus ermöglicht die Verwendung einer Low-Bit-Quantisierung auf ausreißerlastigen Modellen (wie Qwen2.5/3), bei denen naives int4 vollständig versagt.
Empirische Validierung: Evaluation über fünf diverse Modelle (Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B und gpt-oss-20b), die eine Pareto-Dominanz gegenüber naiven Ganzzahl-Baselines demonstrieren.

Experimentelle Ergebnisse

Perplexität und Qualität

Mistral-7B & Llama-3-8B: HQMQ erreicht eine nahezu verlustfreie Komprimierung bei $\sim5$ Bit und entspricht der FP16-Perplexität innerhalb von 0,02–0,03 Punkten. Bei 3,79 Bit entspricht es der FP16-Downstream-Null-Shot-Genauigkeit (PIQA, HellaSwag, ARC-Easy).
Qwen2.5-7B & Qwen3-8B (Ausreißerlastig): Naives int4 kollabiert auf PPLs von 17.000–18.000. HQMQ + Med3× stellt die FP16-Qualität wieder her (PPL $\approx$ 9,0–9,7) bei $\sim5$ Bit, was einer Qualitätsverbesserung von $\sim1.900\times$ gegenüber naivem int4 bei weniger Bits entspricht.
gpt-oss-20b (Sparse MoE): HQMQ dominiert die naive Baseline bei gleichen Bitraten um das 3–3,5-fache.

Vergleich mit Baselines

vs. Naive Int: HQMQ übertrifft naives int4 in der PPL über alle Modelle bei gleichen Bitraten um das 3–1.900-fache.
vs. KIVI (Kalibrierte Baseline): Bei 3,79 Bit entspricht HQMQ der kalibrierten KIVI-4 (die $\sim4,5$ Bit verwendet) innerhalb von $\sim1$ Punkt auf CoQA und 2,3 Punkten auf GSM8K, unter Verwendung von 16 % weniger Bits und ohne Kalibrierung.
vs. Sphärische/Vektor-Quantisierung: HQMQ übertrifft sphärische Baselines (z. B. im TurboQuant-Stil) und additive VQ-Baselines mit zufälligen Codebüchern.

Speicher und Latenz

Komprimierung: HQMQ liefert bis zu 5,05× KV-Cache-Komprimierung. Für ein Llama-3-70B-Modell mit einem 128k-Kontext schrumpft der Cache von 43 GB (FP16) auf 8,5 GB, was die Inferenz auf einer einzelnen 24-GB-Konsument-GPU ermöglicht.
Latenz: Ein fusionierter Triton-Kernel decodiert K/V direkt innerhalb der Aufmerksamkeitsschleife. Bei einer Produktions-Decodierungsarbeitslast behält der fusionierte Kernel eine konstante Latenz von $\sim0,033$ ms unabhängig von der Kontextlänge bei und bietet eine 7,4× bis 82,9× Beschleunigung gegenüber einer naiven „Fake-Quant"-Pipeline, die den gesamten Cache pro Schritt dequantisiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass HQMQ ein „sauberes algebraisches Rezept" für die KV-Cache-Quantisierung bietet, das die Lücke zwischen theoretischer Vektorquantisierung und praktischer Bereitstellung schließt. Seine primäre Bedeutung liegt in:

Ermöglichung der Low-Bit-Quantisierung auf ausreißerlastigen Modellen: Es ist die erste Methode, die eine Sub-5-Bit-Quantisierung für Architekturen wie Qwen2.5/3 praktikabel macht, bei denen Standardmethoden versagen.
Eliminierung des Kalibrierungsaufwands: Durch die Nutzung der geometrischen Eigenschaften der Hurwitz-Gruppe wird die Notwendigkeit datenabhängiger Kalibrierung beseitigt, was sie für proprietäre oder schnell bereitgestellte Modelle geeignet macht.
Praktische Effizienz: Die Kombination aus hohen Komprimierungsraten (bis zu 5×) und einem fusionierten Kernel, der Speicherbandbreitenengpässe vermeidet, macht die Inferenz mit langen Kontexten auf Konsumentenhardware praktikabel.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass HQMQ im Sub-3-Bit-Bereich nicht mit trainierten Codebüchern (wie CommVQ) konkurriert und dass seine Leistung bei extrem langen Kontexten (jenseits von 128k) oder spezifischen Architekturen wie Multi-head Latent Attention (MLA) weiterer Untersuchung bedarf. Innerhalb des 3–5-Bit-Bereichs etabliert es jedoch einen neuen State-of-the-Art für kalibrierungsfreie, ausreißerrobuste KV-Komprimierung.