🤖 machine learning

HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models

HyperQuant ist eine einheitliche Post-Training-Quantisierungspipeline, die Randomisierte Hadamard-Transformation, optimale Gitterquantisierung, Rice-Kodierung und Bias-Korrektur kombiniert, um eine rate-verzerrungs-optimale Kompression sowohl für Gewichte als auch für KV-Caches in großen Sprach- und Diffusionsmodellen zu erreichen, wobei sie bestehende Methoden über verschiedene Bitraten hinweg übertrifft und gleichzeitig eine nahezu verlustfreie Qualität beibehält.

Ursprüngliche Autoren: Yuval Domb, Hadar Sackstein, Tomer Solberg

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuval Domb, Hadar Sackstein, Tomer Solberg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Bibliothek voller Bücher (ein Large Language Model oder einen Videogenerator). Diese Bücher enthalten Milliarden von Wörtern und Bildern und nehmen so viel Platz ein, dass sie kaum noch auf die Festplatte Ihres Computers passen. Wenn Sie den Computer bitten, einen Satz zu lesen oder ein Video zu generieren, muss er diese schweren Bücher ständig hin und her schaufeln, was langsam und anstrengend für die Maschine ist.

HyperQuant ist ein neues, cleveres System, das darauf ausgelegt ist, diese Bücher auf einen Bruchteil ihrer Größe zu schrumpfen, ohne die Geschichte zu verlieren, wodurch sie schneller zu lesen und einfacher zu speichern sind.

Hier ist die Funktionsweise, unterteilt in einfache Schritte mit alltäglichen Analogien:

1. Der „Misch-Trick“ (Randomized Hadamard Transform)

Stellen Sie sich einen unordentlichen Stapel Papier vor, bei dem einige Seiten riesig und schwer sind, während andere nur winzige Schnipsel sind. Wenn Sie versuchen, sie in eine Kiste zu packen, ragen die großen Seiten heraus und verschwenden Platz.
HyperQuant beginnt damit, die Seiten zu mischen (shuffeln). Es vermischt die Daten so, dass statt einiger weniger gigantischer Ausreißer und vieler winziger Teile alles zu einer glatten, gleichmäßigen Verteilung wird (wie eine perfekte Glockenkurve). Dies macht die Daten viel effizienter packbar, genau wie das Mischen eines Kartendecks das gleichmäßige Austeilen erleichtert.

2. Die „Perfekte Verpackung“ (Lattice Quantization)

Sobald die Daten gemischt wurden, muss HyperQuant die kontinuierlichen Zahlen in diskrete „Punkte“ umwandeln, die gespeichert werden können.

Der alte Weg: Stellen Sie sich vor, Sie versuchen, Kugeln in einer Kiste zu packen, indem Sie ein einfaches Gitter verwenden (wie ein Schachbrett). Es gibt viel ungenutzten Leerraum zwischen den Kugeln.
HyperQuants Weg: Es verwendet mathematische „Gitter“ (wie E8- oder D4-Formen). Denken Sie an die effizienteste Art, Orangen in einer Kiste zu stapeln. Sie passen die Kugeln so eng zusammen, dass fast kein Platz verschwendet wird. Dies ermöglicht es dem System, die gleiche Menge an Informationen mit viel weniger Bits zu speichern.

3. Der „Reißverschluss“ (Entropy Coding & Rice Codes)

Selbst mit perfekter Verpackung haben Sie immer noch eine lange Liste von Zahlen, die aufgeschrieben werden müssen.

Der alte Weg: Sie schreiben jede Zahl mit dem gleichen Platz auf, selbst wenn manche Zahlen sehr oft und andere nur selten vorkommen.
HyperQuants Weg: Es verwendet einen variablen Code (Rice-Kodierung). Denken Sie an eine Geheimsprache, in der häufig verwendete Wörter sehr kurze Codes erhalten (wie „u“ für „you“) und seltene Wörter längere Codes. Da das System weiß, welche Zahlen am häufigsten vorkommen, komprimiert es die Daten noch weiter, ohne die Bedeutung zu verlieren.

4. Die „Geräuschunterdrückung“ (Bias Correction für den KV Cache)

Wenn ein Modell sich an vorherige Wörter erinnert (den „KV Cache“), muss es sehr präzise sein. Wenn man Zahlen zu grob rundet, kann das Modell verwirrt werden und anfangen, Unsinn zu halluzinieren.
HyperQuant nutzt einen Trick namens „subtraktives Dithering“. Stellen Sie sich vor, Sie versuchen, eine Flüssigkeit zu messen, aber Ihr Becher ist leicht wackelig. Anstatt einfach nur zu raten, geben Sie eine winzige, zufällige Menge Wasser hinzu, messen es und ziehen genau diese zufällige Menge später wieder ab. Dies hebt den Fehler perfekt auf und stellt sicher, dass das Endergebnis unverzerrt und genau ist, selbst wenn die Daten stark komprimiert sind.

5. Die „Magische Box“ (Hardware-Integration)

Schließlich ist HyperQuant so konzipiert, dass es direkt mit modernen Computerchips (wie den NVIDIA H100 und Blackwell GPUs) zusammenarbeitet. Es komprimiert die Daten nicht nur; es formatiert sie so, dass der Chip sie sofort lesen kann, ohne sie vorher entpacken zu müssen.

Das Ergebnis: Es wurde festgestellt, dass die Verwendung von 8-Bit-Integern (Standard-Ganzzahlen) tatsächlich besser funktioniert als 8-Bit-Floating-Points (Dezimalzahlen) für diese spezifische Art von komprimierten Daten. Es ist wie die Erkenntnis, dass für dieses spezielle Puzzle ganze Zahlen besser in die Lücken passen als Dezimalzahlen.

Die großen Vorteile

Das Paper behauptet, dass HyperQuant Folgendes erreicht:

Massive Kompression: Es schrumpft das „Gedächtnis“ (Weights) des Modells um etwa das 4-fache und das „Arbeitsgedächtnis“ (KV Cache) um etwa das 3,8-fache.
Kein Qualitätsverlust: Trotz der massiven Schrumpfung der Daten versteht und generiert das Modell Text oder Video fast so gut wie die ursprüngliche, unkomprimierte Version.
Erfolg bei Videos: Es hat erfolgreich ein 19-Milliarden-Parameter-Videogenerationsmodell (LTX-2) komprimiert, ohne sichtbare Fehler im Video.
Den Wettbewerb schlagen: Es übertrifft bisherige Top-Methoden (wie HIGGS, TurboQuant und OCTOPUS) in fast allen Tests, insbesondere wenn es darum geht, die Daten auf sehr kleine Größen (wie 1,7 Bit pro Zahl) zu reduzieren.

Kurz gesagt: HyperQuant ist ein neuer „Packalgorithmus“, der KI-Modelle so mischt, stapelt und zusammenzieht, dass sie in Ihre Tasche passen, ohne die Geschichte zu zerstören.

Technisches Resümee: HyperQuant

Problemstellung

Large Language Models (LLMs) und Diffusion Transformer stehen während der autoregressiven Inferenz vor einem kritischen Engpass: der Speicherbandbreite. Mit wachsenden Kontextlängen dominieren der Key-Value (KV)-Cache und die Modellgewichte den Speicherverbrauch, was das System dazu zwingt, massive Datensätze für dünne Matrix-Vektor-Produkte zu streamen. Dies hält die arithmetische Intensität weit unter den Hardware-Rechen-zu-Bandbreiten-Verhältnissen. Während Post-Training Quantization (PTQ) eine Lösung bietet, indem sie die Inferenz als ein Rate-Distortion-Kompressionsproblem formuliert, leiden bestehende State-of-the-Art-Methoden unter Ineffizienzen:

Gewichtsquantisierung: Methoden wie HIGGS nutzen Randomized Hadamard Transforms (RHT) und endliche Lloyd-Codebücher, übertragen jedoch Indizes mit einer festen Bitrate. Die Informationstheorie besagt, dass entropiecodierte Quantisierer für die gleiche Distorsion weniger Bits benötigen würden, da HIGGS aufgrund fester Rate „Rate auf dem Tisch liegen lässt“.
KV-Cache-Quantisierung: Ansätze wie TurboQuant und OCTOPUS verlassen sich auf skalare oder niedrigdimensionale marginale Quantisierung mit festen Rate-Overheads. Sie verfügen oft nicht über eine strikte pro-Vektor-Unverzerrtheit (unbiasedness), was zu systematischen Verschiebungen in den Attention-Scores führt, und versäumen es, die Vorteile der mehrdimensionalen Vektorquantisierung voll auszuschöpfen.

Methodik: Die HyperQuant-Pipeline

HyperQuant schlägt eine vereinheitlichte, datenfreie Post-Training-Pipeline vor, die ein rate-distorsions-optimales Triplet aus per-Tile RHT, Gitterquantisierung (Lattice Quantization) und Entropiecodierung sowohl auf Gewichte als auch auf KV-Caches anwendet. Die Pipeline besteht aus vier Kernkomponenten:

1. Per-Tile Randomized Hadamard Transform (RHT)

Vor der Quantisierung werden die Eingaben (Gewichte oder KV-Vektoren) in Tiles (z. B. Größe 128) partitioniert und mittels $RHT_n(x) = H_n D x$ transformiert, wobei $H_n$ die Walsh-Hadamard-Matrix und $D$ eine zufällige Vorzeichen-Diagonale ist.

Effekt: Dies „mischt“ die Daten, wodurch die Verteilung pro Koordinate annähernd Gaußförmig ( $N(0, \sigma^2)$ ) wird.
Vorteil: Es verteilt den Quantisierungsfehler von Ausreißer-Koordinaten in eine isotrope Streuung, wodurch die Daten für eine optimale Gitterquantisierung geeignet werden. Die Transformation ist orthogonal und bewahrt die $\ell_2$ -Fehler-Eigenschaften.

2. Gitterquantisierung (Lattice Quantization)

Anstatt endlicher Codebücher quantisiert HyperQuant die rotierten Tiles in niedrigdimensionale, optimale Gitter: E8 (8-D), D4 (4-D), A2 (2-D) oder skalar Z.

Granularer Gewinn: Diese Gitter bieten niedrigere normalisierte zweite Momente ( $G(\Lambda)$ ) als skalare Quantisierung, was die Distorsion für eine feste Rate reduziert. E8 ist das höchstdimensionale Gitter, das einen Decoder in konstanter Zeit ( $O(1)$ ) in geschlossener Form zulässt.
Ganzzahlige Realisierung: Die Gitter werden auf Ganzzahl-Einbettungen (z. B. $E^8_{int} \subset \mathbb{Z}^8$ ) abgebildet, um in 8-Bit-Speicherbeschränkungen zu passen, wobei Skalierungsfaktoren ( $\alpha$ ) kalibriert werden, um Überläufe zu verhindern.

3. Bit-Stripping und Rice-Codierung

Um nahezu entropie-optimale Raten zu erreichen, verwendet HyperQuant einen zweistufigen Kodierungsprozess:

Bit-Stripping: Gitter-Mitgliedschaftsbeschränkungen (z. B. Paritätsprüfungen für E8) legen bestimmte Bits des Ganzzahl-Code-Vektors deterministisch fest. Diese Bits werden vor der Kodierung verlustfrei entfernt, was die Entropie der verbleibenden Symbole reduziert.
Rice-Codierung: Die verbleibenden Symbole werden mittels Rice-Codes (einem variablen Längen-Code, der optimal für geometrische Verteilungen ist) kodiert. Im Gegensatz zu Fixed-Rate-Schemata ermöglicht dies, dass der Codebuch effektiv ungebunden ist, wodurch die Gaußschen Ausläufer ohne Dehnung äußerer Zellen gehandhabt werden können. Die realisierte Rate liegt innerhalb von $\sim 0,01$ Bits pro Skalar (bps) eines jeden Zielwerts.

4. Bias-Korrektur für den KV-Cache

Um eine deterministische Verzerrung im KV-Cache zu verhindern, die die Attention-Semantik korrumpieren könnte, integriert HyperQuant:

Zufällige Rotation: Eine pro Layer durchgeführte Rotation (entweder eine volle Haar-uniforme QJL-Matrix oder eine einfache $\pm 1$ Vorzeichen-Diagonale), um Anisotropie zu reduzieren.
Subtraktives Dithering: Ein frischer Uniform-Rauschvektor $U \sim \text{Uniform}(V(\Lambda))$ wird vor der Quantisierung hinzugefügt und danach subtrahiert. Die Autoren beweisen (Anhang A), dass dies eine strikte pro-Vektor-Innere-Produkt-Unverzerrtheit ergibt, eine Eigenschaft, die über die Verteilungs-Durchschnitt-Unverzerrtheit von Standard-QJL-Sketches hinausgeht.

Zentrale Beiträge

Vereinheitlichte Rate-Distortion-Optimale Pipeline: HyperQuant ist die erste datenfreie Pipeline, die RHT, optimale Gitter und Entropiecodierung für sowohl Gewichte als auch KV-Caches kombiniert und dabei Raten erreicht, die innerhalb von $\sim 0,01$ bps der theoretischen Ziele liegen.
Überlegene Gewichtsquantisierung: Durch den Ersatz endlicher Codebücher durch ungebundene Gitter und Variable-Length-Coding übertrifft HyperQuant HIGGS an jedem Betriebspunkt (3–5 bps). Die Autoren zerlegen diesen Gewinn in:
- Entropie-Slack: Rückgewinnung von Bits, die durch Fixed-Rate-Indizes verschwendet wurden (dominant bei niedrigen Raten).
- Vorteil ungebundener Codebücher: Der strukturelle Nutzen unendlicher Codebücher gegenüber endlichen (dominant bei hohen Raten).
Zwei-Regime-KV-Quantisierung: Die Autoren charakterisieren die KV-Quantisierung in ein „High-Quality“-Regime ( $\ge 2,5$ bps), in dem Bias-Korrektur-Varianten konvergieren, und ein „High-Compression“-Regime ( $1,7\text{--}2,5$ bps), in dem die QJL-Rotation signifikante Gewinne ( $\sim 0,5$ PPL-Verbesserung) liefert.
Hardware-Integration: Die Pipeline ist für moderne Tensor Cores (Hopper/Blackwell) konzipiert und integriert sich in fp8, int8, nvfp4 und mxfp4 Pfade. Bemerkenswerterweise stellen die Autoren fest, dass int8 fp8 übertrifft, da die durch RHT transformierten Gewichte eine leicht tail-arme, nahezu Gaußsche Verteilung aufweisen.
Generalisierung: Die Methode transferiert erfolgreich auf Nicht-LLM-Architekturen, demonstriert am 19B-Parameter LTX-2 Video-DiT, ohne wahrnehmbare Artefakte.

Experimentelle Ergebnisse

Evaluierung auf Llama-3.1-8B-Instruct (WikiText-2) und LTX-2-19B:

Gewichtsquantisierung: Bei 4 bps erreicht HyperQuant (E8-Gitter) eine Perplexität (PPL) von 7,434, verglichen mit 7,618 von HIGGS-p2. Bei 3 bps vergrößert sich die Lücke signifikant (HyperQuant: 8,744 vs. HIGGS: 9,527).
KV-Cache-Quantisierung:
- Bei 3 bps erreicht HyperQuant eine PPL von 7,41 (vs. bf16 Baseline 7,16), eine 81%ige Speicherreduktion.
- Bei 2 bps erreicht HyperQuant eine PPL von 7,93 (+0,77% über Baseline), was OCTOPUS (+34,7% PPL) und TurboQuant deutlich übertrifft.
- Bei 1,7 bps erreicht HyperQuant ein Kompressionsverhältnis von 7,1× mit einem PPL-Anstieg von 26,9%, während OCTOPUS nahe 3,0× Kompression stagniert.
End-to-End-Performance: Auf einer H100 komprimiert HyperQuant lineare Gewichte um 3,9× und den KV-Cache um 3,79×. Während die Variable-Length-Dekodierung eine Latenz einführt (kein Wall-Clock-Speedup auf aktueller Hardware), ist die Reduktion des residenten Speichers substanziell (14,96 GiB $\to$ 5,29 GiB für das gesamte Modell).
Video-Modell: Bei LTX-2-19B liefert die 4-bps-Quantisierung ein PSNR von 22,74 dB und einen LPIPS von 0,20, ohne sichtbare Artefakte, und übertrifft dabei die fp8-basierte Quantisierung.

Bedeutung und Ansprüche

Das Paper behauptet, dass HyperQuant einen neuen Stand der Technik für die datenfreie Post-Training-Quantisierung etabliert, indem es informationstheoretische Prinzipien (Entropiecodierung und Gittertheorie) rigoros auf die Transformer-Inferenz anwendet.

Theoretischer Durchbruch: Es zeigt, dass die Lücke zwischen aktuellem SOTA (HIGGS) und optimaler Performance größtenteils auf die Ineffizienz fester Rate-Indizes und endlicher Codebücher zurückzuführen ist. Durch den Wechsel zu Variable-Length-Coding über ungebundene Gitter gewinnt HyperQuant diesen „Slack“ zurück.
Praktische Implementierung: Die Methode erfordert keinen Kalibrierungsdatensatz und kein Fine-Tuning, was sie sofort einsatzbereit macht. Sie bietet ein „Menü“ an Betriebspunkten, mit denen Praktiker Speicher und Qualität abwägen können (z. B. bietet 3 bps für den KV-Cache massive Speicherersparnisse bei minimaler PPL-Degradierung).
Hardware-Bewusstsein: Die Arbeit stellt die Annahme infrage, dass fp8 immer überlegen ist; durch die Gauß-Transformation der Daten via RHT zeigt sie, dass int8 oft eine bessere Übereinstimmung mit der resultierenden Verteilung bietet und somit bei gleicher Bitbreite eine bessere Qualität liefert.

Die Autoren kommen zu dem Schluss, dass HyperQuant derzeit auf aktueller Hardware zwar den Durchsatz zugunsten der Speichereffizienz opfert, die Pipeline jedoch das notwendige Fundament für zukünftige Kernel-Optimierungen (z. B. fused decode+MMA) bildet, die einen Wall-Clock-Speedup ermöglichen könnten.