🤖 AI

FibQuant: Universal Vector Quantization for Random-Access KV-Cache Compression

Das Papier stellt FibQuant vor, eine universelle Vektorquantisierungsmethode, die skalare Codecs durch einen gemeinsamen radial-angularen Codebuch ersetzt, der an die sphärisch-Beta-Verteilung rotierter KV-Cache-Vektoren angepasst ist und im Vergleich zu bestehenden skalaren Ansätzen deutlich höhere Kompressionsraten bei minimaler Perplexitätsverschlechterung erreicht.

Ursprüngliche Autoren: Namyoon Lee, Yongjune Kim

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Namyoon Lee, Yongjune Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine riesige, hochgeschwindigkeitsfähige Bibliothek, in der ein Roboterbibliothekar (die KI) versucht, eine Geschichte zu schreiben. Um die Geschichte kohärent zu halten, muss der Bibliothekar jedes Wort merken, das er bisher geschrieben hat. Dieses „Gedächtnis" wird als KV-Cache bezeichnet.

Je länger die Geschichte wird, desto riesig wird das Gedächtnisregal des Bibliothekars. Tatsächlich wird bei sehr langen Geschichten das Gedächtnisregal so groß, dass es mehr Platz einnimmt als das eigentliche Regelbuch des Bibliothekars (die Modellgewichte). Dies erzeugt einen Stau: Der Bibliothekar verbringt seine ganze Zeit nur damit, Bücher vom Regal zu holen, sodass keine Zeit bleibt, um tatsächlich die Geschichte zu schreiben.

Das Problem: Die „Einheitsgröße"-Schrumpffolie

Um dies zu beheben, versuchten Ingenieure, die Bücher auf dem Regal zu verkleinern. Sie entwickelten eine Methode namens TURBOQUANT (die bisher beste Methode).

Stellen Sie sich TURBOQUANT so vor:

Das Buch messen: Sie messen, wie „dick" das Buch ist (seine Norm).
Es drehen: Sie drehen das Buch zufällig, sodass der Text in eine neue Richtung zeigt.
Es schrumpfen: Sie versuchen, das Buch zu verkleinern, indem Sie eine Seite nach der anderen betrachten und diese einzelne Seite komprimieren.

Der Fehler: Dieser Ansatz behandelt das Buch so, als wäre jede Seite unabhängig. Doch in Wirklichkeit sind die Seiten verbunden. Wenn Sie ein Buch drehen, bilden die Seiten eine spezifische 3D-Form (wie eine Kugel). Indem TURBOQUANT die Seiten einzeln betrachtet, ignoriert es die schöne Geometrie des gesamten Buches. Es ist, als würde man versuchen, einen runden Strandball in einen quadratischen Karton zu packen, indem man nur die Breite des Balls betrachtet und seine Höhe und Tiefe ignoriert.

Die Lösung: FIBQUANT (Die „intelligente Packung"-Methode)

Die Autoren dieses Papiers, FIBQUANT, erkannten, dass, da der Bibliothekar die Bücher zufällig dreht, die „Form" der Daten immer gleich ist: eine kugelförmige Kugel.

Anstatt das Buch Seite für Seite zu verkleinern, betrachtet FIBQUANT Bündel von Seiten (Blöcke) auf einmal. Es behandelt die Daten als 3D-Objekt, das effizient gepackt werden muss.

So funktioniert FIBQUANT, unter Verwendung einer einfachen Analogie:

1. Das „Sonnenblumen"-Muster (Geometrie)

Stellen Sie sich vor, Sie pflanzen Samen auf einen runden Sonnenblumenkopf. Wenn Sie sie in geraden Reihen pflanzen, verschwenden Sie Platz in den Ecken. Wenn Sie sie jedoch in einer Spirale pflanzen (wie dem natürlichen Muster einer Sonnenblume), können Sie die maximale Anzahl an Samen unterbringen, ohne Platz zu verschwenden.

FIBQUANT verwendet eine mathematische „Sonnenblumenspirale" (genannt Fibonacci), um seine Datenpunkte anzuordnen. Dies ermöglicht es ihm, die „Bücher" viel enger zu packen als die alte „gerade Reihe"-Methode.

2. Die „Universelle Karte" (Keine Kalibrierung)

Normalerweise benötigen Sie, um Daten perfekt zu verkleinern, eine Studie der spezifischen Bücher, die Sie verkleinern (Kalibrierung).

FIBQUANT ist besonders, weil es weiß, dass jedes Buch, sobald es zufällig gedreht wurde, wie eine Kugel aussieht. Daher verwendet es eine einzige, universelle Karte (Codebuch) für jedes Buch, jede Schicht und jede Geschichte. Sie müssen die Karte nicht für jede neue Geschichte neu erlernen.

3. Der „Bruchteil-Bit"-Zauber (Unter die Grenze gehen)

Alte Methoden konnten Daten nur durch ganze Zahlen verkleinern (z. B. 1 Bit, 2 Bits, 3 Bits). Wenn Sie sie etwas weiter verkleinern mussten, waren Sie festgefahren.

FIBQUANT kann Daten durch Bruchteile verkleinern (z. B. 1,5 Bits, 0,5 Bits). Es ist, als hätte man ein Lineal, das in Millimetern messen kann, statt nur in Zoll. Dies ermöglicht es dem System, in sehr enge Gedächtnisräume zu passen, in denen andere Methoden einfach versagen.

Die Ergebnisse: Was geschah?

Die Autoren testeten dies an zwei berühmten KI-Modellen (GPT-2 und TinyLlama).

Der „Gedächtnis vs. Qualität"-Kompromiss: Sie stellten fest, dass FIBQUANT das Gedächtnis 34-mal kleiner komprimieren kann als das Original, während die KI die Geschichte fast perfekt versteht (95 % Ähnlichkeit zum Original).
Die Konkurrenz schlagen: Bei extremen Kompressionsniveaus (wo das Gedächtnis winzig ist) begannen die alten Methoden (wie TURBOQUANT), die KI verwirrt oder unsinnig klingen zu lassen. FIBQUANT hielt die KI intelligent.
Die „Unter-einem-Bit"-Zone: Der beeindruckendste Teil ist, dass FIBQUANT sogar funktioniert, wenn die Daten auf weniger als 1 Bit pro Informationseinheit komprimiert werden. Die alten Methoden konnten in dieser Zone nicht einmal operieren; sie gaben einfach auf. FIBQUANT setzte fort, mehr Gedächtnis herauszupressen, ohne das Gehirn der KI zu beschädigen.

Zusammenfassung

FIBQUANT ist eine neue Methode, um das Gedächtnis einer KI zu komprimieren.

Alte Methode: Daten einzeln betrachten und ihre Form ignorieren.
FIBQUANT: Datenblöcke betrachten, erkennen, dass sie eine Kugel bilden, und sie mit einem perfekten „Sonnenblumen"-Muster packen.

Es ermöglicht der KI, viel längere Geschichten zu merken, ohne den Speicher zu erschöpfen, und funktioniert auch dann, wenn der Speicher unglaublich klein ist, alles ohne Neutrainieren für jede neue Aufgabe.

Technische Zusammenfassung: FibQuant: Universelle Vektorquantisierung für zufallszugriffsfähige KV-Cache-Kompression

1. Problemstellung

Die Inferenz mit langen Kontexten in autoregressiven Transformern wird zunehmend durch die Speicherbandbreite und -kapazität eingeschränkt, hauptsächlich aufgrund des Key-Value (KV)-Caches. Die Cache-Größe skaliert linear mit der Kontextlänge, der Batch-Größe, der Anzahl der Schichten und der Anzahl der Köpfe, und sie muss bei jedem Dekodierschritt zugegriffen werden.

Bestehende Kompressionsmethoden stehen vor einer kritischen Systembeschränkung: zufälliger Zugriff. Ein einsetzbarer Cache-Codec muss Darstellungen an festen Adressen speichern, sodass der Schlüssel oder Wert eines beliebigen Tokens unabhängig über einfache Adressarithmetik decodiert werden kann. Diese Beschränkung schließt variabllängige Codierung und kontextabhängige Darstellungen aus und zwingt zur Verwendung von Quantisierern mit fester Rate.

Aktuelle State-of-the-Art-Codecs für zufälligen Zugriff, wie TURBOQUANT, verwenden einen Ansatz „Normalisieren–Rotieren–Quantisieren":

Speichern der Vektornorm.
Anwenden einer gemeinsamen zufälligen orthogonalen (Haar-)Rotation.
Unabhängige Quantisierung jeder rotierten Koordinate unter Verwendung einer skalaren Lloyd–Max-Tabelle.

Obwohl diese Schnittstelle universell und zufallszugriffsfähig ist, argumentiert das Papier, dass sie geometrisch suboptimal ist. Sobald ein Vektor normalisiert und einer Haar-Rotation unterzogen wurde, bildet ein Block von $k$ aufeinanderfolgenden Koordinaten kein unabhängiges Produkt skalärer Randverteilungen. Stattdessen bildet er eine sphärisch-Beta-Quelle auf der Einheitskugel. Skalare Codecs behandeln Koordinaten als unabhängig und verwerfen die geometrische Struktur (radiale und winklige Korrelationen), die dem rotierten Block innewohnt. Darüber hinaus haben skalare Methoden Schwierigkeiten, effektiv unter einem Bit pro Koordinate zu operieren, was eine „Lücke unter einem Bit" erzeugt, in der aktuelle universelle, kalibrierungsfreie Codecs versagen.

2. Methodik: FibQuant

FibQuant schlägt einen universellen Vektorquantisierer mit fester Rate vor, der dieselbe „Normalisieren–Rotieren"-Schnittstelle wie skalare Methoden beibehält, aber die skalaren Koordinationstabellen durch einen gemeinsamen radial-winkligen Vektorcodebuch ersetzt.

2.1 Die kanonische Quelle

Die Autoren beweisen, dass die Schnittstelle „Normierung gefolgt von Haar-Rotation" eine universelle Quellverteilung induziert, unabhängig von der ursprünglichen KV-Datenverteilung.

Normalisierung: Entfernt die Skalierung.
Haar-Rotation: Entfernt die Orientierung.
Ergebnis: Der rotierte Einheitsvektor ist auf der Kugel $S^{d-1}$ Haar-uniform verteilt. Folglich folgt jeder Block von $k$ aufeinanderfolgenden Koordinaten einer spezifischen sphärisch-Beta-Dichte $f_{d,k}$ auf der Einheitskugel $B^k$ .
Implikation: Ein einzelnes Offline-Codebuch kann alle Schichten, Köpfe, Prompts und Modelle bedienen, da die Quellverteilung invariant gegenüber dem spezifischen Eingabedatum ist.

2.2 Codebuch-Konstruktion

Das FibQuant-Codebuch wird so konstruiert, dass es der sphärisch-Beta-Quelle entspricht, und kombiniert drei Komponenten:

Radien ( $r_n$ ): Angepasst an die radiale Dichte der sphärisch-Beta-Quelle unter Verwendung der Bennett–Gersho-Kompressionsregeln. Für $k=2$ ergibt sich eine geschlossene Lösung, die Beta-Quantil-Radien beinhaltet.
Richtungen ( $u_n$ ): Approximiert unter Verwendung quasi-uniformer sphärischer Punktmengen, um eine gleichmäßige winklige Packung sicherzustellen:
- $k=2$ : Planare Fibonacci-Spirale (Goldener Quantisierer).
- $k=3$ : Fibonacci-Kugel.
- $k \ge 4$ : Roberts–Kronecker-Niedrig-Diskrepanz-Folgen.
Verfeinerung: Ein mehrfacher Neustart des Lloyd–Max-Algorithmus verfeinert die deterministische Initialisierung, um den mittleren quadratischen Fehler (MSE) für die spezifische endliche Codebuchgröße $N$ zu minimieren.

2.3 Kodierung und Dekodierung

Encoder: Berechnet die Norm $\nu = \|x\|_2$ , rotiert den Einheitsvektor $\Pi x / \nu$ , teilt ihn in $d/k$ Blöcke der Größe $k$ auf und führt eine Suche nach dem nächsten Codewort im gemeinsamen Codebuch durch.
Decoder: Ruft das Codewort ab, rekonstruiert den Block, fügt Blöcke zusammen, wendet die inverse Rotation an und skaliert mit der Norm.
Rate: Die Bitrate beträgt $b = (\log_2 N) / k$ Bits pro Koordinate. Durch Variation von $N$ und $k$ erreicht FibQuant eine dichte Rate-Achse, die Bruchteil-Bit- und Betriebspunkte unter einem Bit ermöglicht, ohne variabllängige Adressierung.

3. Hauptbeiträge

3.1 Identifikation der kanonischen Quelle

Das Papier beweist (Satz 1), dass die Schnittstelle „Normierung gefolgt von Haar-Rotation" jede nicht-null Eingabeverteilung auf dieselbe sphärisch-Beta-Randverteilung $f_{d,k}$ abbildet. Dies etabliert, dass ein gemeinsames Offline-Codebuch das theoretisch korrekte universelle Objekt für die KV-Cache-Kompression ist.

3.2 Vektorvorteil gegenüber skalarer Spezialisierung

Die Autoren beweisen (Satz 2), dass der optimale $k$ -Vektor-Code die skalare Produkt-Spezialisierung (wo $k=1$ ) bei angepassten Raten strikt dominiert. Der Gewinn bei hohen Raten wird in zwei Komponenten faktorisiert:

Zellenform-Faktor ( $\gamma_{cell}$ ): Vektorquantisierungs-Zellen (z. B. hexagonal in 2D) sind effizienter als rechteckige skalare Zellen.
Dichte-Anpassungs-Faktor ( $\gamma_{dens}$ ): Die Anpassung an die gemeinsame sphärisch-Beta-Dichte ist überlegen gegenüber der Anpassung nur an die skalaren Randverteilungen.

3.2 Dichte Rate-Achse

Im Gegensatz zu skalaren Lloyd–Max-Tabellen, die auf ganzzahlige Bitraten beschränkt sind, realisiert FibQuant eine dichte Menge von Raten $b \in (0, \infty)$ . Dies ermöglicht den Betrieb im Bereich unter einem Bit (z. B. $b \approx 0,19$ ), einem Bereich, in dem aktuelle universelle zufallszugriffsfähige Codecs aufhören zu funktionieren.

4. Experimentelle Ergebnisse

4.1 Quellenkodierungs-Leistung

Auf der kanonischen sphärisch-Beta-Quelle zeigt FibQuant bei allen ganzzahligen Raten eine strikte Dominanz gegenüber dem skalaren TURBOQUANT. Es füllt zudem die Lücken zwischen ganzzahligen Raten und bietet Betriebspunkte, die skalare Methoden nicht erreichen können.

4.2 KV-Cache-Kompression (GPT-2 Small)

Evaluiert an KV-Caches von GPT-2 small mit der Kosinus-Ähnlichkeit der Attention-Ausgabe als Metrik:

FibQuant zeichnet eine Speicher-Treue-Grenze von 5-facher Kompression (bei 0,99 Ähnlichkeit) bis 34,1-facher Kompression (bei 0,946 Ähnlichkeit) nach.
Bei hohen Kompressionsraten (>10-fach) ist FibQuant die einzige universelle, kalibrierungsfreie Methode, die die Treue bewahrt und niedrig-rangige Projektionsmethoden, die eine Schicht-für-Schicht-Kalibrierung erfordern, übertrifft.
Das Papier stellt fest, dass Vollvektor-Codes ( $k=d$ ) bei extremer Kompression besser abschneiden als Halbvektor-Codes ( $k=d/2$ ), da sie alle Bits für die winklige Packung verwenden, was direkt mit den Attention-Inner-Produkten korreliert.

4.3 End-to-End-Sprachmodell-Leistung (TinyLlama-1.1B)

Evaluiert an der Perplexität von WikiText-103 und der Genauigkeit von HellaSwag:

Bei $b=4$ (4-fache Kompression): FibQuant liegt innerhalb von 0,10 Perplexität der fp16-Baseline und übertrifft den skalaren TURBOQUANT.
Bei $b=2$ (8-fache Kompression): FibQuant erreicht eine Perplexität von 15,88 und übertrifft den skalaren TURBOQUANT (56,72) und die per-Token-INT-Quantisierung (die auf 4450,5 kollabiert) signifikant.
Bruchteil-Raten: FibQuant bietet intermediate Betriebspunkte (z. B. $b=2,5; 3,5$ ), die skalaren Codecs nicht zur Verfügung stehen, sodass das Cache-Budget zuerst gewählt und der Codec dann angepasst werden kann.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass die Beschränkung des zufälligen Zugriffs, die oft als technische Einschränkung angesehen wird, eine tiefgreifende mathematische Konsequenz hat: Sie zwingt die Daten in eine spezifische sphärisch-Beta-Geometrie. Durch die Anerkennung dieser kanonischen Quelle gewinnt FibQuant die „Formungs- und Dichte-Anpassungsgewinne" zurück, die die skalare Quantisierung ungenutzt lässt.

Die Bedeutung liegt in:

Universalität: Ein einzelnes Codebuch funktioniert über alle Modellkonfigurationen hinweg ohne Kalibrierung.
Betrieb unter einem Bit: Es ermöglicht hochpräzise Kompression in Bereichen, in denen skalare Methoden versagen, und erweitert effektiv das nutzbare Speicherbudget für Inferenz mit langen Kontexten.
Systemkompatibilität: Es behält die feste Adressierung und die zufallszugriffsfähige Schnittstelle bei, die für die Fusion der Dekompression mit Attention-Kernen erforderlich ist, was eine sofortige Einsetzbarkeit in bestehenden Serving-Frameworks ermöglicht.

Die Autoren schließen, dass zufälliger Zugriff eine gute Quellenkodierung nicht ausschließt; vielmehr diktiert er genau, welche Quelle kodiert werden muss.