🤖 machine learning

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant ist eine kalibrierungsfreie Vektorquantisierungsmethode für LLM-KV-Caches, die eine einzigartige „Normalize-Shift-Normalize“-Transformation in Kombination mit einer Hadamard-Transformation einsetzt, um Token-Verteilungen mit einer Standardnormalverteilung abzugleichen, was eine robuste Low-Bit-Kompression und bis zu 3-fache Durchsatzgewinne ermöglicht, ohne auf Kalibrierungsdatensätze angewiesen zu sein.

Ursprüngliche Autoren: Donghyun Son, Euntae Choi, Sungjoo Yoo

Veröffentlicht 2026-07-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Donghyun Son, Euntae Choi, Sungjoo Yoo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek an Erinnerungen in Ihrem Rucksack zu tragen, während Sie einen sehr langen Pfad entlangwandern. Das ist das, was passiert, wenn ein Large Language Model (LLM) – ein superintelligentes Computergehirn, das Geschichten schreibt, Matheaufgaben löst und mit Ihnen chattet – versucht, ein langes Gespräch zu verarbeiten. Jedes Mal, wenn es ein Wort liest, muss es sich an alles erinnern, was zuvor kam, um den Kontext zu verstehen. Dieses „Gedächtnis“ wird als KV-Cache bezeichnet. Das Problem ist: Je länger das Gespräch wird, desto schwerer wird dieser Rucksack, bis er schließlich so voll ist, dass der Computer keinen Platz mehr hat und nur noch im Schneckentempo arbeitet.

Um dies zu beheben, haben Wissenschaftler versucht, den Rucksack durch Komprimierung der Erinnerungen zu verkleinern, ähnlich wie man Kleidung in einen Vakuumbeutel packt. Eine populäre Methode ist die Vektorquantisierung (VQ). Man kann sich das so vorstellen, dass man ähnliche Gegenstände gruppiert und sie durch ein einzelnes Etikett aus einem „Wörterbuch“ oder Codebuch ersetzt. Anstatt sich die exakte Nuance von Blau für jede einzelne Socke zu merken, merkt man sich einfach: „Blau Gruppe 4“. Es gibt jedoch einen Haken: Die meisten bestehenden Methoden müssen eine spezifische Menge an Kleidung (einen Kalibrierungsdatensatz) studieren, um dieses Wörterbuch zu erstellen. Wenn man dann versucht, ein völlig andere Menge an Kleidung (eine neue Art von Gespräch) zu packen, passt das Wörterbuch nicht und die Komprimierung schlägt fehl. Dieses Paper widmet sich genau diesem Problem: Wie man das Gedächtnis schrumpft, ohne die Kleidung vorher studieren zu müssen.

Das Problem: Ein Wörterbuch, das nur für eine einzige Garderobe funktioniert

Die Autoren dieser Arbeit von der Seoul National University bemerkten einen frustrierenden Fehler in der derzeitigen State-of-the-Art-Methode zur Komprimierung des LLM-Gedächtnisses, genannt Coupled Quantization (CQ). Stellen Sie sich CQ wie einen Schneider vor, der einen maßgeschneiderten Anzug basierend auf den Maßen einer einzelnen Person anfertigt. Wenn diese Person nun einen Raum voller Menschen mit unterschiedlichen Körpertypen betritt, passt der Anzug der ersten Person perfekt, sieht aber bei allen anderen lächerlich aus.

In der Welt der KI ist diese „Person“ die Datenmenge, mit der das Modell kalibriert wurde (wie ein spezifischer Textdatensatz namens WikiText-2). Wenn das Modell versucht, einen anderen Text zu verarbeiten (wie den C4-Datensatz, eine riesige Sammlung von Webseiten), passt der „Anzug“ nicht. Die Autoren fanden heraus, dass diese Diskrepanz dazu führt, dass das Modell dumme Fehler macht, insbesondere bei Satzzeichen. Zum Beispiel könnte das Modell bei Kommas verwirrt sein, weil das „Wörterbuch“, das es aus den Trainingsdaten gelernt hat, nicht die richtigen Etiketten für die Art und Weise hatte, wie Kommas im neuen Text erscheinen. Dies ist ein großes Problem, denn es bedeutet, dass das Modell unzuverlässig wird, sobald es seine Komfortzone verlässt.

Die Lösung: NSNQuant – Der universelle Packwürfel

Um dies zu lösen, hat das Team NSNQuant eingeführt, eine clevere neue Art, das Gedächtnis zu komprimieren, die keine spezifischen Daten vorab studieren muss. Anstatt zu versuchen, für jede neue Garderobe ein individuelles Wörterbuch zu lernen, zwingt NSNQuant alle Kleidungsstücke dazu, in einen standardisierten, vorgefertigten Packwürfel zu passen.

So machen sie es, unter Verwendung eines dreistufigen „Zaubertricks“, den sie Normalize-Shift-Normalize (NSN) nennen:

Normalize (Der erste Schritt): Stellen Sie sich vor, Sie haben einen Haufen Socken, von denen einige winzig klein und andere riesig sind. Der erste Schritt besteht darin, jede Socke so zu dehnen oder zu stauchen, dass sie alle die gleiche Größe haben. Dies verhindert, dass die riesigen Socken den gesamten Platz beanspruchen und das Packen durcheinanderbringen.
Shift (Der mittlere Schritt): Stellen Sie sich nun vor, die Socken sind alle gleich groß, aber sie lehnen alle nach links. Der „Shift“-Schritt drückt sie alle zurück in die Mitte, damit sie perfekt ausbalanciert sind.
Normalize (Der letzte Schritt): Nur um ganz sicherzugehen, prüfen sie die Größe ein letztes Mal, um sicherzustellen, dass alles weiterhin einheitlich ist.

Nach diesem dreistufigen Tanz fügen die Autoren einen letzten Kniff hinzu: eine Hadamard-Transformation. Man kann sich das wie das Drehen des gesamten Sockenstapels auf eine bestimmte, mathematische Weise vorstellen. Die Magie liegt darin, dass die Daten nach dieser Drehung plötzlich wie eine perfekte, glatte Glockenkurve (eine Standard-Normalverteilung) aussehen.

Da die Daten nun so aussehen, können die Autoren ein einziges, vorgefertigtes „Wörterbuch“ (Codebuch) verwenden, das speziell für diese Glockenkurve entwickelt wurde. Sie müssen die Daten nicht zuerst betrachten; sie wissen einfach, dass die Daten in das Wörterbuch passen werden, weil sie die Daten dazu gezwungen haben, so auszusehen.

Was sie herausgefunden haben: Ein universeller Schlüssel

Das Team testete diese Idee an mehreren berühmten KI-Modellen, einschließlich der LLaMA- und Mistral-Familien. Sie verglichen NSNQuant mit den alten Methoden (wie CQ und KIVI) unter Verwendung verschiedener Arten von Texten, von einfachen Geschichten bis hin zu komplexem Code und mathematischen Problemen.

Die Ergebnisse waren beeindruckend:

Bessere Generalisierung: Während die alten Methoden (CQ) strauchelten, wenn sie zwischen einem Datensatz zum anderen wechselten, behielt NSNQuant eine starke Leistung bei. Es war, als hätte man einen universellen Schlüssel, der jede Tür öffnet, während die alten Schlüssel nur an den Türen funktionierten, für die sie gemacht wurden.
Erfolg bei niedriger Bitrate: Das Team testete die Komprimierung des Gedächtnisses auf nur 1-Bit und 2-Bit. Im 1-Bit-Szenario (wo das Gedächtnis auf seine absolut kleinste Größe geschrumpft wird) deklassierte NSNQuant die Konkurrenz. Beispielsweise erreichte das alte 1-Bit-Verfahren bei einer mathematischen Denkaufgabe namens GSM8K etwa 24 Punkte, während NSNQuant-1b 53,45 erreichte. Das ist mehr als das Doppelte der Leistung!
Geschwindigkeit und Platz: Da das Gedächtnis so viel kleiner ist, kann der Computer mehr Gespräche gleichzeitig verarbeiten. Die Autoren zeigten, dass ihre Methode einen 3-mal höheren Datendurchsatz als die Standardversion ohne Komprimierung bewältigen konnte, während sie signifikant weniger Speicher verbrauchte.

Das Kleingedruckte

Die Autoren weisen vorsichtig darauf hin, dass diese Methode zwar eine enorme Verbesserung darstellt, aber keine perfekte Magie ist. Sie stellten fest, dass in den allerersten Schichten des KI-Modells die „Socken“ manchmal immer noch einige Ausreißer haben, die nicht perfekt in die Glockenkurve passen. Doch selbst mit diesen kleinen Unregelmäßigkeiten blieb die Gesamtleistung sehr hoch.

Sie betonen auch, dass diese Methode „kalibrierungsfrei“ ist. Im Gegensatz zu den alten Methoden, die Stunden des Studiums spezifischer Daten benötigten, um ein Wörterbuch aufzubauen, kann das Wörterbuch von NSNQuant in weniger als 5 Minuten auf einer einzigen Grafikkarte erstellt und dann für jedes Modell wiederverwendet werden. Dies macht es für den praktischen Einsatz unglaublich effizient.

Kurz gesagt: NSNQuant ist wie ein universelles Verpackungssystem, das jeden chaotischen Haufen von Erinnerungen in eine ordentliche, vorhersehbare Form zwingt, sodass KI-Modelle ihre Langzeitgedächtnisse in einem viel kleineren Rucksack tragen können, ohne ihre Fähigkeit zu verlieren, klar zu denken. Es legt nahe, dass wir, indem wir die Daten vor der Komprimierung standardisieren, KI schneller, günstiger und zuverlässiger machen können, selbst wenn sie mit völlig neuen und unbekannten Themen zu tun hat.

Technisches Resümee: NSNQuant

Problemstellung

Die Inferenz von Large Language Models (LLMs) ist zunehmend speichergebunden, insbesondere bei der Verarbeitung langer Sequenzen und großer Batch-Größen. Der primäre Flaschenhals ist der Key-Value (KV)-Cache, der linear mit der Sequenzlänge wächst. Die Vektorquantisierung (Vector Quantization, VQ) hat sich als vielversprechende Kompressionstechnik herausgestellt, doch bestehende Methoden wie die Coupled Quantization (CQ) verlassen sich auf Kalibrierungsdatensätze, um Zentroiden (Codebooks) zu erlernen. Die Autoren beobachten, dass diese auf Kalibrierung basierenden Ansätze in Out-of-Distribution (OOD)-Szenarien zu einer schweren Leistungsverschlechterung führen. Speziell wenn die Eingangsverteilung von der Kalibrierungsmenge abweicht (z. B. Verwendung von WikiText-2 für die Kalibrierung, aber Testen auf C4), versagen die erlernten Zentroiden darin, kritische Token (wie Satzzeichen) genau zu repräsentieren, was zu signifikanten Fehlern in den Attention-Gewichten und einer verschlechterten Modellleistung (z. B. höherer Perplexität) führt.

Methodik: NSNQuant

Um die Abhängigkeit von Kalibrierungsdaten und die daraus resultierende Verteilungsverschiebung zu adressieren, schlagen die Autoren NSNQuant vor, eine kalibrierungsfreie VQ-Technik. Die Kerninnovation ist eine Transformationspipeline, die die KV-Cache-Verteilung mit einer Standardnormalverteilung in Einklang bringt, was die Verwendung eines einzigen, wiederverwendbaren Codebooks ohne externe Daten ermöglicht.

1. Normalize-Shift-Normalize (NSN)

Die Methode wendet eine dreistufige Transformation auf die KV-Tensoren ( $v \in \mathbb{R}^{l \times d}$ ) an:

Normalize (Token-weise): Jedes Token wird so normalisiert, dass es eine Norm von $\sqrt{d}$ aufweist. Dies verhindert, dass Ausreißer-Token nachfolgende Schritte dominieren, und stellt sicher, dass Token mit geringer Magnitude keine übermäßig großen relativen Fehler verursachen.
Shift (Kanal-weise): Der kanalspezifische Mittelwert wird berechnet und subtrahiert, um die Verteilung um Null zu zentrieren.
Normalize (Token-weise): Eine zweite Normalisierung wird angewendet, um die Token-Norm wieder auf $\sqrt{d}$ zu stellen.

Dieser Prozess erzeugt Nebenprodukte ( $s_1$ , $o$ , $s_2$ ), die zur Rekonstruktion des ursprünglichen Tensors verwendet werden. Theoretisch führt dieser Prozess in Kombination mit einer Hadamard-Transformation dazu, dass die Kanalverteilung mit der Standardnormalverteilung übereinstimmt, was durch das Zentralen Grenzwertsatz und die in Lemma 1 abgeleiteten Varianzgrenzen gestützt wird.

2. Hadamard-Transformation

Der NSN-Prozess wird mit einer Hadamard-Transformation (speziell der Randomized Hadamard Transform oder RHT) kombiniert. Während für die Effizienz in der endgültigen Implementierung die naive Hadamard-Transformation verwendet wird, bietet die RHT die theoretische Garantie, dass die resultierenden Kanal-Varianzen nahe bei 1 liegen.

3. Vektorquantisierung und Codebook

Nach der Transformation werden die Daten mittels eines einzigen globalen Codebooks quantisiert, das auf die Standardnormalverteilung zugeschnitten ist.

Codebook-Konstruktion: Anstatt Zentroiden aus einem Kalibrierungsdatensatz zu erlernen, wird das Codebook mittels K-Means auf synthetischen standardnormalverteilten Daten (torch.randn) initialisiert und darauf feinjustiert, den Kosinus-Abstand zwischen Original- und quantisierten Vektoren zu minimieren. Dieser Prozess ist schnell (Minuten) und erfordert keine Backpropagation durch die Modellgewichte.
Skalierungsanpassung: Es wird eine adaptive Skalierungsstrategie eingesetzt, bei der der quantisierte Vektor so skaliert wird, dass Komponenten parallel zum Originalvektor erhalten bleiben, wodurch orthogonale Fehler minimiert werden.
Double Quantization (DQ): Um den Overhead weiter zu reduzieren, werden die für den NSN-Prozess verwendeten Parameter (Mittelwert $o$ und Skalierung $s_1$ ) sowie die Einträge des Codebooks selbst (4-Bit) quantisiert, was einen vernachlässigbaren Speicherzusatz (ca. 0,23 Bits im Durchschnitt) verursacht.

4. Implementierungsdetails

Residuen: Analog zu KIVI wird der KV-Cache in einen quantisierten Teil und ein Full-Precision-Residuum aufgeteilt. Wenn das Residuum voll ist, wird es geleert, quantisiert und angehängt.
Attention-Berechnung: Für Keys wird NSN vor der Rotary Position Embedding (RoPE) angewendet. Die Autoren stellen fest, dass diese Reihenfolge eine bessere Qualität liefert. Die Berechnung der Attention-Scores wird modifiziert, um die NSN-Nebenprodukte ( $s_1, s_2, o$ ) direkt in benutzerdefinierten CUDA-Kerneln einzubeziehen.
Effizienz: Es wurden maßgeschneiderte CUDA-Kernel für Hadamard-Transformationen, Vektorquantisierung und Dequantisierung implementiert, die Shared Memory nutzen, um den Zugriff auf den DRAM zu minimieren.

Zentrale Beiträge

Empirische Beobachtung: Die Autoren zeigen, dass die starke Abhängigkeit der KV-Verteilungen von den Eingangsdaten bestehende VQ-Methoden (wie CQ) in OOD-Szenarien scheitern lässt, was insbesondere die Satzzeichen-Token in Modellen wie LLaMA3 betrifft.
Kalibrierungsfreie VQ: NSNQuant führt eine Methode ein, die die Notwendigkeit von Kalibrierungsdatensätzen durch die Ausrichtung der KV-Verteilung auf eine bekannte Prior-Verteilung (Standardnormalverteilung) via NSN- und Hadamard-Transformation eliminiert.
Leistung und Generalisierung: Umfangreiche Experimente zeigen, dass NSNQuant andere Baselines (KIVI, KVQuant, CQ) sowohl im 1-Bit- als auch im 2-Bit-Setting über diverse Datensätze hinweg (WikiText-2, C4, LongBench, GSM8K, MMLU) konsistent übertrifft. Es zeigt eine überlegene Generalisierung dort, wo kalibrierungsbasierte Methoden degradieren.
Effizienz: Die Implementierung erzielt einen bis zu 3-fachen Durchsatzgewinn gegenüber Full-Precision-Baselines und unterstützt aufgrund des reduzierten Speicherverbrauchs größere Batch-Größen (bis zu 4-fach).

Ergebnisse

Perplexität (PPL): Auf dem C4-Datensatz übertrifft NSNQuant CQ signifikant. Beispielsweise erreicht CQ-4c9b bei LLaMA3-8B eine PPL von 13,97, während NSNQuant-2b eine PPL von 9,08 erreicht. Im 1-Bit-Setting übertrifft NSNQuant-1b (PPL 16,69) die CQ-8c10b (PPL 43,78) bei weitem.
LongBench: NSNQuant-1b übertrifft andere 1-Bit-Baselines um eine große Marge. Im 2-Bit-Setting erreicht es ähnliche oder leicht bessere Werte als andere Methoden, wobei die Autoren auf Metrik-Rauschen bei bestimmten Aufgaben hinweisen.
Schlussfolgerung und Generierung: Bei GSM8K (mathematische Argumentation) und MMLU (Multi-Task-Verständnis) zeichnet sich NSNQuant besonders aus, vor allem in Few-Shot Chain-of-Thought (CoT) Settings, in denen strikte Argumentationspfade erforderlich sind.
Latenz: Während die Prefill-Phase aufgrund des NSN- und Hadamard-Overheads eine höhere Latenz aufweist, ist die Decoding-Phase schneller als bei Full-Precision-Baselines, da die speichergebundene Attention-Berechnung entlastet wird.

Bedeutung und Ansprüche

Das Paper behauptet, dass NSNQuant einen Wechsel von der datenabhängigen Kalibrierung zur verteilungs-ausgerichteten Quantisierung darstellt. Durch die Nutzung der Eigenschaft, dass die Kombination aus Hadamard-Transformation und NSN eine Standardnormalverteilung erzeugt, ermöglicht die Methode die Verwendung eines universellen, modellagnostischen Codebooks. Dies macht den Ansatz robust gegenüber Verteilungsverschiebungen und eliminiert den Rechenaufwand sowie die Datenanforderungen der Kalibrierung. Die Autoren positionieren NSNQuant als praktische Lösung für die Ermöglichung von Long-Context-LLM-Inferenz auf hardwarebeschränkter Hardware, indem sie eine Balance zwischen hoher Kompression (1-Bit/2-Bit), starker Generalisierung und effizienter Laufzeitleistung bieten.

Die Autoren räumen bescheiden Einschränkungen ein und merken an, dass die Standardisierung in frühen Schichten aufgrund von Ausreißer-Kanälen mit hoher Varianz nicht perfekt ist und dass die Methode im Gegensatz zu CQ nicht explizit Inter-Kanal-Korrelationen modelliert. Sie argumentieren jedoch, dass der Trade-off zugunsten von Robustheit und Generalisierung gegenüber den potenziellen Gewinnen durch das Overfitting auf spezifische Kalibrierungsverteilungen ausfällt.