🤖 machine learning

QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling

QAM-W führt eine gemeinsame 2D-Codebuch-Quantisierungsmethode für LLM-Gewichte ein, die Hadamard-Rotation und aktivierungsbewusste Skalierung nutzt, um Paar-Koordinatenstrukturen zu erhalten, eine Perplexität nahe BF16 bei etwa 5,5 Bits pro Gewicht erreicht und dabei Polar-Coding übertrifft sowie SmoothQuant-Qualität mit deutlich weniger Gewichtsbits erreicht.

Ursprüngliche Autoren: Preetam Sharma, Kacper Dobek

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Preetam Sharma, Kacper Dobek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige Bibliothek von Büchern (ein Large Language Model, oder LLM), die unglaublich intelligent ist, aber enorm viel Platz einnimmt. Um sie leichter transportieren zu können, möchten Sie die Bücher verkleinern. Dieser Vorgang wird als Quantisierung bezeichnet.

Die meisten aktuellen Methoden zum Verkleinern dieser Bücher sind so, als würde man ein Wörterbuch nehmen und jedes einzelne Wort durch einen kurzen Zahlencode ersetzen, Wort für Wort. Das ist einfach, ignoriert aber die Tatsache, dass Wörter oft in Paaren oder Gruppen auftreten, die eine spezifische Beziehung zueinander haben. Wenn man sie als isolierte Individuen behandelt, verliert man einige Nuancen der Geschichte.

Dieser Artikel stellt eine neue Methode namens QAM-W (Quadrature Amplitude Modulation for Weights) vor. Stellen Sie sich das als eine intelligentere, effizientere Art vor, diese Bücher zu packen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Solotänzer" vs. das „Duett"

Stellen Sie sich die Gewichte in einem KI-Modell als Tänzer vor.

Alte Methode (Skalare Quantisierung): Die alte Methode behandelt jeden Tänzer so, als würde er einen Solotanz aufführen. Sie betrachtet jeden Tänzer einzeln und sagt: „Du bist eine '3', du bist eine '7'." Sie ignoriert, dass zwei Tänzer sich vielleicht an den Händen halten oder synchron bewegen.
Die QAM-W-Einsicht: Die Autoren erkannten, dass diese „Tänzer" innerhalb einer Datenreihe tatsächlich in Paaren tanzen. Sie sind korreliert. Anstatt sie als zwei separate Solisten zu kodieren, behandelt QAM-W sie als ein Duo.

2. Die Lösung: Der „Magische Wirbel" und das „Paar"

QAM-W verwendet einen dreistufigen Prozess, um das Modell zu verkleinern, ohne die Geschichte zu verlieren:

Schritt A: Der Magische Wirbel (Hadamard-Rotation):
Stellen Sie sich vor, die Tänzer stehen in einem unordentlichen, überfüllten Raum. QAM-W wendet einen „Magischen Wirbel" (eine mathematische Rotation) an, der sie neu anordnet. Plötzlich sind die Tänzer, die sich zufällig bewegten, jetzt perfekt gepaart und bewegen sich in einem glatten, kreisförmigen Muster. Das macht es mathematisch viel einfacher, sie zu beschreiben.
Schritt B: Das „Duo"-Codebuch:
Anstatt jedem Tänzer eine separate Nummer zu geben, betrachtet QAM-W das Paar als einen einzelnen Punkt auf einer Karte. Es verwendet eine vorgefertigte „Karte" (ein Codebuch), die darauf trainiert wurde, wie sich diese Paare normalerweise verhalten. Es ist wie eine Bibliothek mit Standard-Tanzschritten für Duos. Anstatt zwei separate Schritte zu beschreiben, sagt man einfach: „Sie haben die 'Walzer #42'-Bewegung gemacht." Dies erfasst die Beziehung zwischen den beiden Zahlen und spart Platz.
Schritt C: Der „Lautstärkeregler" (Aktivitätsbewusste Skalierung):
Manchmal sind bestimmte Teile des Modells sehr laut (hoch aktiv) und andere leise. Wenn man die lauten Teile zu stark verkleinert, wird die Musik verzerrt. QAM-W hört sich vor dem Verkleinern die „Lautstärke" jedes Kanals an. Es dreht die Lautstärke der lauten Kanäle leicht herunter, damit sie besser in den kleinen Platz passen, und stellt sicher, dass die wichtigsten Informationen nicht zerquetscht werden.

3. Die Ergebnisse: Kleinere Größe, gleiche Qualität

Der Artikel testete diese neue Methode an fünf verschiedenen KI-Modellen (von klein bis mittelgroß).

Der „Sweet Spot": Bei einem bestimmten Kompressionslevel (etwa 5,5 Bits pro Gewicht) erzielte QAM-W Ergebnisse, die fast identisch mit dem ursprünglichen, unkomprimierten Modell waren.
Der Vergleich: Eine beliebte konkurrierende Methode namens SmoothQuant benötigte etwa 8,1 Bits, um die gleiche Qualität zu erreichen. QAM-W erreichte das gleiche Ergebnis mit 32 % weniger Bits.
- Analogie: Es ist wie das Packen eines Koffers. SmoothQuant braucht einen großen Koffer, um all Ihre Kleidung ordentlich unterzubringen. QAM-W faltet die Kleidung so effizient, dass Sie genau die gleiche Menge in eine viel kleinere Tasche packen können.

4. Was es nicht tut (Die Grenzen)

Der Artikel ist sehr spezifisch darüber, was er nicht behauptet:

Nicht das Kleinste: Wenn Sie versuchen, das Modell noch weiter zu verkleinern (bis auf 4 Bits), schneidet eine andere Methode namens QTIP tatsächlich besser ab. QAM-W ist der Champion im Bereich „mittel-klein" (5–6 Bits), nicht im Bereich „winzig".
Speicher vs. Geschwindigkeit: Der Artikel misst, wie viel Platz das Modell auf einer Festplatte oder im Speicher einnimmt. Er behauptet noch nicht, dass das Modell auf einem Computerchip schneller läuft, da die Software, um diese komprimierten Zahlen in Echtzeit tatsächlich zu nutzen, noch entwickelt wird.

Zusammenfassung

QAM-W ist eine neue „Packtechnik" für KI-Modelle. Indem es erkennt, dass Daten in Paaren vorkommen, sie in eine bessere Form dreht und die Lautstärke anpasst, kann es KI-Modelle um etwa ein Drittel verkleinern, ohne sie weniger intelligent zu machen. Es ist ein spezialisiertes Werkzeug, das in einem bestimmten Größenbereich am besten funktioniert und im Vergleich zu aktuellen Methoden eine erhebliche Einsparung beim Speicherplatz bietet.

Technische Zusammenfassung: QAM-W

Problemstellung

Aktuelle Methoden zur Post-Training-Quantisierung von Large Language Models (LLMs) sind überwiegend skalaren Charakters und ordnen jedes Gewicht unabhängig einem ganzzahligen Index zu. Obwohl einfach, verwirft die skalare Kodierung die paarweise Koordinatenstruktur, die in Gewichtszeilen inhärent ist. Die Autoren argumentieren, dass innerhalb einer Gewichtszeile die Koordinaten typischerweise korreliert sind; nach einer orthogonalen Rotation approximieren diese Koordinaten eine zweidimensionale kreisförmige Gauß-Verteilung. Skalare Codebücher versagen darin, diese Struktur auszunutzen, und lassen einen „Rate-Distortion-Spielraum" (Rate-Distortion Slack) bestehen, der durch die gemeinsame Quantisierung von Paaren als Punkte in einer Ebene statt als unabhängige Skalare zurückgewonnen werden könnte.

Bestehende Ansätze adressieren Teile dieses Problems: rotationsbasierte Methoden (z. B. QuIP, QuIP#) homogenisieren die Koordinatenmagnituden, verlassen sich jedoch oft auf skalare oder Gitter-Kodierung; aktivitätsbewusste Methoden (z. B. AWQ) skalieren Kanäle basierend auf der Aktivierungsmagnitude, lassen die gemeinsame Koordinatenstruktur jedoch unberührt. Die Arbeit postuliert, dass ein Codec, der Rotation, gemeinsame 2D-Kodierung und aktivitätsbewusste Skalierung kombiniert, bei niedrigeren Bitraten eine höhere Qualität erreichen kann.

Methodik: Der QAM-W Codec

Die Autoren stellen QAM-W (Quadrature Amplitude Modulation for Weights) vor, einen Codec, der Gewichtsmatrizen zeilenweise durch folgende Pipeline verarbeitet:

Trennung von Skalierung und Richtung: Die Zeilennorm ( $r = \|w\|_2$ ) wird als Metadaten aufgezeichnet. Die Zeile wird zu einem Einheitsvektor $u$ normalisiert.
Deterministische Rotation: Eine vorzeichenmaskierte Block-Hadamard-Rotation wird auf die normalisierte Zeile angewendet ( $y = R_{fwd} u$ ). Diese Rotation ist in der reellen Arithmetik eine exakte Isometrie, was bedeutet, dass sie keine mathematische Verzerrung einführt, sondern Energie umverteilt, um die Koordinatenkohärenz zu reduzieren.
Paarbildung und Kalibrierung: Benachbarte rotierte Koordinaten werden zu komplexen Werten gruppiert ( $z_k = y_{2k} + i y_{2k+1}$ ). Jedes Paar wird mit einem kalibrierten Faktor $\sigma_k$ skaliert, der empirisch aus der mittleren Amplitude der Paare geschätzt wird und diese als kreisförmige Gauß-Verteilung modelliert.
Gemeinsame 2D-Quantisierung: Anstatt Amplitude und Phase unabhängig zu quantisieren (polare Kodierung), bildet QAM-W jedes normalisierte Paar auf den nächsten Schwerpunkt in einem einzelnen 2D Lloyd-Max-Codebuch ab, das auf der kreisförmigen Einheits-Gauß-Verteilung trainiert wurde.
Aktivitätsbewusste Skalierung: Um den Codec-Fehler mit der Empfindlichkeit des Layerausgangs abzugleichen, wendet die Methode vor der Quantisierung skalare Faktoren pro Kanal an ( $s_j \propto r_j^\alpha$ ), wobei $r_j$ die RMS der Eingabekanal-Aktivierungen ist. Dies dämpft den Beitrag von Kanälen mit hoher RMS, gemäß der Logik von AWQ.
Decodierung: Der Decoder kehrt den Prozess um: Entpacken der Indizes, Nachschlagen der Schwerpunkte, Reskalierung mit $\sigma_k$ , Anwenden der inversen Rotation und Multiplikation mit der gespeicherten Zeilennorm.

Die Autoren analysieren das System durch eine composite Schranken-Kette: Die Rotation ist eine Isometrie; die gemeinsame 2D-Kodierung minimiert bei festen Raten die Verzerrung besser als polare Kodierung; und der Layerausgangsfehler wird durch eine Spur-Identität gesteuert ( $\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$ ), was die aktivitätsbewusste Skalierung motiviert.

Hauptbeiträge

Codec-Design: Ein zeilennorm-faktorisierter, block-Hadamard-rotierter, gemeinsamer 2D Lloyd-Max-Codec für LLM-Gewichte mit aktivitätsbewusster Skalierung.
Theoretische Analyse: Eine composite monotone Schranke, die die Codec-Verzerrung (Lloyd-Verzerrung $D_B$ ) mit der Kullback-Leibler (KL)-Divergenz zwischen BF16- und quantisierten Modellen verknüpft. Die Schranke legt nahe, dass die realisierte KL-Divergenz Methoden ähnlich wie die Codec-Verzerrung rangieren sollte.
Empirische Cross-Model-Studie: Evaluation über fünf LLMs aus vier Familien (1,1B–13B Parameter) und acht quantisierte Konfigurationen.
Entdeckung der Rangkorrelation: Die Arbeit zeigt, dass über 37 (Methode, Modell)-Konfigurationen hinweg die gepaarte KL-Divergenz und $\Delta$ PPL% bei Spearman $\rho = 0,99$ rangkorreliert sind, was die Verwendung von KL als Diagnose für die Quantisierungsqualität validiert.

Ergebnisse

Die Evaluation konzentriert sich auf drei instruktionsangepasste Modelle (TinyLlama-1,1B, Qwen2.5-3B, Mistral-7B) und einen Frontier-Vergleich bei Llama-2-7B.

Qualität bei ~5,5 bpw: Die aktivitätsbewusste Variante von QAM-W (QAM-W-5.5) bleibt bei allen getesteten Modellen innerhalb von ±0,4% der BF16-Perplexität. Dies entspricht dem Qualitätsbereich von SmoothQuant W8A8 (das bei ~8,1 bpw operiert), wird jedoch mit etwa 32% weniger Gewichtsbits erreicht.
Gemeinsame 2D vs. Polar: Bei gleicher Bitrate (~4 bpw) übertrifft die gemeinsame 2D-Kodierung (QAM-W-4) die polare Baseline (QAM-W-polar) um 1–3 Prozentpunkte (pp) in $\Delta$ PPL bei quantisierungstoleranten Modellen (TinyLlama, Mistral) und um 14,6 pp bei dem quantisierungssensitiven Qwen2.5.
Vergleich mit QTIP: Bei einer strikten 4 bpw übertrifft die QTIP-Methode (unter Verwendung von E8-Gitter-Trellissen) QAM-W. Die Autoren geben ausdrücklich an, dass der Beitrag von QAM-W der 5–6 bpw Qualitäts-erhaltende Bereich ist, nicht die strikte 4 bpw-Frontier.
Low-Bit-Variante: Eine 3,5 bpw-Variante (QAM-W-3.5) ist bei quantisierungstoleranten Architekturen (z. B. Mistral 7B, +1,98% $\Delta$ PPL) konkurrenzfähig, unterliegt jedoch bei sensiblen Modellen (Qwen 2.5, +7,5% $\Delta$ PPL) im Vergleich zu GPTQ.
Downstream-Aufgaben: Der Codec erhält die Leistung bei sechs Downstream-Aufgaben (PIQA, HellaSwag usw.) und MMLU; QAM-W-5.5 erreicht bei allen Modellen auf MMLU eine Übereinstimmung mit BF16 innerhalb von 0,2 pp.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass QAM-W-5.5 eine qualitätserhaltende Wahl für LLM-Kompression darstellt und im Vergleich zum aktuellen State-of-the-Art SmoothQuant W8A8 eine signifikante Reduktion des Gewichts-Speichers und der Speicherbandbreite (32% weniger Bits) bietet, ohne Perplexität oder Genauigkeit bei Downstream-Aufgaben zu beeinträchtigen.

Die Autoren sind bescheiden bezüglich des Umfangs ihrer Behauptungen:

Sie beanspruchen keine Überlegenheit bei strikten 4 bpw und erkennen die Dominanz von QTIP in diesem Regime an.
Sie stellen fest, dass die aktuelle Pipeline Gewichte vor der Matrixmultiplikation zu BF16 dequantisiert; daher gelten die berichteten Bit-per-Weight (bpw)-Einsparungen für Speicher und Speicherbandbreite, nicht für die Inferenz-Latenz, bis ein fusionierter Kernel implementiert ist.
Die Studie beschränkt sich auf dichte Decoder-only-Transformer mit Standard-Attention; Erweiterungen auf zeitgenössische Architekturen (z. B. Gemma 2, Llama 3) oder Skalen von 70B+ Parametern bleiben zukünftiger Arbeit vorbehalten.
Das Codebuch wird auf einer synthetischen kreisförmigen Einheits-Gauß-Verteilung trainiert und nicht auf pro-Checkpoint empirischen Verteilungen, obwohl die Autoren vorschlagen, dass ein gelerntes Codebuch weitere Gewinne erzielen könnte.

Zusammenfassend zeigt QAM-W, dass die Wiederherstellung der paarweisen Koordinatenstruktur von Gewichten durch gemeinsame 2D-Kodierung, kombiniert mit Rotation und aktivitätsbewusster Skalierung, eine hochpräzise Quantisierung im 5–6 bpw-Bereich ermöglicht und die Lücke zwischen der Effizienz von 4-Bit-Methoden und der Qualität von 8-Bit-Methoden schließt.