🤖 machine learning

WUSH: Near-Optimal Adaptive Transforms for LLM Quantization

Das Paper stellt WUSH vor, eine nahezu optimale adaptive Transformation, die ein Hadamard-Backbone mit datenabhängigen Zweitmoment-Anpassungen kombiniert, um die Quantisierungsgenauigkeit und den Durchsatz von LLMs bei niedriger Bitbreite im Vergleich zu bestehenden festen Methoden signifikant zu verbessern.

Ursprüngliche Autoren: Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige, empfindliche Bibliothek von Büchern (ein Large Language Model) in einen winzigen, robusten Koffer (ein niedrig-bit-quantisiertes Format) zu packen, damit Sie sie überallhin mitnehmen können. Das Ziel ist es, den Koffer klein und leicht zu machen, ohne die Bücher darin zu zerquetschen.

Das Problem ist, dass einige der Bücher in dieser Bibliothek extrem schwer und seltsam geformt sind (diese werden als „Ausreißer“ bezeichnet). Wenn Sie versuchen, diese schweren Bücher mit einem Standard-Maßband zu packen, zwingen diese schweren Bücher den gesamten Koffer dazu, auf ihre Größe ausgelegt zu werden, wodurch für die restlichen Bücher nur sehr wenig Platz bleibt. Dies führt zu einer unordentlichen, ineffizienten Verpackung, bei der die kleineren Bücher zerquetscht werden und ihre Details verlieren.

Die alte Lösung: Die „Einheitsgröße“ der Rotation

Früher versuchten Forscher, dies zu beheben, indem sie die Bücher vor dem Packen drehten. Stellen Sie sich vor, Sie nehmen alle Bücher und drehen sie um 45 Grad (eine Hadamard-Rotation). Dies verteilt das Gewicht der schweren Bücher gleichmäßiger über den Koffer, sodass keine einzelne Ecke zerquetscht wird.

Diese Rotation war jedoch fest vorgegeben. Es spielte keine Rolle, ob die schweren Bücher links, rechts, oben oder unten lagen; die Rotation war immer dieselbe. Es war ein „daten-agnostischer“ Ansatz – blind gegenüber dem spezifischen Inhalt des Koffers. Dies half zwar, war aber nicht die perfekte Lösung.

Die neue Lösung: WUSH (Der kluge, maßgeschneiderte Schneider)

Die Arbeit stellt WUSH vor, eine neue Methode, die wie ein kluger, maßgeschneiderter Schneider für Ihren Koffer fungiert. Anstatt eine feste Rotation zu verwenden, schaut WUSH sich die spezifischen Bücher an, die Sie gerade jetzt packen, und berechnet die perfekte Art und Weise, sie anzuordnen.

So funktioniert WUSH, vereinfacht erklärt:

Es macht eine Momentaufnahme: WUSH betrachtet die spezifischen „Gewichte“ (die Bücher) und „Aktivierungen“ (die Art und Weise, wie die Bücher verwendet werden), um genau zu verstehen, wo sich die schweren Ausreißer befinden.
Es erstellt eine maßgeschneiderte Karte: Mithilfe einer mathematischen Formel (Closed-Form) erstellt es eine einzigartige Transformationskarte für jede kleine Gruppe von Büchern. Es kombiniert zwei Dinge:
- Die Standard-Drehung: Es behält die zuverlässige 45-Grad-Rotation (Hadamard) bei, von der man weiß, dass sie gut funktioniert.
- Die individuelle Anpassung: Es fügt eine zweite, datenspezifische Ebene hinzu, die die Anordnung basierend auf der tatsächlichen Gewichtsverteilung dieser spezifischen Gruppe von Büchern feinabstimmt.
Das Ergebnis: Dies erzeugt eine nicht-orthogonale (nicht perfekt quadratische) Form, die die schweren und leichten Bücher perfekt ausbalanciert. Es ist „nahezu optimal“, was bedeutet, dass es so nah wie mathematisch möglich an die theoretisch perfekte Verpackung herankommt.

Warum es eine große Sache ist

Bessere Genauigkeit: Als die Autoren WUSH an Modellen wie Llama-3.1 und Qwen testeten, packte WUSH die Bücher wesentlich besser als die alten festen Rotationen. Beispielsweise verbesserte es die „Intelligenz“ (Genauigkeit) des Modells in einem spezifischen Test um fast 3 Punkte im Vergleich zur besten bisherigen Methode. Das ist ein gewaltiger Sprung in der Welt der KI.
Es ist schnell: Man könnte denken, dass das Berechnen einer individuellen Karte für jede Gruppe von Büchern langsam wäre. Aber die Autoren haben eine spezielle GPU-Engine (eine Hochgeschwindigkeitsküche) gebaut, die dieses individuelle Packen sofort erledigt. Es ist so schnell, dass es fast so schnell läuft wie die alte, einfachere Methode und liefert Geschwindigkeiten von bis zu 5,8-mal schneller als das Standard-Hochpräzisionsformat (BF16).
Es funktioniert mit neuen Formaten: Die Arbeit zeigt, dass WUSH hervorragend mit neuen, experimentellen Formaten (wie MXFP4) funktioniert, die darauf ausgelegt sind, super effizient zu sein, aber zuvor aufgrund dieser schweren Ausreißer schwer zu nutzen waren.

Das Fazament

Betrachten Sie WUSH als ein Upgrade von einem generischen, vorgefertigten Koffer zu einem 3D-gedruckten, maßgeschneiderten Gehäuse, das sich perfekt um Ihr spezifisches Gepäck schmiegt. Es dreht die Gegenstände nicht nur; es formt den Raum um sie herum neu, um Verschwendung zu vermeiden und ein Zerquetschen zu verhindern.

Die Arbeit behauptet, dass diese Methode mathematisch bewiesen nahezu der bestmögliche Weg ist, um mit diesen Ausreißern umzugehen, und in realen Tests macht sie KI-Modelle kleiner, schneller und intelligenter, ohne zusätzliche Rechenleistung zu benötigen.

Technisches Resümee: WUSH: Nahezu optimale adaptive Transformationen für die LLM-Quantisierung

1. Problemstellung

Die Quantisierung von Gewichten und Aktivierungen großer Sprachmodelle (LLMs) ist ein Standardverfahren für den effizienten Einsatz. Eine zentrale Schwierigkeit ergibt sich jedoch aus „Ausreißern“ – einigen wenigen extremen Werten in den Gewichten und Aktivierungen, die den Dynamikbereich dehnen. Diese Ausreißer zwingen die Quantisierungsskalen zu großen Werten, was die effektive Auflösung von Niedrigbit-Repräsentationen verringert und Quantisierungsfehler verstärkt.

Bisherige Minderungsstrategien verwenden oft lineare Transformationen (z. B. Rotationen) vor der Quantisierung, um die Varianz gleichmäßiger über die Kanäle zu verteilen. Während Hadamard-Rotationen sich empirisch effektiv erwiesen haben, sind sie typischerweise fest definiert und datenagnostisch. Sie passen sich nicht an die spezifische Statistik der zugrunde liegenden Gewichte oder Aktivierungen an. Dies wirft eine grundlegende Frage auf: Wenn die Hadamard-Transformation nicht datenbewusst ist, inwiefern kann sie dann als optimal für die Quantisierung betrachtet werden? Bestehende Methoden, die Transformationen lernen (z. B. SpinQuant, FlatQuant), verlassen sich auf iterative Optimierung (Gradientenabstieg) auf Kalibrierungsdaten, was kostspielig und heuristisch sein kann.

2. Methodik

Die Autoren schlagen WUSH vor, eine geschlossene, datenbewusste blockweise lineare Transformation, die für die gemeinsame Gewicht-Aktivierungs-Quantisierung entwickelt wurde. Die Methode wurde so hergeleitet, dass sie den $L_2$ -Ausgabeverlust unter Verwendung von Standard-Round-to-Nearest (RTN) AbsMax-skalierten Block-Quantisierern minimiert, was sowohl Gleitkomma- (FP) als auch Integer-Formate (INT) abdeckt.

Theoretische Herleitung

Das Problem wird als Minimierung des erwarteten Quantisierungsfehlers für einen Block von Gewichten $W$ und Aktivierungen $X$ formuliert. Die Autoren modellieren den Quantisierungsfehler probabilistisch:

Für Gleitkomma (FP): Der Fehler wird als proportional zum Absolutwert des Inputs modelliert ( $\varepsilon(\alpha) = \text{diag}(\eta)\alpha$ ).
Für Integer (INT): Der Fehler wird als proportional zum maximalen Absolutwert innerhalb einer Gruppe modelliert ( $\varepsilon(\alpha) = \|\alpha\|_\infty \eta$ ).

Durch die Analyse der statistischen Eigenschaften zweiter Ordnung (Kovarianz) der Gewichts- und Aktivierungsblöcke leiten die Autoren eine geschlossene optimale Transformation ab. Sei $W'$ und $X'$ Matrizen, die aus der Cholesky-Zerlegung der normalisierten zweiten Momente der Gewichte bzw. der Aktivierungen resultieren. Sei $U, S, V$ die Singulärwertzerlegung (SVD) von $W'^\top X'$ . Die optimalen Transformationen $T_W$ und $T_X$ werden konstruiert als:
$T_X = H S^{-1/2} V^\top X'^\top$
$T_W = H S^{-1/2} U^\top W'^\top$
wobei $H$ eine normalisierte Hadamard-Matrix ist.

Wesentliche Eigenschaften dieser Konstruktion:

Datenbewusst: Im Gegensatz zu festen Hadamard-Transformationen beinhaltet WUSH $S^{-1/2}$ und die SVD-Komponenten ( $U, V$ ), welche von den spezifischen Statistiken zweiter Ordnung der Daten abhängen.
Nicht-orthogonal: Die resultierende Transformation ist im Allgemeinen nicht-orthogonal, was es ermöglicht, die Skalierung zwischen Gewichten und Aktivierungen in einer Weise auszubalancieren, die orthogonale Transformationen nicht leisten können.
Optimalität: Das Paper beweist, dass diese Konstruktion für FP-Blockquantisierer nachweislich optimal und für INT-Blockquantisierer asymptotisch optimal ist (innerhalb eines Faktors von $d$ oder $d^{o(1)}$ , abhängig von der Verteilung).

Integration mit GPTQ

Die Methode lässt sich nativ in GPTQ (Greedy Per-Block Quantization) integrieren. Da GPTQ die Hesse-Matrix (Information zweiter Ordnung) zur Fehlerfortpflanzung nutzt, kann WUSH dieselben Statistiken verwenden, um die Transformation zu konstruieren. Die Autoren schlagen einen verschachtelten Rechenplan vor, bei dem die Gewichtsaktualisierungen und die Konstruktion der Transformation gekoppelt sind, sodass WUSH zusammen mit GPTQ mit vernachlässigbarem zusätzlichem Overhead angewendet werden kann.

Implementierung

Um die Herausforderung zu bewältigen, eine unterschiedliche Transformation pro Block während der Inferenz anzuwenden, implementieren die Autoren einen fused GPU-Kernel. Die WUSH-Transformationsmatrizen werden in einem transponierten Layout $(G, G, C)$ gespeichert, um die Speicherbandbreite maximal auszunutzen. Der Kernel fusioniert die blockweise Transformation mit der Aktivierungsquantisierung und erreicht einen Durchsatz, der mit optimierten Hadamard-Kerneln vergleichbar ist.

3. Zentrale Beiträge

Geschlossene optimale Transformationen: Die Herleitung der ersten geschlossenen, datenbewussten linearen Transformationen für die gemeinsame Gewicht-Aktivierungs-Quantisierung, die sowohl für FP- als auch für INT-Formate nachweislich nahezu optimal sind.
Theoretische Einsicht: Das Paper klärt die Rolle der Hadamard-Rotation. Es zeigt, dass die Hadamard-Transformation zwar eine effektive datenagnostische orthogonale Transformation ist, die optimale Lösung jedoch eine nicht-orthogonale Komponente ( $S^{-1/2}$ ) erfordert, die aus den Datenstatistiken abgeleitet wird, um den Quantisierungsfehler tatsächlich zu minimieren.
Effiziente Implementierung: Ein spezialisierter fusionierter GPU-Kernel, der blockweise adaptive Transformationen handhabt, ohne die Inferenzgeschwindigkeit zu beeinträchtigen, und dabei die Performance von festen Transformations-Baselines erreicht.
Empirische Validierung: Umfangreiche Experimente, die signifikante Genauigkeitsverbesserungen gegenüber dem Stand der Technik (Hadamard-basierte MR-GPTQ, SmoothQuant, QuaRot, SpinQuant) über mehrere Modellfamilien (Llama, Qwen) und Quantisierungsformate (MXFP4, NVFP4, INT4) hinweg zeigen.

4. Experimentelle Ergebnisse

Das Paper evaluiert WUSH auf Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct und Qwen3-Modellen (8B, 14B, 32B) unter Verwendung des LM Evaluation Harness und der Platinum Benchmarks.

Layerwise Loss: WUSH erzielt konsistent den niedrigsten Layerwise-RTN-Quantisierungsverlust über MXFP4, NVFP4 und INT4 Formate hinweg im Vergleich zu Identity, Random Rotation, Hadamard und nicht-adaptiven Varianten.
End-to-End Genauigkeit:
- Auf Llama-3.1-8B-Instruct mit MXFP4 (W4A4) verbessert WUSH die Genauigkeit um durchschnittlich +2,8 Punkte gegenüber der Hadamard-basierten Baseline (RTN) und um +0,7 Punkte (GPTQ).
- Es verringert die Leistungsdifferenz zwischen NVFP- und MXFP-Formaten erheblich. Beispielsweise reduziert WUSH die durchschnittliche Differenz zwischen NVFP4 und MXFP4 bei Qwen3-14B auf 0,36 Punkte.
- WUSH in Kombination mit GPTQ erzielt die besten Ergebnisse in den meisten Benchmarks und stellt oft über 96 % der BF16-Performance in W4A4-Settings wieder her.
Durchsatz: Die fusionierte Kernel-Implementierung liefert auf RTX 5090 GPUs bis zu 5,8× pro-Layer-Durchsatz gegenüber BF16, mit nur 1,3 % durchschnittlichem Durchsatzunterschied zur optimierten Hadamard-Baseline.
Overhead: Die Offline-Vorverarbeitungskosten sind vergleichbar mit dem Standard-GPTQ. Der Speicherbedarf für die Aktivierungs-seitigen Transformationen ist vernachlässigbar (z. B. ~1,4 % für MXFP4 auf Qwen3-8B).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass WUSH den empirischen Erfolg von Hadamard-Rotationen klärt, indem es zeigt, dass diese eine spezifische, datenagnostische Komponente einer breiteren optimalen Lösung sind. Durch die Kombination eines festen Hadamard-Backbones mit einer datenabhängigen Komponente zweiter Ordnung erreicht WUSH eine nachweislich nahezu optimale nicht-orthogonale Transformation.

Die Autoren betonen, dass ihr Ansatz prinzipienorientiert und datenbewusst ist und über heuristische oder iterative Lernmethoden hinausgeht. Sie stellen fest, dass WUSH das MXFP-Format konkurrenzfähig mit NVFP macht und damit eine Schlüsselbegrenzung der aktuellen Niedrigpräzisions-Inferenz adressiert. Die Arbeit zeigt, dass prinzipielle, datenbewusste Block-Transformationen signifikante Genauigkeitsverbesserungen ermöglichen, ohne die für den großflächigen Einsatz von LLMs erforderliche Effizienz zu gefährden.