🤖 machine learning

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models

ADMM-Q ist ein neuartiger, modularer Post-Training-Algorithmus zur Gewichtsquantisierung, der auf einer kombinatorischen Variante der Alternating Direction Method of Multipliers basiert und die Nutzbarkeit von Large Language Models bei aggressiven Quantisierungsstufen unter 4 Bit erheblich verbessert, indem er den rekonstruktionsfehler auf Schichtebene minimiert und gleichzeitig Quantisierungsbeschränkungen durchsetzt.

Ursprüngliche Autoren: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Riesige Gehirne verkleinern

Stellen Sie sich Large Language Models (LLMs) wie Qwen oder LLaMA als massive, hochdetaillierte Bibliotheken vor. Diese Bibliotheken enthalten Milliarden von Büchern (Parameter), die es der KI ermöglichen, zu schreiben, zu reasoning und zu chatten. Da diese Bibliotheken jedoch so riesig sind, sind sie schwer zu transportieren (hoher Speicherverbrauch) und dauern lange, um sie zu lesen (langsame Berechnung).

Quantisierung ist der Prozess, diese Bibliotheken zu verkleinern. Anstatt jedes Buch in hochauflösender, farbenfroher Tinte zu behalten (32-Bit- oder 16-Bit-Präzision), versuchen wir, sie mit weniger Farben oder einfacheren Symbolen neu zu schreiben (4-Bit oder sogar 2-Bit). Das Ziel ist es, die Bibliothek so klein zu machen, dass sie in einen Rucksack passt, ohne die Geschichte zu verlieren.

Das Problem: Die „gierigen" Verkleinerer

Bestehende Methoden zum Verkleinern dieser Modelle, wie GPTQ (der aktuelle Industriestandard), funktionieren wie ein gieriger Redakteur.

Wie sie funktionieren: Sie schauen sich den ersten Satz an, verkleinern ihn und fahren fort. Dann schauen sie sich den zweiten Satz an, verkleinern ihn und fahren fort.
Der Fehler: Wenn der Redakteur den ersten Satz verkleinert, macht er vielleicht einen kleinen Fehler. Da er sofort weitermacht, schaut er nie zurück, um diesen Fehler zu korrigieren. Bis er das Ende des Buches erreicht hat, haben sich all diese winzigen Fehler aufgestaut, was die Geschichte verwirrend oder unsinnig macht. Dies ist besonders schlecht, wenn man versucht, die Bücher sehr aggressiv zu verkleinern (bis auf 2 oder 3 Bit).

Die Lösung: ADMM-Q (Der „Team-Huddle"-Ansatz)

Die Autoren schlagen eine neue Methode namens ADMM-Q vor. Anstatt eines gierigen Redakteurs, der allein arbeitet, stellen Sie sich ein Team von Redakteuren vor, das für jedes Kapitel eine Rundtischbesprechung abhält.

Das Team-Huddle (Gemeinsame Optimierung):
Anstatt einen Satz nach dem anderen zu korrigieren, betrachtet das Team das gesamte Kapitel auf einmal. Sie fragen: „Wenn wir dieses Wort hier ändern, wie wirkt sich das auf jenes Wort dort aus?" Sie passen alle Wörter gleichzeitig an, um die bestmögliche Kombination zu finden, die die Geschichte klar hält, selbst wenn sehr wenige Farben verwendet werden.
Der Tanz zwischen „Glatt" und „Blockig" (ADMM):
Die Mathematik dahinter heißt ADMM (Alternating Direction Method of Multipliers). Stellen Sie sich das als einen Tanz zwischen zwei Schritten vor:
- Schritt A (Der glatte Rutsch): Das Team nimmt kleine, kontinuierliche Anpassungen an den Wörtern vor, um den Fluss der Geschichte zu verbessern.
- Schritt B (Das Einrasten ins Raster): Plötzlich müssen sie diese Wörter auf bestimmte, erlaubte Werte „einschnappen" (wie ein Lego-Stein, der an seinen Platz geklickt wird).
- Sie wechseln ständig zwischen Rutschen und Einschnappen. Im Laufe der Zeit zwingt dieser Prozess die Wörter, sich in die bestmöglichen „Lego-Positionen" zu setzen, ohne die Geschichte zu zerstören.
Das Problem der „Ausreißer" (Diagonale Skalierung):
In diesen Modellen sind einige Wörter „laut" (Ausreißer) und einige „leise". Wenn Sie versuchen, sie alle gleichzeitig zu verkleinern, dominieren die lauten Wörter das Gespräch, und die leisen gehen unter.
- Die Lösung von ADMM-Q: Sie verwenden eine Technik namens Diagonale Skalierung. Stellen Sie sich vor, Sie geben den leisen Wörtern ein Mikrofon und drehen die Lautstärke der lauten Wörter nur für die Editier-Sitzung herunter. Dies stellt sicher, dass jedes Wort eine faire Chance hat, optimiert zu werden, was zu einer viel klareren endgültigen Geschichte führt.
Der letzte Schliff (Lokale Suche):
Sobald das Team sein Huddle beendet hat, machen sie einen schnellen „Spot-Check". Sie suchen nach Wortpaaren, die versehentlich vertauscht wurden, und prüfen, ob das Zurücktauschen die Geschichte verbessert. Dies ist ein schneller, letzter Schliff, um letzte Fehler zu fangen.

Warum es wichtig ist: Die Ergebnisse

Das Papier testete diese neue Methode an mehreren Modellen (Qwen und LLaMA) und fand heraus, dass:

Bessere Geschichten: Als sie die Modelle auf sehr kleine Größen verkleinerten (wie 3-Bit oder 2-Bit), produzierten die alten „gierigen" Methoden (GPTQ) Unsinn oder sehr verwirrte Antworten. ADMM-Q hielt die Modelle intelligent und kohärent.
- Beispiel: Bei einem Test namens „WikiText-2" hatte die alte Methode eine Punktzahl von 12,85 (höher ist schlechter), während ADMM-Q sie auf 10,06 senkte. Das ist eine enorme Verbesserung der Klarheit.
Funktioniert mit anderen Tools: ADMM-Q ist kein Ersatz für alles; es ist ein direkter Ersatz für den „Verkleinerer"-Teil. Es funktioniert perfekt zusammen mit anderen Tricks, die Menschen verwenden, wie das Drehen der Daten oder deren Skalierung.
Gleiche Geschwindigkeit: Sobald das Modell verkleinert ist, läuft es genauso schnell wie mit den alten Methoden. Die zusätzliche Zeit, die ADMM-Q benötigt, fällt nur während des „offline" Verkleinerungsprozesses an (wie das Editieren eines Buches vor dem Veröffentlichen), nicht während Sie die KI tatsächlich nutzen.

Der Haken (Einschränkungen)

Die Editierung dauert länger: Da ADMM-Q für jede Schicht ein komplexes „Team-Huddle" durchführt, dauert es mehr Computerzeit, das Modell initial zu verkleinern, als bei den einfachen gierigen Methoden. Die Autoren sagen jedoch, dass sich dieses einmalige Warten aufgrund der deutlich besseren Qualität lohnt.
Es benötigt eine Stichprobe: Wie alle diese Methoden benötigt es eine kleine Textstichprobe (Kalibrierungsdaten), um zu verstehen, was das Modell sagen möchte, bevor es mit dem Verkleinern beginnt.

Zusammenfassung

ADMM-Q ist eine intelligentere Methode zur Komprimierung von KI-Modellen. Anstatt den Komprimierungsschritt Schritt für Schritt zu hetzen und dabei Fehler zu machen, verfolgt es einen ganzheitlichen, mathematischen Ansatz, um alle Teile des Modells gemeinsam anzupassen. Das Ergebnis ist eine viel kleinere KI, die immer noch weiß, wie sie klar denken soll, selbst wenn sie in einen sehr engen Raum gequetscht wird.

Technische Zusammenfassung: ADMM-Q für die Post-Training-Quantisierung von LLMs

Problemstellung

Large Language Models (LLMs) stehen aufgrund ihrer Rechen- und Speicheranforderungen vor erheblichen Herausforderungen bei der Bereitstellung. Die Quantisierung, insbesondere die Post-Training-Quantisierung (PTQ), ist eine primäre Strategie zur Komprimierung dieser Modelle durch Reduzierung der Gewichtspräzision (z. B. von 16-Bit auf 4-Bit oder niedriger) ohne Nachtraining.

Aktuelle Standardverfahren zur Gewichtsquantisierung, wie Round-to-Nearest (RTN) und Greedy Per-Column Quantization (GPTQ), weisen Einschränkungen auf, insbesondere bei aggressiven Bitbreiten (unter 4-Bit):

RTN rundet Gewichte unabhängig voneinander ab, ignoriert dabei Abhängigkeiten zwischen den Gewichten und die Struktur der Landschaft des Rekonstruktionsfehlers.
GPTQ integriert Hesse-Matrix-Informationen, um Fehler zu kompensieren, verarbeitet Gewichte jedoch gierig in einer spaltenweisen Reihenfolge. Dieser sequenzielle Ansatz ist empfindlich gegenüber der Verarbeitungsreihenfolge und akkumuliert Fehler über die Spalten hinweg.

Die Kernherausforderung besteht darin, die schichtweise Quantisierung als ein restringiertes Optimierungsproblem zu formulieren, das den Rekonstruktionsfehler minimiert und dabei diskrete Quantisierungsbeschränkungen einhält – ein Problem, das mit abnehmender Bitbreite zunehmend schwieriger wird.

Methodik: ADMM-Q

Die Autoren schlagen ADMM-Q vor, einen neuartigen Gewichtsquantisierungsalgorithmus, der auf der Alternating Direction Method of Multipliers (ADMM) basiert. Im Gegensatz zum gierigen spaltenweisen Ansatz von GPTQ behandelt ADMM-Q die schichtweise Quantisierung als ein gemeinsames Optimierungsproblem.

1. Problemformulierung

Der Algorithmus formuliert die Quantisierung einer Schicht mit vortrainierten Gewichten $\hat{W}$ und Eingabeaktivierungen $X$ als ein durch die Hesse-Matrix gewichtetes restringiertes Optimierungsproblem:
$\min_{W} \frac{1}{2} \text{Tr}\left((W - \hat{W})^\top H (W - \hat{W})\right) \quad \text{s.t.} \quad W \in \mathcal{Q}$
wobei $H = X^\top X + \lambda I$ die Hesse-Matrix ist und $\mathcal{Q}$ die Menge der quantisierten Gewichtsmatrizen darstellt.

2. Schlüsselkomponenten des Algorithmus

Um dieses nicht-konvexe Problem effizient im Maßstab von LLMs zu lösen, integriert ADMM-Q mehrere Verbesserungen:

Diagonale Skalierung für numerische Stabilität: LLM-Aktivierungen enthalten oft „Channel-Outlier" (Dimensionen mit unverhältnismäßig großen Beträgen), was zu einer schlecht konditionierten Hesse-Matrix führt. ADMM-Q wendet eine diagonale Skalierungsmatrix $\Sigma = \text{Diag}(H)^{-1/2}$ an, um das Problem zu normalisieren und sicherzustellen, dass alle Kanäle vergleichbar zu den Updates beitragen. Dies ist kritisch; Ablationsstudien zeigen, dass das Entfernen dieser Skalierung die Leistung erheblich verschlechtert (z. B. Erhöhung der Perplexität von 10,06 auf 14,68 bei W3A16 auf Qwen3-8B).
ADMM-Spaltung: Der Algorithmus führt eine Hilfsvariable $D$ $D$ ein, um das kontinuierliche, durch die Hesse-Matrix gewichtete Ziel von der diskreten Quantisierungsbeschränkung zu entkoppeln. Er alterniert zwischen:
1. W-Update: Ein kontinuierliches Update, das den durch die Hesse-Matrix gewichteten Abstand minimiert und effizient über eine Eigenwertzerlegung von $H$ gelöst wird.
2. D-Update: Eine diskrete Projektion auf das Quantisierungsgitter (äquivalent zu RTN, aber unter Berücksichtigung der Skalierung).
3. Dual-Update: Anpassung des Lagrange-Multiplikators zur Durchsetzung der Konsistenz.
Gitter-Aktualisierung: Im Gegensatz zu GPTQ, das das Quantisierungsgitter während der Optimierung festlegt, passt ADMM-Q die Gitterparameter (Skalierung und Nullpunkt) dynamisch basierend auf dem aktuellen kontinuierlichen Iterierten an. Dies ermöglicht es, dass die Projektion mit dem sich bewegenden Ziel ausgerichtet bleibt und die Starre eines festen Gitters vermieden wird.
Lokale Suche zur Verfeinerung: Um suboptimale diskrete Lösungen zu adressieren, die durch korreliertes Runden verursacht werden, führt ein Nachbearbeitungsschritt eine effiziente lokale Suche mit Paarvertauschungen durch. Dieser Schritt bewertet diskrete Bewegungen (Vertauschen von Werten zwischen Zeilen), die den Rekonstruktionsfehler direkt reduzieren, und nutzt GPU-Parallelisierung für Geschwindigkeit.
Konvergenzgarantien: Die Autoren erweitern bestehende ADMM-Konvergenzbeweise (die zuvor für Sparsity-Beschränkungen etabliert wurden) auf das Quantisierungsszenario und beweisen, dass die kontinuierlichen und diskreten Iterierten unter einem spezifischen Strafplan ( $\rho_t = \rho_0 \cdot \gamma^t$ ) gegen denselben Grenzwert konvergieren.

3. Modularität und Integration

ADMM-Q ist als Drop-in-Ersatz für RTN oder GPTQ innerhalb bestehender PTQ-Pipelines konzipiert. Es ist vollständig kombinierbar mit:

Skalierungstransformationen (z. B. SmoothQuant, AWQ).
Rotations Transformationen (z. B. SpinQuant, QuaRot).
Clipping-Heuristiken (z. B. MSE-basierte Gittersuche).

Experimentelle Ergebnisse

Die Autoren bewerteten ADMM-Q in drei Szenarien: reine Gewichtsquantisierung, Gewichts- und Aktivierungsquantisierung mit SpinQuant sowie Gewichts- und Aktivierungsquantisierung mit SmoothQuant.

1. Reine Gewichtsquantisierung (Qwen3-Familie)

Über Qwen3-Modelle hinweg (1,7B bis 32B) schnitt ADMM-Q in Perplexität und Zero-Shot-Genauigkeit konsistent besser ab als GPTQ und AWQ, wobei die Gewinne bei niedrigeren Bitbreiten zunahmen:

W3A16 (Qwen3-8B): Die WikiText-2-Perplexität verbesserte sich von 12,85 (GPTQ) auf 10,06 (ADMM-Q).
W2A16 (Qwen3-8B): Die WikiText-2-Perplexität verbesserte sich von 32,88 (GPTQ) auf 17,69 (ADMM-Q).
Schichtweise Analyse: ADMM-Q reduzierte den Rekonstruktionsfehler über alle Decoder-Schichten hinweg und erreichte in frühen Schichten bis zu 10 % des Fehlers von GPTQ.

2. Gewichts- und Aktivierungsquantisierung

SpinQuant (WbA4KV4): Bei LLaMA-3- und Qwen3-Modellen ergab der Ersatz von GPTQ durch ADMM-Q konsistente Verbesserungen. Beispielsweise sank bei LLaMA-3 8B im W2A4KV4-Modus die Perplexität von 50,27 (GPTQ) auf 15,65 (ADMM-Q).
SmoothQuant (WbA8): Bei Qwen3-8B verbesserte ADMM-Q die W3A8-Perplexität von 16,00 auf 12,21.

3. Inferenzleistung

Bei der Integration in den vLLM-Inferenz-Stack erzeugte ADMM-Q Gewichtsmatrizen im selben Format wie GPTQ. Folglich wurden identische Inferenz-Durchsatzraten und Speichervorteile erzielt. Beispielsweise erzielten beide Methoden bei Qwen3-32B mit SpinQuant W8A8 eine Beschleunigung von ca. 1,52× gegenüber der dichten Basislinie.

4. Rechenkosten

Der Offline-Quantisierungsprozess für ADMM-Q ist aufgrund der iterativen Optimierung rechenintensiver als bei GPTQ. Die Autoren weisen jedoch darauf hin, dass die Quantisierung ein einmaliger Schritt ist und die Laufzeit praktikabel bleibt (z. B. unter zwei Stunden für ein 32B-Modell auf einer einzelnen GPU). Der Spitzen-GPU-Speicherbedarf ist leicht höher (ca. 6 %) als bei GPTQ.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ADMM-Q einen prinzipiellen Wandel von gieriger, sequenzieller Quantisierung hin zu gemeinsamer, restringierter Optimierung für LLMs darstellt. Die Hauptbeiträge sind:

Algorithmische Innovation: Es gelingt, ADMM erfolgreich auf das harte kombinatorische Problem der Gewichtsquantisierung anzuwenden und notwendige Stabilisierungen (diagonale Skalierung) sowie Verfeinerungen (Gitter-Aktualisierung, lokale Suche) für den Maßstab von LLMs einzuführen.
Leistungssteigerungen: Es zeigt erhebliche Verbesserungen der Modellnutzbarkeit (Perplexität und Genauigkeit), insbesondere in aggressiven Low-Bit-Bereichen (W3 und W2), in denen bisherige Methoden Schwierigkeiten haben.
Vielseitigkeit: Es dient als modulares, Drop-in-Komponente, die bestehende Pipelines (einschließlich solcher mit Rotationen und Skalierung) verbessert, ohne das finale Inferenzformat oder die Geschwindigkeit zu verändern.

Die Autoren erkennen Einschränkungen an und stellen fest, dass ADMM-Q höhere Offline-Quantisierungskosten verursacht und von der Repräsentativität des Kalibrierungsdatensatzes abhängt. Darüber hinaus beschränkt sich die aktuelle Evaluation auf dichte autoregressive Decoder-only-LLMs, und die Anpassung an Mixture-of-Experts- oder Diffusionsmodelle würde weitere Arbeiten erfordern.