🤖 machine learning

MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization

MosaicQuant führt ein einheitliches 4-Bit-LLM-Quantisierungsframework ein, das Gewichte in eine dichte Basis und ein spärliches Residuum aufteilt, um die Genauigkeit zu bewahren, während seine ZipperEngine-Komponente deren Ausführung zu einer einzigen Low-Bit-Pipeline fusioniert, um eine nahezu FP16-Leistung mit einer bis zu 1,24-fachen Beschleunigung gegenüber den Baselines zu erreichen.

Ursprüngliche Autoren: Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige Bibliothek voller Bücher (Large Language Models oder LLMs), die Sie in Ihrem Rucksack mitnehmen wollen. Das Problem ist, dass die Bücher so schwer und dick sind, dass Ihr Rucksack sie nicht halten kann und das Lesen ewig dauert.

Um dieses Problem zu lösen, beschließen Sie, die Bücher zu schrumpfen. Sie wollen sie auf winzige 4-Bit-"Tascheneditionen" (Quantisierung) schrumpfen. Das macht sie leicht und schnell lesbar. Es gibt jedoch einen Haken: Wenn Sie die Bücher zu stark schrumpfen, verlieren Sie die wichtigen Details.

Die meisten Bücher enthalten viele gewöhnliche, langweilige Wörter (wie „der“, „ist“, „und“), die leicht zu schrumpfen sind. Aber ab und zu gibt es ein seltenes, komplexes Wort oder eine dramatische Wendung in der Handlung (einen „Ausreißer“), die entscheidend für die Geschichte ist. Wenn Sie versuchen, diese seltenen Wörter auf dieselbe winzige Größe wie die gewöhnlichen Wörter zu schrumpfen, bricht die Geschichte zusammen und die KI beginnt, Fehler zu machen.

Der alte Weg: Das „VIP-Sektion“-Problem

Frühere Methoden versuchten, dies zu beheben, indem sie sagten: „Okay, lassen wir die seltenen, wichtigen Wörter in ihrem ursprünglichen, schweren Format (hohe Präzision) und schrumpfen nur die langweiligen.“

Dies hielt die Geschichte zwar genau, erzeugte aber ein neues Problem. Stellen Sie sich einen Bus vor, in dem die meisten Passagiere auf winzigen Klapphockern sitzen (die kleinen, komprimierten Daten), aber ein paar VIPs sitzen in riesigen, schweren Sesseln (den hochpräzisen Daten).

Das Problem: Der Busfahrer (der Computerchip) muss ständig die Gänge wechseln, um die verschiedenen Sitze zu handhaben. Er muss anhalten, die schweren Sessel bewegen und sie wieder zurückkonvertieren. Dieses Umschalten verlangsamt den Bus, was den Geschwindigkeitsvorteil, den man durch das Schrumpfen der anderen Passagiere gewonnen hat, zunichtemacht.

Der neue Weg: MosaicQuant

Die Autoren dieser Arbeit schlagen ein neues System namens MosaicQuant vor. Anstatt die VIPs in großen Sesseln zu behalten, lassen sie alle auf denselben winzigen Klapphockern sitzen (vereinheitlichte 4-Bit). Aber sie fügen einen cleveren Kniff hinzu, um mit den seltenen, schwierigen Wörtern umzugehen.

So funktioniert es, unter Verwendung einer „Mosaik“-Analogie:

1. Die Basisschicht (Das dichte 4-Bit)
Sie nehmen das ganze Buch und schrumpfen es auf eine einheitliche 4-Bit-Größe. Dies erfasst alle gewöhnlichen Wörter perfekt. Die seltenen, komplexen Wörter werden jedoch etwas verschwommen oder verzerrt, weil sie in das winzige Format gezwungen wurden.

2. Die „Stich“-Schicht (Das spärliche Residuum)
Anstatt den seltenen Wörtern einen ganz neuen, großen Sessel zu geben, erstellen sie ein winziges, unsichtbares „Patch“ oder einen „Stich“ nur für die Teile der Geschichte, die verschwommen geworden sind.

Sie flicken nicht das ganze Buch. Sie flicken nur die spezifischen Seiten, auf denen die Verzerrung am schlimmsten ist.
Dieses Patch ist ebenfalls 4-Bit, sodass es auf denselben winzigen Hocker passt.
Da sie nur einige wenige spezifische Stellen flicken (etwa 10 % des Buches), ist es sehr leicht und belastet den Rucksack nicht.

3. Die „Reißverschluss“-Engine (ZipperEngine)
Dies ist das Geheimrezept, das es schnell macht. In der alten „VIP“-Methode musste der Computer zwischen den schweren Sesseln und den winzigen Hockern umschalten.

Die MosaicQuant ZipperEngine fungt wie ein meisterhafter Schneider. Sie nimmt das Hauptbuch (das dichte Fundament) und die winzigen Patches (die spärlichen Residuen) und näht sie zusammen, während der Bus fährt.
Sie hält nicht an, um die Gänge zu wechseln. Sie verarbeitet den Haupttext und die Patches gleichzeitig in einer einzigen, fließenden Bewegung. Das bedeutet, dass der Computerchip niemals stoppen muss, um Daten zu „konvertieren“, wodurch die Geschwindigkeit hoch bleibt.

Warum das wichtig ist

Die Autoren haben dies an leistungsstarken KI-Modellen (wie LLaMA und Qwen) getestet und zwei Hauptergebnisse erzielt:

Genauigkeit: Die Geschichten (KI-Ausgaben) blieben fast so perfekt wie die ursprünglichen, schweren Bücher. Die „Patches“ korrigierten die verschwommenen Teile so gut, dass die KI nicht an Intelligenz verlor.
Geschwindigkeit: Da sie nicht zwischen verschiedenen Formaten umschalten mussten, lief die KI bis zu 1,24-mal schneller als die Standard-16-Bit-Version und viel schneller als andere Methoden, die versuchten, hohe und niedrige Präzision zu mischen.

Kurz gesagt: MosaicQuant ist wie das Schrumpfen einer ganzen Bibliothek auf Taschenformat, aber anstatt die wichtigen Teile wegzulassen oder sie schwer zu machen, fügt es winzige, leichte „Patches“ hinzu, um die Fehler zu beheben – und das alles, während der gesamte Leseprozess reibungslos und schnell bleibt.

Technisches Resümee: MosaicQuant

Problemstellung

Während die 4-Bit-Quantisierung ein erhebliches Potenzial zur Reduzierung des Speicher-Footprints und zur Beschleunigung der Inferenz von Large Language Models (LLMs) bietet, steht sie vor einer grundlegenden Einschränkung: Die eingeschränkte Bitbreite kann weder die dichten, häufig vorkommenden Werte (Inlier) noch die seltenen, großflächigen Werte (Outlier) originalgetreu repräsentieren. Diese Diskrepanz führt zu erheblichen Genauigkeitsverlusten.

Bestehende Lösungen verwenden typischerweise Mixed-Precision-Quantisierung, bei der Outlier in hoher Präzision (z. B. FP16 oder INT8) beibehalten werden, während der Rest auf 4-Bit quantisiert wird. Dieser Ansatz durchbricht jedoch die Uniformität der Niedrig-Bit-Ausführung. Die Notwendigkeit von High-Precision-Fallback-Operationen führt zu zusätzlichem Datentransfer, Formatkonvertierung und Präzisionskonversionsaufwand, was letztlich den praktischen Hardware-Beschleunigungsvorteil, der durch Low-Bit-Inferenz versprochen wird, untergräbt.

Methodik

Die Autoren schlagen MosaicQuant vor, ein vereinheitlichtes 4-Bit-Quantisierungsparadigma, das auf dem Prinzip der Inlier–Outlier-Disaggregation basiert. Anstatt Outlier in hoher Präzision zu bewahren, zerlegt MosaicQuant die Gewichtsmatrix vollständig in 4-Bit-Komponenten: eine dichte Basis und ein spärliches Residuum.

1. Inlier–Outlier-Disaggregation

Die Methode beginnt mit der Migration von Aktivierungs-Outliern in die Gewichtsmatrix mittels äquivalenter Transformationen (z. B. SmoothQuant oder QuaRot). Die migrierte Gewichtsmatrix $\hat{W}$ wird dann wie folgt zerlegt:
$\hat{W} \approx Q(\hat{W}) + R$
Wobei:

Dichte 4-Bit-Basis ( $Q(\hat{W})$ ): Erfasst die häufigen Inlier originalgetreu.
Spärliches 4-Bit-Residuum ( $R$ ): Kompensiert die durch die Outlier eingeführten Quantisierungsfehler.

Entscheidend ist, dass beide Komponenten in 4-Bit operieren, wodurch die Uniformität der Low-Bit-Ausführungspipeline gewahrt bleibt.

2. Blockweise Residuen-Allokation

Die Arbeit identifiziert, dass Quantisierungsfehler nicht gleichmäßig über die Kanäle verteilt sind, sondern eine feingranulare Block-Ebene-Konzentration aufweisen. Daher alloziert MosaicQuant das spärliche Residuen-Budget auf Block-Ebene statt auf Kanal-Ebene.

Um die kritischsten Blöcke ohne teure vollständige Output-Evaluierungen auszuwählen, führen die Autoren einen Hessian-gesteuerten $\Delta$ -Score ein. Diese Metrik approximiert die marginale Reduktion der Output-Distorsion für jeden Block, indem sie den Residuenfehler mit der Aktivierungssensitivität (diagonale Hessian-Schätzung) der Input-Kanäle gewichtet. Der Algorithmus wählt die Top- $K$ Blöcke mit den höchsten $\Delta$ -Scores aus, die eine spärliche 4-Bit-Residuen-Kompensation erhalten sollen. Experimente zeigen, dass ein spärliches Budget von nur 10 % der Blöcke ausreicht, um über 50 % der Output-Distorsion zu kompensieren.

3. ZipperEngine: Vereinheitlichte Ausführung

Eine vereinheitlichte Repräsentation allein reicht nicht aus, wenn das spärliche Residuum über einen separaten Kernel ausgeführt wird, der Aktivierungen neu laden und Teil-Outputs zusammenführen müsste, was signifikante Latenzen verursacht. Um dies zu adressieren, führen die Autoren die ZipperEngine ein, eine spezialisierte Execution Engine, die:

Kernel fusioniert: Integriert die Berechnung des spärlichen Residums direkt in den dichten 4-Bit-GEMM-Kernel.
Überlappende Pipeline: Nutzt eine get tile-basierte, überlappende Pipeline, in der Quantisierung, dichte Berechnung, spärliche Kompensation und Reduktions-Additions-Operationen gleichzeitig über Tensor Cores, CUDA Cores und HBM geplant werden.
Ergebnis: Dies eliminiert den Overhead durch separate Kernel-Dispatches und redundanten Speicherverkehr, wodurch die Hardware-Effizienz einer vollständig vereinheitlichten 4-Bit-Inferenzpipeline realisiert wird.

Zentrale Beiträge

MosaicQuant-Paradigma: Ein 4-Bit-Quantisierungsansatz, der eine blockweise Inlier–Outlier-Disaggregation durchführt, wodurch Genauigkeitsverluste gemindert werden, während gleichzeitig ein vollständigem Low-Bit-Ausführungsmuster beibehalten wird.
Hessian-gesteuerte Selektion: Eine effiziente, aktivierungsbewusste Block-Selektionsstrategie unter Verwendung eines $\Delta$ -Hessian-Scores zur Identifizierung kritischer Residuen-Blöcke, welche die teure exakte Output-Distortions-Evaluierung ersetzt.
ZipperEngine: Eine dichte–spärliche 4-Bit-Execution Engine, die die Berechnung des spärlichen Residums über eine überlappende Pipeline in den dichten GEMM-Kernel fusioniert und so praktische Beschleunigungen selbst mit zusätzlichen Residuen-Blöcken ermöglicht.

Experimentelle Ergebnisse

Die Autoren evaluierten MosaicQuant auf LLaMA3 (3B, 8B) und Qwen3 (4B, 8B, 14B, 32B) Modellen.

Genauigkeit: MosaicQuant bewahrt eine nahezu FP16-äquivalente Genauigkeit. Unter W4A4-Quantisierung übertrifft es andere Low-Bit-Baselines (RTN, SmoothQuant, QuaRot, SpinQuant, ResQ, Atom) signifikant. Beispielsweise erreicht MosaicQuant bei Qwen3-32B eine Perplexität von 8,4, im Vergleich zu 9,2 bei ResQ und 9,3 bei Atom. Es behält zudem eine robuste Performance dort bei, wo andere Methoden (wie RTN und SmoothQuant) bei Qwen3-Modellen oft kollabieren.
Durchsatz: Auf einer NVIDIA RTX 4090 erzielt MosaicQuant eine bis zu 1,24× Beschleunigung gegenüber der W16A16-Baseline. Es liefert konsistent den höchsten Durchsatz über Batch-Größen von 4–32 im Vergleich zu TensorRT-LLM und anderen Quantisierungs-Baselines.
Overhead: Die spärlichen 4-Bit-Zweige verursachen minimalen Overhead, wobei der Speicherverbrauch nur um 8,5–9,5 % steigt und der Latenz-Overhead dank der fusionierten Pipeline unter 6,2 % bleibt.

Bedeutung

Das Paper behauptet, dass MosaicQuant den Trade-off zwischen Genauigkeit und Hardware-Effizienz in der 4-Bit-LLM-Quantisierung löst. Durch die Eliminierung der Notwendigkeit für High-Precision-Fallback-Operationen und die Vereinheitlichung von Repräsentation und Ausführung in eine einzige kohärente Low-Bit-Pipeline ermöglicht MosaicQuant ein effizientes LLM-Serving, ohne die Regelmäßigkeit einer uniformen 4-Bit-Ausführung zu opfern. Dieser Ansatz zeigt, dass eine spärliche, niedrig-präzise Kompensation effektiv Outlier-induzierte Fehler beheben kann, während die Durchsatzvorteile einer dichten Low-Bit-Inferenz erhalten bleiben.