💬 NLP

Multi-Bitwidth Quantization for LLMs Using Additive Codebooks

Das Paper stellt Drop-by-Drop vor, ein neuartiges Post-Training-Quantisierungs-Framework, das additive Codebücher und eine Matryoshka-ähnliche Supervision nutzt, um einem einzigen LLM-Checkpoint zu ermöglichen, eine adaptive Multi-Bitbreiten-Inferenz mit minimalem Speicher-Overhead zu unterstützen und gleichzeitig eine wettbewerbsfähige Genauigkeit über verschiedene Modellarchitekturen hinweg aufrechtzuerhalten.

Ursprüngliche Autoren: Liza Babaoglu, Shuangyi Chen, Ashish Khisti

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Liza Babaoglu, Shuangyi Chen, Ashish Khisti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Eine Größe passt nicht für alle

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Bibliothek des Wissens (ein Large Language Model oder LLM). Diese Bibliothek ist so gewaltig, dass sie ein riesiges Lagerhaus zur Aufbewahrung benötigt.

Die Cloud: Wenn Sie diese Bibliothek auf einem riesigen Supercomputer in der Cloud ausführen, haben Sie reichlich Platz. Sie können jedes einzelne Buch offen halten und die feinsten Details lesen.
Das Smartphone: Wenn Sie versuchen, dieselbe Bibliothek auf einem Smartphone oder einem kleinen Edge-Gerät auszuführen, ist das Lagerhaus zu groß. Der Speicher (RAM) und der Akku des Telefons können die volle Größe nicht bewältigen.

Die aktuelle Lösung (der „statische“ Ansatz):
Wenn Sie diese Bibliothek derzeit auf verschiedenen Geräten nutzen wollen, müssen Sie separate Kopien der Bibliothek erstellen:

Eine „Deluxe-Edition“ für den Supercomputer (hohe Qualität, riesige Größe).
Eine „Taschenedition“ für das Telefon (komprimiert, geringere Qualität).
Eine „Reiseedition“ für ein Tablet (mittlere Größe).

Dies ist ineffizient. Sie müssen drei verschiedene Versionen derselben Bibliothek trainieren, speichern und pflegen. Wenn Sie vom Telefon zum Tablet wechseln möchten, müssen Sie die gesamte Datei austauschen.

Die neue Lösung: „Drop-by-Drop“

Die Autoren schlagen eine neue Methode namens Drop-by-Drop vor. Anstatt drei verschiedene Bibliotheken zu erstellen, erschaffen sie eine einzige Bibliothek, die magisch schrumpfen oder wachsen kann, je nachdem, auf welchem Gerät sie sich befindet – ohne dass sie neu trainiert oder ausgetauscht werden muss.

Stellen Sie sich die Bibliothek nicht als einen Stapel Bücher vor, sondern als eine Matroschka-Puppe (russische Nesting-Puppe).

Die äußere Schale: Die kleinste, einfachste Version. Sie passt in Ihre Tasche, kennt aber nur die wichtigsten Fakten.
Die mittlere Schicht: Wenn Sie die Schale öffnen, finden Sie eine etwas größere Puppe mit mehr Details.
Der innere Kern: Die voll ausgestopfte Puppe mit jedem einzelnen Detail.

Mit Drop-by-Drop müssen Sie nicht drei verschiedene Puppen mit sich herumtragen. Sie tragen eine.

Auf einem Smartphone nutzen Sie einfach die äußere Schale.
Auf einem Tablet öffnen Sie die Schale, um die mittlere Schicht zu nutzen.
Auf einem Supercomputer öffnen Sie sie ganz weit, um den vollen Kern zu nutzen.

Wie es funktioniert: Das Rezept des „Additiven Codebooks“

Um diese Matroschka-Puppe funktionsfähig zu machen, verwenden die Autoren eine Technik namens Additive Quantisierung.

Stellen Sie sich vor, Sie versuchen, jemandem am Telefon ein komplexes Gemälde zu beschreiben.

Standardmethode: Sie senden ein niedrig aufgelöstes Foto (unscharf) für das Telefon und ein hochauflösendes Foto für den Computer. Dies sind zwei verschiedene Dateien.
Drop-by-Drop-Methode: Sie senden zuerst eine Basisskizze.
- Wenn der Zuhörer einen winzigen Bildschirm hat, hört er dort auf. Er hat eine grobe Vorstellung des Gemäldes.
- Wenn der Zuhörer einen größeren Bildschirm hat, senden Sie Schicht 2: ein paar mehr Linien, um die Formen zu definieren.
- Wenn der Zuhörer einen riesigen Bildschirm hat, senden Sie Schicht 3: die endgültigen Farben und Details.

Die Magie liegt darin, dass Schicht 2 und Schicht 3 ohne Schicht 1 nutzlos sind, aber Schicht 1 für sich genommen perfekt ist. Die Schichten sind „additiv“ – sie stapeln sich übereinander, um ein klareres Bild aufzubauen.

Das Geheimrezept: „Matryoshka“-Training

Normalerweise, wenn man eine KI trainiert, um Daten zu komprimieren, lernt sie, das bestmögliche Endbild zu erzeugen. Es ist ihr egal, ob die ersten paar Schichten schlecht aussehen. Wenn man zu früh aufhört, ist das Bild ein Chaos.

Die Autoren haben eine spezielle Trainingsregel namens Matryoshka Supervision eingeführt.

Die Analogie: Stellen Sie sich einen Lehrer vor, der die Hausarbeit eines Schülers bewertet.
- Der alte Weg: Der Lehrer bewertet nur die fertige, 10-seitige Hausarbeit. Wenn der Schüler nach Seite 1 aufhört, sagt der Lehrer: „Das ist Müll, ich kann das nicht bewerten.“
- Der Drop-by-Drop-Weg: Der Lehrer bewertet den Schüler in jeder Phase. „Okay, Seite 1 ist eine gute Zusammenfassung. Seite 3 fügt gute Details hinzu. Seite 10 ist perfekt.“
Das Ergebnis: Da die KI darauf trainiert wurde, sicherzustellen, dass jede Teilversion (1 Schicht, 2 Schichten, 3 Schichten) korrekt ist, können Sie die zusätzlichen Schichten, wenn Sie auf einem kleinen Gerät sind, sicher „fallen lassen“ (droppen), und die verbleibenden Schichten funktionieren dennoch perfekt.

Warum das wichtig ist (laut der Arbeit)

Ein Modell, viele Geräte: Sie müssen nur eine einzige Datei speichern und herunterladen. Das Gerät entscheidet selbst, wie viel von der Datei es „auspackt“, basierend auf seinem Speicher.
Kein Retraining: Sie müssen kein neues Modell für jedes Telefon oder Tablet trainieren. Das einzelne Modell passt sich automatisch an.
Sanfter Übergang: Wenn Sie von einem leistungsschwächeren Gerät zu einem leistungsstärkeren Gerät wechseln, verbessert sich die Qualität kontinuierlich, anstatt zwischen verschiedenen, inkompatiblen Modellen hin- und herzuspringen.
Bewiesene Theorie: Die Arbeit nutzt die Mathematik (Informationstheorie), um zu beweisen, dass dieser „Nesting“-Ansatz für die Arten von Daten, die LLMs verwenden, theoretisch möglich ist, wodurch sichergestellt wird, dass man durch das Hinzufügen dieser Schichten keine Effizienz verliert.

Zusammenfassung

Drop-by-Drop verwandelt ein starres, universelles KI-Modell in ein flexibles, „smartes“ Modell, das in der Lage ist, auf die Größe Ihrer Hosentasche zu schrumpfen oder einen Supercomputer auszufüllen – und das alles aus einer einzigen Datei. Dies geschieht, indem die KI darauf trainiert wird, auf jedem Detailgrad gut zu sein, nicht nur auf der finalen, detailliertesten Stufe.

Technisches Resümee: Drop-by-Drop für Multi-Bitbreiten-Quantisierung von LLMs

Problemstellung

Große Sprachmodelle (LLMs) stehen vor erheblichen Herausforderungen bei der Bereitstellung aufgrund der immensen Speicher- und Rechenressourcen, die durch ihre Milliarden von Parametern erforderlich sind. Während Quantisierung diese Modelle in Repräsentationen mit endlicher Präzision komprimiert, erzeugen konventionelle Methoden typischerweise Modelle mit einem festen Kompressionsgrad (z. B. ein statisches 4-Bit- oder 8-Bit-Modell). Diese Starrheit ist suboptimal für heterogene Hardwareumgebungen, die von Cloud-Servern bis hin zu ressourcenbeschränkten Edge-Geräten reichen. Die Aufrechterhaltung mehrerer separat quantisierter Modellvarianten für verschiedene Bitbreiten verursacht einen prohibitiven Speicher- und Wartungsaufwand. Darüber hinaus verlassen sich bestehende adaptive Methoden oft auf Retraining oder scheitern daran, einen glatten Kompromiss zwischen Präzision und Effizienz zu bieten, ohne dass es bei der Entfernung von Komponenten zu katastrophalen Leistungsabfällen kommt.

Methodik: Drop-by-Drop (DbyD)

Die Autoren schlagen Drop-by-Drop vor, ein neuartiges Post-Training-Quantisierungs-Framework (PTQ), das es einem einzigen trainierten Modell ermöglicht, auf mehreren Präzisionsstufen zu operieren, ohne ein Retraining durchzuführen. Die Methode basiert auf der Informationstheorie und baut auf der Additiven Quantisierung (AQLM) auf.

Theoretische Grundlage

Der Ansatz wird durch das Konzept der sukzessiven Quellenverfeinerung (successive source refinement) motiviert. Die Arbeit stellt ein theoretisches Theorem auf, das beweist, dass Gaußsche Quellen (die LLM-Gewichte empirisch approximieren) unter einem Maß für den gewichteten mittleren quadratischen Fehler (Weighted Mean Squared Error, WMSE) sukzessiv verfeinerbar sind. Dieses Distorsionsmaß leitet sich aus den Verlustfunktionen von LLMs ab, wobei der Fehler durch die Eingangsdatenmatrix $X$ gewichtet wird. Das Theorem zeigt, dass eine Quelle so kodiert werden kann, dass das sukzessive Hinzufügen von Bits progressiv genauere Rekonstruktionen liefert, ohne eine Ratenstrafe gegenüber der direkten Kodierung auf dem Ziel-Distorsionsniveau zu verursachen.

Algorithmische Implementierung

Drop-by-Drop passt das AQLM-Framework an, welches Gewichte als Summen von Vektoren aus mehreren gelernten Codebüchern darstellt.

Additive Codebücher: Anstatt einer einzelnen Quantisierungsstufe werden die Gewichte als Summe von Vektoren rekonstruiert, die aus $M$ verschiedenen Codebüchern ausgewählt werden.
Matryoshka-ähnliche Supervision: Um sicherzustellen, dass Teilrekonstruktionen dieser Codebücher präzise Ergebnisse liefern, führen die Autoren eine spezialisierte Verlustfunktion während des Trainings ein. Dieser Verlust aggregiert die WMSE-Distorsionen der Teilrekonstruktionen unter Verwendung der ersten $k$ $k$ Codebücher (für $k = 1, \dots, M$ $k = 1, \dots, M$ ).
- $L_{DbyD} = \sum_{k=1}^{K} \lambda_k D^{(k)}$ , wobei $D^{(k)}$ die Distorsion unter Verwendung der ersten $k$ Codebücher ist.
- Diese „Matryoshka“-Supervision ermutigt die ersten Codebücher explizit dazu, grobe, fundamentale Merkmale zu erfassen, während nachfolgende Codebücher feinere Verfeinerungen liefern.
Flexibilität zur Inferenzzeit: Zur Inferenzzeit kann das Modell seine Präzision dynamisch anpassen, indem es Codebücher verwirft (dropping). Ein Gerät mit strengen Beschränkungen kann nur die ersten paar Codebücher verwenden (z. B. $k=3$ ), während ein ressourcenreiches Gerät alle $M$ Codebücher nutzen kann. Dies ermöglicht es einem einzigen Checkpoint, mehrere Bitbreiten zu bedienen.

Zentrale Beiträge

Theoretischer Beweis: Die Arbeit beweist, dass Gaußsche Quellen unter dem für LLMs relevanten WMSE-Distorsionsmaß sukzessiv verfeinerbar sind, was eine theoretische Basis für progressive Quantisierung ohne Ratenverlust bietet.
Drop-by-Drop Framework: Ein praktisches PTQ-Framework, das Matryoshka-Supervision in das additive Codebuch-Training integriert und so ein einziges Modell durch das Verwerfen von Codebüchern zur Unterstützung mehrerer Präzisionsstufen befähigt.
Empirische Validierung: Umfangreiche Experimente über diverse Architekturen hinweg (Qwen, LLaMA, Gemma, Mistral) zeigen, dass Drop-by-Drop eine konkurrenzfähige Perplexität und Aufgaben-Genauigkeit über den gesamten unterstützten Bereich der Bitbreiten beibehält und im Vergleich zum Standard-AQLM einen graduellen Leistungsabfall aufweist, wenn Codebücher verworfen werden.

Experimentelle Ergebnisse

Die Autoren evaluierten Drop-by-Drop auf Modellen mit einer Größe von 0,5B bis 32B Parametern unter Verwendung von WikiText-2, C4 und fünf Zero-Shot-Reasoning-Benchmarks (ARC, HellaSwag, Winogrande, PIQA).

Perplexität: Drop-by-Drop-Varianten übertrafen konsistent die Baseline-Methode „AQLM (Drop)“, bei der ein Standard-AQLM-Modell trainiert und die Codebücher zur Inferenz einfach verworfen werden. Beispielsweise verzeichnete die Standard-AQLM (Drop)-Methode bei Mistral-7B mit 3-Bit-Präzision einen massiven Anstieg der Perplexität (112,75), während Drop-by-Drop (Weighted) eine Perplexität von 6,19 beibehielt und damit die Leistung einzeln trainierter Modelle eng nachbildete.
Genauigkeit: In Zero-Shot-Aufgaben erreichte Drop-by-Drop (Weighted) Genauigkeitswerte, die über alle Bitbreiten hinweg mit den einzeln trainierten Modellen (AQLM Ind.) vergleichbar sind.
Effizienz: Die Methode eliminiert die Notwendigkeit, separate Modelle für verschiedene Bitbreiten zu trainieren und zu speichern. Abbildung 8 illustriert, dass herkömmliche Methoden zwar kumulative Trainingszeiten und Speicherplatz für drei separate Modelle (3-Bit, 4-Bit, 5-Bit) erfordern, Drop-by-Drop jedoch nur einen einzigen Trainingslauf und eine einzige Speicherinstanz benötigt, während es eine ähnliche Leistung beibehält.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass Drop-by-Drop die Lücke zwischen der informationstheoretischen Theorie der sukzessiven Verfeinerung und der praktischen LLM-Quantisierung schließt. Ihre primäre Bedeutung liegt in der Ermöglichung einer adaptiven Präzisionssteuerung zur Inferenzzeit ohne Retraining oder Rekalibrierung. Durch die Erlaubnis eines einzelnen Modells, seinen effektiven Ressourceneinsatz an die Fähigkeiten des Einsatzgeräts anzupassen, adressiert die Methode die praktischen Herausforderungen beim Einsatz von LLMs auf heterogener Hardware. Die Autoren positionieren dies als eine neuartige Verbindung zwischen Multi-Bitbreiten-PTQ und sukzessiver Verfeinerung, die eine Lösung für das hardwarebewusste dynamische Laden zur Laufzeit und die gemischte Präzisionsquantisierung in realen Szenarien bietet.