🤖 machine learning

Float8@2bits: Entropy Coding Enables Data-Free Model Compression

Das Paper stellt EntQuant vor, ein datenfreies Post-Training-Kompression-Framework, das Entropiekodierung nutzt, um eine State-of-the-Art-Extremkompression bei extrem niedrigen Bitraten (unter 4 Bit) für große Modelle wie 70 Milliarden Parameter in unter 10 Minuten zu erreichen, wobei es erfolgreich die Geschwindigkeit und Universalität datenfreier Methoden mit der hohen Wiedergabetreue vereint, die typischerweise Kalibrierungsdaten erfordert.

Ursprüngliche Autoren: Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Bibliothek von Büchern (ein Large Language Model). Um diese Bücher auf einem kleinen Gerät wie einem Smartphone zu lesen, müssen Sie sie verkleinern. Normalerweise gibt es zwei Wege, dies zu tun:

Der „Schnell & Schlampig“-Weg: Sie fotokopieren die Bücher schnell auf winzige Karteikarten. Das geht schnell und erfordert keine zusätzliche Recherche, aber wenn Sie sie zu stark verkleinern (unter 4 Bit), werden die Wörter zu Kauderwelsch und die Geschichte bricht zusammen.
Der „Langsam & Perfekte“ Weg: Sie engagieren ein Team von Redakteuren, die jeden Satz sorgfältig umschreiben, wobei sie ein spezielles Set an Referenzbüchern verwenden, um sicherzustellen, dass die Bedeutung perfekt bleibt. Das funktioniert großartig, dauert aber Tage, erfordert sehr leistungsstarke Computer und Sie benötigen Zugriff auf die ursprünglichen Referenzbücher (die oft nicht existieren oder privat sind).

Hier kommt EntQuant ins Spiel: Das Paper stellt eine neue Methode namens EntQuant vor, die wie ein „magischer Schrumpfstrahl“ wirkt und das Beste aus beiden Welten vereint. Es ist schnell, benötigt keine Referenzbücher und hält die Geschichte intakt, selbst wenn sie auf eine extreme Größe geschrumpft wird.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Das Problem: Die „Feste Box“-Falle

Aktuelle Methoden zwingen die Wörter der Bibliothek in fest dimensionierte Boxen.

Wenn Sie Platz sparen wollen, müssen Sie winzige Boxen verwenden (niedrige Bits).
Aber winzige Boxen können nur wenige spezifische Wörter enthalten. Wenn die Bibliothek eine komplexe Idee ausdrücken muss, bleibt sie stecken, weil die Box zu klein ist. Das ist der Grund, warum aktuelle Methoden scheitern, wenn sie versuchen, Modelle unter 4 Bit zu schrumpfen; ihnen geht die „Ausdruckskraft“ aus.

2. Die Lösung: Das „Intelligente Ablagesystem“

EntQuant ändert die Regeln. Anstatt die Wörter in winzige Boxen zu pressen, behält es die Wörter in Standard-Boxen mit hoher Qualität (wie Float8 oder Int8), aber organisiert sie so clever, dass sie fast keinen Platz beanspruchen.

Denken Sie an einen Umzugsservice:

Der alte Weg: Sie müssen Ihre Möbel in vorgefertigte Kisten passen. Wenn Sie ein riesiges Sofa haben, müssen Sie es zerschneiden, damit es in eine kleine Kiste passt.
Der EntQuant-Weg: Sie halten die Möbel ganz (hohe Präzision), aber Sie ordnen sie so dicht an, dass der Lastwagen fast leer ist. Sie nutzen einen „smarten Algorithmus“, um die Gegenstände so effizient zu packen, dass der LKW zu 90 % aus Luft besteht, die Gegenstände aber perfekt erhalten bleiben.

3. Das Geheimrezept: „Entropie-Kodierung“

Das Paper verwendet eine Technik namens Entropie-Kodierung (speziell etwas namens ANS).

Stellen Sie sich vor, Sie schreiben einen Geheimcode. Wenn der Buchstabe „E“ 50 % der Zeit vorkommt, geben Sie ihm einen sehr kurzen Code (wie „1“). Wenn „Z“ selten vorkommt, geben Sie ihm einen längeren Code (wie „11010“).
EntQuant trainiert das Modell zuerst darauf, bestimmte Zahlen häufiger als andere zu verwenden (was die Daten „low entropy“ macht bzw. die Entropie senkt).
Dann nutzt es diese smarte Kodierung, um die Daten zu komprimieren. Da die Zahlen vorhersehbar sind, kann der Computer sie mit weniger als 2 Bits pro Parameter im Durchschnitt speichern, obwohl die Zahlen selbst in hochpräzisen Formaten gespeichert sind.

4. Warum das eine große Sache ist

Keine „Kalibrierung“ nötig: Die meisten hochwertigen Kompressionsmethoden benötigen eine „Testfahrt“ mit einem Datensatz, um das Modell abzustimmen. EntQuant ist datenfrei. Sie können ein Modell nehmen, es in weniger als 10 Minuten komprimieren, und es funktioniert einfach. Dies ist entscheidend für private oder spezialisierte Modelle, bei denen Sie die Trainingsdaten nicht besitzen.
Extreme Kompression: Es komprimiert erfolgreich massive Modelle (wie ein 70-Milliarden-Parameter-Modell) auf eine Größe, die auf eine handelsübliche Grafikkarte passt, während das Modell intelligent genug bleibt, um komplexen Anweisungen zu folgen und mathematische Probleme zu lösen.
Geschwindigkeit: Obwohl die Daten beim Lesen leicht „entpackt“ werden müssen (Dekodierung), zeigt das Paper, dass dies auf modernen Computern so schnell geschieht, dass die Verlangsamung vernachlässigbar ist (etwa 1,5- bis 2-mal langsamer als das Original, was immer noch sehr schnell ist).

Das Fazit

Die Autoren, Patrick Putzky und Martin Genzel (und ihr Team bei Merantix Momentum), haben ein Werkzeug geschaffen, mit dem man riesige KI-Modelle auf die Größe eines kleinen Koffers schrumpfen kann, ohne deren Intelligenz zu verlieren – und das alles sofort und ohne zusätzliche Daten. Es ist, als könnte man eine 20 Meter lange Yacht in einen Rucksack packen, ohne dass sie dabei zerbricht.

Kernaussage: Sie haben die Regel gebrochen, die besagte: „Um Platz zu sparen, muss man an Qualität verlieren.“ Indem sie ein intelligentes Ablagesystem (Entropie-Kodierung) anstelle des bloßen Zerschneidens der Daten verwendeten, konnten sie die Qualität hoch halten und gleichzeitig eine extreme Größenreduktion erreichen.

Technisches Resümee: EntQuant – Entropiekodierung ermöglicht datenfreie Modellkompression

1. Problemstellung

Die Post-Training-Quantisierung (PTQ) für Large Language Models (LLMs) steht derzeit vor einem Dilemma zwischen Zugänglichkeit und Treue (Fidelity).

Datenfreie Methoden (Level 1): Techniken wie NF4 und Half-Quadratic Quantization (HQQ) sind schnell, modellagnostisch und benötigen keine Kalibrierungsdaten. Sie leiden jedoch unter einem „funktionalen Kollaps“, wenn sie unter 4 Bit komprimiert werden, wodurch die Modellleistung nicht aufrechterhalten werden kann.
Datenabhängige Methoden (Level 2–4): Ansätze, die Kalibrierungsdaten oder Recovery-Training nutzen (z. B. QuIP#, EfficientQAT), erreichen eine überlegene Treue bei extremen Bitraten, verursachen jedoch hohe Rechenkosten und erfordern Zugriff auf Trainingskorpora. Dies ist aufgrund von Datensouveränität, rechtlichen Beschränkungen (z. B. DSGVO) oder der Nichtverfügbarkeit von Trainingsdaten oft unmöglich für spezialisierte Instruction-tuned oder Reasoning-Modelle.

Bestehende Methoden koppeln die Kompressionsrate strikt an die repräsentative Bitbreite. Um eine 8-fache Kompression zu erreichen, zwingen Standard-Frameworks die Gewichte in eine 2-Bit-Repräsentation (4 distinkte Werte), der es an Expressivität mangelt, um komplexe Gewichtverteilungen abzubilden, was zu Leistungsdegradationen führt.

2. Methodik: EntQuant

Die Autoren führen EntQuant ein, ein Framework, das die Speicherkosten von der Repräsentationspräzision entkoppelt, indem es die Entropiekodierung direkt in die Quantisierungspipeline integriert.

Kernkonzept

Anstatt die Gewichte in ein starres Low-Bit-Format (z. B. Int2) zu zwingen, behält EntQuant eine höhere Präzisionsrepräsentation (Float8 oder Int8) bei, optimiert jedoch die Gewichtswerte, um deren Entropie zu minimieren. Diese nieder-entropischen Gewichte werden dann verlustfrei mittels eines Asymmetric Numeral Systems (ANS) Coders komprimiert. Dies ermöglicht es dem Modell, beliebige effektive Bitraten (bis hinunter zu ~2 Bits pro Parameter) zu erreichen, während es während der Inferenz den vollen Dynamikbereich des Basiformats beibehält.

Technische Komponenten

Entropie-beschränkte Optimierung:
- Das Ziel ist es, die empirische Entropie der quantisierten Gewichte $W_q$ unter Einhaltung einer Rekonstruktionsfehlerschranke zu minimieren.
- Da direkte Entropieminimierung nicht differenzierbar ist, formulieren die Autoren ein relaxiertes Lagrange-Ziel:
  $\min_{W_q} d(W, \hat{W}) + \lambda R(W_q)$
  wobei $d$ der relative $\ell_1$ -Verlust (robust gegenüber Ausreißern) ist und $R(W_q) = \|W_q\|_1$ als differenzierbarer Proxy für die Entropie dient.
- Die Optimierung erfolgt pro Schicht mittels L-BFGS, wobei nur die kanalweise Skalierungsparameter $S$ angepasst werden, die via AbsMax-Algorithmus initialisiert wurden.
Gewichtskodierung:
- Die optimierten Gewichte werden in einen Symbolstrom umgewandelt und mit einem GPU-optimierten ANS-Coder (via NVIDIAs nvCOMP) komprimiert.
- Der fertige Speicher besteht aus dem komprimierten Bitstream, den Skalierungsparametern und Metadaten. Der Overhead der Skalen ist vernachlässigbar ( $<1\%$ ).
Inferenz-Dekodierung:
- Im Gegensatz zur traditionellen Offline-Kompression integriert EntQuant die Dekodierung in die Inferenz-Pipeline.
- Die Gewichte werden als kompakter Bitstream im VRAM gespeichert. Vor dem Forward-Pass eines Transformer-Blocks dekomprimiert ein parallelisierter ANS-Decoder die Gewichte on-the-fly in einen Buffer.
- Diese blockweise Dekompressionsstrategie, inspiriert von DFloat11, ermöglicht eine dichte Abfolge zwischen Dekompression und Forward-Kernels, wodurch die GPU-Auslastung hoch bleibt.
Umgang mit Super-Gewichten:
- Für Int8-Basiformate beinhaltet die Methode einen Mechanismus zur Erkennung und zum Ausschluss von „Super-Gewichten“ (extreme Ausreißer in frühen Down-Projection-Layern) aus der Entropieoptimierung, um einen Leistungszusammenbruch wie bei Methoden mit expliziter Outlier-Handhabung zu verhindern.

3. Wichtigste Beiträge

Kalibrierungsfreie extreme Kompression: EntQuant ermöglicht die Post-Training-Quantisierung bis hin zu effektiven 2-Bit-Raten ohne Recovery-Training oder Kalibrierungsdaten. Es handelt sich um eine Level-1-Methode, die für Modelle geeignet ist, bei denen der Datenzugriff eingeschränkt ist.
Entkopplung von Kompressionsrate und Bitbreite: Die Methode bricht die strikte Kopplung zwischen Speichergröße und Quantisierungspräzision. Sie erreicht niedrige Low-Bit-Speicherkosten (z. B. 2,1 Bits/Parameter), behält aber die Expressivität von Float8 oder Int8 bei und vermeidet so den funktionalen Kollaps, der bei fester 2-Bit-Quantisierung auftritt.
Vereinfachte Outlier-Handhabung: Durch die Verwendung von kanalweiser Skalierung und Entropieoptimierung konzentriert EntQuant die Präzision natürlich dort, wo sie benötigt wird, ohne komplexe Grouping-Schemata oder explizite Ausreißererkennung (obwohl es optional Super-Gewichte ausschließen kann).
Hochgeschwindigkeits-Optimierung: Die Kompressionsphase ist hocheffizient und benötigt weniger als 10 Minuten für ein 70B-Parameter-Modell, vergleichbar mit schnellen datenfreien Methoden wie HQQ.

4. Experimentelle Ergebnisse

Die Autoren evaluierten EntQuant in über 480 Durchläufen auf 16 Open-Weight-LLMs (einschließlich LLaMA-1/2/3, Qwen3, OLMo und Mistral Large).

Datenfreie Leistung: EntQuant übertrifft bestehende datenfreie Methoden (HQQ, NF4) im 2–3 Bit-Bereich signifikant. Während HQQ und NF4 bei 2 Bits einen funktionalen Kollaps zeigen (z. B. Perplexity-Explosion auf $>1000$ ), hält EntQuant eine nutzbare Leistung aufrecht (z. B. liefert 2,1 Bits auf LLaMA-2 70B eine Perplexity von 6,47 gegenüber 32,24 bei HQQ).
Vergleich mit Kalibrierungsmethoden: EntQuant erreicht Ergebnisse, die mit State-of-the-Art-Kalibrierungs- und Fine-Tuning-Methoden (z. B. QuIP#, EfficientQAT) bei 3 Bits vergleichbar sind, mit nur einer geringen Lücke bei 2 Bits. Entscheidend ist, dass dies ohne Zugriff auf Trainingsdaten geschieht.
Instruction-getunte Modelle: EntQuant behält eine starke Leistung bei Benchmarks für Instruktionsfolgen (IFEval), mathematisches Denken (GSM8K CoT) und wissenschaftliches Denken (GPQA) bei, während andere datenfreie Methoden bei diesen spezialisierten Aufgaben katastrophal versagen.
Inferenz-Overhead: EntQuant ist etwa 1,5–2× langsamer als die BFloat16-Baseline, entspricht aber der Inferenzgeschwindigkeit von NF4. Der Dekompressions-Overhead wird über längere Sequenzen amortisiert.
Effizienz des Speichers: Ein 70B-Parameter-Modell, das auf 2,1 effektive Bits komprimiert wurde, passt in ~18,8 GiB komprimierte Gewichte, was den Einsatz auf Consumer-Grafikkarten (z. B. 32 GiB RTX 5090) bei 3 Bits oder weniger ermöglicht.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass EntQuant einen Paradigmenwechsel darstellt, indem es klassische Prinzipien der Informationstheorie (Trennung von Diskretisierung und effizienter Repräsentation) auf moderne Large Foundation Models anwendet.

Durchbrechen der Barriere: Es wird als die erste Methode präsentiert, die eine funktionale extreme Kompression (unter 3 Bits) rein datenfrei erreicht und damit die Leistungshürden klassischer Fixed-Bit-Width-Quantisierungsansätze überwindet.
Praktischer Nutzen: Durch die Ermöglichung des Einsatzes massiver Modelle (z. B. 70B+) auf Consumer-Hardware ohne die Notwendigkeit von Kalibrierungsdaten oder Retraining adressiert EntQuant den kritischen Engpass der Speicherbeschränkungen in Self-Hosting-Szenarien.
Zugänglichkeit: Die Methode demokratisiert den Zugang zu Frontier-Modellen, indem sie die sofortige Nutzung neu veröffentlichter Modelle (wöchentlicher Rhythmus) ermöglicht, ohne die mehrstündigen Kalibrierungs-Pipelines, die andere High-Fidelity-Methoden erfordern.

Die Autoren räumen ein, dass EntQuant derzeit eine moderate Verlangsamung der Inferenz gegenüber unkomprimierten Baselines aufweist, dies jedoch eine Pre-Kernel-Optimierungsphase ist, die der frühen GPTQ-Implementierung ähnelt, was darauf hindeutet, dass signifikante zukünftige Geschwindigkeitssteigerungen möglich sind.