🤖 machine learning

Float8@2bits: Entropy Coding Enables Data-Free Model Compression

Het artikel introduceert EntQuant, een data-vrij post-training compressiekader dat entropiecodering benut om state-of-the-art extreme bit-rate compressie (onder de 4 bits) te bereiken voor grote modellen zoals 70B parameters in minder dan 10 minuten, waarbij het succesvol de snelheid en universaliteit van data-vrije methoden verenigt met de hoge getrouwheid die gewoonlijk kalibratiedata vereist.

Oorspronkelijke auteurs: Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek met boeken hebt (een Large Language Model). Om deze boeken op een klein apparaat zoals een smartphone te kunnen lezen, moet je ze verkleinen. Meestal zijn er twee manieren om dit te doen:

De "Snel & Slordig" Manier: Je fotocopieert de boeken snel naar piepkleine indexkaarten. Het is snel en vereist geen extra onderzoek, maar als je ze te veel verkleint (onder de 4 bits), worden de woorden wartaal en stort het verhaal in.
De "Langzaam & Perfect" Manier: Je huurt een team van redacteuren in die elke zin zorgvuldig herschrijven, met behulp van een specifieke set referentieboeken om ervoor te zorgen dat de betekenis perfect blijft. Dit werkt geweldig, maar het duurt dagen, vereist veel dure computers en je hebt toegang nodig tot de originele referentieboeken (die vaak niet bestaan of privé zijn).

Maak kennis met EntQuant: Het artikel introduceert een nieuwe methode genaamd EntQuant die fungeert als een soort "magische krimpstraal" die het beste van beide werelden combineert. Het is snel, heeft geen referentieboeken nodig en houdt het verhaal intact, zelfs wanneer het tot een extreme grootte wordt gekrompen.

Zo werkt het, gebruikmakend van eenvoudige analogieën:

1. Het Probleat: De "Vaste Doos" Valstrik

Huidige methoden dwingen de woorden van de bibliotheek in vaste dozen met een bepaalde grootte.

Als je ruimte wilt besparen, moet je kleine doosjes gebruiken (lage bits).
Maar kleine doosjes kunnen slechts een paar specifieke woorden bevatten. Als de bibliotheek een complexe gedachte wil uitdrukken, loopt het vast omdat de doos te klein is. Dit is waarom huidige methoden falen wanneer ze proberen modellen onder de 4 bits te krimpen; ze raken hun "expressieve kracht" kwijt.

2. De Oplossing: Het "Slimme Archiefsysteem"

EntQuant verandert de regels. In plaats van woorden in kleine doosjes te dwingen, houdt het de woorden in standaard, hoogwaardige dozen (zoals Float8 of Int8), maar organiseert het ze zo slim dat ze bijna geen ruimte innemen.

Denk aan een verhuisdienst voor het inpakken:

De Oude Manier: Je moet je meubels in vooraf bepaalde kratten passen. Als je een enorme bank hebt, moet je hem in stukken snijden om in een kleine krat te passen.
De EntQuant Manier: Je houdt de meubels heel (hoge precisie), maar je plaatst ze zo compact dat de vrachtwagen bijna leeg is. Je gebruikt een "slim algoritme" om de items zo efficiënt te verpakken dat de vrachtwagen voor 90% uit lucht bestaat, terwijl de items perfect bewaard blijven.

3. Het Geheim: "Entropy Coding"

Het artikel maakt gebruik van een techniek genaamd Entropy Coding (specifiek iets dat ANS wordt genoemd).

Stel je voor dat je een geheime code schrijft. Als de letter "E" 50% van de tijd voorkomt, geef je het een zeer korte code (zoals "1"). Als "Z" zelden voorkomt, geef je het een langere code (zoals "11010").
EntQuant "traint" het model eerst om bepaalde getallen vaker te gebruiken dan andere (waardoor de data "lage entropie" krijgt).
Vervolgens gebruikt het deze slimme codering om de data te comprimeren. Omdat de getallen voorspelbaar zijn, kan de computer ze opslaan met minder dan 2 bits per parameter aan gemiddeld, ook al worden de getallen zelf nog steeds in formaten met een hoge precisie opgeslagen.

4. Waarom dit een Groot Ding is

Geen "Kalibratie" Nodig: De meeste hoogwaardige compressiemethoden hebben een "proefrit" nodig met een dataset om het model af te stemmen. EntQuant is data-vrij. Je kunt een model nemen, het in minder dan 10 minuten comprimeren, en het werkt gewoon. Dit is cruciaal voor private of gespecialiseerde modellen waarbij je de trainingsdata niet hebt.
Extreme Compressie: Het slaagt erin om enorme modellen (zoals een 70-miljard parameters model) te comprimeren tot een grootte die op een consumenten-grafische kaart past, terwijl het model slim genoeg blijft om complexe instructies op te volgen en wiskundige problemen op te lossen.
Snelheid: Hoewel het de data enigszienstins tijdens het lezen (decoderen), laat het artikel zien dat dit op moderne computers zo snel gebeurt dat de vertraging verwaarloosbaar is (ongeveer 1,5 tot 2 keer trager dan het origineel, wat nog steeds erg snel is).

De Kern van het Verhaal

De auteurs, Patrick Putzky en Martin Genzel (en hun team bij Merantix Momentum), hebben een hulpmiddel gecreëerd waarmee je gigantische AI-modellen kunt verkleinen tot de omvang van een kleine koffer zonder hun intelligentie te verliezen, en je kunt dit direct doen zonder dat je extra data nodig hebt. Het is alsoort bij het passen van een 70 voet lange jacht in een rugzak zonder dat deze kapot gaat.

Belangrijkste les: Ze hebben de regel doorbroken die zei dat "om ruimte te besparen, je kwaliteit moet verliezen." Door een slim archiefsysteem (entropy coding) te gebruiken in plaats van simpelweg de data in stukken te hakken, hebben ze de kwaliteit hoog gehouden terwijl ze een extreme omvangvermindering bereikten.

Kernpunt: Ze hebben de regel doorbroken die stelde dat "om ruimte te besparen, je kwaliteit moet verliezen." Door een slim archiefsysteem (entropy coding) te gebruiken in plaats van simpelweg de data in stukken te hakken, hebben ze de kwaliteit hoog gehouden terwijl ze een extreme omvangvermindering bereikten.

Technische Samenvatting: EntQuant – Entropy Coding maakt Data-vrije Modeltcompressie mogelijk

1. Probleemstelling

Post-training kwantisatie (PTQ) voor Large Language Models (LLM's) staat momenteel voor een dichotomie tussen toegankelijkheid en getrouwheid (fidelity).

Data-vrije Methoden (Niveau 1): Technieken zoals NF4 en Half-Quadratic Quantization (HQQ) zijn snel, model-agnostisch en vereisen geen kalibratiedata. Ze lijden echter aan "functionele instorting" wanneer ze onder de 4 bits worden gecomprimeerd, waarbij ze er niet in slagen de modelprestaties te behouden.
Data-afhankelijke Methoden (Niveaus 2–4): Benaderingen die gebruikmaken van kalibratiedata of hersteltraining (bijv. QuIP#, EfficientQAT) bereiken een superieure getrouwheid bij extreme bit-rates, maar leggen hoge computationele kosten op en vereisen toegang tot trainingscorpora. Dit is vaak onmogelijk voor gespecialiseerde instructie-getunede of redeneermodellen vanwege datasoevereiniteit, juridische beperkingen (bijv. AVG/GDPR), of de onbeschikbaarheid van trainingsdata.

Bestaande methoden koppelen de compressieratio strikt aan de representatieve bitbreedte. Om een 8× compressie te bereiken, dwingen standaard frameworks gewichten in een 2-bit representatie (4 verschillende waarden), wat een gebrek aan expressiviteit heeft om complexe gewichtsdistributies te modelleren, wat leidt tot prestatievermindering.

2. Methodologie: EntQuant

De auteurs introduceren EntQuant, een framework dat de opslagkosten ontkoppelt van de representatieve precisie door entropie-codering direct in de kwantisatie-pipeline te integreren.

Kernconcept

In plaats van gewichten in een rigide laag-bit formaat te dwingen (bijv. Int2), behoudt EntQuant een hogere-precisie representatie (Float8 of Int8), maar optimaliseert het de gewichtswaarden om hun entropie te minimaliseren. Deze laag-entropie gewichten worden vervolgens verliesloos gecomprimeerd met een Asymmetric Numeral Systems (ANS) coder. Hierdoor kan het model een willekeurige effectieve bit-rate bereiken (totdown naar ~2 bits per parameter) terwijl het de volledige dynamische reikwijdte van het basisformaat behoudt tijdens inferentie.

Technische Componenten

Entropie-beperkte Optimalisatie:
- Het doel is om de empirische entropie van gekwantiseerde gewichten $W_q$ te minimaliseren onder een reconstructiefout-restrictie.
- Omdat directe entropie-minimalisatie niet-differentieerbaar is, formuleren de auteurs een relaxte Lagrangiaanse doelstelling:
  $\min_{W_q} d(W, \hat{W}) + \lambda R(W_q)$
  waarbij $d$ de relatieve $\ell_1$ -loss is (robuust tegen uitschieters) en $R(W_q) = \|W_q\|_1$ dient als een differentieerbare proxy voor entropie.
- De optimalisatie wordt per laag uitgevoerd met behulp van L-BFGS, waarbij alleen de kanaal-gewijze schalingparameters $S$ worden afgestemd, geïnitialiseerd via het AbsMax-algoritme.
Gewicht-encodering:
- Geoptimaliseerde gewichten worden platgeslagen tot een symboolstroom en gecomprimeerd met een op de GPU geoptimaliseerde ANS-coder (via NVIDIA's nvCOMP).
- De uiteindelijke opslag bestaat uit de gecomprimeerde bitstream, de schalingparameters en metadata. De overhead van de schalingen is verwaarloosbaar ( $<1\%$ ).
Inference-tijd Decodering:
- In tegenstelling tot traditionele offline compressie, integreert EntQuant decodering in de inferentie-pipeline.
- Gewichten worden opgeslagen als een compacte bitstream in het VRAM. Vóór de forward pass van een transformer-blok decomprimeert een geparallelliseerde ANS-decoder de gewichten on-the-fly naar een buffer.
- Deze blok-gewijze decompressiestrategie, geïnspireerd door DFloat11, staat een dichte afwisseling toe tussen decompressie en forward kernels, waardoor de GPU-benutting hoog blijft.
Afhandeling van Super-gewichten:
- Voor Int8 basisformaten bevat de methode een mechanisme om "super-gewichten" (extreme uitschieters in vroege down-projectie lagen) te detecteren en uit te sluiten van de entropie-optimalisatie, wat prestatie-instorting voorkomt, vergelijkbaar met methoden die expliciete outlier-afhandeling vereisen.

3. Belangrijkste Bijdragen

Kalibratie-vrije Extreme Compressie: EntQuant maakt post-training kwantisatie mogelijk tot effectieve 2-bit rates zonder hersteltraining of kalibratiedata. Het is een Niveau-1 methode die geschikt is voor modellen waarbij toegang tot data beperkt is.
Ontkoppeling van Compressieratio en Bitbreedte: De methode verbreekt de strikte koppeling tussen opslaggrootte en kwantisatieprecisie. Het bereikt laag-bit opslagkosten (bijv. 2.1 bits/parameter) terwijl het de expressiviteit van Float8 of Int8 behoudt, waardoor de functionele instorting die wordt gezien bij vaste 2-bit kwantisatie wordt vermeden.
Vereenvoudigde Outlier-afhandeling: Door kanaal-gewijze schaling en entropie-optimalisatie te gebruiken, concentreert EntQuant de precisie op natuurlijke wijze waar nodig, zonder complexe groeperingsschema's of expliciete outlier-detectie (hoewel het optioneel super-gewichten kan uitsluiten voor Int8).
Hoge-snelheid Optimalisatie: De compressiefase is zeer efficiënt en duurt minder dan 10 minuten voor een 70B parameter model, vergelijkbaar met snelle data-vrije methoden zoals HQQ.

4. Experimentele Resultaten

De auteurs hebben EntQuant geëvalueerd over meer dan 480 runs op 16 open-weight LLM's (inclusief LLaMA-1/2/3, Qwen3, OLMo en Mistral Large).

Data-vrije Prestaties: EntQuant presteert aanzienlijk beter dan bestaande data-vrije methoden (HQQ, NF4) in het 2–3 bit regime. Terwijl HQQ en NF4 functionele instorting vertonen (bijv. perplexiteit die explodeert naar $>1000$ ) bij 2 bits, behoudt EntQuant bruikbare prestaties (bijv. 2.1 bits op LLaMA-2 70B levert een perplexiteit van 6.47 versus 32.24 voor HQQ).
Vergelijking met Kalibratiemethoden: EntQuant bereikt resultaten die vergelijkbaar zijn met state-of-the-art kalibratie- en fine-tuningmethoden (bijv. QuIP#, EfficientQAT) bij 3 bits, met slechts een kleine kloof bij 2 bits. Cruciaal is dat het dit bereikt zonder toegang te vereisen tot trainingsdata.
Instructie-getunede Modellen: EntQuant behoudt sterke prestaties op instructie-volgende (IFEval), wiskundig redeneren (GSM8K CoT) en wetenschappelijk redeneren (GPQA) benchmarks, terwijl andere data-vrije methoden catastrofaal falen op deze gespecialiseerde taken.
Inference Overhead: EntQuant is ongeveer 1.5–2× trager dan de BFloat16 baseline, maar komt overeen met de inferentiesnelheid van NF4. De decompressie-overhead wordt geamortiseerd over langere sequentielengtes.
Geheugenefficiëntie: Een 70B parameter model gecomprimeerd naar 2.1 effectieve bits past binnen ~18.8 GiB aan gecomprimeerde gewichten, waardoor implementatie op consumenten-GPU's (bijv. 32 GiB RTX 5090) mogelijk is bij 3 bits of lager.

5. Betekenis en Claims

Het artikel beweert dat EntQuant een paradigmaverschuiving vertegenwoordigt door klassieke principes van informatietheorie (het scheiden van discretisatie van efficiënte representatie) toe te passen op moderne Large Foundation Models.

De Barrière Doorbreken: Het wordt gepresenteerd als de eerste methode die functionele extreme compressie (onder de 3 bits) kan bereiken op een volledig data-vrije manier, waarmee de prestatiebarrières van vaste bit-breedte kwantisatie-benaderingen worden overwonnen.
Praktisch Nut: Door de implementatie van enorme modellen (bijv. 70B+) op consumentenhardware mogelijk te maken zonder de noodzaak van kalibratiedata of hertraining, adresseert EntQuant de kritieke bottleneck van geheugenbeperkingen in scenario's voor zelf-hosting.
Toegankelijkheid: De methode democratiseert de toegang tot frontier-modellen, waardoor onmiddellijke adoptie van nieuw uitgebrachte modellen (wekelijkse cadans) mogelijk is zonder de meer uren durende kalibratie-pipelines die vereist zijn door andere hoog-getrouwe methoden.

De auteurs erkennen dat hoewel EntQuant momenteel een bescheiden inferentie-vertraging veroorzaakt vergeleken met ongecomprimeerde baselines, dit een pre-kernel-optimalisatie fase is, vergelijkbaar met de vroege GPTQ-implementaties, wat suggereert dat significante toekomstige versnellingen mogelijk zijn met toegewijde gefuseerde kernels.