EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices

EntroLLM is een post-training compressieframework dat gemengde kwantisatie combineert met entropiecodering om opslagvereisten aanzienlijk te verminderen en de inferentie voor grote taalmodellen op randapparaten te versnellen zonder hertraining.

De kern

Stel je voor dat je een enorme bibliotheek met boeken hebt (een Large Language Model) die je in je rugzak wilt dragen om te lezen tijdens het wandelen (op een randapparaat zoals een smartphone of een kleine robot). Het probleem is dat de bibliotheek te zwaar en te groot is om in je rugzak te passen, en zelfs als dat zou lukken, zouden je armen moe worden van het proberen om de boeken één voor één eruit te trekken om ze te lezen.

Het artikel introduceert een nieuwe methode genaamd EntroLLM om dit op te lossen. Denk hierbij aan een drie-stappen magische truc om de bibliotheek kleiner en makkelijker draagbaar te maken zonder dat er verhalen uit verloren gaan.

1. De "spike"-sortering (Mixed Quantization)

Normaal gesproken proberen mensen deze bibliotheken te verkleinen door de getallen in de boeken af te ronden om ze simpeler te maken (zoals het afronden van 3,14159 naar 3,14). Dit heet quantisatie. Echter, standaardmethoden zorgen er vaak voor dat de getallen te "vlak" en willekeurig lijken, wat moeilijk verder te comprimeren is.

De truc van de auteurs is om elk hoofdstuk (of "laag") van het boek individueel te bekijken. Afhankelijk van hoe de getallen in dat specifieke hoofdstuk zijn verdeeld, kiezen ze een speciale manier om ze af te ronden:

• Unsigned Quantization: Alsof je alleen positieve stappen telt.
• Asymmetric Quantization: Alsof je het nulpunt verschuift om de getallen beter te laten passen.

Door dit te doen, worden de getallen in de bibliotheek "spiky". Stel je een bergketen voor waar de meeste pieken strak gegroepeerd zijn in het midden, met zeer weinig extreme uitschieters. Deze "spike"-vorm is veel makkelijker te comprimeren dan een vlak, willekeurig landschap.

2. Het "afkortingen"-woordenboek (Huffman Coding)

Zodra de getallen in dit "spike"-patroon zijn gesorteerd, gebruiken de auteurs een techniek genaamd Huffman-codering.

Denk hierbij aan het schrijven van een geheime code voor de bibliotheek. In het Engels komt de letter "E" heel vaak voor, dus je zou kunnen besluiten om "E" weer te geven met een enkele stip (•), terwijl een zeldzame letter zoals "Z" een lange code krijgt (•••••).

• Omdat de "spike"-sortering ervoor zorgde dat bepaalde numerieke waarden zeer vaak voorkomen, geeft de code die veelvoorkomende getallen zeer korte, kleine labels.
• De zeldzame getallen krijgen langere labels.

Dit verkleint de totale omvang van de bibliotheek aanzienlijk. Het artikel beweert dat deze stap de compressie 7 tot 11 keer beter maakt dan huidige topmethodes. Het is alsof je een boek van 100 pagina's verandert in een pamflet van 10 pagina's zonder het verhaal te veranderen.

3. De "teamlezing"-strategie (Parallel Decoding)

Hier zit het lastige deel: Normaal gesproken moet je, om een geheime code te lezen, deze letter voor letter van begin tot eind lezen. Als je een enorme bibliotheek hebt, duurt dit eeuwen, en blijft je rugzak (het apparaat) vastzitten in de wachtstand.

De auteurs beseften dat, hoewel de code kort is, de boeken nog steeds georganiseerd zijn in grote blokken (tensors). Dus sneden ze de bibliotheek op in vele aparte, onafhankelijke secties.

• In plaats van dat één persoon de hele code sequentieel leest, huren ze een team van lezers (parallelle threads) in.
• Elke lezer pakt een ander stuk van de bibliotheek en decodeert tegelijkertijd hun sectie.
• Omdat de blokken onafhankelijk zijn, hoeven ze niet op elkaar te wachten.

Dit betekent dat, hoewel de bibliotheek klein en gecomprimeerd is, het apparaat de boeken bijna direct kan "uitpakken" wanneer dat nodig is, waardoor de leessnelheid zeer hoog is.

De resultaten: Een lichtere, snellere rugzak

De auteurs hebben dit getest op drie verschillende "bibliotheken" (AI-modellen) van uiteenlopende grootte op een klein apparaat (een NVIDIA JETSON, wat een krachtige maar tiny computer is).

• Opslag: Ze bespaarden tot 30% meer ruimte in vergelijking met standaard 8-bit modellen en 65% meer in vergelijking met 4-bit modellen.
• Snelheid: Omdat er minder data verplaatst hoefde te worden, kon het apparaat 30% tot 146% sneller denken (infereren).
• Nauwkeurigheid: De "verhalen" (de antwoorden van de AI) bleven even accuraat als de originele, niet-verkleinde bibliotheek.

Kortom: EntroLLM is een manier om een gigantisch AI-brein in een tiny rugzak te proppen door de data te organiseren in een "spike"-vorm, het te schrijven in een super-efficiënt afkortingsschrift, en een team van werkers het allemaal tegelijkertijd te laten uitpakken. Dit maakt het mogelijk om slimme AI uit te voeren op kleine, op batterijen werkende apparaten zonder een supercomputer nodig te hebben.

Technische samenvatting

Technische Samenvatting van EntroLLM: Entropie-gecodeerde gewichtcompressie voor efficiënte inferentie van grote taalmodellen op randapparaten

Probleemstelling
Grote Taalmodellen (LLM's) ondervinden aanzienlijke belemmeringen voor implementatie op randapparaten met beperkte hulpbronnen vanwege hun enorme aantal parameters. Zelfs kleinere modellen, zoals mistral-7B-Instruct, vereisen meer dan 14 GB geheugen in 16-bits drijvende-kommavormaat (fp16), wat de capaciteit van de meeste randhardware overstijgt. Bijgevolg is de primaire bottleneck voor LLM-inferentie, met name bij generatieve taken, de geheugenbandbreedte en niet de rekenkracht. Hoewel kwantisatie de modelgroottes heeft verkleind, blijft verdere compressie zonder inlevering van nauwkeurigheid een uitdaging, vooral voor kleinere LLM's (≤10B parameters) die zijn ontworpen voor randtoepassingen. Bestaande methoden vereisen vaak hertraining of halen onvoldoende compressiefactoren voor praktische implementatie op randapparaten.

Methodologie
De auteurs stellen EntroLLM voor, een compressieframework dat gemengde kwantisatie integreert met entropiecodering (specifiek Huffman-codering) om de eisen voor opslag en geheugenbandbreedte te verlagen zonder hertraining. De methodologie bestaat uit drie kerncomponenten:

1. Gemengd Kwantisatieschema: In tegenstelling tot standaard blokgebaseerde kwantisatie, die integer-verdelingen platmaakt en de entropie verhoogt, hanteert EntroLLM een tensor-niveau gemengde kwantisatiestrategie. Gebaseerd op de specifieke gewichtsverdeling van elke laag, past het framework ofwel unsigned kwantisatie ofwel asymmetrische kwantisatie toe. Deze aanpak behoudt een "spikier" verdeling van integer-codes, wat de entropie aanzienlijk verlaagt en de compressibiliteit vergroot in vergelijking met state-of-the-art (SOTA) blokgebaseerde methoden.
2. Huffman-gewichtscodering: Door gebruik te maken van de lage-entropieverdelingen die door de gemengde kwantisatie worden gegenereerd, past het framework Huffman-codering toe op de gekwantiseerde gewichten. Deze verliesvrije compressietechniek wijst kortere variabele-lengte bitcodes toe aan frequente gewichtswaarden en langere codes aan zeldzame waarden. Deze stap verlaagt verder de effectieve bit-breedte van de modelparameters, waardoor de opslagoverhead en de eisen voor geheugenbandbreedte worden geminimaliseerd.
3. Parallelle Decodestrategie: Om de latentieproblemen die inherent zijn aan sequentiële entropiedecodering aan te pakken, implementeren de auteurs een parallelle decodermecanisme. Door de gecodeerde parameterruimte te segmenteren terwijl de oorspronkelijke gewicht-tensorstructuur behouden blijft, kan het systeem verschillende gecodeerde tensoren (chunks) gelijktijdig decoderen over meerdere CPU-draden. Dit ontwerp elimineert de seriële bottleneck, waardoor realtime verwerking op randhardware mogelijk wordt.

Belangrijkste Bijdragen

• Laagspecifieke Gemengde Kwantisatie: Een strategie die opslag-efficiëntie en modelprestaties in evenwicht brengt door per laag te kiezen tussen unsigned en asymmetrische kwantisatie, waardoor de downstream entropiecompressibiliteit tot 8,1× (8-bit) en 13,1× (4-bit) wordt verbeterd ten opzichte van SOTA-technieken.
• Entropie-gebaseerde Huffman-codering: De toepassing van Huffman-codering op gekwantiseerde gewichten om verdere verliesvrije compressie te bereiken terwijl de nauwkeurigheid behouden blijft.
• Implementatie van Parallelle Decoding: Een nieuw partitioneringsschema dat parallelle decoding van Huffman-gecodeerde gewichten mogelijk maakt, waardoor de latentie op randapparaten wordt gemitigeerd.
• Uitgebreide Evaluatie: Validatie op meerdere LLM's van rand-schaal (smolLM-1.7B, phi3-mini-4k, mistral-7B) die aanzienlijke opslagefficiency en verminderde inferentielatentie aantonen.

Experimentele Resultaten
Experimenten werden uitgevoerd op LLM's van rand-schaal (smolLM-1.7B, phi3-mini-4k, mistral-7B) die zijn ingezet op de NVIDIA JETSON P3450.

• Opslagefficiëntie: EntroLLM bereikt tot 30% opslagefficiency ten opzichte van uint8-modellen en 65% besparing ten opzichte van uint4-modellen. Voor het phi3-mini-4k-model werd de effectieve bit-breedte na Huffman-codering verlaagd tot 5,58 bits (van 8-bit) en 1,39 bits (van 4-bit).
• Inferentielatentie: Op geheugenbeperkte apparaten toonde het framework 31,9% tot 146,6% snellere inferentie in vergelijking met standaard gekwantiseerde modellen. Specifiek voor uint4-gewichten op het phi3-mini-4k-model verbeterde de latentie voor token-generatie met 146,6% en de pre-fill-tijd met 13,3%.
• Nauwkeurigheid: De methode vereist geen hertraining en behoudt prestaties die vergelijkbaar zijn met full-precision en standaard gekwantiseerde modellen over benchmarks zoals WIKITEXT2 (perplexiteit), HELLASWAG (nauwkeurigheid) en GSM8K COT (nauwkeurigheid).
• Decoderingsoverhead: Parallelle decoding zorgt ervoor dat de decompressie-overhead verwaarloosbaar is. Het decoderen van 4-bit-gewichten duurde bijvoorbeeld slechts 1,66 seconden, een klein deel van de totale inferentietijd, en de kosten worden afgeschreven over veel gegenereerde tokens.

Betekenis en Beweringen
Het artikel beweert dat EntroLLM een praktische oplossing biedt voor het implementeren van LLM's op randapparaten door de bottleneck van geheugenbandbreedte aan te pakken via efficiënte gewichtcompressie. Het framework is significant omdat het compatibel is met bestaande post-training kwantisatiepijplijnen en geen hertraining vereist, waardoor het direct toepasbaar is op huidige modellen. Door tensor-niveau gemengde kwantisatie te combineren met parallelle Huffman-decoding, maakt EntroLLM realtime, laag-energie inferentie mogelijk die geschikt is voor tijdkritische toepassingen zoals robotica en IoT, terwijl de nauwkeurigheid van de oorspronkelijke modellen behouden blijft. De auteurs merken op dat toekomstig werk adaptieve entropiecodering en hardware-bewuste optimalisaties zal verkennen.