EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices

EntroLLM ist ein Nachtrainings-Kompressionsframework, das gemischte Quantisierung mit Entropiekodierung kombiniert, um den Speicherbedarf erheblich zu reduzieren und die Inferenz für große Sprachmodelle auf Edge-Geräten ohne Nachtraining zu beschleunigen.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine riesige Bibliothek von Büchern (ein Large Language Model), die Sie in Ihrem Rucksack tragen möchten, um sie beim Wandern zu lesen (auf einem Edge-Gerät wie einem Smartphone oder einem kleinen Roboter). Das Problem ist, dass die Bibliothek zu schwer und zu groß ist, um in Ihren Rucksack zu passen, und selbst wenn Sie es könnten, würden Ihre Arme müde werden, nur weil Sie versuchen, die Bücher nacheinander herauszuziehen, um sie zu lesen.

Die Arbeit stellt eine neue Methode namens EntroLLM vor, um dieses Problem zu lösen. Denken Sie daran wie an einen dreistufigen Zaubertrick, der die Bibliothek kleiner und leichter zu tragen macht, ohne auch nur eine der Geschichten im Inneren zu verlieren.

1. Die „spitzige" Sortierung (Gemischte Quantisierung)

Normalerweise versuchen Menschen, diese Bibliotheken zu verkleinern, indem sie einfach die Zahlen in den Büchern abrunden, um sie zu vereinfachen (wie das Abrunden von 3,14159 auf 3,14). Dies wird als Quantisierung bezeichnet. Allerdings machen Standardmethoden die Zahlen oft zu „flach" und zufällig, was eine weitere Komprimierung erschwert.

Der Trick der Autoren besteht darin, jedes Kapitel (oder jede „Schicht") des Buches individuell zu betrachten. Je nachdem, wie die Zahlen in diesem spezifischen Kapitel verteilt sind, wählen sie eine spezielle Methode, um sie abzurunden:

• Vorzeichenlose Quantisierung: Wie das Zählen nur positiver Schritte.
• Asymmetrische Quantisierung: Wie das Verschieben des Nullpunkts, um die Zahlen besser anzupassen.

Dadurch werden die Zahlen in der Bibliothek „spitzig". Stellen Sie sich eine Bergkette vor, bei der die meisten Gipfel dicht in der Mitte gruppiert sind, mit sehr wenigen extremen Ausreißern. Diese „spitzige" Form ist viel leichter zu komprimieren als eine flache, zufällige Landschaft.

2. Das „Abkürzungs"-Wörterbuch (Huffman-Codierung)

Sobald die Zahlen in dieses „spitzige" Muster sortiert sind, verwenden die Autoren eine Technik namens Huffman-Codierung.

Denken Sie daran wie an das Schreiben eines Geheimschrift für die Bibliothek. Im Englischen kommt der Buchstabe „E" sehr häufig vor, also könnten Sie beschließen, „E" durch einen einzigen Punkt (•) darzustellen, während ein seltener Buchstabe wie „Z" einen langen Code erhält (•••••).

• Da die „spitzige" Sortierung bestimmte Zahlenwerte sehr häufig auftreten lässt, vergibt der Code diesen häufigen Zahlen sehr kurze, winzige Etiketten.
• Die seltenen Zahlen erhalten längere Etiketten.

Dies verkleinert die Gesamtgröße der Bibliothek erheblich. Die Arbeit behauptet, dass dieser Schritt die Komprimierung 7- bis 11-mal besser macht als aktuelle Spitzmethoden. Es ist, als würde man ein 100-seitiges Buch in eine 10-seitige Broschüre verwandeln, ohne die Geschichte zu verändern.

3. Die „Team-Lesung"-Strategie (Parallele Dekodierung)

Hier kommt der knifflige Teil: Normalerweise muss man, um einen Geheimschrift zu lesen, ihn Buchstabe für Buchstabe von Anfang bis Ende lesen. Wenn Sie eine riesige Bibliothek haben, dauert dies ewig, und Ihr Rucksack (das Gerät) bleibt stecken und wartet.

Die Autoren erkannten, dass, obwohl der Code kurz ist, die Bücher immer noch in großen Blöcken (Tensoren) organisiert sind. Also schneiden sie die Bibliothek in viele separate, unabhängige Abschnitte.

• Anstatt dass eine Person den gesamten Code sequenziell liest, stellen sie ein Team von Lesern (parallele Threads) ein.
• Jeder Leser greift sich einen anderen Abschnitt der Bibliothek und dekodiert seinen Abschnitt gleichzeitig.
• Da die Abschnitte unabhängig sind, müssen sie nicht aufeinander warten.

Das bedeutet, dass, obwohl die Bibliothek winzig und komprimiert ist, das Gerät die Bücher fast sofort „auspacken" kann, wenn sie benötigt werden, was die Lesegeschwindigkeit sehr hoch macht.

Die Ergebnisse: Ein leichterer, schnellerer Rucksack

Die Autoren testeten dies an drei verschiedenen „Bibliotheken" (KI-Modellen) unterschiedlicher Größe auf einem kleinen Gerät (einem NVIDIA JETSON, der wie ein leistungsstarker, aber winziger Computer ist).

• Speicherplatz: Sie sparten bis zu 30 % mehr Platz im Vergleich zu Standard-8-Bit-Modellen und 65 % mehr im Vergleich zu 4-Bit-Modellen.
• Geschwindigkeit: Da weniger Daten bewegt werden mussten, konnte das Gerät 30 % bis 146 % schneller denken (Inferenz durchführen).
• Genauigkeit: Die „Geschichten" (die Antworten der KI) blieben genauso genau wie in der ursprünglichen, unverkleinerten Bibliothek.

Kurz gesagt: EntroLLM ist eine Möglichkeit, ein riesiges KI-Gehirn in einen winzigen Rucksack zu packen, indem die Daten in eine „spitzige" Form organisiert, in eine super-effiziente Kurzschrift geschrieben und von einem Team von Arbeitern gleichzeitig ausgepackt werden. Dies macht es möglich, intelligente KI auf kleinen, batteriebetriebenen Geräten auszuführen, ohne einen Supercomputer zu benötigen.

Technische Zusammenfassung

Technische Zusammenfassung von EntroLLM: Entropiekodierte Gewichts-Komprimierung für effiziente Inferenz großer Sprachmodelle auf Edge-Geräten

Problemstellung
Große Sprachmodelle (LLMs) sehen sich aufgrund ihrer massiven Parameteranzahl erheblichen Hürden bei der Bereitstellung auf ressourcenbeschränkten Edge-Geräten gegenüber. Selbst kleinere Modelle wie mistral-7B-Instruct benötigen im 16-Bit-Gleitkommaformat (fp16) mehr als 14 GB Speicher, was die Kapazität der meisten Edge-Hardware überschreitet. Folglich ist der primäre Engpass für die LLM-Inferenz, insbesondere bei generativen Aufgaben, die Speicherbandbreite und nicht die Rechenleistung. Während Quantisierung die Modellgrößen reduziert hat, bleibt eine weitere Komprimierung ohne Genauigkeitsverlust herausfordernd, insbesondere für kleinere LLMs (≤10B Parameter), die für Edge-Anwendungen konzipiert sind. Bestehende Methoden erfordern häufig eine Neukalibrierung oder erreichen keine ausreichenden Komprimierungsraten für eine praktische Edge-Bereitstellung.

Methodik
Die Autoren schlagen EntroLLM vor, ein Komprimierungsframework, das gemischte Quantisierung mit Entropiekodierung (insbesondere Huffman-Kodierung) integriert, um Speicher- und Speicherbandbreitenanforderungen ohne Neukalibrierung zu senken. Die Methodik besteht aus drei Kernkomponenten:

1. Gemischtes Quantisierungsschema: Im Gegensatz zur standardmäßigen blockbasierten Quantisierung, die ganzzahlige Verteilungen flacht und die Entropie erhöht, setzt EntroLLM eine tensorielle gemischte Quantisierungsstrategie ein. Basierend auf der spezifischen Gewichtsverteilung jeder Schicht wendet das Framework entweder vorzeichenlose Quantisierung oder asymmetrische Quantisierung an. Dieser Ansatz bewahrt eine „spitzere" Verteilung ganzzahliger Codes, senkt die Entropie erheblich und erhöht die Komprimierbarkeit im Vergleich zu state-of-the-art (SOTA) blockbasierten Methoden.
2. Huffman-Gewichtskodierung: Ausgehend von den durch die gemischte Quantisierung erzeugten niedrigentropischen Verteilungen wendet das Framework Huffman-Kodierung auf die quantisierten Gewichte an. Diese verlustfreie Komprimierungstechnik weist häufigen Gewichtswerten kürzere variable Bit-Codes und seltenen Werten längere Codes zu. Dieser Schritt reduziert die effektive Bit-Breite der Modellparameter weiter und minimiert Speicher-Overhead sowie Anforderungen an die Speicherbandbreite.
3. Parallele Dekodierungsstrategie: Um die bei sequenzieller Entropiedekodierung inhärenten Latenzprobleme zu adressieren, implementieren die Autoren einen parallelen Dekodierungsmechanismus. Durch Segmentierung des kodierten Parameterraums unter Beibehaltung der ursprünglichen Gewichts-Tensor-Struktur ermöglicht das System die gleichzeitige Dekodierung verschiedener kodierter Tensoren (Chunks) über mehrere CPU-Threads. Dieses Design eliminiert den seriellen Engpass und ermöglicht eine Echtzeitverarbeitung auf Edge-Hardware.

Hauptbeiträge

• Schichtspezifische gemischte Quantisierung: Eine Strategie, die Speichereffizienz und Modellleistung ausbalanciert, indem sie pro Schicht zwischen vorzeichenloser und asymmetrischer Quantisierung wählt, wodurch die nachgelagerte Entropie-Komprimierbarkeit gegenüber SOTA-Techniken um bis zu 8,1× (8-Bit) und 13,1× (4-Bit) verbessert wird.
• Entropiebasierte Huffman-Kodierung: Die Anwendung von Huffman-Kodierung auf quantisierte Gewichte zur weiteren verlustfreien Komprimierung bei gleichzeitiger Wahrung der Genauigkeit.
• Implementierung paralleler Dekodierung: Ein neuartiges Partitionierungsschema, das eine parallelisierte Dekodierung von Huffman-kodierten Gewichten ermöglicht und die Latenz auf Edge-Geräten reduziert.
• Umfassende Evaluierung: Validierung an mehreren Edge-skalierten LLMs (smolLM-1.7B, phi3-mini-4k, mistral-7B), die erhebliche Speichereinsparungen und reduzierte Inferenzlatenz demonstriert.

Experimentelle Ergebnisse
Experimente wurden an Edge-skalierten LLMs (smolLM-1.7B, phi3-mini-4k, mistral-7B) durchgeführt, die auf dem NVIDIA JETSON P3450 bereitgestellt wurden.

• Speichereffizienz: EntroLLM erzielt im Vergleich zu uint8-Modellen bis zu 30 % Speichereinsparungen und im Vergleich zu uint4-Modellen 65 % Einsparungen. Für das phi3-mini-4k-Modell wurde die effektive Bit-Breite nach Huffman-Kodierung von 8-Bit auf 5,58 Bits und von 4-Bit auf 1,39 Bits reduziert.
• Inferenzlatenz: Auf speicherlimitierten Geräten zeigte das Framework im Vergleich zu standardisierten quantisierten Modellen eine 31,9 % bis 146,6 % schnellere Inferenz. Konkret verbesserte sich bei uint4-Gewichten im phi3-mini-4k-Modell die Latenz der Token-Generierung um 146,6 % und die Vorfüllzeit um 13,3 %.
• Genauigkeit: Die Methode erfordert keine Neukalibrierung und hält eine Leistung, die mit Vollpräzisions- und standardisierten quantisierten Modellen vergleichbar ist, über Benchmarks hinweg, einschließlich WIKITEXT2 (Perplexität), HELLASWAG (Genauigkeit) und GSM8K COT (Genauigkeit).
• Dekodierungs-Overhead: Die parallele Dekodierung stellt sicher, dass der Dekompressions-Overhead vernachlässigbar ist. Beispielsweise dauerte die Dekodierung von 4-Bit-Gewichten nur 1,66 Sekunden, einen kleinen Bruchteil der gesamten Inferenzzeit, und die Kosten werden über viele generierte Token amortisiert.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass EntroLLM eine praktische Lösung für die Bereitstellung von LLMs auf Edge-Geräten bietet, indem es den Engpass der Speicherbandbreite durch effiziente Gewichts-Komprimierung adressiert. Das Framework ist bedeutsam, da es mit bestehenden Post-Training-Quantisierungspipelines kompatibel ist und keine Neukalibrierung erfordert, was es für aktuelle Modelle sofort anwendbar macht. Durch die Kombination von tensorieller gemischter Quantisierung mit paralleler Huffman-Dekodierung ermöglicht EntroLLM eine Echtzeit-Inferenz mit geringem Stromverbrauch, die für zeitkritische Anwendungen wie Robotik und IoT geeignet ist, während die Genauigkeit der ursprünglichen Modelle erhalten bleibt. Die Autoren weisen darauf hin, dass zukünftige Arbeiten adaptive Entropiekodierung und hardwarebewusste Optimierungen untersuchen werden.