EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices

EntroLLM è un framework di compressione post-addestramento che combina quantizzazione mista e codifica entropica per ridurre significativamente i requisiti di archiviazione e accelerare l'inferenza dei grandi modelli linguistici su dispositivi edge senza necessità di riaddestramento.

L'essenziale

Immagina di avere una biblioteca immensa di libri (un Large Language Model) che vuoi portare nello zaino per leggerla mentre fai un'escursione (su un dispositivo periferico come uno smartphone o un piccolo robot). Il problema è che la biblioteca è troppo pesante e troppo grande per stare nello zaino, e anche se ci riuscissi, le tue braccia si stancherebbero solo cercando di estrarre i libri uno per uno per leggerli.

Il documento presenta un nuovo metodo chiamato EntroLLM per risolvere questo problema. Pensalo come un trucco di magia in tre fasi per rendere la biblioteca più piccola e più facile da trasportare senza perdere nessuna delle storie al suo interno.

1. La classificazione "a picchi" (Quantizzazione Mista)

Di solito, quando le persone cercano di rimpicciolire queste biblioteche, arrotondano semplicemente i numeri nei libri per renderli più semplici (come arrotondare 3,14159 a 3,14). Questo si chiama quantizzazione. Tuttavia, i metodi standard spesso rendono i numeri troppo "piatti" e casuali, il che è difficile da comprimere ulteriormente.

Il trucco degli autori è guardare ogni capitolo (o "strato") del libro individualmente. A seconda di come sono distribuiti i numeri in quel capitolo specifico, scelgono un modo speciale per arrotondarli:

• Quantizzazione senza segno: Come contare solo passi positivi.
• Quantizzazione asimmetrica: Come spostare il punto zero per adattare meglio i numeri.

Facendo questo, i numeri nella biblioteca diventano "a picchi". Immagina una catena montuosa dove la maggior parte delle cime è raggruppata strettamente al centro, con pochissimi valori anomali estremi. Questa forma "a picchi" è molto più facile da comprimere di un paesaggio piatto e casuale.

2. Il dizionario di "abbreviazioni" (Codifica Huffman)

Una volta che i numeri sono stati ordinati in questo schema "a picchi", gli autori utilizzano una tecnica chiamata codifica Huffman.

Pensala come scrivere un codice segreto per la biblioteca. In inglese, la lettera "E" appare molto spesso, quindi potresti decidere di rappresentare "E" con un singolo punto (•), mentre una lettera rara come "Z" ottiene un codice lungo (•••••).

• Poiché la classificazione "a picchi" ha fatto sì che certi valori numerici apparissero molto frequentemente, il codice assegna a quei numeri comuni etichette molto corte e minuscole.
• I numeri rari ricevono etichette più lunghe.

Questo riduce significativamente la dimensione totale della biblioteca. Il documento afferma che questo passaggio rende la compressione da 7 a 11 volte migliore rispetto ai metodi attuali più avanzati. È come trasformare un libro di 100 pagine in un opuscolo di 10 pagine senza cambiare la storia.

3. La strategia di "lettura in team" (Decodifica Parallela)

Qui sta la parte difficile: di solito, per leggere un codice segreto, devi leggerlo lettera per lettera dall'inizio alla fine. Se hai una biblioteca enorme, questo richiede un'eternità e il tuo zaino (il dispositivo) rimane bloccato in attesa.

Gli autori hanno realizzato che, anche se il codice è breve, i libri sono ancora organizzati in grandi blocchi (tensori). Quindi, hanno tagliato la biblioteca in molte sezioni separate e indipendenti.

• Invece di una persona che legge l'intero codice in sequenza, assumono un team di lettori (thread paralleli).
• Ogni lettore prende un blocco diverso della biblioteca e decodifica la propria sezione simultaneamente.
• Poiché i blocchi sono indipendenti, non devono aspettare l'uno l'altro.

Questo significa che, anche se la biblioteca è minuscola e compressa, il dispositivo può "disimballare" i libri quasi istantaneamente quando necessario, rendendo la velocità di lettura molto rapida.

I Risultati: Uno zaino più leggero e veloce

Gli autori hanno testato questo metodo su tre diverse "biblioteche" (modelli AI) di dimensioni variabili su un piccolo dispositivo (un NVIDIA JETSON, che è come un computer potente ma minuscolo).

• Archiviazione: Hanno risparmiato fino al 30% in più di spazio rispetto ai modelli standard a 8 bit e il 65% in più rispetto ai modelli a 4 bit.
• Velocità: Poiché meno dati dovevano essere spostati, il dispositivo poteva pensare (inferire) dal 30% al 146% più velocemente.
• Precisione: Le "storie" (le risposte dell'AI) rimanevano altrettanto accurate della biblioteca originale non rimpicciolita.

In sintesi: EntroLLM è un modo per impacchettare un gigantesco cervello AI in uno zaino minuscolo organizzando i dati in una forma "a picchi", scrivendoli in una sorta di abbreviazione super efficiente e facendo sì che un team di lavoratori li disimballi tutti insieme. Questo rende possibile eseguire AI intelligente su piccoli dispositivi alimentati a batteria senza bisogno di un supercomputer.

Sommario tecnico

Sintesi Tecnica di EntroLLM: Compressione dei Pesi Codificata per Entropia per l'Inferenza Efficiente di Modelli Linguistici di Grandi Dimensioni su Dispositivi Edge

Enunciato del Problema
I Modelli Linguistici di Grandi Dimensioni (LLM) incontrano barriere significative al deployment su dispositivi edge con risorse limitate a causa dei loro massicci conteggi di parametri. Anche modelli più piccoli, come mistral-7B-Instruct, richiedono oltre 14 GB di memoria nel formato floating-point a 16 bit (fp16), superando la capacità della maggior parte dell'hardware edge. Di conseguenza, il collo di bottiglia principale per l'inferenza degli LLM, in particolare nei compiti generativi, è la larghezza di banda della memoria piuttosto che la potenza di calcolo. Sebbene la quantizzazione abbia ridotto le dimensioni dei modelli, un'ulteriore compressione senza compromettere l'accuratezza rimane una sfida, specialmente per gli LLM più piccoli (≤10B parametri) progettati per applicazioni edge. I metodi esistenti richiedono spesso un riaddestramento o non raggiungono rapporti di compressione sufficienti per un deployment edge pratico.

Metodologia
Gli autori propongono EntroLLM, un framework di compressione che integra la quantizzazione mista con la codifica per entropia (nello specifico, la codifica di Huffman) per ridurre le richieste di archiviazione e larghezza di banda della memoria senza riaddestramento. La metodologia è composta da tre componenti fondamentali:

1. Schema di Quantizzazione Mista: A differenza della quantizzazione basata su blocchi standard che appiattisce le distribuzioni intere e aumenta l'entropia, EntroLLM impiega una strategia di quantizzazione mista a livello di tensore. Sulla base della specifica distribuzione dei pesi di ogni strato, il framework applica o quantizzazione senza segno o quantizzazione asimmetrica. Questo approccio preserva una distribuzione "più piccata" dei codici interi, riducendo significativamente l'entropia e aumentando la comprimibilità rispetto ai metodi basati su blocchi all'avanguardia (SOTA).
2. Codifica Huffman dei Pesi: Sfruttando le distribuzioni a bassa entropia generate dalla quantizzazione mista, il framework applica la codifica di Huffman ai pesi quantizzati. Questa tecnica di compressione senza perdita assegna codici binari a lunghezza variabile più brevi ai valori di peso frequenti e codici più lunghi a quelli rari. Questo passaggio riduce ulteriormente la larghezza di bit effettiva dei parametri del modello, minimizzando l'overhead di archiviazione e i requisiti di larghezza di banda della memoria.
3. Strategia di Decodifica Parallela: Per affrontare i problemi di latenza intrinseci alla decodifica per entropia sequenziale, gli autori implementano un meccanismo di decodifica parallela. Segmentando lo spazio dei parametri codificati preservando la struttura originale del tensore dei pesi, il sistema permette a diversi tensori codificati (chunk) di essere decodificati simultaneamente su più thread CPU. Questa progettazione elimina il collo di bottiglia seriale, abilitando l'elaborazione in tempo reale sull'hardware edge.

Contributi Chiave

• Quantizzazione Mista Specifica per Strato: Una strategia che bilancia l'efficienza di archiviazione e le prestazioni del modello selezionando tra quantizzazione senza segno e asimmetrica per strato, migliorando la comprimibilità per entropia a valle fino a 8,1× (8-bit) e 13,1× (4-bit) rispetto alle tecniche SOTA.
• Codifica Huffman Basata sull'Entropia: L'applicazione della codifica di Huffman ai pesi quantizzati per ottenere un'ulteriore compressione senza perdita mantenendo l'accuratezza.
• Implementazione della Decodifica Parallela: Un nuovo schema di partizionamento che abilita la decodifica parallela dei pesi codificati con Huffman, mitigando la latenza sui dispositivi edge.
• Valutazione Completa: Validazione su più LLM di scala edge (smolLM-1.7B, phi3-mini-4k, mistral-7B) che dimostra significativi risparmi di archiviazione e ridotta latenza di inferenza.

Risultati Sperimentali
Gli esperimenti sono stati condotti su LLM di scala edge (smolLM-1.7B, phi3-mini-4k, mistral-7B) deployati su NVIDIA JETSON P3450.

• Efficienza di Archiviazione: EntroLLM ottiene fino al 30% di risparmi di archiviazione rispetto ai modelli uint8 e 65% di risparmi rispetto ai modelli uint4. Per il modello phi3-mini-4k, la larghezza di bit effettiva è stata ridotta a 5,58 bit (da 8-bit) e 1,39 bit (da 4-bit) dopo la codifica Huffman.
• Latenza di Inferenza: Su dispositivi con memoria limitata, il framework ha dimostrato un'inferenza dal 31,9% al 146,6% più veloce rispetto ai modelli quantizzati standard. Nello specifico, per pesi uint4 sul modello phi3-mini-4k, la latenza di generazione dei token è migliorata del 146,6% e il tempo di pre-fill è migliorato del 13,3%.
• Accuratezza: Il metodo non richiede riaddestramento e mantiene prestazioni comparabili ai modelli a precisione completa e ai modelli quantizzati standard su benchmark inclusi WIKITEXT2 (perplessità), HELLASWAG (accuratezza) e GSM8K COT (accuratezza).
• Overhead di Decodifica: La decodifica parallela garantisce che l'overhead di decompressione sia trascurabile. Ad esempio, la decodifica di pesi a 4-bit ha richiesto solo 1,66 secondi, una piccola frazione del tempo totale di inferenza, e il costo è ammortizzato su molti token generati.

Significato e Affermazioni
Il documento afferma che EntroLLM fornisce una soluzione pratica per il deployment di LLM su dispositivi edge affrontando il collo di bottiglia della larghezza di banda della memoria attraverso una compressione efficiente dei pesi. Il framework è significativo perché è compatibile con le pipeline di quantizzazione post-training esistenti e richiede nessun riaddestramento, rendendolo immediatamente applicabile ai modelli attuali. Combinando la quantizzazione mista a livello di tensore con la decodifica parallela di Huffman, EntroLLM abilita un'inferenza in tempo reale a basso consumo energetico adatta ad applicazioni critiche per il tempo come robotica e IoT, preservando al contempo l'accuratezza dei modelli originali. Gli autori notano che il lavoro futuro esplorerà la codifica per entropia adattiva e ottimizzazioni consapevoli dell'hardware.