FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy

I modelli linguistici di grandi dimensioni sono potenti programmi informatici in grado di scrivere storie, risolvere problemi e sostenere conversazioni, ma comportano un costo fisico enorme. Per eseguire questi modelli, è necessaria una quantità enorme di memoria informatica ed energia, richiedendo spesso hardware specializzato ed costoso a cui poche persone possono accedere. Questo accade perché i modelli memorizzano la loro conoscenza in vastissime griglie di numeri, e mantenere tutti quei numeri nella loro forma originale ad alta precisione occupa troppo spazio. Gli scienziati hanno cercato a lungo di rimpicciolire questi modelli comprimendo i numeri, proprio come trasformare una foto ad alta risoluzione in un file più piccolo. Una versione estrema di questa compressione consiste nel ridurre i numeri alla loro forma più semplice, utilizzando solo due valori, trasformandoli essenzialmente in una serie di interruttori on e off. Teoricamente, questo dovrebbe rendere i modelli incredibilmente veloci ed efficienti, ma in pratica i computer faticano a utilizzare questi numeri semplificati senza rallentare o perdere accuratezza. Il processo di conversione dei numeri semplificati in un formato utilizzabile richiede spesso così tanto tempo da annullare i guadagni di velocità, lasciando i modelli lenti quanto prima.

Un team di ricercatori ha ora trovato un modo per rompere questo stallo, creando un nuovo metodo che permette a questi modelli ultra-semplificati di girare ad alte velocità senza perdere la capacità di pensare chiaramente. Hanno sviluppato un sistema chiamato FluxBin, che funziona cambiando il modo in cui il computer legge la memoria del modello. Invece di cercare di convertire i numeri semplificati in forme complesse ogni volta che il modello ha bisogno di eseguire un calcolo, il nuovo sistema utilizza una tabella di ricerca pre-costruita. Immaginate una biblioteca dove, invece di leggere ogni singolo libro per trovare una risposta, basta cercare un codice su uno scaffale e ricevere istantaneamente la risposta finita. I ricercatori hanno costruito un programma informatico specializzato che crea queste tabelle di ricerca in un modo che gestisce le parti più importanti del modello con cura extra, assicurando che l'informazione più critica non vada persa durante la compressione. Hanno anche progettato un nuovo modo per organizzare i dati in modo che il computer possa accedervi senza intoppi, evitando gli ingorghi che solitamente si verificano quando si tenta di leggere informazioni sparse o frammentate.

I risultati di questo lavoro sono significativi perché dimostrano che la compressione estrema non deve necessariamente avvenire a scapito della velocità. Quando i ricercatori hanno testato il loro sistema su un potente chip informatico, hanno scoperto che poteva eseguire un modello massiccio, che di solito richiede una enorme quantità di memoria, su una singola scheda grafica standard. Il sistema è stato in grado di generare testo quasi sei volte più velocemente rispetto alla versione non compressa del modello standard. Inoltre, poiché il computer stava compiendo meno sforzi pesanti e spostando meno dati, ha utilizzato circa dieci volte meno energia. Questa efficienza significa che modelli che prima erano troppo grandi per essere eseguiti su una singola macchina possono ora essere ospitati e operare efficacemente, aprendo la porta all'uso di un'intelligenza artificiale più potente in luoghi dove le risorse sono limitate.

Il successo di questo approccio si basa su un attento equilibrio tra come i dati vengono compressi e come il computer viene istruito per leggerli. I ricercatori si sono resi conto che semplicemente rendere tutto semplice non era sufficiente; dovevano identificare quali parti del modello fossero più sensibili agli errori e trattarle diversamente. Hanno creato un metodo che separa la conoscenza del modello in una base generale e semplificata e in un insieme di note speciali e dettagliate per le parti più importanti. Questo approccio ibrido assicura che il modello mantenga la sua intelligenza pur beneficiando della velocità del formato semplificato. Combinando questa strategia di compressione intelligente con un programma costruito su misura che gira direttamente sul processore del computer, hanno eliminato la necessità dei lenti passaggi di conversione che avevano afflitto i tentativi precedenti. Il sistema funziona mappando i dati semplificati direttamente su risultati pre-calcolati, permettendo al computer di saltare l'intera operazione matematica e passare direttamente alla risposta.

Nelle loro sperimentazioni, il team ha testato il proprio metodo su diverse versioni di modelli linguistici di grandi dimensioni, che vanno da quelli più piccoli a modelli massicci con miliardi di parametri. In ogni caso, il nuovo sistema ha fornito un aumento drammatico della velocità e una riduzione massiccia del consumo energetico. Per i modelli più grandi testati, il sistema è stato in grado di eseguirli su una singola scheda del computer dove la versione standard sarebbe fallita completamente a causa della mancanza di memoria. L'accuratezza dei modelli è rimasta elevata, eguagliando le prestazioni di altri metodi avanzati che richiedono molta più potenza di calcolo e tempo per la configurazione. I ricercatori hanno osservato che il loro metodo funziona senza dover riaddestrare i modelli, il che significa che può essere applicato ai sistemi esistenti immediatamente. Ciò suggerisce che la barriera per eseguire un'intelligenza artificiale potente sull'hardware comune non è più una questione di se sia possibile, ma piuttosto di utilizzare gli strumenti giusti per sbloccare il potenziale che era già lì.

Le implicazioni di questo lavoro vanno oltre il semplice rendere i modelli più veloci; esse cambiano fondamentalmente la relazione tra software e hardware. Per anni, il campo è rimasto bloccato in un ciclo in cui nuovi algoritmi venivano progettati per un'efficienza teorica ma non potevano essere realizzati in pratica perché l'hardware non riusciva a stare al passo. Questo nuovo approccio colma questo divario progettando insieme l'algoritmo e le istruzioni hardware, assicurando che ogni passaggio del processo sia ottimizzato per la macchina specifica su cui gira. I ricercatori hanno dimostrato che, gestendo attentamente il modo in cui i dati vengono archiviati e acceduti, è possibile raggiungere livelli di prestazione che prima erano considerati fuori portata per modelli così altamente compressi. Mentre l'intelligenza artificiale continua a diventare più grande e complessa, metodi come questo saranno essenziali per rendere queste tecnologie accessibili e pratiche per una gamma più ampia di applicazioni, dai dispositivi personali ai grandi centri dati. Il lavoro dimostra che, con la giusta combinazione di matematica intelligente e ingegneria efficiente, i limiti della tecnologia odierna possono essere superati, permettendo un futuro in cui l'intelligenza potente non sia solo un lusso, ma uno strumento standard.