FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference

I grandi modelli linguistici sono i motori dietro una nuova generazione di intelligenza artificiale, capaci di scrivere storie, risolvere problemi e sostenere conversazioni con una fluidità che un tempo sembrava impossibile. Questi sistemi sono costruiti su vaste reti di connessioni matematiche, note come parametri, che sono memorizzate come numeri nella memoria di un computer. Più complesso è il modello, più memoria richiede per funzionare. Sebbene questi modelli operino brillantemente in potenti data center, le loro dimensioni massicce li rendono difficili da utilizzare su dispositivi quotidiani come laptop o smartphone, che hanno molta meno capacità di archiviazione e di elaborazione. Per colmare questo divario, gli ingegneri utilizzano una tecnica chiamata quantizzazione. Questo processo semplifica i numeri all'interno del modello, riducendone la precisione per risparmiare spazio. Tuttavia, questa semplificazione è un delicato compromesso: se i numeri vengono arrotondati in modo troppo aggressivo, l'intelligenza del modello svanisce e inizia a commettere errori o a perdere la capacità di comprendere il contesto.

Per anni, l'approccio standard a questo problema è stato quello di trattare ogni parte del modello allo stesso modo. Gli ingegneri applicavano un livello uniforme di semplificazione all'intero sistema, molto simile a levigare una scultura di legno con la stessa grana di carta vetrata su tutta la superficie. Questo metodo è semplice, ma ignora una realtà cruciale: non tutte le parti di un modello linguistico sono ugualmente importanti. Alcune sezioni della rete sono altamente sensibili ai cambiamenti, dove anche un minimo errore può rovinare l'output, mentre altre sezioni sono robuste e possono tollerare una semplificazione significativa senza alcuna perdita apprezzabile di qualità. Ricerche recenti hanno dimostrato che applicare lo stesso livello di compressione sia alle aree sensibili che a quelle robuste costringe a scegliere tra sprecare memoria nelle parti che non ne hanno bisogno o distruggere l'intelligenza del modello comprimendo eccessivamente le parti che ne hanno bisogno.

Un team di ricercatori ha ora sviluppato un nuovo metodo chiamato FAMPWQ che risolve questo problema trattando ogni livello del modello individualmente. Invece di applicare una singola regola all'intero sistema, il loro approccio misura quanto ogni specifico livello sia sensibile alla compressione prima di decidere quanto semplificarlo. Per farlo, utilizzano un concetto matematico noto come informazione di Fisher, che funge da test di resistenza per la struttura interna del modello. Introducono una piccola perturbazione simulata ai numeri in uno specifico livello e osservano quanto la performance del modello cambi in risposta. Se la performance cala bruscamente, il livello viene considerato sensibile e viene mantenuto a una precisione più elevata. Se la performance rimane stabile, il livello viene identificato come robusto e viene compresso più aggressivamente. Ciò consente al sistema di preservare le parti critiche e delicate del modello, comprimendo aggressivamente le parti ridondanti, creando un equilibrio su misura per ogni singolo modello.

Una volta che i ricercatori hanno mappato la sensibilità di ogni livello, utilizzano un algoritmo di apprendimento per decidere esattamente quanti bit di precisione assegnare a ciascuno di essi. Questo algoritmo agisce come un pianificatore strategico, cercando la miscela perfetta di alta e bassa precisione che si adatti entro un limite di memoria rigoroso mantenendo intatta l'intelligenza del modello. L'obiettivo è trovare una configurazione in cui l'uso totale della memoria sia minimizzato, ma la perdita di accuratezza sia mantenuta il più bassa possibile. Utilizzando questa strategia adattiva, i ricercatori sono stati in grado di spingere i confini di ciò che è possibile con i modelli compressi. In test su diversi modelli linguistici di grandi dimensioni, il loro metodo ha costantemente superato le tecniche esistenti. Quando i modelli sono stati compressi a una media di soli tre bit per numero, il nuovo approccio ha prodotto risultati significativamente più accurati rispetto ad altri metodi, con alcuni test che hanno mostrato una riduzione degli errori di quasi il 7 percento.

I risultati di questo lavoro suggeriscono che il futuro dell'esecuzione di una potente intelligenza artificiale su dispositivi più piccoli risiede nella flessibilità piuttosto che nell'uniformità. I ricercatori hanno scoperto che, rispettando le esigenze uniche di ogni parte della rete, potevano mantenere alte prestazioni anche con impronte di memoria estremamente ridotte. In confronti diretti in cui i modelli sono stati chiamati a giudicare la qualità delle proprie risposte, il nuovo metodo ha vinto contro altri approcci leader fino al 76 percento dei casi. Ciò indica che i modelli hanno mantenuto una comprensione del linguaggio e della logica molto più profonda di quanto precedentemente ritenuto possibile sotto tali stretti vincoli. Sebbene il metodo richieda un periodo iniziale di analisi per determinare le impostazioni migliori, questo costo è una spesa una tantum che viene ripagata dalla capacità di eseguire questi modelli sofisticati su hardware che era precedentemente troppo limitato per supportarli. Il lavoro dimostra che, misurando attentamente la fragilità dei componenti di un sistema, possiamo comprimerlo in modo molto più efficace rispetto all'applicazione di una soluzione unica per tutti.