Nel moderno panorama digitale, potenti sistemi di intelligenza artificiale noti come grandi modelli linguistici hanno trasformato il modo in cui i computer comprendono e generano il linguaggio umano. Questi sistemi sono costruiti su vaste collezioni di punti dati chiamati parametri, che fungono da base di conoscenza interna del modello. Un modello tipico potrebbe contenere miliardi di questi parametri, richiedendo una quantità significativa di memoria del computer per memorizzarli. Per anni, l'esecuzione di questi sistemi complessi è stata il dominio di enormi data center dotati di processori grafici specializzati e ad alta velocità. Tuttavia, un movimento crescente cerca di spostare questa intelligenza più vicino a dove le persone vivono e lavorano realmente, posizionandola su computer più piccoli e locali noti come nodi edge. Questi dispositivi si trovano spesso in uffici, case o località remote dove le connessioni internet sono inaffidabili o dove le preoccupazioni sulla privacy impediscono ai dati di lasciare l'edificio. La sfida per gli ingegneri è che questi dispositivi locali solitamente mancano dei potenti processori grafici presenti nei data center, affidandosi invece alle unità di elaborazione centrale standard, i cervelli a uso generale della maggior parte dei computer. La domanda critica è stata se queste macchine modeste e quotidiane possano effettivamente gestire il lavoro pesante di eseguire modelli linguistici avanzati, e se sì, quanta memoria abbiano bisogno e quanto velocemente possano lavorare.

Un team di ricercatori si è posto l'obiettivo di rispondere a queste domande testando i limiti di un singolo computer edge rappresentativo. Non hanno costruito nuovi software né inventato un chip più veloce; al contrario, hanno agito come osservatori attenti, misurando esattamente cosa accade quando un computer standard tenta di eseguire tre diverse dimensioni di modelli linguistici. Hanno testato modelli che vanno da una versione compatta con 1,1 miliardi di parametri a una versione più robusta con 7 miliardi di parametri. Per ogni modello, hanno eseguito il sistema a tre diversi livelli di precisione, che possono essere pensati come la quantità di dettaglio che il computer utilizza per memorizzare i suoi numeri interni. I ricercatori volevano vedere se la pratica comune di ridurre questo dettaglio, nota come quantizzazione, aiuterebbe queste macchine locali a eseguire più velocemente e a usare meno memoria, proprio come avviene nei potenti data center.

I risultati che hanno scoperto hanno rivelato una realtà sorprendente che contraddice ciò che è ampiamente creduto su questi sistemi. Nei potenti data center del mondo, ridurre la precisione di un modello è una strategia collaudata che riduce l'uso della memoria della metà o più e velocizza le prestazioni. Sul computer locale, basato solo su CPU, testato in questo studio, è accaduto l'esatto opposto. Quando i ricercatori hanno ridotto la precisione per risparmiare spazio, il computer ha effettivamente richiesto significativamente più memoria per eseguire il modello. Per il modello più grande testato, che teoricamente avrebbe dovuto richiedere circa 14 gigabyte di memoria, il sistema ha richiesto quasi 20 gigabyte quando la precisione è stata abbassata. Questo aumento di circa il 48 percento è avvenuto perché il processore standard del computer non poteva comprendere nativamente i numeri compressi a bassa precisione. Invece di elaborarli direttamente, il sistema doveva mantenere i pesi compressi in memoria mentre contemporaneamente li convertiva nuovamente in un formato standard per ogni singola operazione. Ciò ha creato un doppio onere in cui il computer teneva sia i pesi compressi che i buffer di conversione, mentre le attivazioni e la cache dell'attenzione rimanevano nel formato standard durante tutto il processo, aumentando effettivamente il carico di memoria invece di alleggerirlo.

Oltre al problema della memoria, lo studio ha identificato esattamente cosa stesse rallentando il computer. I ricercatori hanno scoperto che il processore stava lavorando quasi al 100 percento della sua capacità, eppure produceva pochissimi risultati. Ciò indicava che la macchina non stava lottando con la matematica in sé, ma stava invece aspettando che i dati arrivassero dalla sua memoria. Il collo di bottiglia era la velocità con cui le informazioni potevano viaggiare dai chip di memoria al processore, un limite noto come larghezza di banda della memoria. Poiché il computer era costantemente in attesa dei dati, poteva gestire una sola richiesta alla volta. Se un utente avesse provato a porre due domande simultaneamente, il sistema non sarebbe stato in grado di dividere il lavoro tra due thread; sarebbe semplicemente andato in sovraccarico. La singola richiesta saturava la macchina, il che significa che per servire più utenti, una rete avrebbe dovuto aggiungere più computer fisici piuttosto che cercare di spremere più lavoro da un singolo computer.

Il calo delle prestazioni è stato ancora più drammatico quando i ricercatori hanno esaminato la velocità. Il modello più capace, eseguito alla sua precisione standard, poteva generare circa 3,76 parole al secondo, un ritmo lento ma utilizzabile per una conversazione. Tuttavia, quando i ricercatori hanno applicato le tecniche di compressione destinate a rendere le cose più veloci, la velocità è crollata. Il sistema è rallentato a meno di una parola al secondo, rendendo l'interazione dolorosamente lenta. Nel caso più estremo di compressione, il sistema produceva una nuova parola solo una volta ogni sedici secondi, rendendolo inutile per una conversazione in tempo reale. Ciò ha confermato che le tecniche progettate per le potenti schede grafiche non erano solo inefficaci su queste macchine locali; erano attivamente dannose, scambiando la velocità con una penalità di memoria che la macchina non poteva permettersi.

Per aiutare gli ingegneri a pianificare queste realtà, i ricercatori hanno sviluppato una regola semplice per stimare quanta memoria un computer locale avrebbe effettivamente bisogno. Hanno scoperto che la quantità di memoria richiesta non dipende solo dalle dimensioni dei parametri del modello. Inveve, l'uso totale della memoria dipende fortemente dal livello di precisione scelto. Per un modello standard, non compresso, la memoria necessaria è approssimativamente uguale alla dimensione dei pesi del modello. Ma per i modelli compressi, i ricercatori hanno scoperto che il requisito di memoria balza a circa tre volte la dimensione del peso per un livello di compressione e quasi sei volte per il livello più profondo. Ciò significa che un ingegnere che pianifica di eseguire un modello grande su un dispositivo locale deve prevedere una macchina con molta più memoria di quanto suggerisca la dimensione del file del modello. Un computer con 32 gigabyte di memoria potrebbe essere in grado di eseguire un modello grande, ma avrebbe pochissimo spazio rimasto per il sistema operativo o altri compiti, e certamente non potrebbe eseguire due tali modelli contemporaneamente.

Lo studio conclude che, sebbene eseguire modelli linguistici avanzati su dispositivi locali basati solo su CPU sia possibile, ciò richiede un ripensamento completo di come questi sistemi vengano implementati. Le strategie che funzionano nel cloud non si traducono nell'edge. Gli ingegneri non possono semplicemente prendere un modello ottimizzato per un data center e aspettarsi che funzioni in modo efficiente su un laptop o un server locale. Devono tenere conto del fatto che queste macchine sono limitate dalla velocità con cui spostano i dati, non dalla velocità con cui calcolano. Devono anche accettare che comprimere il modello per risparmiare spazio probabilmente lo renderà più lento e richiederà più memoria, non meno. Per coloro che devono implementare questi sistemi in luoghi con problemi di privacy o scarsa connettività internet, la strada da seguire consiste nello scegliere la dimensione del modello giusta per la memoria disponibile e accettare che un singolo computer locale può servire una sola persona alla volta. L'era dell'intelligenza edge è qui, ma richiede un insieme di regole diverso da quello dei data center che l'hanno preceduta.