La maggior parte delle persone che utilizzano l'intelligenza artificiale oggi interagisce con sistemi che girano su chip per computer potenti e specializzati, progettati per i grandi data center. Questi sistemi sono costruiti per gestire migliaia di richieste contemporaneamente, un processo che permette loro di distribuire il costo dei loro pesanti calcoli su molti utenti. Ma per una singola persona che utilizza un normale laptop o un computer desktop, le regole dell'efficienza cambiano completamente. Su una macchina personale, il computer non può fare affidamento sulla massiccia elaborazione parallela; invece, è limitato dalla velocità con cui può spostare i dati dalla memoria al processore. Ogni volta che il computer genera una nuova parola in una frase, deve rileggere l'intera cronologia di quella conversazione per comprenderne il contesto. Man mano che la conversazione si allunga, questa rilettura diventa una tassa pesante, rallentando significativamente il sistema. La sfida per i ricercatori è costruire un modello che comprenda bene il linguaggio ma che non venga appesantito da questo crescente onere di memoria quando viene eseguito su hardware ordinari.

Un ricercatore ha affrontato questo problema progettando un nuovo tipo di modello linguistico chiamato Daedalus-150M, specificamente per singoli utenti su processori per computer standard. Invece di prendere un modello grande e complesso e cercare di rimpicciolirlo, ha iniziato dai vincoli della macchina dell'utente e ha costruito l'architettura da zero per adattarvisi. Il risultato è un sistema che si comporta come un motore ibrido. Combina due modi diversi di elaborare le informazioni: un metodo tradizionale che ricorda l'intera cronologia della conversazione e un metodo più recente e semplice che ricorda solo gli ultimi istanti. In questo design, il modello ha diciotto strati di elaborazione. Sei di questi strati utilizzano il metodo tradizionale per mantenere una comprensione profonda del contesto a lungo termine, mentre gli altri dodici strati utilizzano una tecnica di memoria a breve termine che guarda indietro solo di due passi. Ciò significa che per due terzi del tempo in cui il computer sta pensando, non ha bisogno di rileggere l'intera cronologia della conversazione, ma solo il passato immediato.

Il ricercatore ha testato questo design contro un modello quasi identico che utilizzava il metodo tradizionale, pesante in termini di memoria, per tutti i suoi diciotto strati. Entrambi i modelli sono stati addestrati sulla stessa quantità di dati, circa sessanta miliardi di parole, e entrambi sono stati compressi in una dimensione ridotta per girare su un computer standard. Il confronto è stato rigoroso e predeterminato: il ricercatore aveva deciso esattamente cosa sarebbe stato considerato una vittoria prima di vedere i risultati. Il modello ibrido ha eguagliato il modello tradizionale nella sua capacità di rispondere a domande e completare compiti, ma ha ottenuto prestazioni significativamente migliori in termini di velocità. Quando la conversazione era breve, i due modelli operavano a velocità simili. Tuttavia, man mano che la conversazione si allungava, il modello tradizionale rallentava considerevolmente perché doveva rileggere sempre più cronologia. Il modello ibrido, al contrario, manteneva un ritmo molto più costante. A una lunghezza di conversazione di duemila parole, il modello ibrido generava testo quasi due volte più velocemente del suo controparte tradizionale.

Questo vantaggio di velocità non era solo un calcolo teorico; è stato misurato direttamente su un processore per computer standard. Il ricercatore ha scoperto che la capacità del modello ibrido di evitare la rilettura dell'intera cronologia risparmia una quantità enorme di movimento di dati, che è il collo di bottiglia principale per queste macchine. Sebbene un semplice calcolo della dimensione dei dati suggerisse che l'ibrido dovesse essere solo leggermente più veloce, il divario di prestazioni effettivo era molto più ampio. Questo perché il metodo tradizionale comporta calcoli complessi, passo dopo passo, che dipendono dall'intera cronologia, i quali sono lenti da eseguire su un singolo processore. Il metodo ibrido, mantenendo lo stato della memoria piccolo e fisso, evita interamente questi passaggi lenti. Il modello è anche risultato più piccolo in termini di dimensione del file, occupando circa il sei per cento di spazio in meno sul disco rigido, che è un beneficio pratico per gli utenti con memoria limitata.

Nonostante questi successi, il ricercatore è stato attento a riferire ciò che non ha funzionato perfettamente. Ha scoperto che circa la metà dei canali nelle sezioni di memoria a breve termine del modello rimaneva inattiva, essenzialmente ferma. Ha anche scoperto che il modello utilizza un vocabolario di parole più grande del necessario per la sua dimensione, il che spreca parte della sua capacità. Inoltre, quando ha cercato di addestrare il modello specificamente per gestire il formato di dati compressi utilizzato per la velocità, il processo è fallito, il che significa che il modello doveva essere compresso dopo l'addestramento, riducendone leggermente l'accuratezza. Questi sono problemi di ingegneria piuttosto che difetti fondamentali del design, e il ricercatore ha osservato che una versione futura potrebbe risolverli regolando il modo in cui il modello inizia e come viene compresso.

I risultati finali hanno dimostrato che questa specifica scelta di design — mescolare la memoria a lungo termine con la memoria a breve termine — funziona esattamente come previsto per l'ambiente target. Il modello ha ottenuto punteggi più alti in un insieme di cinque test linguistici standard rispetto ad altri modelli di dimensioni simili che sono stati addestrati su tre o sei volte più dati. Ha persino superato un modello addestrato su un trilione di parole, sebbene un modello molto più grande mantenga ancora un leggero vantaggio in termini di intelligenza pura. La lezione chiave è che, per un singolo utente su un computer standard, il modo più efficiente per costruire un modello linguistico non è renderlo il più intelligente possibile, ma renderlo il più leggero possibile in termini di memoria. Accettando che il modello non abbia bisogno di rileggere l'intera conversazione per ogni singolo passaggio, il ricercatore ha creato un sistema che appare reattivo e veloce, anche quando la conversazione si allunga, dimostrando che un approccio architettonico diverso può risolvere i problemi specifici dell'informatica quotidiana.