Polarization-coupled complete operators in sliding ferroelectric semiconductors for native in-memory attention computing
Questo articolo presenta un hardware per l'informatica in-memory basato su semiconduttori ferroelettrici scorrevoli che accoppia intrinsecamente operatori lineari e non lineari tramite la polarizzazione per eseguire primitive di attenzione Transformer complete, incluso il Softmax nativo, con latenza ed energia ultra-basse per l'IA generativa in tempo reale.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
L'intelligenza artificiale moderna, in particolare i sistemi che scrivono storie, traducono lingue e generano immagini, si basa su un processo matematico chiamato attenzione. Questo processo permette alla macchina di decidere quali parti di una frase o di un'immagine siano più importanti su cui concentrarsi in un dato momento. Per prendere queste decisioni, il computer deve eseguire simultaneamente due tipi distinti di calcoli: addizioni e moltiplicazioni semplici, che sono dirette, e funzioni matematiche complesse e curve che agiscono come un filtro per normalizzare i risultati. Attualmente, i chip dei computer sono costruiti per gestire molto bene la matematica semplice, ma faticano con il filtraggio complesso. Devono spostare i dati avanti e indietro tra la memoria, dove le informazioni sono memorizzate, e un processore separato che gestisce la matematica complessa. Questo continuo spostamento di dati rallenta il sistema e consuma enormi quantità di energia, creando un collo di bottiglia che limita la velocità e l'efficienza con cui questi sistemi intelligenti possono diventare.
Un team di ricercatori dell'Università di Nanchino e di altre istituzioni ha sviluppato un nuovo tipo di chip per computer che risolve questo problema eseguendo sia i calcoli semplici che quelli complessi esattamente nello stesso luogo in cui i dati sono memorizzati. Hanno creato un piccolo dispositivo realizzato con un materiale speciale chiamato ReS2, un semiconduttore stratificato che può essere fatto scorrere per cambiare le sue proprietà elettriche. All'interno di questo singolo dispositivo, hanno integrato due diversi percorsi per il passaggio dell'elettricità. Un percorso fa muovere l'elettricità verticalmente attraverso il materiale, mentre l'altro la fa muovere lateralmente lungo la superficie. Entrambi i percorsi sono controllati dallo stesso interruttore interno, noto come polarizzazione ferroelettrica, che agisce come un'impostazione di memoria permanente che può essere invertita avanti e indietro con un piccolo impulso elettrico.
Quando i ricercatori applicano una tensione per invertire questo interruttore interno, essa cambia la facilità con cui l'elettricità fluisce attraverso entrambi i percorsi contemporaneamente. Il percorso verticale risponde in una linea dritta e prevedibile, rendendolo perfetto per i compiti di addizione e moltiplicazione semplici. Il percorso laterale, invece, reagisce in modo curvo ed esponenziale, eseguendo naturalmente la matematica del filtraggio complesso che di solito richiede un processore separato. Poiché entrambi i percorsi sono governati dallo stesso interruttore interno, il dispositivo può eseguire l'intero processo di attenzione in un unico passaggio senza spostare alcun dato. I ricercatori hanno costruito una piccola griglia di questi dispositivi, disposti in un modello specifico, e hanno dimostrato che poteva eseguire con successo la logica centrale di un moderno modello linguistico. Il sistema lavorava con una velocità incredibile, completando le operazioni in 600 picosecondi, ovvero meno di un miliardesimo di secondo, e utilizzava una quantità di energia sorprendentemente piccola, misurando appena 320 attojoule per operazione.
Il team non si è limitato a costruire il dispositivo; ha anche dimostrato che può imparare e adattarsi. Regolando la dimensione fisica dei percorsi all'interno del dispositivo, potevano calibrare quanto la matematica complessa fosse sensibile, permettendo loro di progettare il chip per diversi tipi di compiti. Hanno testato il sistema con una configurazione a ciclo chiuso in cui il chip riceveva l'input testuale e generava una risposta in tempo reale. Quando riceveva il comando "Ho fame", l'hardware calcolava istantaneamente i pesi di attenzione necessari e generava la continuazione "voglio la pizza ora". Ciò ha dimostrato che il dispositivo poteva gestire l'intero ciclo di comprensione e generazione del linguaggio senza aiuto esterno. Inoltre, i ricercatori hanno utilizzato le prestazioni misurate del loro minuscolo dispositivo per simulare un sistema molto più grande. In queste simulazioni, il chip ha tradotto con successo i segnali elettrici dal cervello di un topo, che rappresentavano diversi stati emotivi come la paura o l'eccitazione, in linguaggio scritto. La simulazione ha mostrato che questo approccio poteva scalare per gestire compiti complessi e reali che coinvolgono dati sensoriali e generazione del linguaggio.
Questo lavoro rappresenta un cambiamento fondamentale nel modo in cui viene progettato l'hardware per l'intelligenza artificiale. Invece di cercare di rendere più veloce la matematica lineare esistente, i ricercatori hanno incorporato la matematica complessa mancante direttamente nel materiale della memoria stessa. Facendo ciò, hanno eliminato la necessità dello spostamento di dati energivoro che ha tormentato le generazioni precedenti di chip. Il dispositivo mantiene le sue impostazioni per oltre un anno senza alimentazione e può essere riscritto milioni di volte, dimostrando di essere abbastanza stabile per un uso pratico. Il successo di questo esperimento suggerisce che il futuro di un'intelligenza artificiale efficiente potrebbe non derivare da un software migliore o da processori più veloci, ma da materiali che possono eseguire nativamente l'intera gamma di operazioni matematiche richieste per il pensiero, il tutto all'interno di un'unica, minuscola unità di memoria.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.