From Physics to Attention: Building Vision Transformers from Oscillatory Neural Network Hardware
Questo articolo introduce HoKuVit, un Vision Transformer convoluzionale scalabile che integra strati convoluzionali basati su Kuramoto e strati lineari basati su Hopfield in un'architettura di Rete Neurale Oscillante, raggiungendo prestazioni allo stato dell'arte su CIFAR-10 e dimostrando al contempo un percorso percorribile per scalare le ONN in pipeline di IA profonde.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I computer moderni sono incredibilmente veloci, ma sono anche affamati di elettricità. Man mano che l'intelligenza artificiale diventa più complessa, l'energia necessaria per far funzionare questi sistemi diventa un collo di bottiglia significativo. Gli scienziati guardano da tempo al cervello umano per trarne ispirazione, sperando di costruire macchine che elaborino le informazioni come fanno i neuroni: con bassa potenza e alta efficienza. Una strada promettente coinvolge le "reti neurali oscillatorie", un tipo di calcolo che utilizza il battito ritmico di minuscoli circuiti elettronici per archiviare ed elaborare dati. Inveve di fare affidamento sui costanti interruttori binari on-off dei chip tradizionali, questi sistemi utilizzano la temporizzazione e la sincronizzazione delle onde. Sebbene i ricercatori abbiano costruito con successo piccole versioni di queste reti per risolvere semplici enigmi, hanno avuto difficoltà a scalarle. La sfida è stata connettere questi circuiti ritmici nelle architetture profonde e stratificate che alimentano i sistemi di visione più avanzati di oggi, capaci di riconoscere oggetti nelle fotografie con un'accuratezza simile a quella umana.
Un team di ricercatori presso l'Università Cattolica Pázmány Péter in Ungheria ha compiuto un passo significativo verso la risoluzione di questo problema di scalabilità. Hanno progettato un nuovo tipo di modello di intelligenza artificiale chiamato HoKuVit, che è costruito quasi interamente da questi componenti ritmici e oscillanti. I ricercatori hanno combinato con successo due specifici principi fisici in un unico sistema funzionante. Il primo principio prevede una rete di oscillatori accoppiati che agiscono come un filtro, classificando le informazioni visive in base a quanto bene le diverse parti di un'immagine si sincronizzano tra loro. Il secondo principio utilizza una rete che funziona come una memoria, dove il sistema si assesta in uno stato stabile che rappresenta un modello riconosciuto. Intrecciando questi due comportamenti fisici in una struttura gerarchica, il team ha creato un vision transformer — un'architettura di IA moderna capace di analizzare immagini — che opera sulle leggi della fisica piuttosto che sulla semplice logica digitale.
I ricercatori hanno testato la loro creazione sul dataset CIFAR-10, una collezione standard di 60.000 immagini a colori che presenta dieci categorie diverse, come aerei, gatti e camion. Questo è un compito molto più difficile rispetto agli esperimenti di riconoscimento di cifre semplici solitamente usati per testare le reti oscillatorie. Il modello HoKuVit ha raggiunto un'accuratezza di quasi l'80 percento, un risultato che è il più alto riportato per qualsiasi architettura costruita principalmente su dinamiche di oscillazione. Sebbene sia inferiore al 92 percento di accuratezza raggiunto da una versione digitale standard della stessa architettura, il compromesso è intenzionale. L'obiettivo non è eguagliare la velocità pura degli attuali chip digitali, ma dimostrare che questi circuiti fisici possono essere addestrati per gestire compiti visivi complessi del mondo reale. Il modello contiene circa 0,87 milioni di parametri, e circa l'88 percento di questi è implementato utilizzando i componenti oscillanti, lasciando solo gli strati decisionali finali al digitale.
Ciò che rende questo lavoro particolarmente degno di nota è il modo in cui i ricercatori hanno addestrato il sistema. Tradizionalmente, le reti oscillatorie venivano progettate con regole fisse o metodi di apprendimento semplici che non permettevano loro di adattarsi a dati complessi. In questo studio, il team ha utilizzato una tecnica chiamata backpropagation, che è il metodo standard per l'addestramento dei moderni modelli di deep learning. Hanno insegnato ai circuiti oscillanti come regolare le proprie connessioni interne e i propri ritmi per minimizzare gli errori, permettendo al sistema di apprendere direttamente dalle immagini. La parte "memoria" della rete ha imparato a stabilizzarsi in modelli distinti e stabili per ogni categoria di oggetto, mentre la parte "filtro" ha imparato a sincronizzare i propri ritmi per evidenziare le caratteristiche importanti dell'immagine. I ricercatori hanno verificato che queste simulazioni digitali si comportano esattamente come farebbero in un dispositivo fisico, con l'energia del sistema che diminuisce mentre trova la risposta corretta, proprio come una pallina che rotola giù per una collina per trovare il punto più basso.
Lo studio ha anche esaminato quanto sarebbero robusti questi sistemi se costruiti con hardware reale e imperfetto. I circuiti fisici soffrono spesso di piccole variazioni nei loro componenti o di rumore nei loro segnali. I ricercatori hanno simulato queste imperfezioni aggiungendo rumore casuale ai calcoli del modello e riducendo la precisione dei pesi della memoria. Il sistema si è dimostrato straordinariamente resiliente; anche quando i pesi della memoria sono stati ridotti a una precisione molto bassa o quando è stato introdotto un rumore significativo, l'accuratezza è scesa di meno di un punto percentuale. Ciò suggerisce che l'architettura è ben adatta all'implementazione fisica, poiché non richiede la precisione perfetta richiesta dai computer digitali. I ricercatori stimano che, se costruito su hardware specializzato, il risparmio energetico potrebbe essere sostanziale, offrendo potenzialmente un miglioramento dell'efficienza di quattro volte rispetto a un sistema completamente digitale, a condizione che le parti oscillanti consumino un'energia trascurabile.
Questo lavoro dimostra che il divario tra la fisica teorica e l'intelligenza artificiale pratica si sta restringendo. Trattando il comportamento ritmico dei circuiti elettronici non come un limite, ma come il motore computazionale centrale, i ricercatori hanno dimostrato che è possibile costruire modelli di deep learning che sono fondamentalmente diversi da quelli che usiamo oggi. Il modello HoKuVit serve come un progetto per un futuro in cui l'intelligenza artificiale funzioni sulla dinamica naturale dei sistemi fisici, offrendo una via verso macchine che siano non solo più intelligenti, ma anche molto più efficienti dal punto di vista energetico. Sebbene l'attuale modello sia ancora una simulazione, la prova di concetto è chiara: il battito ritmico di un oscillatore può effettivamente essere sfruttato per vedere e comprendere il mondo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.