Modeling quantum neural network gradient with reinforcement learning

Nel campo emergente dell'informatica quantistica, gli scienziati stanno cercando di costruire macchine in grado di risolvere problemi che vanno ben oltre la portata degli odierni supercomputer. Uno strumento centrale in questo sforzo è la rete neurale quantistica, un sistema ibrido che combina la strana fisica delle particelle subatomiche con le capacità di apprendimento dell'intelligenza artificiale. Queste reti sono progettate per trovare schemi nei dati, proprio come il software che riconosce i volti nelle foto o traduce le lingue. Tuttavia, l'addestramento di questi sistemi quantistici si è scontrato con un muro ostinato. Man mano che i ricercatori aggiungono più bit quantistici, o qubit, ai loro circuiti per gestire problemi più difficili, i segnali utilizzati per insegnare alla macchina spesso svaniscono nel nulla. Questo fenomeno, noto come plateau sterile (barren plateau), lascia la rete cieca su come migliorare, mentre la pura potenza computazionale necessaria per calcolare gli aggiornamenti necessari cresce così tanto da rendere impossibile l'esecuzione su hardware attuale.

Per superare questa barriera, un team di ricercatori ha sviluppato un nuovo approccio che elude il modo tradizionale di insegnare a queste macchine. Invece di cercare di calcolare la pendenza matematica esatta del percorso di apprendimento attraverso il circuito quantistico — un processo che diventa esponenzialmente più difficile e dispendioso in termini di memoria man mano che il sistema cresce — hanno addestrato un programma per computer classico separato per indovinare il passo successivo. Questo programma, costruito utilizzando una tecnica chiamata apprendimento per rinforzo (reinforcement learning), agisce come un allenatore esperto. Esso osserva le prestazioni della rete quantistica, notando i suoi errori attuali e le mosse passate, e poi propone un aggiornamento diretto alle impostazioni della rete. I ricercatori hanno scoperto che questo metodo non solo evita il problema del segnale evanescente, ma è anche migliaia di volte più veloce e utilizza una frazione della memoria richiesta dalle tecniche standard.

Il team, guidato da ricercatori provenienti da Vietnam e Giappone, ha testato il loro nuovo ottimizzatore, che hanno chiamato RLQ-Grad, su una varietà di circuiti quantistici simulati che vanno da soli due qubit fino a venti qubit. Nel mondo dell'informatica quantistica, venti qubit rappresentano una scala significativa, un sistema abbastanza grande da essere rilevante per applicazioni del mondo reale, ma abbastanza piccolo da poter essere simulato su potenti computer classici. I risultati sono stati sorprendenti. Quando i ricercatori hanno confrontato il loro metodo con i tre modi standard per calcolare gli aggiornamenti — backpropagation, parameter-shift e adjoint differentiation — RLQ-Grad ha mantenuto un segnale di apprendimento costante e forte indipendentemente dalla dimensione del circuito. Al contrario, i metodi tradizionali hanno visto i loro segnali di apprendimento scendere di ordini di grandezza all'aumentare dei qubit, causando di fatto il blocco dell'addestramento.

I guadagni di efficienza sono stati altrettanto drammatici. Su un processore per computer standard, il nuovo metodo ha completato ogni fase di addestramento in meno di un decimo di secondo, anche per i circuiti più grandi da venti qubit. Il metodo backpropagation tradizionale, al confronto, richiedeva quasi duecento secondi per lo stesso compito. In termini di utilizzo della memoria, la differenza è stata ancora più profonda. Mentre l'approccio standard backpropagation richiedeva oltre seimila megabyte di memoria per gestire un circuito a venti qubit, il nuovo metodo ne richiedeva meno di due megabyte. Questa riduzione della richiesta di risorse significa che i ricercatori potrebbero potenzialmente addestrare questi complessi modelli su hardware molto più modesti, democratizzando l'accesso alla ricerca sul machine learning quantistico.

Il team ha anche esaminato quanto bene il sistema imparasse effettivamente a classificare i dati. Hanno testato il metodo su quattro diversi set di dati, inclusi immagini di cifre scritte a mano e dati medici relativi al tumore al seno. In ogni caso, l'ottimizzatore RLQ-Grad ha superato i metodi tradizionali basati sul gradiente. Sui dataset più semplici, ha migliorato l'accuratezza della rete quantistica fino al dieci per cento. Sul dataset di immagini più complesso, dove i metodi tradizionali iniziavano a faticare man mano che il circuito diventava più grande, il nuovo metodo continuava a migliorare, eguagliando le prestazioni di tecniche specializzate progettate specificamente per risolvere il problema del plateau sterile. Fondamentalmente, ha ottenuto questo senza l'enorme sovraccarico computazionale che quelle tecniche specializzate solitamente richiedono.

Uno degli aspetti più importanti di questo lavoro è ciò che esclude. I ricercatori hanno testato esplicitamente se altri tipi di ottimizzazione, come gli algoritmi evolutivi che imitano la selezione naturale o i metodi privi di gradiente che procedono per tentativi ed errori, potessero risolvere il problema. Hanno scoperto che questi approcci alternativi crollavano verso il caso casuale quando affrontavano gli stessi circuiti da venti qubit, fallendo nell'imparare qualsiasi cosa di utile. Ciò suggerisce che la soluzione non consiste semplicemente nell'evitare il calcolo dei gradienti, ma nell'utilizzare una politica intelligente e appresa per guidare gli aggiornamenti. Lo studio chiarisce anche che, sebbene questo metodo risolva il problema dei segnali evanescenti e degli alti costi di memoria, non risolve magicamente ogni problema nell'apprendimento quantistico. Se il circuito quantistico è troppo piccolo o il problema è troppo semplice, la rete può comunque incagliarsi in soluzioni scadenti, e il metodo non funziona ancora sull'effettivo hardware quantistico fisico, che è soggetto a rumore ed errori.

Il team ha dimostrato matematicamente che il loro approccio funziona perché il programma "allenatore" opera interamente su computer classici, separatamente dal circuito quantistico. Poiché questo allenatore non deve differenziare attraverso le complesse equazioni quantistiche, non è soggetto allo stesso decadimento esponenziale che affligge i metodi tradizionali. I ricercatori hanno verificato questo mostrando che la varianza del segnale di apprendimento rimaneva piatta e stabile all'aggiunta di più qubit, mentre il segnale per gli altri metodi decadeva rapidamente. Questo vantaggio strutturale permette al metodo di scalare in modo efficiente, crescendo solo linearmente con il numero di parametri piuttosto che esponenzialmente con la dimensione del sistema quantistico.

Sebbene lo studio sia stato condotto interamente su simulazioni, le implicazioni per il futuro dell'informatica quantistica sono significative. Riducendo il costo computazionale dell'addestramento di fattori di migliaia di volte, questo metodo potrebbe consentire agli scienziati di esplorare reti neurali quantistiche molto più grandi e complesse di quanto precedentemente ritenuto possibile. Offre una nuova strada in un campo che ha lottato con i limiti pratici dell'addestramento di questi sistemi. I ricercatori osservano che il prossimo passo sarà testare questo approccio sull'hardware quantistico reale e vedere se le politiche apprese possono essere trasferite tra diversi tipi di problemi, creando potenzialmente uno strumento universale per addestrare le macchine quantistiche di domani. Per ora, il lavoro rappresenta una dimostrazione che, cambiando il modo in cui insegniamo a queste macchine, possiamo superare le ripide scogliere che ne hanno bloccato il progresso.