Approximate Quantum State Preparation Through Proximal Policy Optimization

La Sfida dei Lego Quantistici

Immaginate di cercare di costruire una scultura specifica e incredibilmente complessa usando dei mattoncini Lego. Ora, immaginate che, invece di incastrare semplicemente i blocchi, ogni volta che ne aggiungete uno, l'intera struttura si sposti, ruoti e cambi colore in modi che sfidano la fisica normale. Questo è il mondo dell'informatica quantistica. A differenza dei computer che avete in tasca, che usano semplici interruttori on/off (bit), i computer quantistici usano i "qubit" che possono esistere in molti stati contemporaneamente. Per far sì che queste macchine facciano qualcosa di utile, gli scienziati devono prima eseguire una danza complicata chiamata Preparazione dello Stato Quantistico (QSP). Pensate a questo come alla fase di "allestimento": si parte da un foglio bianco (tutti zeri) e bisogna torcere e ruotare i qubit finché non formano un modello molto specifico e desiderato.

Il problema è che, man mano che si aggiungono più qubit, il numero di modi in cui è possibile disporli esplode. È come cercare di trovare la ricetta perfetta per i Lego in un universo dove il numero di possibili ricette cresce più velocemente di quanto possiate contare. Se sbagliate la ricetta, il computer quantistico non funzionerà. Per anni, gli esseri umani hanno cercato di scrivere queste ricette a mano, ma è come cercare di risolvere un labirinto che continua a cambiare forma. È qui che entra in gioco l'Apprendimento per Rinforzo (Reinforcement Learning). È un tipo di intelligenza artificiale che impara per tentativi ed errori, un po' come un cane che impara a stare seduto per ricevere un premio. L'IA prova un'azione, riceve una "ricompensa" se è vicina all'obiettivo e una "punizione" se è lontana, individuando lentamente il percorso migliore senza che un umano le tenga la mano.

La Storia del Paper: Insegnare a un Robot a Costruire Circuiti Quantistici

In questo articolo, Marco Mordacci e Michele Amoretti dell'Università di Parma propongono un nuovo modo per risolvere questo puzzle dei Lego. Hanno costruito un "agente" digitale (un cervello robotico intelligente) utilizzando un tipo specifico di apprendimento per rinforzo chiamato Ottimizzazione della Politica Prossimale (PPO). Il loro obiettivo era semplice ma difficile: insegnare a questo agente a costruire un circuito quantistico che crei uno stato target specifico, usando il minor numero possibile di "gate" (l'equivalente quantistico dei mattoncini Lego), pur ottenendo il risultato il più vicino possibile alla perfezione matematica.

L'agente lavora passo dopo passo. Osserva lo stato attuale del sistema quantistico e decide di aggiungere un nuovo gate. I gate tra cui può scegliere sono come un kit di attrezzi di base: tre tipi di rotazioni a singolo qubit (pensateli come la rotazione di un singolo mattone in diverse direzioni: $R_x$, $R_y$ e $R_z$) e un gate di "entanglement" chiamato CNOT (che collega due qubit insieme, come incastrare due mattoncini affinché si muovano come uno solo). Ogni volta che l'agente aggiunge un gate, il computer esegue una rapida sessione di micro-addestramento per regolare gli angoli delle rotazioni, al fine di rendere il risultato il più vicino possibile al target. Se il risultato si avvicina, l'agente riceve una ricompensa; se si allontana o usa troppi gate, riceve una penalità.

I ricercatori hanno testato questo "architetto robotico" su una gamma di sfide, partendo da 2 qubit e arrivando fino a 5. Hanno chiesto all'agente di costruire modelli predefiniti famosi (come gli stati "Bell", "GHZ", "W" e "Dicke", che sono come modelli Lego standard e ben noti) e anche modelli completamente casuali e disordinati.

I risultati sono stati impressionanti, specialmente per i sistemi più piccoli. Per i compiti a 2 e 3 qubit, l'agente ha spesso trovato soluzioni altamente efficienti, anche se non sempre il minimo teorico assoluto. Ad esempio, quando gli è stato chiesto di costruire uno "stato Bell" (una semplice connessione a due qubit), l'agente non ha trovato la soluzione teorica esatta (che richiede un gate di Hadamard, uno strumento non presente nel suo kit), ma ha approssimato l'effetto usando un gate di rotazione ($R_y$) per raggiungere l'obiettivo. Affrontando stati casuali a 2 qubit, ha costantemente trovato soluzioni utilizzando 7 gate, il che corrisponde a quanto calcolato da altri scienziati come il minimo necessario. Tuttavia, il paper nota che in alcuni casi l'agente non converge alla soluzione ottimale; potrebbe identificare i gate migliori ma usarli eccessivamente a causa di una penalizzazione insufficiente, richiedendo una semplificazione manuale successiva. Nonostante queste stranezze, l'agente era così preciso da poter raggiungere un tasso di errore anche di $10^{-14}$, il che significa che il risultato era quasi indistinguibile dal target perfetto.

Tuttamente, la storia si complica man mano che i puzzle diventano più grandi. Quando i ricercatori hanno provato sistemi a 4 e 5 qubit, l'agente ha continuato ad apprendere, ma ha faticato a trovare sempre il percorso più breve. Per gli stati casuali a 4 qubit, l'agente ha solitamente costruito circuiti con tra i 47 e i 70 gate (con una media di circa 63), mentre le versioni "ottimizzate" (dopo una pulizia manuale) potevano scendere a circa 53. Per i 5 qubit, lo spazio di ricerca è diventato così vasto che l'agente non è riuscito a completare il lavoro perfettamente nel tempo consentito, sebbene abbia dimostrato di poter ancora apprendere le basi.

Gli autori hanno anche scoperto un trucco astuto per aiutare l'agente quando rimaneva bloccato. Utilizzando un "buffer di successo" — una banca di memoria che salvava i migliori 10 circuiti mai trovati dall'agente e su cui lo riaddestrava occasionalmente — il robot poteva trovare soluzioni migliori più velocemente. Hanno anche scoperto che cambiando il modo in cui calcolavano la "ricompensa", in particolare usando una scala logaritmica per far sì che i piccoli miglioramenti sembrassero grandi vittorie, l'agente poteva continuare a imparare anche quando era già accurato al 99,999%.

In conclusione, il paper suggerisce che questo approccio guidato dall'IA è un potente nuovo strumento per progettare circuiti quantistici. Non si limita a copiare le idee umane; esplora autonomamente lo spazio delle possibilità. Sebbene incontri un limite di complessità all'aumentare del numero di qubit (cosa prevista data la natura esponenziale del problema), il framework riesce ad automatizzare il processo di progettazione per sistemi quantistici di piccole e medie dimensioni, raggiungendo errori bassi fino a $10^{-14}$. Gli autori sottolineano che il lavoro futuro si concentrerà sul rendere l'addestramento ancora più veloce e sul testare queste idee su sistemi quantistici ancora più grandi, sperando di permettere un giorno a questi architetti IA di progettare i complessi circuiti necessari per i computer quantistici del mondo reale.