Reinforcement Learning to Disentangle Multiqubit Quantum States from Partial Observations

Sintesi Tecnica: Apprendimento per Rinforzo per il Disentanglement di Stati Multiqubit da Osservazioni Parziali

Definizione del Problema
Il documento affronta la sfida di disincastrare (disentangle) stati quantistici multiqubit arbitrari in stati prodotto utilizzando un numero minimo di porte a due qubit. Questo è il problema inverso della preparazione dello stato quantistico ed è fondamentale per la compressione, l'inizializzazione e l'analisi della complessità degli stati quantistici. Una difficoltà primaria risiede nella dimensione esponenziale dello spazio di Hilbert, che rende impraticabili gli algoritmi di ricerca esaustiva per sistemi con più di pochi qubit. Inoltre, i vincoli pratici sui dispositivi NISQ (Noisy Intermediate-Scale Quantum) limitano l'accesso alle informazioni globali sullo stato; tipicamente, sono fattibili solo le misure locali. Gli autori indagano se la conoscenza parziale di uno stato quantistico — specificamente, l'accesso solo alle matrici di densità ridotta (RDM) a due qubit — sia sufficiente per costruire protocolli di disentanglement ottimali.

Metodologia
Gli autori propongono un framework di Deep Reinforcement Learning (RL) utilizzando un algoritmo Actor-Critic (AC), nello specifico una variante di Proximal Policy Optimization (PPO) con regolarizzazione dell'entropia.

• Spazio delle Osservazioni: Per conformarsi ai vincoli NISQ, l'agente non osserva l'intero stato quantistico. Invece, ad ogni passo temporale $t$, l'agente riceve un'osservazione $o_t$ composta da tutte le matrici di densità ridotta a due qubit simmetrizzate dello stato corrente. Ciò riduce il requisito informativo da esponenziale a quadratico rispetto al numero di qubit ($L$).
• Spazio delle Azioni: L'agente seleziona una coppia di qubit $(i, j)$ su cui applicare una porta unitaria a due qubit.
• Costruzione della Porta: Una volta selezionata la coppia di qubit, la specifica porta unitaria $U^{(i,j)}$ viene determinata analiticamente diagonalizzando la corrispondente RDM a due qubit. Ciò garantisce che la porta sia localmente ottimale per il disentanglement di quella specifica coppia date le attuali informazioni parziali.
• Architettura della Rete: La rete della policy impiega un'architettura Transformer permutazione-equivariante. Questo design permette all'agente di apprendere policy che sono invarianti rispetto alla etichettatura dei qubit, consentendogli di riconoscere le strutture di entanglement indipendentemente da come i qubit siano permutati nell'input dello stato.
• Funzione di Ricompensa: Il segnale di ricompensa è progettato per massimizzare la riduzione dell'entropia di von Neumann media per singolo qubit ($S_{avg}$) penalizzando al contempo il numero di porte utilizzate. L'obiettivo è portare $S_{avg}$ a zero (indicando uno stato prodotto) con il minor numero di passi.
• Regime di Addestramento: Per sistemi più grandi (12 e 16 qubit), gli autori impiegano un processo di addestramento a due stadi. In primo luogo, l'agente viene addestrato su stati prodotto di piccoli sottosistemi per apprendere il disentanglement di base. In secondo luogo, viene perfezionato (fine-tuning) su sottosistemi debolmente entangled di stati Haar-random.

Risultati Chiave

• Efficienza su Sistemi Piccoli: L'agente addestrato disincastra con successo stati Haar-random a 4, 5 e 6 qubit. Per stati arbitrari a 4 qubit, l'agente identifica un protocollo che utilizza al massimo cinque porte a due qubit (equivalenti a 10 porte CNOT). Per stati Haar-random a 5 e 6 qubit, l'agente richiede in media 20 e 56 porte a due qubit, rispettivamente.
• Confronto con i Baseline: L'agente RL supera significativamente sia l'agente "random" (che seleziona coppie di qubit uniformemente) sia l'agente "greedy" (che seleziona la coppia che minimizza localmente $S_{avg}$ ad ogni passo). Per stati a 6 qubit, l'agente RL riduce il conteggio delle porte di quasi un fattore tre rispetto all'agente random e di circa il 22% rispetto all'agente greedy.
• Transpilazione del Circuito: Confrontato con l'algoritmo deterministico di Shende et al. (implementato in Qiskit), l'agente RL, agendo come routine di pre-transpilazione, riduce drasticamente il numero di porte CNOT richieste. Ad esempio, per uno stato Haar-random a 4 qubit, il conteggio delle CNOT è stato ridotto da 22 a 12.
• Riconoscimento di Pattern: L'analisi dei protocolli appresi rivela forti correlazioni temporali e spaziali. L'agente spesso identifica un qubit specifico e applica una sequenza di porte che coinvolgono esso prima di passare a un altro, imparando efficacemente a sfruttare la specifica struttura di entanglement dell'input piuttosto che applicare una sequenza generica.
• Scalabilità e Resilienza al Rumore:
  • Scalabilità: Sebbene la simulazione quantistica sottostante scalino esponenzialmente, il costo computazionale dell'agente RL scala quadraticamente con il numero di qubit.
  • Rumore: L'agente dimostra robustezza al rumore di campionamento (shot noise, ovvero errori statistici derivanti dal campionamento finito nella tomografia dello stato) e al rumore depolarizzante. Anche quando addestrato in un ambiente privo di rumore, l'agente riesce a disincastrare stati su simulatori rumorosi e su hardware reale, a pat condizione che lo stato non sia completamente miscelato.
• Validazione Sperimentale: L'approccio è stato validato sperimentalmente su un computer quantistico a ioni intrappolati. L'agente ha disincastrato con successo stati Bell-Bell, GHZ, W e stati a circuito superficiale (shallow circuit). Sebbene l'entropia residua rimanesse a causa della decoerenza dell'hardware, l'entanglement di formazione tra i qubit del sistema è stato ridotto con successo vicino allo zero.

Significatività e Rivendicazioni
Il paper sostiene che l'uso di informazioni parziali (RDM a due qubit) tramite un agente RL consapevole dello stato offra un vantaggio pratico rispetto agli algoritmi deterministici e indipendenti dallo stato per il disentanglement degli stati quantistici. Gli autori sottolineano che:

1. Dipendenza dallo Stato: A differenza delle macchine di disentanglement universali (che non esistono), l'agente RL costruisce protocolli dipendenti dallo stato che si adattano alla specifica distribuzione di entanglement, minimizzando così l'uso delle risorse.
2. Applicabilità NISQ: La dipendenza da misure locali rende il metodo direttamente applicabile all'attuale hardware quantistico senza richiedere la tomografia completa dello stato.
3. Generalizzazione: L'agente mostra capacità di generalizzazione, gestendo con successo sistemi a 12 e 16 qubit con sottosistemi debolmente entangled, e trasferendo le policy apprese a ambienti rumorosi senza necessità di ri-addestramento.
4. Protocollo Ottimale a 4 Qubit: L'analisi delle sequenze ottimali a 4 qubit porta a un circuito generale capace di preparare qualsiasi stato arbitrario a 4 qubit da uno stato prodotto utilizzando al massimo cinque unitarie a due qubit (10 CNOT).

Gli autori concludono che, sebbene la scalabilità esponenziale delle risorse per stati Haar-random sia una caratteristica intrinseca della meccanica quantistica, il RL fornisce un meccanismo per ottimizzare il prefattore costante e scoprire protocolli efficienti per classi di stati fisicamente rilevanti, come quelli con entanglement di tipo "area-law" o debole entanglement tra sottosistemi.