Post-Error Correction for Quantum Annealing Processor using Reinforcement Learning

Sintesi Tecnica: Correzione Post-Errore per Processori di Quantum Annealing tramite Reinforcement Learning

Definizione del Problema
Trovare lo stato fondamentale dello spin-glass di Ising è un problema fondamentale NP-hard nella fisica della materia condensata con ampie applicazioni nell'ottimizzazione combinatoria, tra cui il problema del commesso viaggiatore e il ripiegamento proteico. Sebbene il quantum annealing (QA) sia un paradigma ben adatto alla risoluzione di problemi di Ottimizzazione Binaria Quadratica Non Vincolata (QUBO), i dispositivi commercialmente disponibili (specificamente il D-Wave 2000Q) soffrono di errori intrinseci. Questi includono il rumore termico che causa decoerenza e gli errori di programmazione nei coefficienti di accoppiamento ($J_{i,j}$) e nei bias ($h_i$). Di conseguenza, il QA spesso fallisce nel trovare i veri stati a bassa energia, rendendo necessaria una procedura di correzione dell'errore post-processing per abbassare l'energia degli stati prodotti dall'annealer.

Metodologia
Gli autori propongono un framework di post-processing chiamato Simulated Annealing with Reinforcement (SAwR). Questo approccio combina il deep reinforcement learning (RL) con il simulated annealing (SA) classico per correggere gli errori del QA senza richiedere l'overhead di molteplici qubit fisici per ogni qubit logico (a differenza della tradizionale correzione degli errori quantistici).

1. Formulazione del Reinforcement Learning:

   • Stato ($s$): Rappresenta l'istanza di Ising, inclusa la configurazione degli spin $\sigma$, le intensità di accoppiamento $\{J_{i,j}\}$ e i campi magnetici esterni $\{h_i\}$.
   • Azione ($a$): Capovolgere un singolo spin $i$ (cambiare $\sigma_i$ da $+1$ a $-1$ o viceversa). Ogni spin può essere capovolto al massimo una volta per episodio.
   • Ricompensa ($r$): La variazione di energia ($\Delta E$) risultante dal capovolgimento dello spin.
   • Obiettivo: L'agente apprende una policy per massimizzare il ritorno atteso, apprendendo efficacementamente una strategia per capovolgere gli spin sequenzialmente per raggiungere uno stato a energia inferiore.

2. Architettura del Modello (ispirata a DIRAC):
   Il sistema utilizza una Graph Neural Network (GNN) basata sull'architettura DIRAC per codificare l'istanza di Ising.

   • Codifica: L'istanza di Ising è trattata come un grafo dove gli accoppiamenti sono pesi degli archi e spin/bias sono pesi dei nodi. Una Spin Glass Neural Network (SGNN) modificata esegue il passaggio di messaggi tramite aggiornamenti centrici sugli archi e sui nodi per generare embedding vettoriali a bassa dimensionalità per ogni nodo (spin) e per lo stato globale.
   • Decodifica: Una rete neurale feed-forward prende la concatenazione dell'embedding dello stato e di un embedding di azione specifico (nodo) per produrre un valore Q, stimando la ricompensa futura attesa per il capovolgimento di quello specifico spin.

3. La Procedura SAwR:
   L'algoritmo inizia con il Simulated Annealing standard. Man mano che la temperatura scende, il criterio di Metropolis-Hastings (che accetta probabilisticamente mosse che aumentano l'energia) viene sostituito da un singolo passaggio dell'agente di RL addestrato. L'agente seleziona gli spin da capovolgere in base ai valori Q più elevati, registrando lo stato energetico dopo ogni passaggio. La soluzione finale è definita come lo stato a energia più bassa incontrato durante questa procedura.

Contributi Chiave

• Nuovo Schema di Post-Processing: Introduzione di SAwR, che integra il deep RL con il simulated annealing per correggere gli errori del QA.
• Scalabilità: Il metodo dimostra un'eccellente scalabilità. Il modello è addestrato su piccole istanze Chimera (specificamente $C_3$, 72 spin) e viene implementato con successo su istanze significativamente più grandi ($C_{16}$, 2048 spin) senza necessità di riaddestramento, sfruttando le capacità di codifica a livello di grafo della GNN.
• Adattamento dell'Architettura: Adattamento dell'architettura DIRAC alle specifiche costrizioni e alla topologia del grafo Chimera di D-Wave 2000Q.

Risultati Sperimentali
Gli autori hanno valutato SAwR rispetto allo standard Simulated Annealing e a una procedura di capovolgimento degli spin a singolo passaggio (il modello RL agendo da solo) su 500 istanze casuali di Ising attraverso quattro dimensioni Chimera ($C_4$ a $C_{16}$).

• Probabilità di Successo: SAwR ha mostrato una probabilità leggermente inferiore di trovare uno stato a energia inferiore rispetto allo standard Simulated Annealing. Questa differenza è stata costante in tutte le dimensioni del sistema, suggerendo una varianza sistematica piuttosto che casuale.
• Entità del Miglioramento: In media, SAwR è stato in grado di trovare uno stato a bassa energia migliore rispetto allo standard SA, sebbene la differenza non fosse statisticamente significativa.
• Performance a Singolo Passaggio: L'agente RL standalone (singolo passaggio di capovolgimento degli spin) ha performato scarsiamente, raggiungendo solo circa l'1% di tasso di successo, evidenziando la necessità di combinare il RL con le capacità di ricerca più ampie del Simulated Annealing.

Significato e Rivendicazioni
Il paper posiziona SAwR come una "prova di concetto" che dimostra come il reinforcement learning possa essere applicato per correggere gli errori nelle uscite di un quantum annealer. Gli autori riconoscono esplicitamente che le prestazioni di SAwR sul grafo Chimera sono attualmente inferiori ad algoritmi tipici come lo standard Simulated Annealing.

La significatività non risiede nel superamento immediato delle prestazioni, ma nella dimostrazione della scalabilità e della fattibilità dell'uso del RL per la correzione post-errore. Gli autori osservano che la complessità del grafo Chimera reale (rispetto ai reticoli regolari utilizzati negli studi precedenti su DIRAC) probabilmente contribuisce al divario di performance. Concludono che, sebbene i risultati attuali siano modesti, l'uso del reinforcement learning per la correzione post-errore rimane una via di ricerca "aperta e promettente", specialmente man mano che i sistemi D-Wave evolvono verso topologie più complesse come Pegasus e Zephyr. Il lavoro futuro suggerisce di esplorare cambiamenti architettonici (ad esempio, separare l'addestramento dell'encoder e del decoder) e algoritmi di RL alternativi (ad esempio, metodi asincroni o Monte Carlo Tree Search).